Google Cloud e Intel consiguen abaratar un 70% el coste de ejecutar modelos de lenguaje de código abierto
La nueva generación de procesadores Xeon permite entrenar y ejecutar LLMs sin depender de GPUs, según pruebas de Hugging Face.
Google Cloud ha presentado su nueva familia de instancias C4, equipadas con procesadores Intel Xeon de quinta generación (chips de servidor optimizados para cálculos complejos), que según pruebas realizadas por Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) reducen hasta un 70% el coste total de propiedad (TCO, la suma de todos los gastos asociados a mantener un sistema funcionando) cuando se trabaja con modelos de lenguaje de código abierto.
Los resultados, obtenidos ejecutando el modelo GPT-J (un LLM de código abierto con 6.000 millones de parámetros, comparable en tamaño a versiones antiguas de GPT-3), muestran que estas CPU pueden competir con soluciones basadas en GPU (tarjetas gráficas especializadas en cálculos paralelos, tradicionalmente necesarias para IA) en determinados casos de uso. El ahorro proviene principalmente de dos factores: los procesadores Xeon son más baratos de alquilar por hora que instancias con GPU dedicadas, y consumen menos energía para tareas de inferencia (el proceso de usar un modelo ya entrenado para generar respuestas).
Hugging Face utilizó su biblioteca Optimum (un conjunto de herramientas para acelerar modelos de IA en distintos tipos de hardware) combinada con extensiones de Intel para PyTorch (un framework de código abierto muy popular para desarrollar redes neuronales). Esta combinación permite aprovechar instrucciones especializadas del procesador, como AMX (Advanced Matrix Extensions, una tecnología que acelera las multiplicaciones de matrices necesarias en IA) y AVX-512, sin necesidad de reescribir el código del modelo.
Las pruebas se centraron en tareas de inferencia, no de entrenamiento desde cero, que sigue siendo territorio de las GPU. Pero para empresas que quieren desplegar modelos ya entrenados —el caso más común en producción— la opción de usar CPU estándar puede simplificar la arquitectura y reducir costes. Google Cloud ofrece estas instancias C4 con configuraciones desde 2 hasta 176 núcleos, pensadas para escalar según la carga de trabajo.
Según informó Hugging Face en su blog oficial, los benchmarks (pruebas de rendimiento estandarizadas) se realizaron con modelos de distintos tamaños, y la ventaja económica se mantiene especialmente en escenarios donde el volumen de peticiones es constante pero no masivo, como asistentes internos de empresas o aplicaciones de análisis de texto. Intel lleva varios años invirtiendo en optimizaciones de software para IA, intentando recuperar terreno frente a Nvidia en un mercado que hasta ahora ha estado dominado por las GPU.
