Cómo hacer que los servidores de IA respondan más rápido sin comprar más GPUs

Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) acaba de publicar una mejora técnica que podría hacer que los chatbots y asistentes de inteligencia artificial respondan mucho más rápido, sin necesidad de invertir en hardware más potente. La clave está en una técnica llamada "continuous batching asíncrono", que permite a un servidor procesar múltiples conversaciones al mismo tiempo de forma más inteligente.

Hasta ahora, cuando un modelo de lenguaje grande o LLM (los sistemas de IA que generan texto, como los que hay detrás de ChatGPT) recibe varias peticiones a la vez, las procesa por lotes: espera a que todas terminen antes de empezar con el siguiente grupo. El problema es que algunas respuestas son mucho más cortas que otras, lo que deja a la GPU (el chip especializado que ejecuta estos modelos) esperando sin hacer nada útil. Es como si un autobús tuviera que esperar a que el último pasajero termine de comer antes de arrancar, aunque los demás ya estén listos.

La solución de Hugging Face permite que el servidor "libere" a las peticiones que ya han terminado y empiece a procesar nuevas sin esperar al resto. Según sus pruebas, esto reduce el tiempo de espera promedio hasta un 50% en escenarios reales, especialmente cuando hay muchas peticiones llegando al mismo tiempo. La mejora es más notable en modelos grandes como Llama 3.1 (un LLM de pesos abiertos, es decir, cuyo código y datos de entrenamiento están disponibles públicamente) con 70.000 millones de parámetros (los valores internos que determinan cómo responde el modelo).

La técnica ya está disponible en TGI (Text Generation Inference, el software que usa Hugging Face para servir modelos de IA en producción) y no requiere cambios en el código de las aplicaciones que ya lo usan. Para empresas que ejecutan sus propios modelos, esto significa poder atender a más usuarios con el mismo hardware, o reducir costes de infraestructura manteniendo la misma capacidad. Es un ejemplo de cómo pequeñas optimizaciones en la forma de gestionar recursos pueden tener un impacto económico considerable sin necesidad de avances revolucionarios en los modelos mismos.