Amazon y Hugging Face lanzan una guía para entrenar modelos de IA en la nube sin gastarte una fortuna
Las dos compañías publican un tutorial técnico que explica cómo usar infraestructura de AWS para entrenar y ejecutar grandes modelos de lenguaje de forma más eficiente y económica.
Amazon Web Services (el negocio de servidores en la nube de Amazon) y Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) acaban de publicar conjuntamente una guía técnica dirigida a empresas y equipos de desarrollo que quieran entrenar sus propios modelos de inteligencia artificial sin depender exclusivamente de soluciones comerciales cerradas. El documento, según informó Hugging Face en su blog oficial, detalla cómo combinar hardware especializado de Amazon con software de código abierto para reducir costes y tiempos de entrenamiento.
La guía se centra en los llamados «foundation models» o modelos fundacionales (redes neuronales muy grandes, entrenadas con enormes cantidades de texto, imágenes o código, que luego pueden adaptarse a tareas específicas). Entrenar uno de estos modelos desde cero puede costar millones de dólares en electricidad y alquiler de GPUs (procesadores gráficos optimizados para cálculos matemáticos repetitivos, esenciales en IA). Amazon y Hugging Face proponen usar instancias de EC2 (servidores virtuales que se alquilan por horas en AWS) equipadas con chips Trainium (procesadores diseñados por Amazon específicamente para entrenar modelos de IA de forma más barata que con GPUs tradicionales) y con chips Inferentia (también de Amazon, pero pensados para ejecutar modelos ya entrenados y servir predicciones a usuarios finales).
El tutorial incluye ejemplos de código y configuraciones recomendadas para técnicas como el entrenamiento distribuido (dividir el trabajo entre decenas o cientos de procesadores a la vez para acelerar el proceso) y la optimización de memoria durante la inferencia (el momento en que un modelo ya entrenado responde a una pregunta o genera texto). También cubre herramientas de Hugging Face como Transformers (una biblioteca de código abierto que facilita cargar y usar modelos preentrenados) y Accelerate (un framework que simplifica ejecutar el mismo código en una o muchas GPUs sin tener que reescribirlo).
Aunque el material está claramente orientado a promover los servicios de pago de Amazon, la publicación tiene interés porque documenta prácticas que hasta hace poco solo estaban al alcance de grandes laboratorios. Equipos pequeños con presupuestos limitados pueden ahora replicar parte de esos métodos usando infraestructura en la nube que se paga solo por el tiempo de uso, sin necesidad de comprar hardware propio. La guía está disponible de forma gratuita en el blog de Hugging Face y en la documentación oficial de AWS.
