Apriel-H1: cómo crear modelos de IA que razonan, sin GPU de última generación
Investigadores de ServiceNow logran comprimir el razonamiento de modelos grandes en versiones 30 veces más pequeñas, usando un truco inesperado: entrenarlos con ejemplos que fallan.
El equipo de ServiceNow AI Research acaba de publicar Apriel-H1, un modelo de razonamiento que demuestra que no hace falta una GPU (procesador gráfico especializado en acelerar cálculos de inteligencia artificial) de última generación para ejecutar IA capaz de resolver problemas complejos paso a paso. Según explican en el blog de Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados), consiguieron que un modelo treinta veces más pequeño que los actuales líderes del mercado alcance un rendimiento comparable en tareas de razonamiento matemático y programación.
La clave del avance está en cómo entrenaron el modelo. En lugar de alimentarlo únicamente con ejemplos de razonamiento correcto generados por modelos grandes como DeepSeek-R1 (un sistema de IA que piensa en voz alta antes de responder, desarrollado por una empresa china), añadieron deliberadamente ejemplos fallidos: trazas de razonamiento (el proceso paso a paso que sigue la IA para llegar a una conclusión) que exploraban caminos equivocados antes de encontrar la respuesta correcta. Esta estrategia, a la que llaman distilación (un método para enseñar a un modelo pequeño copiando el comportamiento de uno grande), resultó mucho más efectiva que limitarse a copiar solo los aciertos.
Apriel-H1 se basa en DeepSeek-R1-Distill-Qwen-1.5B, un modelo compacto que ya había sido entrenado mediante distilación tradicional. Los investigadores lo refinaron (ajustaron sus parámetros internos con datos adicionales) usando datasets (conjuntos de datos de entrenamiento) matemáticos y de programación, combinando respuestas directas con trazas de razonamiento completas. El resultado es un modelo que funciona sin conexión a internet en ordenadores modestos, ideal para empresas que necesitan privacidad o dispositivos con recursos limitados.
En las pruebas de referencia AIME 2024 (un examen de matemáticas avanzadas usado para medir capacidad de razonamiento en IA) y Codeforces (una plataforma donde programadores compiten resolviendo problemas algorítmicos), Apriel-H1 alcanzó un 13,3% de aciertos en AIME y una puntuación Elo (sistema de clasificación que mide habilidad relativa) de 1008 en Codeforces. Esas cifras lo sitúan muy cerca de modelos diez o treinta veces más grandes, como GPT-4o o Claude 3.5 Sonnet, que requieren ejecutarse en la nube y cuestan mucho más por consulta.
El equipo ha publicado el modelo completo en Hugging Face bajo licencia MIT (una licencia de código abierto que permite usarlo, modificarlo y distribuirlo libremente, incluso en proyectos comerciales), junto con el código de entrenamiento y los datasets utilizados. Según sus propias pruebas, Apriel-H1 puede ejecutarse a 47 tokens por segundo (unidades mínimas de texto que procesa la IA) en una GPU NVIDIA RTX 4090, una tarjeta gráfica de consumo que cuesta alrededor de 1.500 euros, frente a las decenas de miles que cuestan las infraestructuras necesarias para correr modelos grandes en producción.
Este trabajo refuerza la tendencia actual hacia modelos de pesos abiertos (IA cuyos parámetros internos son públicos y descargables) optimizados para ejecutarse localmente. Para sectores como sanidad, finanzas o administración pública, donde la privacidad de los datos es crítica, poder correr IA sofisticada sin enviar información a servidores externos cambia radicalmente el balance entre capacidad y control.
