Apertus 1.5: el modelo suizo de IA de código abierto ahora entiende imágenes y audio
La nueva versión del proyecto Apertus añade capacidades multimodales, un modo de razonamiento extendido y cuadruplica la ventana de contexto, manteniendo su compromiso con la transparencia total en pesos, datos y entrenamiento
Apertus 1.5 es la nueva versión del modelo de inteligencia artificial suizo de código abierto que ahora puede procesar imágenes y audio además de texto, cuadruplica su ventana de contexto a 262.144 tokens (unidades básicas de procesamiento) e incorpora un modo de pensamiento para razonar antes de responder. Mantiene licencia Apache 2.0 y publica todos los detalles de entrenamiento.
Hugging Face ha publicado Apertus 1.5, la segunda generación del modelo suizo de inteligencia artificial de código completamente abierto. La actualización, que incluye versiones de 8.000 y 70.000 millones de parámetros (los valores numéricos que el modelo ajusta durante el entrenamiento), suma capacidades multimodales: ahora puede procesar imágenes y audio además de texto, aunque de momento solo genera respuestas escritas. El proyecto mantiene su licencia Apache 2.0 (un tipo de licencia que permite usar, modificar y distribuir el modelo libremente) y publica todos los detalles del entrenamiento, algo que la mayoría de desarrolladores comerciales no hace.
La principal novedad técnica es cómo introduce las nuevas modalidades. A diferencia de otros modelos que usan encoders separados (componentes especializados que procesan imágenes o audio antes de pasarlos al modelo principal), Apertus 1.5 convierte todo en tokens (las unidades básicas que el modelo procesa, como palabras para el texto) desde el principio. Las imágenes se transforman en 1.024 tokens cada una mediante el tokenizador Emu3.5 (un sistema que convierte imágenes en números que el modelo entiende), mientras que el audio genera 40 tokens por segundo con WavTokenizer. Esto permite entrenar a la misma velocidad que con texto puro, sin modificar la arquitectura base.
El entrenamiento continuado añadió 4 billones de tokens al modelo de 8B y 2 billones al de 70B, según informó el equipo en su blog oficial. El proceso se dividió en cuatro fases: primero datos no emparejados (texto, imágenes sueltas y audio) para que aprendiera las nuevas modalidades; luego pares imagen-descripción y audio-transcripción para alinearlas con el lenguaje; después datos de mayor calidad con más matemáticas y código; y finalmente entrenamiento con contexto largo, ampliando la ventana de 8.000 a 262.144 tokens (cuatro veces más que Apertus 1.0, lo que permite procesar documentos mucho más extensos de una sola vez). Más de la mitad del entrenamiento usó solo texto para preservar las capacidades lingüísticas originales.
El post-entrenamiento (el refinamiento del modelo tras el entrenamiento inicial) incluyó cinco etapas. Primero ajuste supervisado con 3,7 millones de ejemplos de texto más datos de imagen y voz; luego ajuste específico para contexto largo; después aprendizaje por refuerzo con recompensas verificables en 350.000 problemas de matemáticas, código y otros dominios, mezclando un modo de pensamiento activado y desactivado; a continuación optimización de preferencias directas (DPO, una técnica que mejora el modelo comparando respuestas buenas y malas) usando pares evaluados por jueces; y finalmente alineación con la Carta Apertus mediante retroalimentación de jueces y auto-destilación (un proceso donde el modelo aprende de sus propias mejores respuestas).
En evaluaciones, Apertus 1.5 8B supera a modelos de tamaño similar en seguimiento de instrucciones y tareas multilingües, aunque aún va por detrás de los modelos frontera de pesos abiertos (los más avanzados que publican sus pesos) en rendimiento general. El modo de pensamiento mejora significativamente el desempeño en problemas de razonamiento complejo. El proyecto colabora con la Coalición EvalEval para publicar resultados de evaluación en formato estructurado y reproducible, siguiendo el esquema Every Eval Ever (EEE), que registra no solo puntuaciones sino también quién ejecutó la evaluación, cómo se accedió al modelo y la configuración exacta, información que habitualmente falta en las tablas de clasificación. Todos los puntos de control intermedios, recetas de entrenamiento y mezclas de datos están documentados y disponibles públicamente en Hugging Face.
