Meta presenta Muse Spark Open, su modelo de IA más grande con pesos abiertos
El nuevo modelo tiene 816.000 millones de parámetros, trabaja con texto, imagen, audio y vídeo, y está optimizado para programar y usar herramientas como un asistente autónomo.
Meta lanzó Muse Spark Open, un modelo de IA de pesos abiertos (descargable y ejecutable en hardware propio) con 816.000 millones de parámetros totales, aunque solo activa 42.000 millones por token gracias a una arquitectura de mezcla de expertos (MoE, un sistema que divide el modelo en subredes especializadas). Procesa texto, imagen, audio y vídeo, y está optimizado para programación autónoma y uso de herramientas.
Meta acaba de lanzar Muse Spark Open, un modelo de inteligencia artificial de pesos abiertos (es decir, con sus parámetros internos disponibles para que cualquiera los descargue y ejecute en su propio hardware) que marca un nuevo punto de referencia en tamaño y capacidades. Según informó la compañía en Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados), el modelo alcanza los 816.000 millones de parámetros en total, aunque solo activa unos 42.000 millones por cada token (la unidad mínima de texto que procesa) gracias a una arquitectura de mezcla de expertos o MoE (un sistema que divide el modelo en cientos de subredes especializadas y activa solo las necesarias para cada tarea). Esto le permite ejecutarse a la velocidad de un modelo de 42.000 millones de parámetros, pero con el conocimiento y la potencia de uno mucho mayor.
El modelo fue entrenado específicamente para actuar como un asistente autónomo especializado en programación: es capaz de leer bases de código completas, escribir y depurar programas, llamar a herramientas externas y razonar a lo largo de sesiones largas. A diferencia de modelos anteriores que solo trabajan con texto, Muse Spark Open acepta imágenes, audio y vídeo como entrada. Puede analizar una captura de pantalla, escuchar una nota de voz o ver una grabación de pantalla mientras trabaja en tu código. La ventana de contexto (la cantidad de información que puede mantener en memoria activa) llega hasta un millón de tokens, lo que permite procesar conversaciones, documentos o archivos de código extremadamente largos en una sola sesión.
La arquitectura utiliza 62 capas con una dimensión oculta de 8.192, y cada capa contiene un bloque MoE con 256 expertos (subredes especializadas), de los cuales se seleccionan 8 por token. Los expertos concentran el 97% de los parámetros totales del modelo. El modelo cuenta también con codificadores separados para percepción visual (con 1.800 millones de parámetros, diseñado para procesar imágenes y vídeo divididos en parches) y audio (que convierte el sonido en tokens a razón de 12,5 por segundo). Todo esto se integra en la misma ventana de contexto que el texto.
El modelo está disponible en dos formatos: uno en precisión BF16 (un formato de 16 bits que ocupa unos 1,5 terabytes) que requiere cuatro nodos con 8 GPUs H200 cada uno para ejecutarse con paralelismo de tensores (TP=32, es decir, dividiendo las operaciones entre 32 aceleradores), y otro en formato NVFP4 (una precisión de 4 bits específica para las GPU Blackwell de NVIDIA) que puede correr en un solo nodo con 8 GPUs B200. Meta también ha publicado recetas de implementación para llama.cpp, vLLM y SGLang (herramientas de código abierto que optimizan la ejecución de modelos grandes), además de soporte nativo en la librería Transformers de Hugging Face.
Muse Spark Open es el modelo completo de la familia Muse, que Meta comenzó a publicar en agosto con Muse Glimmer (un modelo más pequeño de 30.000 millones de parámetros, pensado para ejecutarse en local). Ambos comparten el mismo tokenizador y vocabulario, y usan una plantilla de chat similar con extensiones para las nuevas modalidades. A diferencia de modelos cerrados como GPT-4 o Claude, cualquier desarrollador puede descargar Muse Spark Open, afinarlo (reentrenarlo con datos propios) y ejecutarlo sin depender de una API externa, aunque el tamaño del modelo sigue siendo una barrera significativa para la mayoría de usuarios individuales.
