Meta libera Muse Spark Open, modelo de IA gigante com mais de 800 bilhões de parâmetros
O novo modelo multimodal da Meta combina texto, imagem, áudio e vídeo em um sistema de código aberto otimizado para programação e tarefas longas, competindo diretamente com os principais sistemas fechados do mercado.
A Meta liberou o Muse Spark Open, um modelo de inteligência artificial de pesos abertos com 816 bilhões de parâmetros (embora apenas 42 bilhões fiquem ativos por vez) que aceita texto, imagem, áudio e vídeo como entrada. O sistema foi treinado especialmente para programação autônoma, rodando com janela de contexto de até um milhão de tokens.
A Meta lançou o Muse Spark Open, um modelo de inteligência artificial de pesos abertos (isto é, cujos parâmetros internos podem ser baixados e rodados por qualquer pessoa) com cerca de 816 bilhões de parâmetros no total — embora apenas 42 bilhões fiquem ativos para processar cada palavra ou token. Segundo informou a empresa no blog da Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados), o sistema aceita texto, imagens, áudio e vídeo como entrada e gera respostas em texto, funcionando com uma janela de contexto (a quantidade de informação que o modelo consegue "lembrar" ao mesmo tempo) de até um milhão de tokens — o suficiente para processar livros inteiros ou sessões longas de depuração de código.
O modelo usa uma arquitetura chamada mixture-of-experts, ou mistura de especialistas: em vez de ativar todos os 816 bilhões de parâmetros para cada palavra, ele escolhe 8 entre 256 "especialistas" (redes neurais menores, cada uma treinada para resolver tipos específicos de problemas) por vez. Isso permite que o Muse Spark Open rode na velocidade de um modelo de 42 bilhões de parâmetros, mas ocupe na memória o espaço de um sistema gigante — a versão em precisão BF16 (um formato numérico que equilibra exatidão e tamanho) pesa cerca de 1,5 terabyte. A Meta também liberou uma versão comprimida em 4 bits, chamada NVFP4, feita especialmente para rodar em GPUs Blackwell da NVIDIA, que reduz drasticamente o espaço necessário sem perda perceptível de qualidade.
A empresa treinou o Muse Spark Open especificamente para agir como um assistente de programação autônomo: ele lê bases de código inteiras, escreve e corrige programas, chama ferramentas externas e até navega na web usando capturas de tela. Por aceitar múltiplas modalidades, o mesmo modelo pode ler um screenshot (captura de tela), ouvir uma nota de voz ou assistir a uma gravação de tela enquanto trabalha no código — tudo dentro da mesma janela de contexto. Segundo a Meta, o sistema foi treinado em fluxos reais de desenvolvedores, incluindo refatorações em vários arquivos e sessões longas de debugging (processo de encontrar e corrigir erros no código).
O Muse Spark Open é o modelo completo da série Muse, que inclui o Muse Glimmer — um sistema menor e denso (sem mixture-of-experts) lançado em agosto, ideal para rodar em computadores pessoais. Ambos compartilham o mesmo tokenizador (algoritmo que divide texto em unidades menores) e vocabulário, mas o Spark adiciona suporte para áudio e vídeo. A Meta disponibilizou o modelo em formatos compatíveis com bibliotecas populares como Transformers, llama.cpp, vLLM e SGLang, facilitando a adoção por desenvolvedores. Para rodar a versão BF16, é necessário distribuir o modelo em quatro nós de oito GPUs H200 cada, usando paralelismo de tensor (uma técnica que divide o modelo entre vários processadores); a versão NVFP4 roda em um único nó de GPUs B200.
