Como modelos de IA economizam energia ativando só partes do cérebro de cada vez

Quando você faz uma pergunta a um chatbot como o ChatGPT, o modelo de inteligência artificial por trás dele processa sua frase ativando bilhões de parâmetros (os "neurônios" artificiais que armazenam o conhecimento do modelo). Mas e se, em vez de acordar todo mundo, o sistema pudesse delegar cada tarefa apenas para os especialistas certos? É exatamente isso que faz a arquitetura Mixture of Experts, ou MoE (uma técnica que divide um modelo grande em vários "especialistas" menores e ativa apenas os mais úteis para cada entrada de texto).

Segundo explicou a Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) em artigo técnico publicado recentemente, modelos MoE funcionam como uma equipe onde cada membro domina um assunto diferente. Um roteador (uma camada do modelo que decide quais especialistas ativar) analisa a pergunta e escolhe apenas dois ou três desses especialistas para responder, deixando o resto em standby. O resultado: você tem um modelo com a capacidade de um gigante, mas que consome recursos como se fosse pequeno durante a inferência (o processo de gerar uma resposta após o treinamento).

A ideia não é nova — surgiu nos anos 1990 —, mas voltou com força depois que o Switch Transformer, do Google, mostrou em 2021 que era possível treinar modelos MoE com trilhões de parâmetros de forma eficiente. Desde então, empresas como Mistral AI e Google DeepMind lançaram versões próprias: o Mixtral 8x7B (um modelo de pesos abertos com oito especialistas) roda mais rápido que modelos tradicionais do mesmo tamanho, enquanto o Gemini 1.5, do Google, usa MoE para processar textos enormes sem explodir o custo de computação.

Mas a técnica tem um preço. Treinar um MoE exige truques para evitar que o roteador sempre escolha os mesmos especialistas favoritos (um problema chamado "colapso de roteamento"), e o modelo ocupa muito mais espaço em disco do que um modelo tradicional de performance equivalente, porque você precisa carregar todos os especialistas na memória mesmo que só use alguns de cada vez. Além disso, fazer fine-tuning (o ajuste fino de um modelo pré-treinado para uma tarefa específica) em MoEs ainda é território experimental: a Hugging Face recomenda ajustar apenas o roteador e alguns especialistas, não o modelo inteiro, para evitar desperdício.

Para quem quer experimentar, a biblioteca Transformers da Hugging Face já suporta modelos MoE prontos, e a empresa publicou guias de como rodar Mixtral e outros em hardware comum. A aposta é que, conforme os modelos de linguagem crescem, dividir o trabalho entre especialistas será cada vez mais necessário — não só para economizar energia, mas para tornar IA de ponta acessível fora dos datacenters das big techs.