Escolher o modelo de IA certo parece simples — mas não é
Pesquisadores da IBM mostram por que decidir qual LLM usar em cada situação é mais difícil do que parece, e propõem uma solução prática.
Quando você tem vários modelos de inteligência artificial à disposição — uns grandes e caros, outros pequenos e rápidos —, como decidir qual usar em cada situação? Segundo pesquisadores da IBM Research e da Universidade de Washington, essa pergunta é mais complicada do que parece. Em um artigo publicado no blog da Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados), eles explicam por que o "roteamento de modelos" — a técnica de escolher automaticamente o melhor LLM (sigla em inglês para modelos de linguagem grandes, como o GPT ou o Llama) para cada tarefa — funciona bem em laboratório, mas desanda na prática.
A ideia do roteamento é atraente: você usa um modelo pequeno e barato para perguntas simples, e só aciona o modelo grande e custoso quando a tarefa é realmente difícil. O problema é que a maioria das técnicas atuais treina um "roteador" (um sistema que decide qual modelo chamar) usando dados limpos e bem organizados, onde a resposta certa já está marcada. No mundo real, porém, você raramente sabe de antemão se uma pergunta vai ser fácil ou difícil — e o roteador acaba errando com frequência, mandando tarefas simples para modelos caros ou, pior, tarefas complexas para modelos que não dão conta.
Os pesquisadores testaram várias abordagens de roteamento em cenários realistas, onde o sistema não conhece previamente o nível de dificuldade das perguntas. Descobriram que os roteadores treinados só com dados rotulados (onde cada exemplo já tem uma "resposta certa") perdem até 40% da precisão quando usados em dados não rotulados — exatamente o que acontece no dia a dia. A solução proposta pela equipe é treinar o roteador com uma mistura de dados rotulados e não rotulados, usando técnicas de aprendizado semissupervisionado (um método que aproveita tanto exemplos com respostas conhecidas quanto exemplos sem rótulo). Com isso, a queda de desempenho cai para cerca de 7%.
Outro achado importante: roteadores que usam apenas a "confiança" do modelo — uma pontuação que indica o quanto o LLM tem certeza da própria resposta — não funcionam bem sozinhos. É preciso combinar essa medida com outras informações, como características da pergunta ou do contexto. O artigo inclui código aberto e orientações práticas para quem quiser implementar roteamento em produção, e os autores deixam claro que o tema ainda está longe de resolvido. "Roteamento de modelos é simples. Até não ser mais", resume o título original — uma forma de dizer que, quanto mais você olha de perto, mais desafios aparecem.
