IBM lança Granite Switch 4.1, modelo que faz três tarefas diferentes sem trocar de servidor
Novos modelos da IBM conseguem conversar, tomar decisões e transcrever áudio usando a mesma quantidade de memória de um modelo comum, graças a uma técnica modular que empilha funções especializadas.
A IBM lançou os modelos Granite Switch 4.1, que conseguem conversar, tomar decisões e transcrever áudio a partir de um único servidor, ocupando a mesma quantidade de memória que um modelo comum. Isso é possível graças a adaptadores modulares chamados aLoRA (Activated LoRA, componentes leves que acrescentam funções ao modelo base sem duplicar todo o seu peso).
A IBM lançou os modelos Granite Switch 4.1, que conseguem executar três tipos diferentes de tarefa — conversa em linguagem natural, tomada de decisões e transcrição de áudio — a partir de um único servidor, segundo informou a empresa em seu blog no Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados). A novidade está em fazer tudo isso ocupando praticamente a mesma quantidade de memória que um modelo comum ocuparia sozinho, o que significa rodar mais funções usando menos GPUs (chips especializados em processar IA).
Os modelos Granite-Switch-4.1-8B e -30B (os números indicam a quantidade de parâmetros, uma medida do tamanho e capacidade do modelo) usam uma técnica chamada aLoRA (Activated LoRA, um tipo de adaptador leve que acrescenta funcionalidades a um modelo base sem replicar todo o seu peso). Cada adaptador é responsável por uma tarefa: um para decisões genéricas, outro especializado em detectar conteúdo perigoso — que supera modelos fechados como Jev 1.13 e GPT-Luna-Decisions em testes de segurança — e um terceiro para transcrição de fala, baseado no Granite-Speech-5.0-Turbo-CTC, atualmente o modelo de ASR (reconhecimento automático de fala) mais rápido no ranking OpenASR.
A vantagem prática é que, ao compartilhar o que a IBM chama de KV cache (uma espécie de memória intermediária criada durante o processamento), o modelo consegue alternar entre conversar, decidir e transcrever sem desperdiçar recursos. Em um teste real com cinco etapas de um fluxo de trabalho RAG (Retrieval-Augmented Generation, técnica que combina busca de informações com geração de texto), o Granite-Switch-4.1-30B completou a tarefa mais rápido que o Jev-27B, um modelo concorrente da Typesafe.ai.
Outro exemplo divulgado pela IBM mostra um Granite Switch customizado de 3 bilhões de parâmetros jogando Doom, o clássico videogame de tiro em primeira pessoa. O modelo tomava de 60 a 100 decisões por segundo — contra as 10 decisões por segundo reportadas pelo Jev — e ainda conseguia narrar o que estava fazendo e responder perguntas ao mesmo tempo, segundo a empresa.
Os modelos Granite Switch 4.1 já vêm prontos para uso, mas a IBM também permite que qualquer pessoa monte a própria versão escolhendo adaptadores da Granite Libraries, uma biblioteca de componentes especializados que a empresa liberou anteriormente. A ideia é que times de desenvolvimento possam combinar adaptadores genéricos com outros feitos sob medida para tarefas específicas, ganhando precisão onde mais importa sem abrir mão da versatilidade. A empresa planeja lançar um SDK (kit de ferramentas para desenvolvedores) para treinar novos adaptadores e expandir o ecossistema.
