IBM lança modelo de código aberto para busca em 40 idiomas que roda em computadores comuns
O Granite Embedding Multilingual R2 é um modelo pequeno e gratuito que transforma textos em vetores para buscas inteligentes — e funciona até em português.
A IBM lançou o Granite Embedding Multilingual R2, um modelo de inteligência artificial de código aberto (licença Apache 2.0, que permite uso comercial sem restrições) voltado para transformar textos em embeddings — representações numéricas que permitem que sistemas de IA comparem e busquem documentos por significado, não apenas por palavras-chave. Segundo a empresa, o modelo suporta 40 idiomas, incluindo português, e aceita textos de até 32 mil caracteres de uma vez (o equivalente a cerca de 15 páginas), informou a Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) em seu blog oficial.
Com apenas 85 milhões de parâmetros (os valores ajustáveis que definem o comportamento de um modelo de IA), o Granite Embedding é pequeno o suficiente para rodar em notebooks comuns ou servidores modestos, sem necessidade de GPUs (chips especializados em processar muitos cálculos em paralelo) de última geração. Apesar do tamanho compacto, a IBM afirma que ele supera em qualidade de busca todos os outros modelos abertos com menos de 100 milhões de parâmetros, em testes como o MTEB (Massive Text Embedding Benchmark, um conjunto de tarefas que mede a eficácia de embeddings em diferentes línguas e contextos).
O modelo foi treinado em três fases: primeiro com dados multilíngues gerais, depois com dados específicos de busca e recuperação de informação (um processo chamado fine-tuning, que ajusta o modelo para tarefas específicas) e, por fim, com uma técnica chamada destilação de conhecimento, na qual um modelo maior e mais lento (no caso, o Granite Embedding 125M) ensina um modelo menor a replicar suas respostas. Esse método permite que o modelo final seja ao mesmo tempo compacto e preciso.
A IBM destacou que o Granite Embedding Multilingual R2 é ideal para aplicações de RAG (Retrieval-Augmented Generation, uma técnica que combina busca em documentos com geração de texto por IA) e para empresas que precisam indexar e pesquisar grandes volumes de texto em vários idiomas sem depender de serviços pagos em nuvem. O modelo está disponível para download gratuito na Hugging Face e pode ser usado para fins comerciais sem custos de licença.
