Falcon-Arabic, o novo modelo de IA que entende árabe como nenhum outro
A Technology Innovation Institute dos Emirados Árabes lançou o Falcon-Arabic, uma família de modelos de linguagem treinada especialmente para árabe e que superou concorrentes como GPT-4 em testes de compreensão da língua.
A Technology Innovation Institute dos Emirados Árabes lançou o Falcon-Arabic, uma família de modelos de linguagem (programas de IA que entendem e geram texto) treinados especialmente para árabe. Disponíveis em três tamanhos e com pesos abertos (qualquer um pode baixar e usar de graça), eles superaram o GPT-4 da OpenAI em testes de compreensão e raciocínio na língua árabe.
A Technology Innovation Institute (TII, um centro de pesquisa dos Emirados Árabes Unidos) lançou o Falcon-Arabic, uma nova família de modelos de linguagem (programas de inteligência artificial treinados para entender e gerar texto) focada exclusivamente no árabe. Segundo informou a Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados), os modelos estão disponíveis em três tamanhos — 1 bilhão, 7 bilhões e 13 bilhões de parâmetros (os números que definem o conhecimento de um modelo) — e todos têm pesos abertos (ou seja, qualquer pessoa pode baixar, modificar e usar sem pagar licenças).
O grande diferencial está no treinamento: a TII reuniu 1,4 trilhão de tokens (pedaços de texto usados para ensinar modelos de IA) em árabe, vindos de fontes como redes sociais, notícias, livros e sites da região. Esse volume é muito maior do que o usado em modelos multilíngues tradicionais, que costumam dedicar apenas uma fração pequena de seus dados ao árabe. O resultado é que o Falcon-Arabic entende melhor dialetos regionais, contexto cultural e nuances da língua.
Em testes de benchmark (conjuntos padronizados de perguntas usados para comparar modelos), o Falcon-Arabic de 13 bilhões de parâmetros superou o GPT-4 da OpenAI em tarefas como compreensão de leitura e raciocínio em árabe. Ele também foi melhor do que o LLaMA 3 da Meta (outro modelo de pesos abertos) e do que versões anteriores da própria família Falcon. A TII afirma que isso mostra como treinar modelos desde o início em uma língua específica pode render melhores resultados do que simplesmente ajustar modelos multilíngues depois.
O Falcon-Arabic foi liberado sob a licença Apache 2.0, o que significa que empresas, universidades e governos podem usá-lo sem pagar royalties — inclusive para fins comerciais. A TII espera que o modelo seja útil especialmente no Oriente Médio e Norte da África, onde há demanda crescente por assistentes virtuais, ferramentas de educação e sistemas de atendimento ao cliente que funcionem bem em árabe. Todos os três tamanhos já estão disponíveis para download na Hugging Face.
