Emirados Árabes lançam Falcon-H1-Arabic, modelo de IA híbrido feito para entender árabe
Desenvolvido pelo instituto TII, o modelo combina duas arquiteturas diferentes e promete superar concorrentes em tarefas complexas no idioma.
O Technology Innovation Institute (um centro de pesquisa dos Emirados Árabes Unidos focado em inteligência artificial) anunciou o Falcon-H1-Arabic, um modelo de linguagem de grande escala (LLM, sigla em inglês para os sistemas de IA que entendem e geram texto) projetado especificamente para o árabe. A novidade está na arquitetura: o modelo combina dois tipos de estrutura interna — uma chamada Mamba-2 e outra conhecida como Sliding Window Attention — para processar texto de forma mais eficiente que os modelos tradicionais baseados apenas em atenção (a técnica usada por sistemas como o ChatGPT).
Segundo a equipe do TII, essa abordagem híbrida permite ao Falcon-H1-Arabic lidar melhor com textos longos e tarefas que exigem raciocínio em várias etapas, como resolver problemas de matemática ou responder perguntas complexas em árabe. O modelo tem 11 bilhões de parâmetros (os valores ajustáveis que definem o comportamento de um LLM) e foi treinado com mais de 2 trilhões de tokens (fragmentos de texto usados para ensinar o sistema) em árabe e inglês.
Em testes públicos, o Falcon-H1-Arabic superou outros modelos de código aberto (ou seja, disponíveis gratuitamente para desenvolvedores modificarem e usarem) do mesmo tamanho em benchmarks voltados para o árabe, como o ArabicMMLU (um conjunto de perguntas de múltipla escolha que avalia conhecimento geral) e o ACVA (outro teste de compreensão). O modelo também se saiu bem em tarefas de raciocínio matemático, área em que LLMs costumam ter dificuldade.
O TII disponibilizou o Falcon-H1-Arabic no Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) sob uma licença Apache 2.0, que permite uso comercial sem restrições. A organização também publicou detalhes técnicos sobre o treinamento, incluindo o uso de técnicas como DPO (um método de ajuste fino que reforça respostas preferidas pelos usuários) para melhorar a qualidade das respostas. O lançamento marca um esforço regional para reduzir a dependência de modelos desenvolvidos nos Estados Unidos e na China, que historicamente têm desempenho inferior em idiomas como o árabe.
