Novos testes medem pela primeira vez a real qualidade de modelos de IA em árabe
Instituto de IA de Abu Dhabi cria ranking que avalia quanto LLMs entendem de fato a língua árabe, não só palavras isoladas.
O Technology Innovation Institute (um centro de pesquisa de Abu Dhabi, nos Emirados Árabes) lançou o QIMMA, um novo sistema de classificação para medir o desempenho de modelos de linguagem em árabe. A iniciativa surge porque os rankings existentes — criados para inglês — não conseguem capturar as particularidades da língua árabe, que possui estrutura gramatical, dialetos regionais e nuances culturais muito diferentes das línguas latinas.
O ranking funciona de forma inédita: em vez de apenas testar se o modelo reconhece palavras ou traduz frases, o QIMMA aplica provas que avaliam compreensão profunda — interpretação de textos clássicos, raciocínio lógico em contextos culturais árabes e até conhecimento de história e literatura regional. Segundo informou o Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados), os testes foram desenhados por falantes nativos e especialistas em linguística árabe.
Os primeiros resultados mostram que muitos LLMs (sigla em inglês para large language models, ou modelos de linguagem de grande porte — sistemas de IA capazes de gerar e entender texto) populares têm desempenho bem abaixo do esperado quando testados em árabe, mesmo aqueles que afirmam suportar a língua. Modelos que se saem bem em inglês frequentemente falham em entender expressões idiomáticas árabes, contextos religiosos ou referências culturais específicas da região.
O ranking é público e está disponível no Hugging Face. A iniciativa deve pressionar empresas de tecnologia a investir mais em treinamento específico para árabe — uma língua falada por mais de 400 milhões de pessoas no mundo, mas historicamente negligenciada no desenvolvimento de IA. O próximo passo, segundo os pesquisadores, é expandir os testes para incluir dialetos regionais, como o egípcio e o levantino.
