Novo benchmark testa se modelos de IA entendem o dialeto dos Emirados Árabes
Pesquisadores criam Alyah, conjunto de testes que avalia se grandes modelos de linguagem conseguem lidar com o árabe falado nos Emirados — e a maioria falha.
Pesquisadores do Technology Innovation Institute (um centro de pesquisa financiado pelo governo dos Emirados Árabes Unidos) lançaram o Alyah, um conjunto de testes criado para medir se grandes modelos de linguagem (LLMs, os sistemas de IA por trás de assistentes como ChatGPT) conseguem entender e processar o dialeto árabe falado nos Emirados. Segundo informou a equipe no blog da Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados), a maioria dos modelos disponíveis hoje tem desempenho muito ruim nesse dialeto específico, mesmo aqueles treinados especificamente para árabe.
O árabe não é uma língua única — existem dezenas de dialetos regionais, alguns tão diferentes entre si que falantes de países distintos têm dificuldade para se entender. O Alyah foca no árabe emiradense, que mistura características do árabe padrão com influências locais e palavras de outras línguas. O benchmark (termo em inglês para "conjunto de testes padronizados") avalia habilidades como classificação de sentimentos, reconhecimento de entidades nomeadas (identificar nomes de pessoas, lugares e organizações em textos) e compreensão de linguagem natural.
Nos testes, até modelos especializados em árabe, como o Jais (desenvolvido também pelo Technology Innovation Institute) e versões ajustadas de modelos populares como LLaMA e Qwen, tiveram dificuldades. O desempenho foi especialmente fraco em tarefas que exigem entender nuances culturais ou expressões coloquiais do dialeto. A principal razão é simples: esses modelos são treinados majoritariamente com textos em árabe padrão moderno (a língua formal usada em jornais e documentos oficiais) ou com dialetos mais comuns, como o egípcio, que aparece muito mais na internet.
A criação do Alyah faz parte de um esforço maior para tornar a inteligência artificial mais inclusiva linguisticamente. Hoje, a maior parte dos recursos de treinamento e avaliação de LLMs está concentrada em inglês e em algumas poucas línguas globais. Dialetos regionais, mesmo de línguas amplamente faladas, costumam ser ignorados — o que significa que centenas de milhões de pessoas não conseguem usar assistentes de IA de forma eficaz em sua própria língua. Os pesquisadores disponibilizaram o dataset (conjunto de dados) e os códigos de avaliação publicamente, na esperança de que outros desenvolvedores usem o Alyah para treinar e testar modelos mais robustos para o árabe emiradense.
