Hugging Face lança ranking renovado de modelos de IA em árabe

A Hugging Face (plataforma onde desenvolvedores compartilham e testam modelos de inteligência artificial) anunciou a segunda versão do Open Arabic LLM Leaderboard, um ranking que classifica modelos de linguagem de IA pela capacidade de entender e produzir texto em árabe. A atualização traz testes mais exigentes e reflete melhor o desempenho real dos modelos nesse idioma, falado por centenas de milhões de pessoas no Oriente Médio e Norte da África.

A nova tabela substitui benchmarks (conjuntos de testes padronizados usados para medir desempenho) antigos por avaliações mais difíceis de "burlar". Modelos anteriores conseguiam pontuações altas simplesmente memorizando respostas de testes vazados na internet — um problema conhecido como contaminação de dados. Agora, o leaderboard usa tarefas que exigem raciocínio mais profundo e conhecimento cultural específico do mundo árabe, segundo informou a Hugging Face em seu blog oficial.

O árabe apresenta desafios únicos para modelos de IA: possui variações dialetais enormes entre países, uma gramática complexa e escreve-se da direita para a esquerda. Muitos LLMs (modelos de linguagem de grande escala, como o ChatGPT) são treinados majoritariamente em inglês, o que limita sua utilidade em outras línguas. Rankings como este ajudam a identificar quais modelos realmente funcionam bem em árabe, orientando desenvolvedores e empresas da região.

A iniciativa faz parte de um esforço maior para democratizar o acesso a ferramentas de IA em idiomas além do inglês. A Hugging Face mantém leaderboards semelhantes para outras línguas e permite que qualquer pessoa envie modelos de pesos abertos (modelos cujos parâmetros internos podem ser baixados e modificados livremente) para avaliação gratuita. A plataforma não informou quantos modelos estão atualmente no ranking árabe renovado.