Hugging Face lança ranking de IA para medir qualidade de modelos em árabe
Plataforma criou três novos testes públicos para avaliar como modelos de linguagem entendem e geram texto em árabe, idioma falado por mais de 400 milhões de pessoas
A Hugging Face criou três rankings públicos para medir o desempenho de modelos de linguagem (LLMs, como GPT ou Llama) em árabe. Os testes avaliam capacidade de seguir instruções, qualidade do texto gerado e adequação cultural. A iniciativa busca reduzir a desigualdade entre inglês e outros idiomas no desenvolvimento de IA.
A Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) lançou três novos rankings públicos para avaliar o desempenho de modelos de linguagem em árabe. A iniciativa preenche uma lacuna importante: até agora, a maioria dos testes de qualidade de IA se concentrava em inglês, deixando de fora idiomas falados por centenas de milhões de pessoas. Os novos rankings medem desde a capacidade de seguir instruções complexas até a geração criativa de texto, segundo informou a empresa em seu blog oficial.
O primeiro ranking, chamado Arabic IFEval, avalia se um modelo consegue seguir comandos em árabe com precisão — por exemplo, escrever um e-mail formal com exatamente três parágrafos ou listar cinco cidades começando com a letra 'ب'. Esse tipo de teste é importante porque mede se a IA realmente entende o que foi pedido, e não apenas gera texto genérico. A Hugging Face também atualizou o AraGen, um teste que mede a qualidade e a fluência do árabe produzido pelos modelos, e criou o 3C3H, que avalia se as respostas são culturalmente adequadas para falantes de árabe.
Os três rankings já estão públicos e qualquer pessoa pode submeter modelos para teste. A ideia é que desenvolvedores e empresas possam comparar diferentes LLMs (modelos de linguagem grande, como o GPT ou o Llama, que processam e geram texto) e escolher aqueles que funcionam melhor em árabe. Até agora, modelos voltados especificamente para o árabe, como o Jais e o AceGPT, têm se destacado nos testes, mas versões multilíngues de modelos conhecidos, como o Qwen (criado pela chinesa Alibaba) e o Gemma (do Google), também aparecem bem posicionadas.
A iniciativa é relevante porque, apesar de o árabe ser uma das línguas mais faladas do mundo — com mais de 400 milhões de falantes nativos —, ele tem sido historicamente negligenciado no desenvolvimento de IA. Modelos treinados principalmente em inglês costumam ter desempenho fraco em árabe, tanto na compreensão quanto na geração de texto. Com rankings públicos e padronizados, a expectativa é que mais desenvolvedores invistam em melhorias específicas para o idioma, ampliando o acesso a ferramentas de IA de qualidade para comunidades arabófonas.
