Cómo habla la IA el árabe de los Emiratos (y por qué hasta ahora lo hacía fatal)
Un nuevo conjunto de pruebas revela que los modelos de lenguaje más avanzados apenas entienden el dialecto emiratí, uno de los más hablados en Oriente Medio.
Los modelos de lenguaje grandes (LLMs, sistemas de IA capaces de generar y comprender texto como ChatGPT o Claude) funcionan razonablemente bien en árabe clásico, el que se usa en prensa y documentos oficiales. Pero cuando se trata de dialectos reales —las formas de árabe que la gente habla en la calle— la cosa cambia. Según un nuevo estudio publicado por el Technology Innovation Institute de los Emiratos Árabes Unidos en colaboración con Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados), incluso los modelos más potentes suspenden estrepitosamente cuando intentan entender el dialecto emiratí.
El equipo creó Alyah, un conjunto de pruebas diseñado específicamente para medir qué tan bien entienden los LLMs el árabe hablado en los Emiratos. Probaron 19 modelos diferentes —desde GPT-4o de OpenAI hasta Llama de Meta, pasando por modelos más pequeños como Qwen y Gemma— en tareas que van desde comprensión lectora hasta razonamiento o clasificación de sentimientos. Los resultados fueron contundentes: el mejor modelo apenas alcanzó un 64% de acierto, y la mayoría se quedó muy por debajo. Para contextualizar, estos mismos sistemas logran tasas de acierto superiores al 90% en inglés o árabe estándar.
El problema no es menor. El dialecto emiratí lo hablan millones de personas en una región económicamente estratégica, y la incapacidad de los sistemas de IA para entenderlo limita su utilidad en aplicaciones prácticas: desde asistentes virtuales en servicios públicos hasta herramientas educativas o de atención al cliente. Además, expone una brecha lingüística más amplia: la mayoría de dialectos árabes —egipcio, levantino, marroquí— están igualmente subrepresentados en los datos con los que se entrenan estos modelos.
Alyah incluye más de 8.700 preguntas divididas en nueve categorías, desde comprensión de texto hasta razonamiento matemático o conocimiento cultural específico de los Emiratos. Lo interesante es que las preguntas están formuladas tal como hablaría un emiratí, no en árabe formal. Eso complica enormemente la tarea para modelos que han sido entrenados mayoritariamente con texto en inglés y, en el mejor de los casos, con árabe literario extraído de Wikipedia o libros.
El equipo detrás del proyecto señala que estos resultados son un punto de partida, no una conclusión. Planean expandir el conjunto de pruebas y trabajar en modelos específicamente entrenados para dialectos árabes. Mientras tanto, Alyah está disponible públicamente en Hugging Face para que otros investigadores puedan replicar los tests o entrenar sus propios modelos. La idea es presionar a la industria para que preste atención a lenguas y dialectos que, hasta ahora, han sido tratados como casos marginales.
