Un modelo de IA que habla árabe emiratí como un local
Falcon-Emirati-7B entiende el dialecto, la poesía y los proverbios de los Emiratos Árabes Unidos, algo que los modelos genéricos de árabe no consiguen aunque traduzcan cada palabra correctamente
El Technology Innovation Institute de Abu Dabi lanzó Falcon-Emirati-7B, un modelo de lenguaje de 7.000 millones de parámetros (valores ajustables que determinan cómo procesa texto) especializado en árabe emiratí. A diferencia de modelos genéricos de árabe que solo dominan el árabe estándar, este entiende el dialecto del Golfo, los proverbios locales y la poesía nabati gracias a entrenamiento específico con datos auténticos, culturales y sintéticos del dialecto.
El árabe que se estudia en los libros de texto (el árabe estándar moderno o MSA por sus siglas en inglés) no es el árabe con el que la gente habla en su día a día. En los Emiratos Árabes Unidos, las conversaciones reales, el humor, las negociaciones y las historias cotidianas suceden en árabe emiratí, un dialecto del Golfo con su propio vocabulario, su propio ritmo y una cultura que va pegada a cada frase. La poesía emiratí —especialmente la poesía nabati (un género tradicional de poesía oral en dialectos árabes del Golfo)— los proverbios y las anécdotas cortas tienen significados que no sobreviven a una traducción literal palabra por palabra. Un modelo de inteligencia artificial que solo conoce el árabe estándar puede traducir cada palabra de una frase emiratí y aun así perderse completamente lo que significa de verdad.
Ese hueco es el que Falcon-Emirati-7B está diseñado para cerrar, según informó el Technology Innovation Institute (TII, un instituto de investigación tecnológica de Abu Dabi) en su blog oficial en Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados). Se trata de un modelo especializado en dialecto, construido sobre Falcon-H1-Arabic, pensado para entender y generar árabe emiratí como lo haría un hablante nativo: el vocabulario, el tono y el contexto cultural que hay detrás.
El equipo de TII no partió de cero. Falcon-Emirati-7B está construido sobre Falcon-H1-Arabic, una familia de modelos de árabe que ya estableció nuevos récords de calidad para el idioma a principios de este año. Esa familia usa una arquitectura híbrida que combina modelos de espacio de estados (Mamba, un tipo de arquitectura de IA que procesa texto de forma más eficiente que los transformers tradicionales) y mecanismos de atención tipo Transformer (la arquitectura que está detrás de modelos como GPT y que permite capturar relaciones complejas entre palabras distantes en un texto) trabajando en paralelo dentro de cada bloque del modelo. Esa combinación le da la eficiencia de Mamba para secuencias largas y la precisión de la atención para dependencias a larga distancia, algo que importa en un idioma morfológicamente rico como el árabe. El modelo ya estaba entrenado en una mezcla amplia de árabe estándar y dialectal (del Golfo, levantino, egipcio, magrebí) junto con inglés y datos multilingües. Falcon-Emirati-7B toma esa base y la empuja específicamente hacia el dialecto emiratí: el vocabulario, la gramática y el conocimiento cultural que un modelo árabe general, por capaz que sea, no capta por sí solo.
Adaptar un modelo de árabe general a un dialecto específico es más difícil de lo que parece. El emiratí es sobre todo un dialecto hablado, aparece mucho menos en texto escrito online que el árabe estándar o incluso otros dialectos del Golfo y Levante, así que hay menos material del que aprender. Además, el significado a menudo no es literal: los modismos, proverbios y referencias poéticas se apoyan en un contexto cultural compartido, no en el vocabulario superficial. Y no hay una receta establecida sobre cuántos datos dialectales son suficientes, cómo mezclarlos con árabe estándar, o en qué etapa del entrenamiento (preentrenamiento continuo, ajuste supervisado o fine-tuning, es decir, reentrenar un modelo ya existente con datos nuevos más específicos, u optimización de preferencias) importa más para que un modelo capte un dialecto.
El equipo construyó un pipeline de datos emiratíes dedicado con tres fuentes complementarias: contenido auténtico en dialecto emiratí rastreado de sitios web y foros emiratíes, material en árabe estándar sobre cultura e identidad emiratí (artículos sobre costumbres locales, valores, historia y normas sociales), y datos sintéticos generados con restricciones estrictas usando glosarios y diccionarios construidos específicamente para vocabulario y gramática emiratí. Esas barreras marcaron la diferencia entre texto sintético que suena auténticamente emiratí y texto que está gramaticalmente bien pero suena raro para quien habla el dialecto de verdad. El proceso de entrenamiento fue experimental: probaron cuántos datos dialectales inyectar y en qué etapa, cómo balancear datos auténticos contra sintéticos sin que el modelo se sobreajustara a patrones sintéticos, y cuánto contexto cultural en árabe estándar era necesario.
Los resultados se midieron con dos enfoques complementarios: revisión manual por hablantes nativos emiratíes que juzgaban no solo si una respuesta era correcta sino si sonaba bien (naturalidad, tono, pertinencia cultural), y evaluación automática en Alyah (un benchmark o conjunto de pruebas estandarizadas que el TII lanzó específicamente para evaluar capacidad dialectal emiratí en LLMs o modelos de lenguaje grandes). Alyah es un benchmark de opción múltiple con 1.173 muestras recogidas manualmente de hablantes nativos emiratíes, que cubre categorías desde saludos cotidianos y etiqueta hasta lenguaje figurado, conocimiento sobre patrimonio y poesía emiratí. Falcon-Emirati-7B consiguió un 84,83 por ciento de precisión en Alyah, por delante de todos los demás modelos árabes y multilingües con los que lo compararon, incluidos varios modelos muchas veces más grandes que él.
