El instituto de IA de Emiratos lanza Falcon Perception, un modelo que entiende imágenes y texto
TII presenta un modelo de código abierto que procesa tanto lenguaje como imágenes, entrenado con datos públicos y disponible para descarga gratuita.
El Technology Innovation Institute de Abu Dabi (un centro de investigación público de Emiratos Árabes Unidos financiado por el gobierno) acaba de lanzar Falcon Perception, un modelo de inteligencia artificial capaz de procesar tanto texto como imágenes. Se trata de la primera versión multimodal (es decir, que trabaja con más de un tipo de datos a la vez) de la familia Falcon, que hasta ahora solo procesaba lenguaje escrito. El modelo está disponible para descarga gratuita en Hugging Face (una plataforma donde desarrolladores comparten modelos de IA ya entrenados) bajo una licencia Apache 2.0, lo que significa que empresas y particulares pueden usarlo sin restricciones.
Falcon Perception combina dos tecnologías: el modelo de lenguaje Falcon3-10B (un LLM, siglas de Large Language Model o modelo grande de lenguaje, que genera y entiende texto) y un codificador de imágenes basado en SigLIP (un sistema que convierte imágenes en representaciones numéricas que la IA puede entender). Ambos componentes se entrenan juntos para que el modelo aprenda a relacionar lo que ve en una imagen con lo que puede decir sobre ella en lenguaje natural. Según informó TII en su blog oficial, el entrenamiento se hizo íntegramente con datos públicos: dos millones de pares de imagen y texto, seleccionados a mano de conjuntos como LAION (una colección masiva de imágenes con descripciones extraídas de internet).
El instituto afirma que Falcon Perception supera a modelos similares de tamaño comparable en tareas como responder preguntas sobre el contenido de una imagen o describir lo que aparece en ella. Lo compararon con LLaVA-OneVision, Phi-3.5-Vision e InternVL2, todos ellos modelos multimodales de entre 7 y 10 mil millones de parámetros (los parámetros son los valores numéricos que el modelo ajusta durante el entrenamiento para aprender). TII no publicó aún un artículo técnico detallado, pero sí tablas de resultados en benchmarks estándar (pruebas estandarizadas que miden el rendimiento de modelos de IA) como VQAv2 o MMMU, donde Falcon Perception obtiene puntuaciones más altas.
Este lanzamiento refuerza la apuesta de Emiratos por convertirse en un actor relevante en IA de código abierto. TII ya había publicado versiones anteriores de Falcon, que en su momento destacaron por su rendimiento y por no tener restricciones de uso comercial. Ahora, con Falcon Perception, el instituto entra en competencia directa con iniciativas de Meta (LLaVA), Microsoft (Phi-Vision) y empresas chinas como ByteDance (InternVL), todas ellas centradas en modelos que combinan lenguaje e imagen. La disponibilidad de pesos abiertos (los archivos que contienen los parámetros del modelo ya entrenado, listos para ejecutarse) facilita que otros investigadores y empresas puedan adaptar Falcon Perception a casos de uso específicos, como asistentes visuales o análisis de contenido multimedia.
