Falcon-Edge: modelos de lenguaje de 1,58 bits que caben en un móvil
La empresa emiratí TII presenta una familia de modelos de inteligencia artificial ultracomprimidos que pueden ejecutarse en teléfonos y dispositivos pequeños sin apenas perder precisión frente a versiones convencionales.
Falcon-Edge es una familia de tres modelos de lenguaje (programas de IA que entienden y generan texto) desarrollados por el Instituto de Innovación Tecnológica de Emiratos Árabes. Utilizan cuantización extrema (compresión de datos) a 1,58 bits por parámetro, lo que permite ejecutarlos en móviles y dispositivos pequeños sin internet, ocupando diez veces menos memoria que modelos convencionales.
El Instituto de Innovación Tecnológica de Abu Dabi (TII, una organización de investigación financiada por el gobierno de Emiratos Árabes Unidos) ha publicado Falcon-Edge, una serie de modelos de lenguaje (programas de IA capaces de entender y generar texto) diseñados para funcionar en dispositivos con recursos limitados como teléfonos móviles, ordenadores portátiles básicos o microcontroladores (chips pequeños que controlan electrodomésticos y otros aparatos). La novedad radica en que estos modelos utilizan una técnica llamada cuantización extrema (un método para reducir drásticamente el tamaño de un modelo de IA) que comprime cada parámetro (los valores numéricos que definen el comportamiento del modelo) a apenas 1,58 bits de información, frente a los 16 o 32 bits habituales.
Falcon-Edge está disponible en tres tamaños: 500 millones, 1.500 millones y 3.000 millones de parámetros. Según los tests publicados por TII, el modelo más grande alcanza un 95% de la precisión de su equivalente sin comprimir en tareas estándar de comprensión de texto, pese a ocupar hasta diez veces menos espacio en memoria. Esto permite que un modelo de 3.000 millones de parámetros quepa en menos de 2 gigabytes, haciendo posible ejecutarlo en un teléfono moderno sin necesidad de conexión a internet ni de enviar datos a servidores externos.
Los tres modelos están publicados bajo licencia Apache 2.0 (una licencia de software libre que permite su uso comercial sin restricciones) en Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados). TII también ha publicado el código y las instrucciones necesarias para que otros equipos puedan ajustar estos modelos a sus propias tareas mediante fine-tuning (un proceso que consiste en reentrenar parcialmente un modelo ya existente con datos específicos para una aplicación concreta), algo poco habitual en modelos tan comprimidos.
La técnica de cuantización a 1,58 bits que emplea Falcon-Edge convierte los pesos del modelo (los valores numéricos que determinan cómo procesa la información) en valores ternarios: -1, 0 o 1. Este enfoque, aunque no es completamente nuevo, rara vez se había aplicado con éxito a modelos de lenguaje de uso general por el riesgo de perder capacidad de razonamiento. TII afirma haber conseguido mantener el rendimiento gracias a un proceso de entrenamiento cuidadoso y a la elección de arquitecturas de red neuronal (la estructura matemática que organiza las operaciones del modelo) especialmente compatibles con esta forma de compresión.
El lanzamiento de Falcon-Edge se enmarca en una tendencia más amplia hacia modelos de IA que puedan funcionar localmente en dispositivos del usuario final, sin depender de la nube (servidores remotos a los que se envían los datos para su procesamiento). Esta estrategia cobra importancia en sectores como sanidad, industria o defensa, donde la privacidad de los datos y la latencia (el retardo en obtener una respuesta) son factores críticos. Empresas como Apple, Qualcomm y MediaTek están desarrollando chips especializados para ejecutar modelos comprimidos de forma eficiente, y varios fabricantes de móviles han anunciado planes para integrar IA generativa local en sus dispositivos de gama media.
