IBM libera un modelo de embeddings multilingüe que funciona en español mejor que alternativas más grandes
Granite Embedding Multilingual R2 es gratuito, se puede usar comercialmente y procesa textos de hasta 32.000 palabras.
IBM ha publicado Granite Embedding Multilingual R2, un modelo de embeddings (representaciones numéricas de texto que permiten a las máquinas entender el significado de las palabras) que funciona en 110 idiomas, incluido el español. Según informó Hugging Face en su blog oficial, este modelo de apenas 85 millones de parámetros (el tamaño del modelo, que suele determinar su capacidad) supera en calidad de recuperación de información a alternativas multilingües más grandes, y está disponible bajo licencia Apache 2.0 (una licencia que permite su uso comercial sin restricciones).
El modelo destaca por su capacidad de procesar textos de hasta 32.768 tokens (unidades de texto que equivalen aproximadamente a palabras o fragmentos de palabras), lo que permite analizar documentos completos sin necesidad de dividirlos. Esta característica es especialmente útil para sistemas de RAG (Retrieval-Augmented Generation, una técnica que permite a los asistentes de IA buscar información en documentos antes de generar una respuesta), donde la calidad de la búsqueda determina la precisión de las respuestas.
En las pruebas de rendimiento realizadas con el benchmark MTEB (Massive Text Embedding Benchmark, una herramienta estándar para medir la calidad de los embeddings), Granite Embedding Multilingual R2 obtuvo mejores resultados en tareas de recuperación multilingüe que modelos con hasta 278 millones de parámetros. IBM entrenó el modelo con datos de 110 idiomas y lo optimizó específicamente para búsqueda semántica (encontrar documentos por significado, no solo por palabras exactas), lo que explica su eficacia en aplicaciones empresariales.
El modelo también funciona bien en inglés: en el ranking de MTEB para modelos disponibles en Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados), ocupa el puesto 14 entre todos los modelos de embeddings, y el primero entre los que tienen menos de 100 millones de parámetros. Esto significa que puede ejecutarse en hardware más modesto que alternativas como los modelos de OpenAI o Cohere, sin sacrificar demasiada calidad.
IBM recomienda usar este modelo con técnicas como Matryoshka (un método que permite reducir el tamaño de los embeddings sin perder mucha precisión) para optimizar el rendimiento en aplicaciones reales. El código y los pesos del modelo están disponibles públicamente en Hugging Face, lo que permite a cualquier empresa integrarlo en sus sistemas de búsqueda o asistentes virtuales sin depender de servicios de pago.
