Google DeepMind lanza T5Gemma, una familia de modelos de IA con arquitectura codificador-decodificador
La nueva colección T5Gemma recupera un diseño clásico que destaca en tareas como traducción y resumen, ofreciendo una alternativa a los modelos que solo generan texto de forma secuencial
T5Gemma es una nueva familia de modelos de lenguaje de Google DeepMind que usa arquitectura codificador-decodificador (un diseño en dos partes para procesar y generar texto). Se especializa en tareas como traducción y resumen, a diferencia de los LLM generativos tradicionales, y está disponible en varios tamaños para distintas necesidades de cálculo.
Google DeepMind ha presentado T5Gemma, una nueva familia de modelos de lenguaje basada en la arquitectura codificador-decodificador (un diseño en dos partes: una lee y procesa el texto de entrada, la otra genera la respuesta). Según informó la compañía en su blog oficial, estos modelos forman parte de la línea Gemma, la versión de código abierto de los desarrollos de Google en inteligencia artificial.
La particularidad de T5Gemma es su vuelta a un enfoque que dominó la investigación en procesamiento de lenguaje natural antes de que triunfaran los LLM puramente generativos (modelos de lenguaje grande que producen texto palabra por palabra, como GPT). Los modelos codificador-decodificador destacan especialmente en tareas donde hay que transformar un texto de entrada en uno de salida con características distintas: traducción automática, resumen de documentos largos, simplificación de textos técnicos o respuesta a preguntas basándose en un contexto dado.
Google DeepMind explica que T5Gemma está pensado para desarrolladores e investigadores que necesitan un modelo ligero y eficiente para aplicaciones específicas, no para conversaciones abiertas. La colección incluye varios tamaños de modelo (medidos en parámetros, que son los valores ajustables que determinan cómo responde el modelo), lo que permite elegir entre versiones más precisas pero que requieren más potencia de cálculo, o versiones más rápidas y económicas para ejecutar en dispositivos modestos.
A diferencia de los modelos Gemma anteriores, centrados en la generación de texto libre, T5Gemma recupera la filosofía del T5 original (un modelo influyente de Google publicado en 2019) que trataba todas las tareas de lenguaje como problemas de traducción: el modelo recibe un texto de entrada con instrucciones claras y genera un texto de salida ajustado a esas instrucciones. Este diseño permite mayor control sobre el resultado y reduce la tendencia del modelo a inventar información o divagar.
Los modelos están disponibles para descarga en Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) y Kaggle (una comunidad de ciencia de datos que también distribuye recursos de inteligencia artificial). Google ofrece además cuadernos de código de ejemplo para facilitar su uso en tareas como resumen de artículos científicos o traducción multilingüe.
