IBM lanza Granite Switch 4.1, un modelo de IA que combina conversación, decisiones y transcripción de audio
Los nuevos modelos Granite Switch 4.1 pueden alternar entre responder preguntas, tomar decisiones clasificatorias y transcribir voz en tiempo real desde un solo servidor, ocupando la misma memoria GPU que un modelo convencional.
IBM presentó Granite Switch 4.1, modelos de IA de 8.000 y 30.000 millones de parámetros (números que determinan el comportamiento del modelo) que alternan entre conversación, decisiones clasificatorias y transcripción de voz desde un único servidor. Usan adaptadores ligeros llamados aLoRAs que añaden funciones sin aumentar la memoria GPU necesaria, y pueden completarse flujos de trabajo más rápido que competidores como Jev.
IBM ha presentado Granite Switch 4.1, una nueva generación de modelos de inteligencia artificial que permite ejecutar tres tareas distintas —conversación en lenguaje natural, toma de decisiones clasificatorias y transcripción de voz— desde un único punto de acceso y ocupando la misma cantidad de memoria de GPU (la unidad de procesamiento gráfico que ejecuta modelos de IA) que ocuparía un modelo normal de su tamaño. Según informó IBM en el blog de Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados), esto se logra mediante un sistema modular llamado Activated LoRAs o aLoRAs, que son adaptadores ligeros capaces de añadir funciones especializadas sin aumentar apenas los requisitos de hardware.
Los modelos Granite Switch 4.1 están disponibles en dos tamaños: 8.000 millones y 30.000 millones de parámetros (los números que determinan el comportamiento de un modelo de IA). Incluyen tres componentes principales: un adaptador de decisiones genéricas llamado Decision aLoRA, pensado para clasificar información y tomar decisiones sobre contenido; un adaptador especializado Guardian para detectar riesgos de seguridad, que según IBM supera a modelos de la competencia como Jev 1.13 o Microsoft-Decision-1 en estas tareas; y Granite-Speech-5.0-Turbo-CTC, el modelo de reconocimiento automático de voz (ASR, por sus siglas en inglés) más rápido del ranking OpenASR Leaderboard, integrado para transcribir audio a texto.
La clave técnica de Granite Switch es que estos adaptadores reutilizan la misma caché KV (una zona de memoria temporal donde el modelo almacena información del contexto de una conversación) que genera el modelo base. Esto significa que, tras responder una pregunta, el modelo puede tomar inmediatamente una decisión clasificatoria o transcribir un audio sin tener que volver a procesar todo el contexto desde cero. En pruebas comparativas, Granite Switch 4.1 de 30.000 millones de parámetros completó un flujo de trabajo real de cinco pasos basado en RAG (Retrieval-Augmented Generation, un sistema que combina búsqueda de información con generación de texto) más rápido que Jev-27B, un modelo competidor de decisiones. Además, una versión personalizada de 3.000 millones de parámetros logró tomar entre 60 y 100 decisiones por segundo jugando al videojuego Doom, frente a las 10 decisiones por segundo reportadas para Jev.
IBM no ofrece estos modelos como un producto cerrado, sino que permite a desarrolladores crear sus propias versiones de Granite Switch combinando adaptadores de su catálogo Granite Libraries, que incluye herramientas especializadas para tareas de clasificación. La compañía planea lanzar un SDK de Adaptadores (un kit de desarrollo de software) para facilitar el entrenamiento de nuevos adaptadores personalizados. Los modelos están disponibles desde hoy en Hugging Face, junto con una demostración interactiva que muestra cómo el sistema puede transcribir audio, generar resúmenes, detectar contenido perjudicial y evaluar más de quince señales de clasificación diferentes, todo en tiempo real desde un solo servidor.
