Elegir el modelo de IA adecuado es más difícil de lo que parece
IBM Research demuestra que los sistemas que deciden qué modelo usar en cada momento —una técnica clave para abaratar costes— pueden fallar de formas inesperadas si no se diseñan con cuidado.
Imagina que tienes varios modelos de inteligencia artificial a tu disposición: unos pequeños y rápidos, otros grandes y precisos. La idea es sencilla: para preguntas fáciles usas el modelo barato, y para las complejas recurres al caro. Eso es el «model routing» (enrutamiento de modelos, un sistema que decide automáticamente qué modelo usar en cada caso). Sobre el papel, ahorras dinero y tiempo sin sacrificar calidad. Pero un nuevo estudio de IBM Research, publicado en el blog de Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados), muestra que la realidad es bastante más complicada.
El equipo de IBM probó varios métodos de enrutamiento con una batería de tareas del mundo real: desde responder preguntas hasta generar código o resumir textos. El resultado: ningún sistema funcionó bien en todos los escenarios. Algunos métodos que parecían prometedores en tareas sencillas colapsaban cuando la pregunta era ambigua o requería razonamiento complejo. Otros enrutaban casi todas las consultas al modelo más grande —anulando cualquier ventaja de coste— o enviaban casos difíciles al modelo pequeño por error, empeorando la calidad de las respuestas.
¿Por qué falla algo aparentemente tan simple? Según los investigadores, el problema está en la «confianza» del modelo. Muchos sistemas de enrutamiento deciden basándose en qué tan seguro parece estar un modelo de su respuesta. Pero esa confianza es engañosa: un modelo puede estar muy seguro de una respuesta incorrecta, o dudar ante una pregunta que en realidad puede resolver sin problemas. Además, las métricas que se usan para evaluar estos sistemas (como precisión o coste promedio) no capturan fallos críticos, como enviar una pregunta médica importante a un modelo demasiado simple.
El estudio no ofrece una solución mágica, pero sí varias lecciones prácticas. Primero, que el enrutamiento debe evaluarse tarea por tarea: lo que funciona para resumir noticias puede ser un desastre en diagnóstico técnico. Segundo, que hace falta más transparencia: saber por qué un sistema eligió un modelo u otro, y qué margen de error tiene esa decisión. Y tercero, que los benchmarks actuales (pruebas estándar para medir el rendimiento de modelos) no están diseñados para capturar estos problemas, así que la industria necesita herramientas nuevas.
Para empresas que están desplegando sistemas de IA en producción, el mensaje es claro: el enrutamiento de modelos puede reducir costes, pero no es tan automático como venden algunos proveedores. Requiere ajuste manual, monitoreo constante y, sobre todo, aceptar que no existe un enfoque único que funcione para todo. Mientras tanto, IBM Research ha publicado su código y datos de forma abierta, para que otros equipos puedan replicar los experimentos y seguir buscando mejores métodos.
