Google DeepMind prueba evaluaciones a ciegas para medir modelos de IA sin sesgos
La división de inteligencia artificial de Google ha desarrollado un sistema de evaluación donde ni los examinadores humanos ni los modelos saben cuál está siendo juzgado, buscando resultados más objetivos sobre sus capacidades reales.
Google DeepMind ha desarrollado un sistema de evaluación donde los examinadores humanos no saben qué modelo de IA están probando y los propios modelos no detectan que están siendo examinados. El objetivo es eliminar sesgos que distorsionan las comparaciones entre sistemas de inteligencia artificial y obtener mediciones más cercanas a su rendimiento real.
Google DeepMind (la división de investigación en inteligencia artificial de Google) ha puesto en marcha las primeras evaluaciones doble ciego del mundo para modelos de lenguaje, según informó la compañía en su blog oficial. El método funciona igual que los ensayos clínicos médicos: ni los evaluadores humanos saben qué modelo están probando, ni los sistemas de IA conocen que están siendo examinados, eliminando así sesgos que pueden inflar o distorsionar los resultados.
El problema que intenta resolver DeepMind es conocido en el sector: cuando los desarrolladores saben qué modelo están evaluando, tienden inconscientemente a juzgarlo mejor o peor según su reputación previa. Y cuando un modelo de lenguaje detecta que está siendo evaluado (por ejemplo, al reconocer patrones típicos de preguntas de test), puede ajustar sus respuestas de forma que no reflejan su comportamiento real en uso cotidiano. Ambos factores hacen que las comparaciones entre modelos sean menos fiables de lo deseable.
En el piloto realizado por DeepMind, los evaluadores recibieron respuestas generadas por distintos LLM (modelos de lenguaje de gran tamaño, sistemas de IA entrenados con enormes cantidades de texto para entender y generar lenguaje humano) sin saber cuál había producido cada texto. Las preguntas y tareas también se diseñaron para que los modelos no pudieran identificar que estaban en un examen formal. Los resultados preliminares muestran diferencias significativas respecto a evaluaciones tradicionales, aunque la compañía no ha publicado todavía cifras concretas.
La técnica podría convertirse en un estándar de la industria si otros laboratorios la adoptan. Actualmente, la mayoría de evaluaciones públicas de modelos de IA (conocidas como benchmarks, pruebas estandarizadas que miden capacidades específicas como razonamiento matemático o comprensión lectora) se realizan de forma abierta, lo que permite a las empresas optimizar sus sistemas específicamente para obtener buenas puntuaciones en esos tests, un fenómeno similar al teaching to the test en educación. Las evaluaciones a doble ciego dificultarían ese tipo de optimización y ofrecerían una imagen más realista de lo que cada modelo puede hacer en situaciones prácticas.
DeepMind planea expandir el programa en los próximos meses e invitar a evaluadores externos independientes, aunque no ha especificado si hará públicos los protocolos completos para que otros puedan replicarlos. La iniciativa llega en un momento en que reguladores de distintos países piden métodos más rigurosos para medir riesgos y capacidades de sistemas de IA cada vez más potentes.
