Los modelos de IA no logran juzgar de forma fiable si una idea científica es novedosa
Un estudio del Instituto Allen de Inteligencia Artificial muestra que cambiar unas pocas palabras en las instrucciones a un modelo puede alterar su veredicto sobre la originalidad de una investigación en más de 50 puntos porcentuales
El Instituto Allen de Inteligencia Artificial ha demostrado que los modelos de lenguaje (sistemas de IA como ChatGPT o Claude que generan y entienden texto) no son fiables para evaluar si una idea científica es original. Cambiar unas palabras en las instrucciones puede alterar su veredicto en más de 50 puntos porcentuales, y no hay forma de preguntarles que funcione bien para todos.
El Instituto Allen de Inteligencia Artificial (Ai2, una organización estadounidense de investigación sin ánimo de lucro) acaba de publicar un estudio que cuestiona uno de los pilares del futuro de la ciencia automatizada: la capacidad de los modelos de lenguaje (sistemas de inteligencia artificial como ChatGPT o Claude que entienden y generan texto) para evaluar si una idea de investigación es realmente nueva. Según sus resultados, los llamados «jueces de novedad» —sistemas de IA que evalúan si una propuesta científica aporta algo original o simplemente repite trabajos anteriores— son extremadamente inestables y pueden cambiar radicalmente de opinión ante modificaciones mínimas en cómo se les pregunta.
Para probarlo, los investigadores crearon un benchmark (conjunto de pruebas estandarizadas) a partir de 299 ideas de investigación enviadas a ICLR 2026, una conferencia internacional de aprendizaje automático. En lugar de basarse en si un artículo fue aceptado o rechazado, analizaron las reseñas de los evaluadores humanos para identificar trabajos en los que hubo consenso explícito sobre su novedad —o su falta de ella—. Después, añadieron un segundo conjunto combinando esas ideas validadas por humanos con propuestas generadas por modelos de IA básicos, sin acceso a literatura científica ni herramientas de búsqueda.
El equipo probó seis modelos —GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 y Claude Opus 4.6— pidiéndoles que compararan pares de ideas y eligieran la más novedosa. Lo que descubrieron fue alarmante: cambiar solo unas palabras en la instrucción podía hacer que la precisión de GPT-5.4 cayera del 93,5% al 40,9%, por debajo del azar. En otras palabras, el modelo cambiaba de opinión en más de la mitad de los casos simplemente porque se le preguntaba de forma ligeramente distinta. Claude Opus 4.6 también sufrió variaciones de hasta 21 puntos porcentuales en precisión ante el mismo tipo de ajuste.
Lo más preocupante es que no existe una instrucción universalmente mejor: una forma de preguntar que mejora el rendimiento de un modelo puede empeorar el de otro. Además, darles más tiempo para razonar o permitirles buscar literatura relacionada no mejoró de forma consistente sus juicios. Incluso dos sistemas especializados diseñados específicamente para evaluar novedad rindieron peor que simplemente preguntarle a Claude Opus 4.6 con una instrucción básica. Según informa el equipo de Ai2 en su blog, estos resultados sugieren que si la inteligencia artificial va a desempeñar un papel más importante en el descubrimiento científico, necesitamos formas mucho más fiables de asegurarnos de que realmente está proponiendo algo nuevo.
