Intentaron reproducir 2.200 estudios de inteligencia artificial. Esto fue lo que descubrieron
Un equipo de Hugging Face reescribió miles de experimentos científicos presentados en ICML y encontró que dos de cada tres no funcionaban tal como decían sus autores.
Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) acaba de publicar los resultados de un experimento inusual: intentar reproducir 2.200 artículos científicos presentados en ICML 2026, una de las conferencias más importantes del campo del aprendizaje automático. El objetivo era comprobar cuántos de esos estudios — llenos de gráficas, cifras y afirmaciones sobre el rendimiento de nuevos algoritmos — podían replicarse siguiendo únicamente lo que sus autores habían escrito. El resultado es incómodo: solo uno de cada tres artículos funcionó como se esperaba. En el 67% de los casos, los experimentos no produjeron los mismos resultados, fallaron por errores en el código, o directamente no se pudieron ejecutar porque faltaba información clave.
El problema central no es el fraude, sino la falta de rigor a la hora de documentar cómo se hizo un experimento. Muchos artículos no incluían el código completo, omitían hiperparámetros (los valores que ajustan cómo aprende un modelo), o describían procesos imposibles de seguir sin acceso a recursos computacionales caros. En otros casos, el código sí estaba disponible, pero contenía errores que impedían ejecutarlo. Según Hugging Face, esto convierte buena parte de la investigación publicada en lo que llaman «ciencia no verificable»: afirmaciones que suenan bien en papel, pero que nadie puede comprobar.
El equipo que hizo el estudio trabajó con un sistema automatizado que intentaba ejecutar cada experimento usando GPU (chips diseñados para acelerar cálculos de IA) y replicando el entorno descrito en los artículos. Cuando algo fallaba, anotaban el motivo: código roto, falta de datos, dependencias (librerías de software necesarias para que el código funcione) mal especificadas, o simplemente instrucciones vagas. Lo que más llamó la atención fue que incluso artículos aceptados en ICML — una conferencia con revisión por pares rigurosa — caían en estos problemas.
El informe señala que esta «crisis de reproducibilidad» no es nueva, pero sí está empeorando a medida que la investigación en IA se acelera. Publicar un paper (artículo científico) se ha convertido en una carrera por mostrar mejoras de rendimiento, muchas veces sin tiempo ni incentivos para asegurarse de que otro investigador pueda verificar los resultados. Hugging Face propone varias soluciones: exigir que todo artículo incluya código ejecutable, datasets (conjuntos de datos) públicos y un entorno de ejecución definido, además de premiar a los autores que hagan sus experimentos fáciles de reproducir.
El estudio completo está disponible en el blog de Hugging Face. Aunque el tono del artículo original es técnico, el mensaje de fondo es claro: si buena parte de la investigación en IA no se puede comprobar, ¿cómo sabemos qué funciona de verdad? Es una pregunta incómoda para un sector que cada vez influye más en cómo trabajamos, nos comunicamos y tomamos decisiones.
