Pesquisadores tentaram reproduzir 2.200 estudos de IA — e descobriram um problema gigante
Uma iniciativa da Hugging Face revelou que a maioria dos artigos científicos de inteligência artificial não pode ser replicada, expondo uma crise de transparência na pesquisa.
A Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) acaba de divulgar os resultados de um experimento ambicioso: tentar reproduzir todos os 2.200 artigos aceitos na ICML 2026 (uma das conferências mais importantes de machine learning, a área da ciência da computação que estuda como máquinas aprendem). O objetivo era simples — verificar se, seguindo as instruções de cada paper, outro pesquisador conseguiria chegar aos mesmos resultados. A conclusão foi alarmante: a imensa maioria dos estudos não passa nesse teste básico de ciência.
Dos 2.200 trabalhos analisados, apenas 15% incluíam código-fonte funcional e dados suficientes para que outra pessoa pudesse replicar o experimento do zero. Outros 30% tinham parte do código disponível, mas faltavam peças essenciais — datasets (conjuntos de dados usados para treinar os modelos), instruções claras ou detalhes sobre o ambiente computacional usado. Os 55% restantes simplesmente não ofereciam material nenhum além do PDF do artigo, tornando impossível confirmar se os resultados eram reais ou até mesmo verificar se havia erros nos cálculos.
O problema não é só acadêmico. Quando empresas e governos tomam decisões sobre adotar ou regular uma tecnologia de IA, eles se baseiam nesses papers. Se a pesquisa não pode ser reproduzida, não há como saber se ela realmente funciona fora do laboratório original — ou se os números foram apresentados de forma seletiva, um fenômeno conhecido como cherry-picking (escolher só os resultados que funcionaram e esconder os que deram errado). Segundo a Hugging Face, essa falta de transparência está atrasando o progresso real da área, porque outros pesquisadores perdem tempo tentando construir em cima de fundações que podem nem existir.
A iniciativa faz parte de um movimento maior por ciência aberta (open science, a prática de compartilhar publicamente dados e métodos de pesquisa). A Hugging Face propôs que conferências como a ICML passem a exigir que autores submetam não só o paper, mas também um repositório no GitHub (plataforma para compartilhar código) com tudo que é necessário para rodar o experimento novamente — algo que já é obrigatório em outras áreas da ciência, mas ainda raro em IA. Enquanto isso não acontece, a plataforma criou um selo de "reprodutível" para destacar os poucos trabalhos que atendem ao padrão mínimo de transparência.
