Tutores de IA não sabem quando ajudar — e quando deixar o aluno pensar sozinho
Pesquisadores testaram assistentes como ChatGPT e Claude em situações de ensino e descobriram que eles entregam respostas prontas na hora errada.
Assistentes de inteligência artificial como ChatGPT, Claude e Gemini (modelos de linguagem treinados para conversar e responder perguntas) já são usados por milhões de estudantes para tirar dúvidas. Mas uma pesquisa do Allen Institute for AI, publicada no blog da Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados), mostra que esses sistemas não sabem quando devem dar uma resposta direta e quando devem deixar o aluno pensar sozinho — uma habilidade essencial de qualquer bom professor.
Os pesquisadores criaram o TutorMoments, um conjunto de 200 conversas reais entre tutores humanos e estudantes, anotadas por especialistas em pedagogia. Em cada trecho da conversa, os especialistas indicaram se o tutor deveria dar uma explicação completa, fazer uma pergunta que leve o aluno a raciocinar, ou simplesmente validar o que o estudante já entendeu. Depois, testaram os principais modelos de IA disponíveis — incluindo GPT-4 (da OpenAI), Claude 3.5 (da Anthropic) e Gemini 1.5 (do Google) — para ver se eles faziam as escolhas certas.
O resultado foi decepcionante: nenhum dos assistentes passou de 50% de acerto. Segundo informou o Allen Institute, os modelos tendem a dar respostas completas mesmo quando o aluno está quase chegando sozinho à conclusão — justamente o momento em que um tutor humano faria uma pergunta para estimular o raciocínio. Esse comportamento pode prejudicar o aprendizado: estudos em educação mostram que responder cedo demais impede que o aluno desenvolva autonomia.
Os pesquisadores destacam que o problema não está na capacidade de gerar texto, mas na falta de sensibilidade pedagógica. Os modelos atuais foram treinados para serem úteis e informativos, não para reconhecer quando a melhor ajuda é não ajudar. O conjunto de dados TutorMoments foi liberado publicamente para que outras equipes possam usá-lo como referência ao treinar ou avaliar modelos voltados para educação — um passo importante, mas que ainda não resolve o desafio de ensinar IA a ensinar.
