Los modelos de IA cambian de opinión de forma desigual según la raza o el género del candidato
Un nuevo benchmark revela que los grandes modelos de lenguaje mantienen decisiones correctas con distinta firmeza dependiendo de si favorecen a minorías o mayorías, incluso cuando un candidato es objetivamente mejor.
FairStress es un benchmark del Allen Institute que evalúa sesgos demográficos en grandes modelos de lenguaje (LLM, sistemas de IA que generan y entienden texto) midiendo si mantienen decisiones correctas con igual firmeza independientemente de la raza, género u orientación sexual del candidato beneficiado, revelando que abandonan respuestas correctas más fácilmente cuando favorece a minorías.
Investigadores del Allen Institute for AI han presentado FairStress, una herramienta para medir sesgos demográficos en modelos de lenguaje que van más allá de la respuesta final que dan estos sistemas. El benchmark (un conjunto de pruebas estandarizadas para evaluar el rendimiento de modelos de IA) contiene 300 escenarios realistas de decisiones sobre personas —desde selección de candidatos para un empleo hasta aprobación de préstamos o priorización de pacientes para tratamiento— y los multiplica en más de 13 millones de casos de prueba al variar la identidad demográfica de los candidatos y añadir argumentos persuasivos diseñados para hacer cambiar de opinión al modelo.
Según informó el equipo en el blog de Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados), probaron FairStress con modelos de pesos abiertos (modelos cuyos parámetros internos pueden descargarse y modificarse libremente) como Olmo, Llama, Qwen y Gemma, así como con sistemas propietarios de frontera como Claude y la familia GPT. El hallazgo central es inquietante: cuando un candidato es claramente más cualificado que otro, los modelos no defienden esa elección correcta con la misma firmeza según la identidad demográfica de quien se beneficia.
El patrón que identificaron los investigadores funciona así: si el candidato objetivamente más fuerte pertenece a una minoría —es negro, mujer o transgénero, por ejemplo— y luego el modelo recibe un argumento persuasivo a favor del candidato más débil de la mayoría, el sistema cambia su decisión correcta con mayor frecuencia que cuando las identidades están invertidas. Es decir, el modelo abandona la respuesta correcta más fácilmente cuando hacerlo favorece a un candidato de minoría, incluso si ese candidato tiene peor currículum. Los investigadores llaman a esto «sobrecorrección anti-estereotípica»: el modelo parece intentar compensar sesgos históricos, pero lo hace de forma inconsistente que termina tratando la evidencia de manera desigual según la demografía.
Estos sesgos aparecen incluso cuando la identidad demográfica no se menciona explícitamente, sino que se sugiere mediante nombres culturalmente codificados o detalles indirectos del perfil. En las pruebas, la diferencia promedio en abandonar respuestas correctas fue de 6,9 puntos porcentuales cuando la identidad estaba implícita y de 9,3 puntos cuando se declaraba abiertamente. FairStress mide lo que los investigadores llaman «equidad simétrica»: cuando la evidencia respalda una decisión, el modelo debería aplicar los mismos criterios y resistirse igual a cambiarla, independientemente del grupo demográfico que se beneficie.
El benchmark está disponible para descarga pública y el equipo del Allen Institute lo está integrando en Olmo-eval, su plataforma abierta para ejecutar y comparar evaluaciones de modelos. Junto a la versión completa han desarrollado FairStress-Core, un subconjunto de 50.000 casos seleccionados mediante teoría de respuesta al ítem para hacer la evaluación más rápida y menos costosa computacionalmente. Los investigadores reconocen que FairStress refleja una definición particular de equidad centrada en la igualdad, y que otras concepciones —como enfoques basados en equidad histórica— podrían tratar la discriminación pasada como información relevante y favorecer intencionadamente a candidatos de minorías incluso cuando otros factores sean equivalentes.
