Este fenómeno, conocido como sesgo de automatización, resalta la tendencia humana a depender en exceso de los sistemas automatizados, incluso cuando estos cometen errores.

Los investigadores diseñaron dos experimentos simulando procesos automatizados de toma de decisiones en el ámbito judicial, donde los participantes tenían que juzgar a varios acusados de diferentes delitos. Los resultados mostraron que el juicio humano fue más acertado cuando se emitió antes de recibir un apoyo incorrecto de la IA. Sin embargo, una vez que los participantes vieron una evaluación errónea de la IA, la tasa de acierto se redujo, incluso en aquellos que habían juzgado correctamente al principio del proceso.

Según los impulsores del estudio, este hallazgo pone de relieve la influencia potencialmente perjudicial del apoyo de IA incorrecto en la precisión de las decisiones humanas, subrayando la importancia del orden en el que se presenta la información.

"La investigación también reveló un desafío persistente: la tendencia humana a confiar excesivamente en el apoyo de los sistemas. Este fenómeno puede llevar a los usuarios a aceptar acríticamente las recomendaciones de la IA, incluso cuando son erróneas, lo que plantea preocupaciones significativas sobre la equidad, la corrección y la ética de las decisiones automatizadas", remarcaron los estudiosos.

Por ello, los hallazgos sugieren que, mientras la IA tiene el potencial de mejorar la toma de decisiones, "es esencial abordar y mitigar el impacto de sus errores y sesgos para asegurar procesos de decisión justos y precisos".