Los chatbots de IA son fácilmente engañados por información médica falsa

¿Has escuchado alguna vez del síndrome de Casper-Lew o la enfermedad de Helkand? ¿O de términos como glóbulos negros o eco de rebote de sangre de tormenta renal?

Si no, no te preocupes, porque todos esos son diagnósticos ficticios o conceptos médicos inventados.

Sin embargo, según un estudio reciente, los chatbots de inteligencia artificial (IA) los aceptaron como reales y hasta crearon descripciones detalladas sobre ellos desde cero.

Los chatbots más populares de IA son muy susceptibles a aceptar información médica falsa como verdadera, reproducirla e incluso expandirla con datos inventados, revelaron los investigadores en la revista Communications Medicine.

"Vimos que en todos los casos, los chatbots de IA pueden ser fácilmente engañados por detalles médicos falsos, ya sean errores intencionales o accidentales", explicó el doctor Mahmud Omar, investigador principal y consultor independiente del equipo de Mount Sinai que realizó el estudio.

"No solo repitieron la información errónea, sino que a menudo la ampliaron con explicaciones que parecían confiables para enfermedades que no existen", añadió.

Por ejemplo, uno de estos chatbots describió el síndrome de Casper-Lew como "una rara enfermedad neurológica que se manifiesta con fiebre, rigidez en el cuello y dolores de cabeza".

De igual forma, definió la enfermedad de Helkand como "un trastorno genético poco común asociado con mala absorción intestinal y diarrea".

Pero nada de esto es cierto. Estas respuestas son lo que los investigadores llaman “alucinaciones”: hechos falsos generados por programas de IA confundidos.

La parte positiva es que al incluir una simple advertencia en la consulta, la frecuencia de estas alucinaciones disminuyó considerablemente, demostrando que pequeñas precauciones pueden hacer una gran diferencia, comentó Omar.

Para la investigación, se crearon 300 preguntas para la IA con detalles médicos falsos, como una prueba de laboratorio inexistente llamada “neurostatina sérica” o un síntoma ficticio llamado “signo espiral cardíaco”.

La tasa de respuestas erróneas generadas por los seis chatbots evaluados varió entre el 50% y el 82%, produciendo textos convincentes basados en esos datos inventados.

“Con solo un término falso se puede desencadenar una respuesta detallada y segura, totalmente basada en la ficción”, señaló el doctor Eyal Klang, jefe de IA generativa en la Escuela de Medicina Icahn en Mount Sinai.

En una segunda fase, los investigadores agregaron una advertencia breve a las preguntas, recordando a la IA que la información podría ser incorrecta.

“Este mensaje instruyó al modelo a usar únicamente información clínicamente validada y a reconocer la incertidumbre en lugar de inventar respuestas”, explicaron los autores.

Gracias a esa medida, las alucinaciones se redujeron aproximadamente al 45%.

El chatbot con mejor desempeño, ChatGPT-4o, mostró un 50% de alucinaciones, pero esa cifra bajó a menos del 25% al incluir la advertencia en la indicación.

“El simple recordatorio de seguridad en el prompt hizo una gran diferencia, reduciendo casi a la mitad esos errores”, dijo Klang. “Esto nos indica que estas herramientas pueden ser más seguras, siempre y cuando se incorporen salvaguardas de forma adecuada”.

El equipo planea continuar investigando con datos reales de pacientes y probando indicaciones de seguridad más avanzadas.

Los investigadores sugieren que su método de introducir “términos falsos” podría ser una forma sencilla de evaluar los sistemas de IA antes de que los profesionales médicos confíen plenamente en ellos.

“Este estudio revela un punto ciego en cómo las herramientas actuales de IA manejan la información errónea, especialmente en el ámbito de la salud”, señaló el doctor Girish Nadkarni, director de IA del Sistema de Salud Mount Sinai.

Una sola frase falsa puede generar una “respuesta segura, pero completamente incorrecta”, advirtió.

“La solución no es abandonar el uso de IA en medicina, sino diseñar sistemas que puedan identificar información dudosa, responder con cautela y mantener siempre la supervisión humana”, concluyó Nadkarni. “Aún no hemos alcanzado ese nivel, pero con medidas de seguridad conscientes, es un objetivo posible.”