¿Qué tan preciso es ChatGPT cuando se le pregunta sobre la salud?
Un estudio reciente indica que ChatGPT puede ser poco confiable a la hora de identificar los síntomas de ciertas enfermedades.
Según investigadores que publicaron en la revista iScience, la inteligencia artificial tiene una precisión que oscila entre el 49% y el 61% para reconocer síntomas relacionados con enfermedades específicas.
El investigador principal Ahmed Abdeen Hamed, de la Universidad de Binghamton (Universidad Estatal de Nueva York), explicó que esto probablemente esté relacionado con la forma en que se entrenan estas IA, como ChatGPT.
Al ser un modelo de lenguaje grande, ChatGPT aprende a partir de grandes volúmenes de texto, pero parece tener dificultades con el lenguaje técnico o especializado que usan los médicos, señaló Hamed.
"ChatGPT utiliza un lenguaje más sencillo y coloquial, pensado para comunicarse con el público general," afirmó Hamed. "Mientras que en los textos médicos se usan términos técnicos y propios."
Por ejemplo, el estudio señala que ChatGPT tiene problemas para asociar términos como "estado de ánimo triste" con "depresión", "enrojecimiento facial" con "inflamación" o "convulsiones" con "convulsión febril".
"Al parecer, el modelo intenta simplificar los síntomas porque recibe muchas preguntas similares, así que reduce la formalidad del lenguaje médico para ser más accesible a los usuarios", agregó Hamed.
En cambio, ChatGPT demostró un desempeño excelente para identificar términos médicos que coinciden con el lenguaje común, como nombres de enfermedades, medicamentos e información genética, dijeron los investigadores.
Hamed esperaba que la precisión en estos temas fuera de solo un 25%, pero los resultados mostraron que ChatGPT alcanzó entre un 88% y 97% al identificar enfermedades, 90%-91% en nombres de medicamentos y 88%-98% en datos genéticos.
"Lo sorprendente fue que ChatGPT reconoció correctamente que el cáncer es una enfermedad, que la hipertensión es una enfermedad, que la fiebre es un síntoma, que Remdesivir es un medicamento y que BRCA es un gen vinculado al cáncer de mama," comentó Hamed, impresionado.
Él está estudiando cómo responde la IA a preguntas médicas, dado que muchas personas buscan consejos rápidos mediante estos programas.
"La gente consulta ChatGPT preguntando cosas como: 'Tengo estos síntomas, ¿tengo cáncer? ¿Estoy teniendo un infarto? ¿Necesito tratamiento?'," señaló Hamed.
"Esto puede ser muy peligroso, por eso quisimos evaluar qué respuestas da y cómo se pueden verificar contra la literatura biomédica," añadió.
El propósito es identificar estos errores para poder ajustar los modelos y mejorar la calidad de las respuestas.
"Cuando analizo el conocimiento, quiero eliminar cualquier dato sospechoso antes de desarrollar teorías o conclusiones imprecisas," dijo.
Por ejemplo, ChatGPT tuvo dificultades al responder sobre datos específicos de GenBank, una base de datos de secuencias de ADN de los Institutos Nacionales de Salud, que asigna números únicos a cada secuencia, como NM_007294.4 para el gen BRCA1 relacionado con el cáncer de mama.
En estas pruebas, ChatGPT inventó datos que no existen, un error conocido como "alucinaciones", explicó Hamed.
"Quizás haya una oportunidad para incorporar jerga médica a los modelos de lenguaje grande y así aumentar la precisión, eliminar las alucinaciones y convertir estas herramientas en recursos realmente útiles," concluyó.
ENFERMEDADES: Adiós a los lentes de lectura: La FDA aprueba unas gotas para la presbicia
Un novedoso tratamiento oftalmológico podría cambiar la manera en que millones de adultos manejan la presbicia, el deterioro de la visión cercana asociado con el envejecimiento. La FDA ha autorizado Vizz, una solución oftálmica innovadora que busca disminuir -- leer más
Noticias del tema