Inteligencia humana vs. inteligencia artificial: Los médicos superan a ChatGPT en el asesoramiento farmacoterapéutico en el mundo real

Objetivos

Evaluar la utilidad del chatbot de inteligencia artificial (IA) ChatGPT (versión 3.5 disponible abiertamente) para responder consultas farmacoterapéuticas del mundo real de profesionales de la salud.

Métodos

Tres evaluadores independientes y ciegos con diferentes niveles de experiencia médica y profesional ( principiante , avanzado y experto ) compararon las respuestas generadas por chatbots de IA y médicos a 70 consultas farmacoterapéuticas del mundo real enviadas al centro de información farmacológica clínico-farmacológica de la Facultad de Medicina de Hannover entre junio y octubre de 2023 con respecto a la calidad de la información, la preferencia de respuesta, la corrección de la respuesta y la calidad del lenguaje. La confiabilidad entre evaluadores se evaluó con el alfa de Krippendorff. Dos investigadores separados que no participaron de otra manera en la realización o el análisis del estudio seleccionaron los tres principales errores clínicamente relevantes en las respuestas generadas por chatbots y médicos.

Resultados

Los tres evaluadores calificaron la calidad de la información de las respuestas generadas por los médicos como superior a la de las generadas por el chatbot de IA y, en consecuencia, consideraron que las respuestas generadas por los médicos eran mejores que las generadas por el chatbot (preferencia de respuesta). Todos los evaluadores detectaron información factualmente errónea con mayor frecuencia en las respuestas generadas por el chatbot que en las generadas por los médicos. Si bien los evaluadores principiantes y expertos calificaron la calidad del lenguaje de las respuestas generadas por los médicos como superior a la de las generadas por el chatbot, no se observó una diferencia significativa según el evaluador avanzado .

Conclusiones

Las respuestas de ChatGPT a consultas farmacoterapéuticas reales fueron sustancialmente inferiores a las respuestas convencionales generadas por médicos en cuanto a la calidad de la información y la exactitud de los datos. Nuestro estudio sugiere que, hasta la fecha, se debe desaconsejar encarecidamente el uso de ChatGPT en la consejería farmacoterapéutica.

 ¿Qué se sabe sobre este tema?

• Los chatbots de inteligencia artificial (IA) como ChatGPT de OpenAI han ganado cada vez más popularidad y su utilidad en entornos médicos se ha probado en un amplio espectro de disciplinas, incluidas la dermatología, la ginecología, la radiología y la farmacia clínica.
• En comparación con otras especialidades médicas, existe información limitada sobre la utilidad de los chatbots de IA en la farmacología clínica.

Lo que aporta este estudio

• Las respuestas de ChatGPT a las consultas farmacoterapéuticas del mundo real fueron sustancialmente inferiores a las respuestas convencionales generadas por los médicos con respecto a la calidad de la información y la exactitud de los hechos.
• Hasta la fecha, se desaconseja encarecidamente el uso de ChatGPT (versión 3.5) en el asesoramiento farmacoterapéutico. Los profesionales sanitarios no deben confiar exclusivamente en el asesoramiento farmacoterapéutico proporcionado por chatbots de IA.