Rendimiento y riesgos del uso de ChatGPT en la información sobre medicamentos: análisis exploratorio del mundo real

Objetivos Investigar el rendimiento y el riesgo asociados con el uso de Chat Generative Pre-trained Transformer (ChatGPT) para responder preguntas relacionadas con medicamentos.

Métodos Se recogió una muestra de 50 preguntas relacionadas con medicamentos de forma consecutiva y se introdujeron en la aplicación de software de inteligencia artificial ChatGPT. Las respuestas se documentaron y calificaron en un proceso de consenso estandarizado por seis farmacéuticos de hospital de alto nivel en los dominios contenido (correcto, incompleto, falso), gestión del paciente (posible, insuficiente, no posible) y riesgo (sin riesgo, riesgo bajo, riesgo alto). Como referencia, las respuestas se investigaron de acuerdo con la directriz alemana de información sobre medicamentos y se estratificaron en cuatro categorías según las fuentes utilizadas. Además, se analizó la reproducibilidad de las respuestas de ChatGPT introduciendo tres preguntas en diferentes momentos de forma repetida (día 1, día 2, semana 2, semana 3).

Resultados En general, solo 13 de las 50 respuestas proporcionaron contenido correcto y tenían suficiente información para iniciar el tratamiento sin riesgo de daño al paciente. La mayoría de las respuestas fueron falsas (38 %, n = 19) o tenían contenido parcialmente correcto (36 %, n = 18) y no se proporcionaron referencias. Un alto riesgo de daño al paciente fue probable en el 26 % (n = 13) de los casos y el riesgo se juzgó bajo en el 28 % (n = 14) de los casos. En todos los casos de alto riesgo, se podrían haber iniciado acciones en función de la información proporcionada. Las respuestas de ChatGPT variaron con el tiempo cuando se ingresaron repetidamente y solo tres de las 12 respuestas fueron idénticas, mostrando ninguna reproducibilidad a baja reproducibilidad.

Conclusión En una muestra real de 50 preguntas relacionadas con medicamentos, ChatGPT respondió la mayoría de las preguntas de forma incorrecta o parcialmente incorrecta. El uso de aplicaciones de inteligencia artificial en la información sobre medicamentos no es posible mientras persistan barreras como contenido erróneo, referencias faltantes y reproducibilidad.

El estudio

Morath B, Chiriac U, Jaszkowski E, et al Performance and risks of ChatGPT used in drug information: an exploratory real-world analysis European Journal of Hospital Pharmacy 2024;31:491-497

Disponible en: https://n9.cl/arp0n9