Calidad y seguridad de la información sanitaria generada por inteligencia artificial

Si bien la inteligencia artificial (IA) es muy prometedora en cuanto a efectos positivos en la sociedad, también tiene el potencial de tener consecuencias dañinas, que pueden ocurrir ya sea sin querer o debido a un uso indebido. Aplicaciones, como ChatGPT, Gemini, Midjourney y Sora, muestran la capacidad de la IA generativa para crear contenido de texto, audio, vídeo e imágenes de alta calidad. El rápido avance de las tecnologías de IA requiere una escalada igualmente rápida de esfuerzos para identificar y mitigar los riesgos. Las nuevas disciplinas, como la seguridad de la IA y la ética de la IA, tienen como objetivo general garantizar que la IA actual y futura funcione de manera segura y ética.

Este artículo se centra en la IA generativa, una tecnología con un potencial sustancial para transformar la forma en que las comunidades buscan, acceden y comunican información, incluso sobre salud. Dado que más del 70% de las personas recurren a Internet como su primera fuente de información sobre salud, es crucial identificar los tipos comunes de riesgos asociados con las tecnologías de IA e introducir estructuras de vigilancia efectivas para mitigar estos riesgos. En particular, a medida que la IA generativa se vuelve cada vez más sofisticada, al público le resultará más difícil discernir cuándo los resultados (texto, audio, vídeo) son incorrectos. En este artículo, nuestro objetivo es diferenciar los tipos comunes de riesgos potenciales y resaltar las ideas emergentes para mitigar cada tipo de riesgo. Para simplificar, a menudo utilizamos modelos de lenguaje grande (LLM) para ilustrar los problemas emergentes, pero los conceptos y consideraciones presentados se aplican a la IA generativa de manera más amplia.

Errores de la IA

En todos los tipos de IA los errores son un desafío común. A medida que la producción de texto, audio y vídeo de la IA generativa moderna se ha vuelto cada vez más sofisticada, puede resultar difícil detectar respuestas erróneas o engañosas. El fenómeno de las “alucinaciones de IA” ha ganado importancia con el uso generalizado de chatbots de IA (por ejemplo, ChatGPT) impulsados por LLM. En el contexto de la información de salud, las alucinaciones de IA son particularmente preocupantes porque las personas pueden recibir información de salud incorrecta o engañosa de los LLM que se presentan como hechos. Para los miembros del público en general, que pueden carecer de la capacidad de distinguir entre información correcta e incorrecta, esto tiene un potencial considerable de daño. Para los profesionales de la salud que utilizan LLM para generar documentación clínica, los resultados generados deben tratarse como borradores que requieren una revisión cuidadosa para garantizar su precisión antes de su finalización.

Se están explorando numerosas estrategias tecnológicas para minimizar los riesgos potenciales asociados con los errores de la IA generativa . Una estrategia prometedora para responder con precisión a preguntas relacionadas con la salud implica el desarrollo de aplicaciones de IA generativa que se "fundamenten" en fuentes de información relevantes. Este enfoque difiere de métodos anteriores que dependían de respuestas generadas a partir de la “memoria” del modelo. En cambio, muchas aplicaciones de IA ahora pueden acceder y posteriormente resumir información de fuentes autorizadas y actualizadas. Por ejemplo, muchos chatbots de IA ahora incorporan capacidades de búsqueda en Internet en tiempo real para devolver respuestas que resumen y citan explícitamente la fuente de información. Otro enfoque es mejorar la “cuantificación de la incertidumbre” para la IA generativa. Esto implica desarrollar una IA generativa que comunique mejor el nivel de incertidumbre asociado con su respuesta. Por lo tanto, cuando no esté seguro de una respuesta, la respuesta debe resaltar claramente la incertidumbre, permitiendo así al usuario interpretar la información de manera más apropiada.

Desinformación sanitaria

A diferencia de las alucinaciones de IA, donde se genera inadvertidamente información incorrecta o engañosa, también es posible que actores malintencionados generen intencionalmente información incorrecta o engañosa utilizando IA generativa si no hay medidas de seguridad efectivas. Cuando se genera información incorrecta o engañosa de forma deliberada, se habla de desinformación. Aunque la desinformación no es nueva, la IA generativa puede permitir la creación económica de desinformación diversa, de alta calidad, dirigida y en gran escala. Este problema no es específico de la salud, pero los efectos de una mayor desinformación sobre la salud probablemente sean particularmente problemáticos para la sociedad.

Una opción para prevenir la desinformación sobre salud generada por la IA implica ajustar los modelos para alinearlos con los valores y preferencias humanos, incluido evitar que se generen respuestas conocidas como dañinas o desinformativas. Una alternativa es construir un modelo especializado (separado del modelo de IA generativa) para detectar solicitudes y respuestas inapropiadas o dañinas. El modelo especializado filtraría la solicitud antes de permitir que se pase al modelo de IA generativa, y el resultado del modelo de IA generativo se filtraría antes de publicarlo. En el estudio vinculado (doi:10.1136/bmj-2023-078538), destacamos que muchos asistentes y chatbots de IA populares, incluidos ChatGPT, Copilot, Bard y HuggingChat, carecen de barreras de seguridad efectivas para prevenir la generación de desinformación sobre salud.

También se están llevando a cabo iniciativas para facilitar la identificación del contenido generado por IA, como la incorporación de marcas de agua digitales. Sin embargo, todavía es necesario avanzar hacia los estándares de la industria para el material identificable generado por IA. Tales esfuerzos facilitarían que las plataformas para compartir contenido (por ejemplo, redes sociales, motores de búsqueda) identifiquen y eliminen contenido inapropiado generado por IA.

Igualmente fundamental para contrarrestar la desinformación facilitada por la IA es el establecimiento de procesos sólidos de vigilancia de la IA. A medida que la IA generativa continúa desarrollándose, es probable que surjan riesgos emergentes e imprevistos, lo que subraya la importancia del monitoreo continuo, la corrección de las vulnerabilidades de salvaguardia identificadas y la transparencia. Nuestro estudio encontró una falta de transparencia entre los desarrolladores de IA generativa con respecto a las salvaguardas y procesos implementados para minimizar los riesgos de la desinformación de salud, junto con una deficiencia en la respuesta y reparación de vulnerabilidades reportadas relacionadas con la desinformación de salud.

Privacidad y sesgos

Se debe priorizar la privacidad de la información de salud personal durante el desarrollo y uso de la IA generativa. La información de salud privada no debe usarse para entrenar modelos de IA generativa, ya que es difícil garantizar que la información confidencial no se filtre en los resultados del modelo. Los profesionales de la salud también deben considerar cuidadosamente las consecuencias de ingresar información confidencial del paciente en asistentes públicos de IA y chatbots para tareas como redactar resúmenes clínicos, comunicaciones y correos electrónicos. Las aplicaciones de IA generativa suelen establecer términos y condiciones que permiten a los desarrolladores almacenar y utilizar la información ingresada. El público también debe ser consciente de esto para evitar ingresar información confidencial. Por lo tanto, para los datos confidenciales, es importante utilizar únicamente servicios de IA generativa que se comprometan explícitamente a no retener datos, o ejecutar el modelo de IA generativa localmente para garantizar que los datos de salud no se envíen a un tercero.

[...]

El artículo completo:

 Sorich M J, Menz B D, Hopkins A M. Quality and safety of artificial intelligence generated health information BMJ 2024; 384 :q596 doi:10.1136/bmj.q596 

Disponible en: https://n9.cl/1xlwk