Implicaciones de los modelos predictivos basados en inteligencia artificial en entornos de atención
Este estudio exploró el desempeño de modelos de inteligencia artificial (IA) en un entorno simulado de mortalidad en ingresados a Cuidados Intensivos. Se encontró que, en la medida en que el modelo se aplica e influye en los resultados de los pacientes, va disminuyendo su especificidad, sea por el reentrenamiento del modelo con los nuevos datos, o por la aplicación secuencial o simultánea de dos modelos diferentes. Concluyen que no parece existir un enfoque de actualización de modelos universalmente eficaz para mantener el rendimiento de los modelos de IA. Annals of Internal Medicine, 10 de octubre de 2023.
Resumen
Antecedentes: se han realizado esfuerzos sustanciales para demostrar los usos de los modelos predictivos en la atención sanitaria. Sin embargo, la implementación de estos modelos en la práctica clínica puede influir en los resultados de los pacientes, que a su vez se capturan en los datos de los registros médicos electrónicos. Como resultado, los modelos implementados pueden afectar la capacidad predictiva de los modelos actuales y futuros.
Objetivo: estimar los cambios en el rendimiento del modelo predictivo con su uso a través de 3 escenarios comunes: reentrenamiento del modelo, implementación secuencial de un modelo tras otro e intervención en respuesta a un modelo cuando se implementan 2 simultáneamente.
Diseño: simulación de la implementación y uso del modelo en entornos de cuidados críticos en varios niveles de efectividad de la intervención y cumplimiento clínico. Los modelos fueron entrenados o reentrenados después de una implementación simulada.
Ámbito: ingresos a la unidad de cuidados intensivos (UCI) del Mount Sinai Health System (Nueva York, Nueva York) y del Beth Israel Deaconess Medical Center (Boston, Massachusetts).
Pacientes: 130.000 admisiones en cuidados críticos en ambos sistemas de salud.
Intervención: en tres escenarios, se simularon intervenciones con distintos niveles de cumplimiento y eficacia del médico.
Mediciones: medidas estadísticas de desempeño, incluidas medidas independientes del umbral (área bajo la curva) y dependientes del umbral.
Resultados: con una sensibilidad fija del 90%, en el escenario 1 un modelo de predicción de mortalidad perdió entre un 9% y un 39% de especificidad después de un ciclo de reentrenamiento; en el escenario 2, un modelo de predicción de mortalidad perdió entre un 8% y un 15% de especificidad cuando se creó después de la implementación de un modelo de lesión renal aguda (IRA); en el escenario 3, los modelos para la IRA y la predicción de la mortalidad implementados simultáneamente, cada uno condujo a una reducción de la precisión efectiva del otro entre un 1% y un 28%.
Limitaciones: en la práctica del mundo real, la eficacia y el cumplimiento de las recomendaciones basadas en modelos rara vez se conocen de antemano. Sólo se simularon clasificadores binarios para datos tabulares de admisiones a UCI.
Conclusión: en entornos de UCI simulados, no parece existir un enfoque de actualización de modelos universalmente eficaz para mantener el rendimiento del modelo. Es posible que sea necesario registrar el uso del modelo para mantener la viabilidad del modelado predictivo.
Fuente de financiación primaria: Centro Nacional para el Avance de las Ciencias Traslacionales.
El artículo original:
Akhil Vaid, Ashwin Sawant, Mayte Suarez-Farinas, et al. Implications of the Use of Artificial Intelligence Predictive Models in Health Care Settings: A Simulation Study. Ann Intern Med. [Epub 10 October 2023]. doi:10.7326/M23-0949
Disponible en: https://n9.cl/7zp8p