ChatGPT para generar preguntas de opción múltiple: Evidencia sobre el uso de la inteligencia artificial en la generación automática de ítems para un examen de farmacoterapia racional
Los hallazgos mostraron que las preguntas pueden diferenciar efectivamente entre estudiantes que se desempeñan en niveles altos y bajos, lo que también señala el potencial de ChatGPT como herramienta de inteligencia artificial en el desarrollo de pruebas. Los estudios futuros pueden utilizar la indicación para generar ítems con el fin de mejorar la validez externa de los resultados mediante la recopilación de datos de diversas instituciones y entornos. Eur J Clin Pharmacol, 14 Febrero 2024
Propósito
La inteligencia artificial, específicamente los grandes modelos de lenguaje como ChatGPT, ofrece valiosos beneficios potenciales en la escritura de preguntas (ítems). Este estudio tuvo como objetivo determinar la viabilidad de generar preguntas de opción múltiple basadas en casos utilizando ChatGPT en términos de dificultad de ítems y niveles de discriminación.
Métodos
En este estudio participaron 99 estudiantes de cuarto año de medicina que participaron en una pasantía de farmacoterapia racional realizada con base en el modelo de 6 pasos de la OMS. En respuesta a una indicación que proporcionamos, ChatGPT generó diez preguntas de opción múltiple basadas en casos sobre hipertensión. Después de un panel de expertos, dos de estas preguntas de opción múltiple se incorporaron a un examen de la facultad de medicina sin hacer ningún cambio en las preguntas. Con base en la administración de la prueba, se evaluaron sus propiedades psicométricas, incluyendo la dificultad de los ítems, la discriminación de los ítems (correlación punto-biserie) y la funcionalidad de las opciones.
Resultados
Ambas preguntas mostraron niveles aceptables de correlación punto-biserie, que es superior al umbral de 0,30 (0,41 y 0,39). Sin embargo, una pregunta tenía tres opciones no funcionales (opciones elegidas por menos del 5% de los participantes del examen) mientras que la otra pregunta no tenía ninguna.
Conclusiones
Los hallazgos mostraron que las preguntas pueden diferenciar efectivamente entre estudiantes que se desempeñan en niveles altos y bajos, lo que también señala el potencial de ChatGPT como herramienta de inteligencia artificial en el desarrollo de pruebas. Los estudios futuros pueden utilizar la indicación para generar ítems con el fin de mejorar la validez externa de los resultados mediante la recopilación de datos de diversas instituciones y entornos.
El artículo orginal
Kıyak, Y.S., Coşkun, Ö., Budakoğlu, I.İ. et al. ChatGPT for generating multiple-choice questions: Evidence on the use of artificial intelligence in automatic item generation for a rational pharmacotherapy exam. Eur J Clin Pharmacol (2024). DOI:10.1007/s00228-024-03649-x
Disponible en: https://n9.cl/mqu34