ChatGPT puede (casi) aprobar el examen de licencia médica de EE. UU.

May 13, 2023

ChatGPT puede calificar en o alrededor del 60 por ciento del umbral de aprobación del Examen de licencia médica de los Estados Unidos (USMLE), con respuestas que tienen un sentido interno coherente y contienen ideas frecuentes,de acuerdo con un estudiopublicado el 9 de febrero de 2023 en la revista de acceso abierto PLOS Digital Health por Tiffany Kung, Victor Tseng y colegas de AnsibleHealth.

ChatGPT es un nuevo sistema de inteligencia artificial (IA), conocido como modelo de lenguaje grande (LLM), diseñado para generar una escritura similar a la humana mediante la predicción de secuencias de palabras próximas. A diferencia de la mayoría de los chatbots, ChatGPT no puede buscar en Internet. En su lugar, genera texto usando relaciones de palabras predichas por sus procesos internos.

Kung y sus colegas probaron el desempeño de ChatGPT en el USMLE, una serie de tres exámenes altamente estandarizados y regulados (Pasos 1, 2CK y 3) necesarios para obtener la licencia médica en los Estados Unidos. Tomado por estudiantes de medicina y médicos en formación, el USMLE evalúa el conocimiento que abarca la mayoría de las disciplinas médicas, desde la bioquímica hasta el razonamiento diagnóstico y la bioética.

Después de evaluar para eliminar las preguntas basadas en imágenes, los autores probaron el software en 350 de las 376 preguntas públicas disponibles desde el lanzamiento del USMLE de junio de 2022.

Después de eliminar las respuestas indeterminadas, ChatGPT obtuvo una puntuación de entre el 52,4 % y el 75,0 % en los tres exámenes USMLE. El umbral de aprobación cada año es de aproximadamente el 60 por ciento. ChatGPT también demostró una concordancia del 94,6 % en todas sus respuestas y produjo al menos una idea significativa (algo que era nuevo, no obvio y clínicamente válido) para el 88,9 % de sus respuestas. En particular, ChatGPT superó el rendimiento de PubMedGPT, un modelo homólogo entrenado exclusivamente en literatura de dominio biomédico, que obtuvo un 50,8 % en un conjunto de datos más antiguo de preguntas de estilo USMLE.

Si bien el tamaño de entrada relativamente pequeño restringió la profundidad y el rango de los análisis, los autores señalan que sus hallazgos brindan una idea del potencial de ChatGPT para mejorar la educación médica y, eventualmente, la práctica clínica. Por ejemplo, agregan, los médicos de AnsibleHealth ya usan ChatGPT para reescribir informes llenos de jerga para facilitar la comprensión del paciente.

"Alcanzar la puntuación de aprobación para este examen experto notoriamente difícil, y hacerlo sin ningún refuerzo humano, marca un hito notable en la maduración clínica de la IA", dicen los autores.

La autora, la Dra. Tiffany Kung, agregó que el papel de ChatGPT en esta investigación fue más allá de ser el sujeto del estudio: "ChatGPT contribuyó sustancialmente a la redacción de [nuestro] manuscrito... Interactuamos con ChatGPT como un colega, pidiéndole que sintetice, simplifique, y ofrecer contrapuntos a los borradores en curso... Todos los coautores valoraron el aporte de ChatGPT".

- Este comunicado de prensa fue proporcionado por PLOS