Vea También
/2023/02/09/image/jpeg/SEUVL03WfoLCC8x5D7hWLX73Iel8eWf4WF3XXYvN.jpg "Imagen representativa: ChatGPT pasa USMLE. Crédito: AndreyPopov/iStock") |
| Imagen representativa: ChatGPT pasa USMLE. Crédito: AndreyPopov/iStock |
ChatGPT puede puntuar en o alrededor del umbral de aprobación de aproximadamente el 60 por ciento para el Examen de Licencia Médica de los Estados Unidos (USMLE), con respuestas que tienen sentido coherente e interno y contienen ideas frecuentes, según un estudio publicado el 9 de febrero de 2023 en la revista de acceso abierto PLOS Digital Health por Tiffany Kung, Victor Tseng y colegas de AnsibleHealth.
ChatGPT es un nuevo sistema de inteligencia artificial (IA), conocido como gran modelo de lenguaje (LLM, por sus siglas en inglés), diseñado para generar una escritura similar a la humana mediante la predicción de próximas secuencias de palabras. A diferencia de la mayoría de los chatbots, ChatGPT no puede buscar en Internet. En su lugar, genera texto utilizando relaciones de palabras predichas por sus procesos internos.
Kung y sus colegas probaron el rendimiento de ChatGPT en el USMLE, una serie de tres exámenes (Pasos 1, 2CK y 3) altamente estandarizados y regulados, necesarios para obtener la licencia médica en Estados Unidos. Realizado por estudiantes de medicina y médicos en formación, el USMLE evalúa conocimientos que abarcan la mayoría de las disciplinas médicas, desde la bioquímica al razonamiento diagnóstico, pasando por la bioética.
Tras eliminar las preguntas basadas en imágenes, los autores probaron el software con 350 de las 376 preguntas públicas disponibles en la versión del USMLE de junio de 2022.
Una vez eliminadas las respuestas indeterminadas, ChatGPT obtuvo una puntuación de entre el 52,4% y el 75,0% en los tres exámenes USMLE. El umbral de aprobación cada año es de aproximadamente el 60%. ChatGPT también demostró una concordancia del 94,6% en todas sus respuestas y produjo al menos un conocimiento significativo (algo que era nuevo, no obvio y clínicamente válido) en el 88,9% de sus respuestas. En particular, ChatGPT superó el rendimiento de PubMedGPT, un modelo homólogo entrenado exclusivamente en literatura biomédica, que obtuvo una puntuación del 50,8% en un conjunto de datos más antiguo de preguntas tipo USMLE.
Aunque el tamaño relativamente pequeño de los datos de entrada limitó la profundidad y el alcance de los análisis, los autores señalan que sus resultados permiten vislumbrar el potencial de ChatGPT para mejorar la enseñanza de la medicina y, con el tiempo, la práctica clínica. Por ejemplo, añaden, los médicos de AnsibleHealth ya utilizan ChatGPT para reescribir informes con mucha jerga para facilitar la comprensión del paciente.
"Alcanzar la puntuación de aprobado en este examen de expertos tan difícil, y hacerlo sin ningún refuerzo humano, marca un hito notable en la maduración de la IA clínica", afirman los autores.
La autora, la Dra. Tiffany Kung, añade que el papel de ChatGPT en esta investigación fue más allá de ser el sujeto del estudio: "ChatGPT contribuyó sustancialmente a la redacción de [nuestro] manuscrito... Interactuamos con ChatGPT como con un colega, pidiéndole que sintetizara, simplificara y ofreciera contrapuntos a los borradores en curso... Todos los coautores valoraron la aportación de ChatGPT".
Fuentes, créditos y referencias: