En un experimento llevado a cabo por el docente investigador en educación médica, Javier Flores Cohaila, se puso a prueba a la inteligencia artificial ChatGPT para determinar su desempeño en el Examen Nacional de Medicina (ENAM) en comparación con estudiantes de medicina a nivel nacional en Perú. La investigación arrojó resultados sorprendentes.
El experimento consistió en que ChatGPT, junto con otros dispositivos de Inteligencia Artificial (IA), se hiciera pasar por estudiantes de medicina peruanos y realizara el ENAM. El resultado fue que ChatGPT, en su versión más actualizada (ChatGPT-4), logró aprobar el ENAM 2022 con un 86% de precisión.
Según Flores, ChatGPT obtuvo un puntaje de 17, mientras que sacar más de 15 en el ENAM es considerado inusual. Además, se observó que el rendimiento de la inteligencia artificial mejoraba cuando se le proporcionaban especificaciones sobre cómo enfocar la pregunta. Por ejemplo, al indicarle que "pretendiera ser un médico de Perú", ChatGPT solo se equivocó en 9 preguntas.
La comparación se hizo con una muestra de 1,025 estudiantes de medicina que rindieron el mismo examen. Los resultados mostraron que ChatGPT superó a otras aplicaciones de IA, obteniendo 156 respuestas correctas, mientras que BingAI obtuvo 148, GPT-3 obtuvo 120, Bard obtuvo 120 y Claude obtuvo 118.
El investigador aclaró que el propósito no es sustituir a los médicos y que ser médico implica mucho más que pasar un examen de licenciamiento. Sin embargo, sugirió que estos resultados podrían alentar a las universidades y grupos de investigación a contribuir a la educación médica.
Cabe mencionar que el ENAM es un requisito obligatorio para postular al Sistema Nacional de Residentado Médico en Perú y otorga un puntaje que representa el 70% de la calificación para la distribución de plazas en el Servicio Rural Urbano Marginal de Salud (Serums).