Para el estudio actual, que fue publicado en la revista PLOS Digital salud, investigadores de una empresa médica probaron el robot de chat en un examen que deben realizar los estudiantes de medicina en los EE. UU. y en el que se les pregunta sobre diferentes dominios (conocimiento científico, razonamiento clínico, bioética,…). Se trata del llamado ‘Examen de Licencias Médicas de los Estados Unidos’ (USMLE).
ChatGPT se probó en 350 de las 376 preguntas del examen de junio de 2022. Las preguntas basadas en imágenes no se tuvieron en cuenta. ChatGPT finalmente logró una puntuación de entre el 52,4 % y el 75 % de respuestas correctas. En general, se requiere una puntuación del 60 por ciento para aprobar el examen. «ChatGPT se acerca así a la aprobación del examen», concluye el estudio.
Conocimiento
“Evaluamos el desempeño del robot de lenguaje ChatGPT en el USMLE, que consta de tres exámenes en total”, dijeron los investigadores. “CHATGPT se desempeñó en o cerca de los umbrales de aprobación en los tres exámenes sin ningún entrenamiento específico o mejoras específicas del contenido médico. Además, ChatGPT hizo razonamientos correctos y el robot de IA mostró un alto nivel de perspicacia en sus respuestas. Estos resultados sugieren que los modelos de lenguaje extenso podrían ayudar potencialmente en la educación médica y posiblemente también en la toma de decisiones clínicas”.
Desde el lanzamiento de ChatGPT a finales del año pasado, el sistema ha tenido pros y contras. El sistema realiza algunas tareas de manera tan convincente que a los maestros les preocupa que los estudiantes usen ChatGPT para las tareas escolares.
La Universidad de Amberes ya nos ha informado que revisará a fondo sus formularios de evaluación y los ajustará si es necesario. “Si resulta que se puede realizar un trabajo por ChatGPT, se puede agregar una parte oral a la evaluación”, ya sonó.