Научные работники из AnsibleHealth доказали, что бот ChatGPT способен получить минимальные требуемые баллы для сдачи экзамена USMLE, необходимого для получения медицинской лицензии в США. Информация об этом размещена в журнале PLOS Digital Health.
В США для получения медицинской лицензии требуется пройти тестирование USMLE, состоящее из трех экзаменов. Тесты покрывают множество медицинских дисциплин, включая биохимию, диагностику и биоэтику.
Исследователи из AnsibleHealth протестировали бота ChatGPT на основе 350 из 376 доступных вопросов USMLE, и доказали, что он способен получать минимальные проходные баллы в этом тесте.
Результаты тестирования ChatGPT на экзаменах USMLE вызвали удивление. Он показал улучшение результатов на трех экзаменах, набрав от 52,4% до 75,0%. В годы, когда устанавливается проходной порог примерно 60%, это является значительным достижением. Кроме того, он демонстрирует высокую эффективность при выдаче неожиданных и клинически значимых выводов в 88,9% случаев. Интересно, что ChatGPT обошел по эффективности PubMedGPT, модель, обученную только на медицинских литературных источниках, которая показала результат 50,8% на экзамене USMLE.
Научные авторы выразили удивление возможностями ChatGPT в области медицины. Они утверждают, что результаты исследования свидетельствуют о возможности улучшения медицинского образования и практики. Компания AnsibleHealth уже использует возможности ChatGPT для передачи сложных медицинских сообщений в понятной форме для пациентов.
Автор: Вырлан Елизавета