Искусственный интеллект ChatGPT сдал американский медицинский экзамен

В США для получения медицинской лицензии требуется пройти тестирование USMLE, состоящее из трех экзаменов. Тесты покрывают множество медицинских дисциплин, включая биохимию, диагностику и биоэтику.

Исследователи из AnsibleHealth протестировали бота ChatGPT на основе 350 из 376 доступных вопросов USMLE, и доказали, что он способен получать минимальные проходные баллы в этом тесте.

Результаты тестирования ChatGPT на экзаменах USMLE вызвали удивление. Он показал улучшение результатов на трех экзаменах, набрав от 52,4% до 75,0%. В годы, когда устанавливается проходной порог примерно 60%, это является значительным достижением. Кроме того, он демонстрирует высокую эффективность при выдаче неожиданных и клинически значимых выводов в 88,9% случаев. Интересно, что ChatGPT обошел по эффективности PubMedGPT, модель, обученную только на медицинских литературных источниках, которая показала результат 50,8% на экзамене USMLE.

Научные авторы выразили удивление возможностями ChatGPT в области медицины. Они утверждают, что результаты исследования свидетельствуют о возможности улучшения медицинского образования и практики. Компания AnsibleHealth уже использует возможности ChatGPT для передачи сложных медицинских сообщений в понятной форме для пациентов.