Radiology: ChatGPT сдал экзамен по радиологии и почти поступил в Королевский колледж Канады

Данные двух новых исследований опубликованы в журнале Radiology.

Чтобы оценить эффективность чат-бота на экзаменах по радиологии и изучить сильные стороны и ограничения, исследователи сначала протестировали ChatGPT на основе GPT-3.5, наиболее часто используемой в настоящее время версии.

Исследователи использовали 150 вопросов с несколькими вариантами ответов, разработанных в соответствии со стилем, содержанием и сложностью экзаменов Канадского королевского колледжа и Американского совета по радиологии, сообщает Medical Xpress.

Исследователи обнаружили, что ChatGPT на основе GPT-3.5 правильно ответил на 69% вопросов, что близко к проходному баллу в 70%, используемому Королевским колледжем Канады. Модель относительно хорошо справилась с вопросами, требующими мышления низшего порядка, но испытывала трудности с вопросами, требующими мышления высшего порядка.

В частности, она не справилась с вопросами, включающими описание результатов визуализации, расчеты, классификацию и применение концепций.

Низкие показатели по вопросам мышления более высокого порядка неудивительны, учитывая отсутствие предварительной подготовки по радиологии.