GPT-3 решает тест на мышление лучше студентов вузов, но ошибается в детских задачах

К такому выводу пришли специалисты Калифорнийского университета после оценки способностей языковой модели от компании OpenAI. Они предложили GPT-3 решить задачи, используемые для диагностики умственных способностей по Шкале прогрессивных матриц Рейвена. Об этом пишет RTVI со ссылкой на журнал Nature Human Behaviour.

Уникальность заданий заключается в одинаковой интерпретации людьми, независимо от образования. К примеру, в одном из тестов следует определить, какая фигура стоит в пустой клетке, на основе предыдущих в ряду. Графические задания перевели в текстовый формат, чтобы облегчить прочтение для нейросети и обеспечить чистоту эксперимента.

GPT-3 ничуть не уступала реальным людям, а также делала одинаковые ошибки. Она верно решила 80% заданий, в то время как студенты – только 60%. Кроме того, нейросеть в среднем лучше выпускников справлялась с решением теста SAT, который применяется для поступления в американские вузы.

При этом языковая модель не смогла выполнить простые задания на понимание свойств физического пространства. В одном из тестов требовалось найти способы переместить шарики из чашки при помощи разных предметов, таких как длинная труба, картон и ножницы. Чат-бот генерировал абсурдные ответы.

Ранее издание Involta media рассказало, что эксперты в области искусственного интеллекта поделились прогнозами о том, как новые технологии изменят мир к 2029 году.