В американском научном сообществе возникла дискуссия по поводу потенциальных рисков, связанных с языковыми моделями, подобными ChatGPT, пишет FBM.
Статья на эту тему появилась в журнале Patterns. Авторы предупреждают о риске использования подобных моделей злоумышленниками и недобросовестными учеными для разработки поддельных научных работ.
Чтобы доказать возможность этого, авторы статьи с помощью чат-бота ChatGPT создали подделку, медицинскую статью. Статья выглядела достаточно профессиональной, однако имела ложный посыл, ссылалась на несуществующие эксперименты и никогда не живших людей, а также представляла бессмысленные выводы.
По словам авторов статьи в Patterns, достаточно смышленый злоумышленник способен создать правдоподобную статью и направить ее на публикацию в научное издание. И хорошо, говорят ученые, если журнал окажется рецензируемым.
Кроме того, на нескольких научных работах был проведен аналог теста Тьюринга, чтобы выяснить, написана ли статья человеком. Тест ошибочно распознал 32% научных статей, сгенерированных программно, как созданные людьми, 14% статей - созданных людьми, как программные.