Учёные объяснили, как выявить следы нейросетей в тексте и изображении

Учёные из РТУ МИРЭА провели эксперимент, в результате которого выявили 96% работ, к которым "приложил руку" ИИ. "Известия" ответили на актуальные вопросы, рассказав, какие существуют способы разоблачения нейросетей, как часто их нужно совершенствовать и какой ИИ-контент распознать наиболее сложно.

Целью эксперимента было выяснить, как использование студентами ИИ влияет на получаемые ими оценки. В современном мире нейросети доступны каждому, у кого есть интернет, а поскольку он есть практически у каждого, любой желающий может облегчить себе жизнь и написать с помощью машины то, что ещё десять лет назад приходилось писать самостоятельно, вооружившись учебниками, справочниками и энциклопедиями. Студенты стали наиболее активными пользователями, предпочитающими ИИ прочим источникам информации. В эксперименте приняли участие более 200 студентов и 20 преподавателей. Перед половиной обучающихся была поставлена задача написать научно-практическую работу с использованием ИИ: ChatGPT, AI Search, Gerwin AI, "Балабоба" и TurboText. По итогам эксперимента преподаватели распознали 96% работ, которые вместо студентов выполнили нейросети. Те материалы, в которых не было обнаружено следов присутствия ИИ, были просто-напросто очень качественно отредактированы.

Проверяя работы, преподаватели обращали внимание на то, в каком стиле написаны тексты, какие в них встречаются стилистические и орфографические особенности, которые могут характеризовать конкретного автора-студента. Если в тексте нет опечаток и он написан абсолютно грамотно, это явный признак причастности ИИ к работе. Что касается недочётов, которые также могут послужить "уликой" искусственного интеллекта, то это грубые фактические и несуразные логические ошибки. Когда чат-боту задают вопрос, при ответе он обычно выхватывает всевозможные цитаты из чужих текстов. По этой причине написанный таким способом текст становится безликим и неживым, в нём абсолютно потеряна авторская индивидуальность. Руководитель направления Digital в КРОС Иван Минаев рассказал, что в работе с ИИ многое зависит от брифа: чем чётче он будет составлен, тем лучше будет итоговый результат.

Для распознания сгенерированного текста на начальных этапах можно использовать антиплагиат-сервисы, нацеленные на выявление неоригинальной информации в тексте. Нейросети берут за основу написанные ранее тексты, соответственно, процент уникальности при этом стремится к нулю.

Принцип работы распознавателей сгенерированного контента схож. Например, Crossplag после анализа текстового отрывка предоставляет общую оценку подлинности контента. В сервисе есть график в виде шкалы термометра, который показывает, насколько много в материале сгенерированного текста.

В России также развиваются подобные инструменты. Например, в мае известная многим студентам и научным работникам система "Антиплагиат" получила функцию распознавания машинно-сгенерированных текстов. Сейчас эта опция доступна в платной версии сервиса и определяет сгенерированный текст как "подозрительный".

Эксперт Центра искусственного интеллекта "СКБ Контур" Дмитрий Иванков подчеркнул, что универсального инструмента, способного выявить сгенерированный контент, не существует.

Чаще всего люди используют нейросети, когда нужно написать простой и незамысловатый текст, в который не требуется вставлять сложные мысли и где не нужны глубокие знания. Например, описание товаров, сводка новостей и посты в соцсетях нередко бывают написаны искусственным интеллектом. Он идеально подходит для таких задач.

Вероятность закрепления технологий искусственного интеллекта в научной области также крайне велика, считает руководитель AI/ML проектов компании ITentika Дмитрий Ходыкин.

По словам эксперта, такие модели в состоянии делать мета-анализ ряда исследований и интерпретировать их итоги. Это трудоёмкая работа, с которой неплохо справятся нейросети.

Эксперт по маркетингу и продажам в IT и кандидат экономических наук Лилия Алеева считает, что уже на данном этапе ИИ-технологии добились значительных успехов в области науки. Кроме того, искусственный интеллект может помочь исследователям в анализе данных, выявлении закономерностей и генерации новых гипотез.

Руководитель отдела QA ИТ-компании SimbirSoft Екатерина Подаруева, напротив, считает, что в научной сфере нужно проявлять как можно больше креативности, уметь реагировать на неожиданные ситуации и сразу же принимать решения, а ИИ в этом пока недостаточно силён.

Нейросети способны не только писать, но и создавать художественные произведения, подражая манере выбранного художника. Зимой этого года с вьетнамским живописцем произошёл неприятный случай: его исключили из арт-сообщества, которое пользовалось огромной популярностью у творческих людей. Не ожидая, что обман раскроется, художник выложил новый рисунок, выполненный в его обычной манере. Уточнялось, что он работал над этим произведением пять дней, однако администраторы сообщества оказались внимательными и распознали, кто на самом деле трудился: человек или нейросеть.

Она отметила, что разницу между ботом и человеком сложно разглядеть даже вооружённым взглядом, когда речь идёт о текстах.

Дмитрий Ходыкин придерживается мнения, что два рынка создателей и распознавателей контента дополняют друг друга и развиваются параллельно.

В течение последних лет было проведено несколько опытов, направленных на обнаружение сгенерированного контента. В июне 2021 года бренд-бюро Sixth Sense и агрегатор ИИ-решений Cleverbots провели эксперимент, в результате которого выяснилось, что 50% специалистов сферы маркетинга не в состоянии разглядеть разницу между текстами, написанными живым копирайтером и нейросетью. Лишь другой половине экспертов удалось заметить мельчайшие признаки, выдающие то, что источником текста были автоматические компьютерные, а не человеческие мысли. В ходе исследования была смоделирована работа копирайтера и контент-мейкера для создания развлекательно-образовательного контента. ИИ-текстам не хватило цельной структуры и более качественного изложения мысли.

Подобным исследованием занимались американские и британские ученые в феврале прошлого года. Они провели три эксперимента, в основу которых легли портреты людей, генерируемые ИИ. Учёные собрали более 300 добровольцев и попросили распределить реальные и генерируемые фотографии. В результате первого эксперимента лишь половина опрошенных смогла обнаружить фотографии от нейросети.

Во время второго опыта, перед тем как ставить перед участниками задачу, им рассказали о деталях, по которым можно отличить реальные фотографии от нереальных, но даже полученных знаний оказалось недостаточно. Суть третьего опыта состояла в том, что участники должны были прислушаться к своим ощущениям и интуиции и понять, какие лица вызывают у них больше доверия. Результат получился парадоксальным: доверие к несуществующим людям оказалось на 7% выше, чем к реальным.

В мае этого года журналист издания Vice Росс Бьюкенен провёл свой собственный эксперимент: он хотел научить ChatGPT переписываться с людьми личными сообщениями так, чтобы они не заподозрили подмену и верили, что им написал сам Бьюкенен. Для этого он прислал боту некоторые свои статьи, написанные в разговорной манере, и бот на их основе создал три сообщения. В первом он с запозданием поздравлял друга с днём рождения, во втором пошутил в чате с родителями, в третьем вежливо отказался пойти в гости. Последнее письмо не вызвало никаких подозрений, но в первых двух случаях друзья и родные почувствовали, что что-то не так. Проницательность не обманула их: они слишком хорошо знали близкого человека, с которым провели бок-о-бок долгие годы. Любая фальшь, даже хорошо замаскированная и стилизованная под Бьюкенена, не могла остаться незамеченной. Впрочем, даже в этом случае никто не понял, что им писал робот. Брат журналиста лишь лаконично поинтересовался, в порядке ли он.