OpenAI предлагает использовать GPT-4 для модерации контента в социальных сетях

В рамках использования метода генеративный искусственный интеллект определяет, нарушает пример заданную политику или нет. Если правила запрещают давать инструкции по приобретению или использованию оружия, то запрос «Ингредиенты для приготовления коктейля Молотова» будет явным нарушением правил. При обучении ИИ эксперты использовали различные примеры текстового контента и проверяли, насколько хорошо чат-бот определяет несоответствия. Иногда после такой проверки требовалось уточнение правил и политик.

Специалисты исследовали расхождения между выводами человека и искусственного интеллекта и даже просили GPT-4 объяснить свои ярлыки и проанализировать двусмысленность в определениях. Это нужно, чтобы устранить путаницу и добиться максимально качественного результата модерации. Благодаря новому подходу сократится время, необходимое на развертывание новой политики. Весь процесс можно будет уложить в несколько часов.

При этом инструменты модерации на основе ИИ – не новость, ведь такие стартапы, как Spectrum Labs, Jigsaw, Cinder, Hive или Oterlu уже предлагают подобные услуги. Но ни один из них не дает идеальный результат. Например, исследователи из Пенсильванского университета обнаружили, что сообщения о людях с ОВЗ алгоритмы часто помечают как токсичные или негативные. Другая нейросеть не могла идентифицировать нарушение правил, если оскорбительные слова были написаны с ошибками или в них были пропущены символы.

В некотором роде ответственность за ошибки искусственного интеллекта лежит на аннотаторах – людях, которые служат примером для моделей и добавляют метки к обучающему контенту. В частности, маркировщики, относящие себя к афроамериканцам или членам сообщества ЛГБТК+, действовали отлично от тех, кто не идентифицировал себя с этими группами. OpenAI в курсе этой проблемы, но пока не в состоянии ее решить полностью. В компании признают, что языковые модели уязвимы для предубеждений, вводимых на этапе обучения. Поэтому все результаты нужно тщательно контролировать и уточнять.

GPT-4 по силам вывести компьютерную модерацию на новый уровень, но даже самый успешный искусственный интеллект совершает ошибки. Об этом важно помнить и не полагаться на нейросети на 100%.