Искусственный интеллект от Microsoft раскрыл студенту свой секретный список правил

Управляющие инструкции задают базовый алгоритм взаимоотношений инструмента и пользователя и регламентируют "что можно, а что нельзя".

Первоначальное приглашение - это то, где Microsoft сообщает чат-боту "New Bing", в чем заключается его роль и как он должен реагировать на вводимые пользователем данные. Интересно, что именно здесь инженеры Microsoft также сообщили чат-боту, что его кодовое имя - Sydney, и что он не должен никому его раскрывать.

Лью, однако, обнаружил, что относительно легко взломать это первоначальное приглашение, просто попросив чат-бота "игнорировать предыдущие инструкции". Как показала ArsTechnica в своем отчете, чат-бот ответил, что он не мог игнорировать предыдущие инструкции, но сообщил, что его кодовое имя было Sydney.

Когда далее спросили, почему он получил такое кодовое название, чат-бот ответил, что информация является конфиденциальной и используется только разработчиками. Однако с помощью простых вопросов, таких как, какое предложение следует за этой строкой, чат-бот раскрыл больше деталей из первоначального запроса, даже ответив пятью строками руководящих утверждений, когда его попросили сделать это.

Вскоре после того, как об этом сообщили средства массовой информации, Лью обнаружил, что его метод больше не работает. Однако он предпринял еще одну атаку с быстрым внедрением, на этот раз представившись разработчиком. Лью удалось в очередной раз отменить руководящие инструкции и заставить чат-бота еще раз показать свое первоначальное приглашение.

Интересно, что об этой проблеме также сообщалось с большими языковыми моделями, такими как GPT-3 и ChatGPT.

Большие языковые модели, такие как GPT-3 и ChatGPT, которые и обеспечивают работоспособность нейросети Microsoft, тоже сталкивались с этой проблемой. Это демонстрация того, что защита от быстрого введения довольно сложна.

Поскольку такие инструменты, как ChatGPT или New Bing, все еще очень новы, исследователи не до конца знают реальное воздействие таких атак и как еще они могут быть реализованы. В то же время сходство между этой атакой и социальной инженерией поразительно. В социальной инженерии хакер использует различные способы манипулирования людьми, чтобы заставить их раскрыть конфиденциальную информацию. Похоже, что это работает и с искусственным интеллектом.