Чат-боты с искусственным интеллектом выполняют команды хакеров

Чат-боты, работающие на LLM, только недавно ставшие популярными, уже показывают пробелы в вопросах безопасности. Исследователи обнаружили, что эти модели уязвимы для атак под названием «быстрое внедрение», когда злоумышленники тайно предоставляют им команды.

Злоумышленники могут попросить чат-бот прочитать и обобщить конфиденциальные файлы, украсть данные или отправить сообщения, наносящие ущерб репутации пользователя. Вместо того, чтобы игнорировать команду, программа искусственного интеллекта отнесется к ней как к законному запросу.

Чат-боты не понимают, что команду дает хакер, и относятся к ней, как к запросу от обычного пользователя, который запрашивает свою же информацию.

Отметим, что на данный момент случаев успешного взлома чат-ботов таким образом не так много. Тем не менее, растущий интерес к чат-ботам с искусственным интеллектом увеличивает потенциал для любой атаки. Такие компании, как OpenAI и Google, работают над улучшением безопасности своих моделей, чтобы предотвратить возможные манипуляции. Несмотря на риски, чат-боты могут стать мощными инструментами, если удастся решить эти проблемы безопасности.