Google выпускает план защиты от угроз ИИ

С этой целью в четверг технический гигант выпустил свою платформу Secure AI Framework (SAIF), которая станет своего рода дорожной картой безопасности, хотя на данный момент она только в "зародышевом" состоянии.

Изданием Mashable было представлено краткое изложение шести «основных элементов» фреймворка.

Элементы 1 и 2 касаются расширения существующей структуры безопасности организации, в первую очередь для включения угроз от ИИ.

Элемент 3 касается правильной интеграции ИИ для защиты от угроз для каждого пользователя.

Элемент 4 касается преимуществ безопасности единообразия в «структурах управления», связанных с ИИ.

Элементы 5 и 6 касаются постоянной проверки, оценки и тестирования приложений ИИ пользователя, чтобы убедиться, что они могут противостоять атакам и не подвергают его ненужному риску.

По мнению издания, на данный момент Google в основном просто хочет, чтобы организации привносили элементарные идеи кибербезопасности в ИИ. Как сказал директор по информационной безопасности Google Cloud Фил Венейблс, даже в том случае, если люди ищут более продвинутые подходы, каждый из них должен знать базовые правила безопасности.

Но уже есть некоторые новые и уникальные проблемы безопасности, возникающие здесь и сейчас с генеративными приложениями ИИ, такими как ChatGPT.

Например, исследователи безопасности определили один потенциальный риск - "быстрые инъекции" - причудливая форма эксплуатации ИИ, при которой вредоносная команда, направленная на ничего не подозревающий плагин чат-бота ИИ, поджидает в каком-то блоке текста. Когда ИИ сканирует быструю инъекцию, он меняет характер команды, отдаваемой ИИ.

Быстрые инъекции — это лишь один из новых типов угроз, которые, по словам Google, он надеется помочь обуздать. Также существуют другие угрозы, такие как "Кража модели", возможный способ заставить модель перевода раскрыть свои секреты.

"Отравление данными", при котором злоумышленник саботирует процесс обучения с намеренно ошибочными данными - еще одна из угроз.

Что касается того, что означает выпуск «фреймворка» для всего мира, то он может ни к чему не привести, но его также можно принять в качестве стандарта. Например, Национальный институт стандартов и технологий (NIST) правительства США в 2014 году выпустил более общую концепцию кибербезопасности. Она была направлена ​​на защиту критической инфраструктуры от кибератак, но также имеет большое влияние и признана золотым стандартом в кибербезопасности большинством опрошенных ИТ-специалистов по этому поводу.