Новый инструмент AtMan показывает, как искусственный интеллект принимает решения

Это подчёркивает один из самых больших недостатков современных программ искусственного интеллекта, генерирующих язык: они "галлюцинируют". Хотя в Spektrum der Wissenschaft представлено много работ Фрейштеттера, он никогда не был штатным сотрудником, не говоря уже о должности главного редактора.

Специалист по информатике Кристиан Керстинг разработал и представил алгоритм под названием AtMan, который позволяет крупным системам искусственного интеллекта, таким как ChatGPT, Dall-E и Midjourney, объяснить свои результаты.

В середине апреля 2023 года Aleph Alpha интегрировала AtMan в свою собственную языковую модель Luminous, позволив ИИ рассуждать о её результатах. Те, кто хочет попробовать свои силы в этом, могут бесплатно воспользоваться Luminous Playground для выполнения таких задач, как обобщение текста или завершение ввода. Например, на вопрос "Я люблю есть бургер с..." следует ответ: "картошкой фри и салатом". Затем благодаря AtMan можно определить, какие входные слова привели к выходу: в данном случае "бургер" и "люблю".

Однако объяснительная сила AtMan ограничена входными данными. AtMan не может развенчать всю ложь (так называемые галлюцинации), распространяемую системами искусственного интеллекта, например, что Флориан Фрейштеттер — главный редактор. Тем не менее способность объяснять рассуждения ИИ на основе входных данных даёт огромные преимущества. Например, можно быстро проверить, корректна ли сводка, сгенерированная искусственным интеллектом, и убедиться, что искусственный интеллект ничего не добавил. Такая способность также играет важную роль с этической точки зрения.

Более того, AtMan не ограничивается чисто языковыми моделями. Он также может быть использован для изучения выходных данных программ искусственного интеллекта, которые генерируют или обрабатывают изображения. Это относится не только к таким программам, как Dall-E, но и к алгоритмам, которые анализируют медицинские снимки с целью диагностики различных расстройств. Такая возможность делает диагностику, сгенерированную искусственным интеллектом, более понятной. Врачи могли бы даже учиться у искусственного интеллекта, если бы он распознавал закономерности, которые ранее ускользали от людей.

Современные системы искусственного интеллекта, такие как языковые модели, программы машинного перевода или алгоритмы генерации изображений, построены на основе нейронных сетей. Структура этих сетей основана на зрительной коре головного мозга, в которой отдельные клетки, называемые нейронами, передают сигналы друг другу через соединения, называемые синапсами. В нейронной сети вычислительные блоки действуют как нейроны, и они построены в несколько слоёв, один за другим. Как и в мозге, связи между механическими нейронами называются синапсами, и каждому из них присваивается числовое значение, называемое его весом. Если, например, пользователь хочет передать изображение в такую программу, визуальное изображение сначала преобразуется в список чисел, где каждый пиксель соответствует записи. Затем нейроны первого слоя принимают эти числовые значения.

Далее данные проходят через нейронную сеть слой за слоем: значение нейрона в одном слое умножается на вес синапса и передаётся нейрону со следующего слоя. При необходимости полученный результат должен быть добавлен к значениям других синапсов, заканчивающихся на том же нейроне. Таким образом, программа обрабатывает исходный ввод слой за слоем до тех пор, пока нейроны последнего слоя не выдадут выходные данные — например, есть ли на изображении кошка, собака или чайка.

Однако часто интересен не только ответ искусственного интеллекта, но и то, какая информация привела его к этому выводу.

Существуют способы сделать результаты ИИ более прозрачными. Один из них — обратное распространение. Как и в процессе обучения, можно проследить, как выходные данные были сгенерированы на основе входных данных. Чтобы сделать это, необходимо отследить "синапсы" в Сети с наибольшими весами и таким образом определить исходные входные данные, которые в наибольшей степени повлияли на результат.

Другой метод заключается в использовании модели возмущений, в которой тестировщики могут слегка изменять входные данные и наблюдать, как это изменяет выходные данные ИИ. Это позволяет выяснить, какие входные данные больше всего повлияли на результат.