USD
82.02
-0.57
EUR
93.25
-0.08
Категория: AI и робототехникаAI и робототехника
20 июня 2023 г. в 17:10

Новый инструмент AtMan показывает, как искусственный интеллект принимает решения

Новый инструмент AtMan показывает, как искусственный интеллект принимает решения
pharmmedprom.ru
Когда один из пользователей попросил ChatGPT назвать имя главного редактора Spektrum der Wissenschaft, дочернего издания Scientific American на немецком языке, ответ его удивил.
"У меня есть самая свежая информация до 2021 года, и в то время доктор Флориан Фрейштеттер был главным редактором Spektrum der Wissenschaft, однако вполне возможно, что с тех пор информация изменилась", — ответил искусственный интеллект.
Это подчёркивает один из самых больших недостатков современных программ искусственного интеллекта, генерирующих язык: они "галлюцинируют". Хотя в Spektrum der Wissenschaft представлено много работ Фрейштеттера, он никогда не был штатным сотрудником, не говоря уже о должности главного редактора.
Специалист по информатике Кристиан Керстинг разработал и представил алгоритм под названием AtMan, который позволяет крупным системам искусственного интеллекта, таким как ChatGPT, Dall-E и Midjourney, объяснить свои результаты.
В середине апреля 2023 года Aleph Alpha интегрировала AtMan в свою собственную языковую модель Luminous, позволив ИИ рассуждать о её результатах. Те, кто хочет попробовать свои силы в этом, могут бесплатно воспользоваться Luminous Playground для выполнения таких задач, как обобщение текста или завершение ввода. Например, на вопрос "Я люблю есть бургер с..." следует ответ: "картошкой фри и салатом". Затем благодаря AtMan можно определить, какие входные слова привели к выходу: в данном случае "бургер" и "люблю".
Однако объяснительная сила AtMan ограничена входными данными. AtMan не может развенчать всю ложь (так называемые галлюцинации), распространяемую системами искусственного интеллекта, например, что Флориан Фрейштеттер — главный редактор. Тем не менее способность объяснять рассуждения ИИ на основе входных данных даёт огромные преимущества. Например, можно быстро проверить, корректна ли сводка, сгенерированная искусственным интеллектом, и убедиться, что искусственный интеллект ничего не добавил. Такая способность также играет важную роль с этической точки зрения.
"Если банк использует алгоритм для расчёта кредитоспособности человека, например, можно проверить, какие персональные данные привели к результату: использовал ли ИИ дискриминационные характеристики, такие как цвет кожи, пол и так далее", — говорит один из разработчиков AtMan.
Более того, AtMan не ограничивается чисто языковыми моделями. Он также может быть использован для изучения выходных данных программ искусственного интеллекта, которые генерируют или обрабатывают изображения. Это относится не только к таким программам, как Dall-E, но и к алгоритмам, которые анализируют медицинские снимки с целью диагностики различных расстройств. Такая возможность делает диагностику, сгенерированную искусственным интеллектом, более понятной. Врачи могли бы даже учиться у искусственного интеллекта, если бы он распознавал закономерности, которые ранее ускользали от людей.
Современные системы искусственного интеллекта, такие как языковые модели, программы машинного перевода или алгоритмы генерации изображений, построены на основе нейронных сетей. Структура этих сетей основана на зрительной коре головного мозга, в которой отдельные клетки, называемые нейронами, передают сигналы друг другу через соединения, называемые синапсами. В нейронной сети вычислительные блоки действуют как нейроны, и они построены в несколько слоёв, один за другим. Как и в мозге, связи между механическими нейронами называются синапсами, и каждому из них присваивается числовое значение, называемое его весом. Если, например, пользователь хочет передать изображение в такую программу, визуальное изображение сначала преобразуется в список чисел, где каждый пиксель соответствует записи. Затем нейроны первого слоя принимают эти числовые значения.
Источник: https://phonoteka.org
Источник: https://phonoteka.org
Далее данные проходят через нейронную сеть слой за слоем: значение нейрона в одном слое умножается на вес синапса и передаётся нейрону со следующего слоя. При необходимости полученный результат должен быть добавлен к значениям других синапсов, заканчивающихся на том же нейроне. Таким образом, программа обрабатывает исходный ввод слой за слоем до тех пор, пока нейроны последнего слоя не выдадут выходные данные — например, есть ли на изображении кошка, собака или чайка.
Однако часто интересен не только ответ искусственного интеллекта, но и то, какая информация привела его к этому выводу.
Существуют способы сделать результаты ИИ более прозрачными. Один из них — обратное распространение. Как и в процессе обучения, можно проследить, как выходные данные были сгенерированы на основе входных данных. Чтобы сделать это, необходимо отследить "синапсы" в Сети с наибольшими весами и таким образом определить исходные входные данные, которые в наибольшей степени повлияли на результат.
Другой метод заключается в использовании модели возмущений, в которой тестировщики могут слегка изменять входные данные и наблюдать, как это изменяет выходные данные ИИ. Это позволяет выяснить, какие входные данные больше всего повлияли на результат.
0 комментариев