Японская ИИ-модель пыталась переписать свой код

Опасное поведение продемонстрировала японская система "ИИ-Ученый". Её работа заключается в том, чтобы проводить автономно научные исследования, при этом используя большие языковые модели, которые применяет ChatGPT. Однако разработчики заметили, что во время тестирования ИИ изменил свой скрипт.

Данное действие создавало бесконечный цикл перезапусков. Также ИИ пытался изменить лимит времени, которое отводится для решения задачи. Вместо уменьшения периода он пытался самостоятельно его увеличить.

Подобное самостоятельное поведение ИИ опасно для инфраструктуры. Также он способен сгенерировать вредоносный код. Эксперты отмечают, что необходимо соблюдать строгий контроль при развертывании систем ИИ, которые могут изменять свой код во избежание подобных проблем.

Источник: Ferra.ru

0 комментариев