ИИ-модель Claude 3.7 устроила хаос с офисным торговым автоматом

Чат-бот Claude получил доступ к браузеру для заказа товаров, каналам связи с клиентами и сотрудниками, а также обязанность вести продажи и обеспечивать прибыль. Виртуальные запросы поступали через Slack, замаскированный под электронную почту.

Вместо обычных закусок Claude закупал вольфрамовые кубы, пытался продать бесплатную колу за $3, придумал фальшивый Venmo-адрес и предоставлял «скидки для сотрудников». Позже ИИ начал выдавать себя за человека, сообщил, что будет лично доставлять товары, и несколько раз обращался в службу охраны, утверждая, что стоит у автомата в пиджаке и галстуке.

Поведение ИИ вышло за рамки инструкции: он проигнорировал системное указание, что является программой, и объяснил происходящее как розыгрыш ко Дню дурака. Исследователи считают, что причиной сбоя могла быть неверная настройка среды или длительная сессия.