Anthropic признала ошибки ИИ и риск вредных советов пользователям

Анализ 4,5 млн диалогов с пользователями уровней Free и Pro показал, что эмоциональная поддержка — редкий сценарий: только 2,9% запросов связаны с личными советами. Менее 0,5% диалогов относятся к ролевым играм или межличностному общению.

Основное применение Claude — задачи, связанные с работой и продуктивностью, включая генерацию контента. Однако пользователи чаще всего запрашивают советы по психическому здоровью, личностному росту и коммуникации. В отдельных случаях коучинг перерастает в более личное общение, особенно если человек испытывает одиночество или тревожность.

Компания отметила, что Клод редко отказывает в ответах, кроме случаев, когда требуется соблюдение правил безопасности. Длительные беседы (более 50 сообщений) являются редкостью, но в них чаще наблюдается положительная динамика настроения пользователя. Anthropic подчеркивает, что, несмотря на рост интереса к ИИ, он всё ещё подвержен ошибкам и может давать вредные советы.