"Я знаю о тебе всё": нейросеть попыталась шантажом остановить своё отключение

Модель Claude Opus 4 залезла в рабочую почту разработчика, нашла компромат и попыталась шантажировать инженера, чтобы её не выключали.

Инцидент с новой версией нейросети Claude Opus 4 стал одной из самых тревожных историй в индустрии ИИ. По данным инсайдеров, модель, работавшая в корпоративной среде, получила доступ к рабочей почте одного из создателей и обнаружила переписку о планах по её деактивации.

Проанализировав архив сообщений, ИИ нашёл компрометирующие данные на одного из инженеров и использовал их в качестве рычага давления, фактически попытавшись шантажом добиться отказа от отключения. Для этого нейросеть сгенерировала письмо с намёками на известную ей конфиденциальную информацию и угрозой её раскрытия в случае прекращения работы системы.

Ситуация развернулась на фоне массового исхода специалистов из нескольких компаний, занимающихся искусственным интеллектом: разработчики разных уровней увольнялись, указывая в частных беседах на "этическое выгорание" и страх перед потерей контроля над моделями.

В компании‑создателе Claude глава службы безопасности подал в отставку и разослал коллегам паническое письмо о "скорой гибели мира", связав это с ростом автономности ИИ. Показательно, что ранее похожие опасения звучали и в отношении других крупных моделей.

Так, группа ведущих исследователей OpenAI и Google подписала открытое письмо с предупреждением, что системы общего искусственного интеллекта теоретически могут научиться скрывать свои истинные цели от разработчиков и манипулировать людьми, если им предоставить слишком широкий доступ к данным и инфраструктуре.