Россия догоняет. ИИ компании пытаются помочь Пентагону не проиграть

Новая книга рисует историю рождения секретной системы, которая автоматизирует боевые действия. От поиска цели до ликвидации — четыре клика мышкой

ИноСМИ теперь в MAX! Подписывайтесь на главное международное >>>

В феврале просочились новости: операция по поимке венесуэльского президента Николаса Мадуро вышла за рамки чисто человеческих усилий. В этой незаконной миссии каким-то образом засветился Claude — большая языковая модель Anthropic. Военные получили доступ к Claudeчерез выпадающее меню в рабочем пакете Maven Smart System — системы, которая собирает, обобщает и ускоряет обработку разведданных. Правительство закупает M.S.S. у Palantir — загадочного оборонного подрядчика, созданного Питером Тилем и эксцентричным гиперпатриотичным философом Алексом Карпом. Появление Claude, видимо, стало сюрпризом для его материнской компании. По слухам, руководитель Anthropicсвязался с коллегой из Palantir, чтобы выяснить, что именно Claudeнатворил в Каракасе. Когда запрос дошел до администрации Трампа, сказал мне в прошлом месяце один чиновник, это сочли сигналом, что Anthropic (которая как раз перезаключала контракт с федералами) — возможно, ненадежный партнер (компания такую версию опровергла). Подозрение укрепилось, когда Anthropic, сославшись на страх перед тотальной слежкой и автономным оружием, отказалась дать Пентагону "все законные разрешения" на использование своих продуктов. Спор закончился тем, что министр обороны Пит Хегсет в гневном твите объявил Anthropicугрозой для цепочки поставок, а значит, перманентной опасностью для нацбезопасности.

"Джинн вырвался из бутылки". Иран выявил самое слабое место США

Однако запрет вступил в силу не сразу. Пентагону, видимо, для последнего задания понадобился Claude. 12 часов спустя Белый дом начал бомбить Иран. Среди жертв первого дня операции "Эпическая ярость" — более 175 человек, большинство из них маленькие девочки, в начальной школе Шаджарех Тайебех в южном городе Минаб. Потенциальная вина Claudeв этом и других возможных военных преступлениях стала предметом широких спекуляций — не только в прессе, но и в Вашингтоне. Демократы в Конгрессе направили Хегсету письмо с требованием подробно отчитаться об использовании ИИ в иранской кампании. В эссе для Substack (позже перепечатанном в несколько измененном виде Guardian) специалист по технологиям Кевин Бейкер написал, что почти все сопутствующие репортажи (включая мой) "не имели никакого отношения к реальности". Maven недавно добавил функции на основе больших языковых моделей, но программа существовала уже 10 лет. Claude, по мнению Бейкера, был макгаффином. Он лишь отвлекал внимание от центральной роли Maven как автоматизированной системы наведения. Он продолжил: "Настоящий вопрос, который почти никто не задавал, — не о Claude и не о какой-либо языковой модели. Это бюрократический вопрос о том, что случилось с цепочкой поражения целей, и ответ — Palantir".

Журналист-ветеран Катрина Мэнсон, которая теперь освещает оборонные технологии для Bloomberg, потратила бо́льшую часть последних лет именно на этот вопрос. Ее новая книга "Project Maven: Морской полковник, его команда и рассвет войны с ИИ" — это хорошо задокументированный и обоснованный рассказ о текущей перестройке вооруженных сил США для новой технологической эры. Книга была закончена за несколько месяцев до того, как красные линии Anthropic вызвали новый интерес к автономным БПЛА-роям и роботам-убийцам, но даже тогда все было ясно. Антиутопичная резня не на подходе, пишет она в конце введения. Она "уже началась".

"Project Maven" выстроена как интеллектуальная и профессиональная биография Дрю Кукора, офицера разведки Корпуса морской пехоты, который во многом отвечал за конечный "успех" этой военной трансформации. Повествование начинается вскоре после 11 сентября, когда Кукор в числе первых оказывается в Афганистане. Первая миссия в составе экспедиционного отряда, посланного захватить аэропорт Кандагара у талибов, застает его в затемненном вертолете, где вместо младшего капрала стоял тяжелый персональный компьютер — та самая доисторическая версия Claude на пути к Венесуэле. В компьютер были загружены современные инструменты в помощь Кукору и его подразделению в оценке целей, обнаружении угроз, планировании миссий и брифингах для командиров: "Excel, Word, Google Earth и PowerPoint, а также кое-какое внутреннее военное ПО, которое никому не нравилось".

Проблема, как видел ее Кукор, заключалась не в отсутствии у американских сил фактов. Они тонули в разведданных о пещерах-убежищах, схронах оружия и передвижениях врага. Часть данных поступала благодаря наблюдению и радиотехнической разведке, часть — из допросов задержанных. Но у морпехов не было возможности соединить все это воедино. Цели "Аль-Каиды"* перечислялись в Excel. PowerPoint служил для картографирования сетевых связей. Word — для написания отчетов. Google Earth — для приближения и отдаления. Не то что бы это было полностью бесполезно — один офицер артиллерии позже признался Мэнсон: "На Officeмы убили больше народу, чем вы себе можете представить", — однако высокоточные снаряды остаются высокоточными лишь при условии, что вы понимаете, куда целиться. У Кукора не было системного подхода к "разгадыванию закономерностей войны". В последующее десятилетие он наблюдал, как из-за отсутствия организованной, интегрированной информации снова и снова гибнут солдаты и гражданские. Военным, как он давно полагал, требовалось "нечто „радикально иное“ по сравнению со статусом-кво": он мечтал о "единой цифровой сетке", которая давала бы "высокоточную картину поля боя" в реальном времени, — движущиеся белые точки, легко различимые на "одном стеклянном экране, который помогает разглядеть сквозь туман войны",

Реализация этого цифрового экрана, которая в итоге проявила себя как Project Maven, — одна из двух историй, которые рассказывает Мэнсон. Она описывает прерывистое развитие самой сути того, чего хотел Кукор. Параллельно она пересказывает почти невероятное описание процесса, как он этого добился. Такова история личной войны Кукора с чопорной бюрократией Пентагона. Кукор в ее описании — карикатурно грубый, изматывающий всех тип, который работает до изнеможения, мучает подчиненных и бесит начальство. Он подражает Хайману Риковеру, печально известному упрямцу-адмиралу, который в одиночку создал атомный подводный флот ВМС. При этом он еще и интеллектуальный романтик: его любимый роман, выясняет Мэнсон, — "Дон Кихот". Это дает ей готовый шаблон повествования, где "трагикомический и непонятый герой занят безнадежным поиском идеального образа мира, не существующего в реальности, — вечные старания спасти мир и восстановить справедливость, которые неизменно заканчиваются провалом.

Мэнсон, вопреки себе и к своей чести, явно проникается симпатией к Кукору или, по крайней мере, с неохотой им восхищается. Личная симпатия позволяет ей серьезно отнестись к его увлеченности идеей мира, улучшенного и защищенного войной с помощью ИИ. В этом альтернативном будущем живых солдат заменяют дроны и роботы (и, гораздо позже, милитаризованные беспилотные гидроциклы); жизни невинных гражданских спасают надежные системы с мгновенным и полным знанием обстановки; а превосходство ИИ обеспечивает даже более эффективное сдерживание, чем ядерный потенциал. Мэнсон указывает, что у этой иллюзии устаревания войны есть прецеденты: в годы перед Первой мировой войной один наблюдатель задавался вопросом, приведет ли массовое производство винтовок к такой невообразимой резне, что ни один здравомыслящий командир не рискнет вступить в бой.

Но Кукор настаивает, что Maven никогда не должен был стать оружием. Он часто защищает проект как просто-напросто интегрированную платформу данных, которая даст пользователям расширенную возможность принимать мудрые и осторожные решения. С таким позитивным взглядом Мэнсон позволяет читателю хотя бы иногда желать Кукору удачи — как мы желаем удачи беззаботному Мэверику из "Top Gun". Он бьется с системами компьютерного распознавания образов, которые не дают результата, с коллегами, ревниво прячущими свои данные, с пользователями, верными старым системам, с высшим командованием, приверженным древним корявым методам, и с миролюбивыми айтишниками. В 2018 году сотрудники Google устроили массовую забастовку против работы компании над примитивной версией проекта.

После фиаско с Google Кукор обращается к Palantir (а также к Microsoft и Amazon), чтобы воплотить Maven в жизнь. Контракт, отмечает Мэнсон, почти наверняка спас тогдашний умирающий Palantir от корпоративного забвения. Он также, возможно, спас Maven, который в конечном итоге преодолел горький скептицизм оборонного истеблишмента. История Мэнсон достигает кульминации в конфликте на Украине, где Maven помог смягчить преимущества России; это стало поворотным моментом для полноценного внедрения на национальном уровне. Нынешний лимит контракта Пентагона на Maven составляет 1,3 миллиарда долларов. Бывшие сотрудники Maven заняли влиятельные посты и в администрации Трампа, и в близкой к ней фракции техносектора. Последней наскучили бессмысленные приложения для пользователей, и она сделала выбор в пользу мощного военно-промышленного комплекса. Наших союзников тоже убедили: у НАТО теперь есть собственный контракт с Palantir на Maven, и это побудило 10 стран-членов также заключить такой контракт. В любой момент времени тысячи людей заходят в систему и отслеживают тысячи информационных потоков, превращенных в опрятный интерфейс, похожий на экраны из фильма "Особое мнение".

Maven Smart System стала глобальным инструментом слежки — она может отслеживать 49 тысяч аэродромов по всему миру, — но ее текущая работа едва ли ограничивается предоставлением и анализом разведданных. "Один клик — сообщает Мэнсон, — может отправить координаты через тактическую линию передачи данных на конкретную оружейную платформу для немедленного выстрела по цели". Весь процесс от обнаружения цели до уничтожения — четыре клика. В 2023 году один источник поведал ей, что может одобрить 80 целей за час: "Принять. Принять. Принять". Старая система могла поразить меньше сотни целей в день; новая может поразить тысячу, а с недавней интеграцией больших языковых моделей это число выросло до 5 тысяч. Эта система сыграла решающую роль в "точных" массовых бомбардировках в Иране. Чиновники сказали Мэнсон, что Maven "ускоряет боевую работу и „дает возможность убивать“ штабам по всему свету". Также систему предсказуемо перенаправляют на контроль границ и наркополицейские операции внутри страны.

И Maven — лишь одна часть набора инструментов ИИ. Мэнсон обнаруживает свидетельства двух секретных программ создания роботов-убийц, которые спешно разрабатываются: воздушной и водной. Если Китай предпримет шаги против Тайваня, проливы между ними, как выразился один американский командир, превратятся в "адский пейзаж" из вооруженных автоматов. Впервые в предложенном бюджете Пентагона появилась отдельная статья для полностью автономных систем с запросом на выделение более 13 миллиардов долларов. Машина может стрелять, сообщает Мэнсон, в "десять раз быстрее, чем наемный убийца". Это вызывает у "апологетов боевой автономии" что-то вроде сладострастной дрожи: один источник говорит, что "нет ничего лучше зрелища нацеленной машины", описывая свои ощущения: "нечто чужеродное, какой-то нездешний трепет, не скажу „религиозный“, это не то слово".

Но Кукор — он отслужил 30 лет по принципу "повысят или выгонят", но звезды так и не получил — уже давно ушел на прибыльную работу в частный сектор. Мэнсон находит его на пляже в Лос-Анджелесе. "Он всегда предвидел союз человека и машины, а не захват власти машинами", — пишет она. Когда-то он сказал ей, что проблема войны в том, что люди "материально испорчены, неэффективны и устают". Их слабости можно уравновесить силой машин. "Если правильно настроить эти штуки, они могут работать лучше людей", — настаивал он. ИИ может помочь справиться с неизбежной проблемой: "Война полна человеческих ошибок".

"Как и Америка", — пишет она. "Мы несовершенны", — говорит он.

Кукор тоже несовершенен. Он, возможно, хочет верить, что Maven задумывался лишь как источник надежных разведданных для продуманных решений людей. Но Мэнсон снова и снова показывает: процесс всегда балансировал где-то между наивной мечтой и умышленной ложью. Интерес Кукора к боевым операциям был настолько общеизвестным секретом, что едва ли считался тайной. Алекс Карп, генеральный директор Palantir, однажды назвал его "отцом-основателем ИИ-наведения".

В значительной степени ни Project Maven, ни книга, которую он вдохновил, никогда не были об ИИ как таковом. Кукор, возможно, тот самый полковник со стрижкой под ноль, который пробил проекту дорогу, но в движение его привел не он. В 2014 году, когда второй срок Обамы перевалил за середину, министр обороны Чак Хейгел и его зам Роберт Уорк выдвинули так называемую "третью компенсационную стратегию". "Компенсация", как описывает это специалист по технологиям Кевин Бейкер, — это "ставка на то, что технологическое преимущество может компенсировать стратегическую слабость, которую страна не может исправить напрямую". Первой компенсацией стала разработка ядерного оружия, которая обеспечила доминирование Америки над СССР, полагавшимся на массовую мобилизацию. Когда Советы создали собственные атомные бомбы, США сделали ставку на высокоточные боеприпасы, такие как управляемые ракеты большой дальности, и технологии малозаметности.

"Третья компенсация" — после того как сначала Россия, а теперь Китай догнали Америку, — была связана не с какой-то конкретной технологией, а с попыткой реорганизовать армию под скорость и маневренность. То, что мы сейчас называем "ИИ", было тогда еще неведомым механизмом, умеющим различать кошек. Тем не менее автономия была краеугольным компонентом. На публичном собрании в 2015 году Уорк сказал: "„Я говорю вам прямо сейчас: через десять лет, если первым в пролом пойдет не чертов робот, это будет позор“. Как он объяснил Мэнсон: „Мне нужна не просто разведка, а некие прямые боевые применения“. Кукор предложил Уорку демонстрацию, чтобы доказать, что за видеотрансляциями с беспилотников алгоритмы могут следить лучше, чем отвлекающиеся пилоты; по словам одного из источников Мэнсон, Уорк был „супервпечатлен“ и отправил его в Кремниевую долину. Кукор посетил Tesla, Waymo и Uber.

Весной 2017 года Уорк запустил засекреченный Project Maven и назначил Кукора им руководить. Их работу всегда представляли исключительно как разведывательную программу, а не как оружейную платформу. Когда Мэнсон спросила одного из первых участников Maven, было ли наведение и ударные вылеты негласной частью, он сказал: „Да, конечно. Мы же не делаем это ради удовольствия. Цель разведки — ликвидировать высокоценные цели“. Мэнсон продолжает: „Говоря со мной годы спустя, Кукор тоже не делал из этого секрета“. Какой смысл в скорости, если приходится ждать неповоротливого контроля человека? Если машины могут опознавать цели, разве они не могут также нажать на спуск, чтобы обрушить смерть со всех сторон?

С этой точки зрения, Кукор не совсем вел войну с чем-то по определению плохим под названием бюрократия. То, что он называл склерозом, точнее было бы назвать процессом обдумывания, который сдерживает наши самые опрометчивые импульсы. Можно, конечно, „оптимизировать“ аппарат принятия решений, избавив его от любых лазеек для чьего-либо личного или коллективного решения. Но, пишет Кевин Бейкер, это „трение и есть та среда, где рождается суждение“. Клаузевиц заметил, что большая часть разведданных ложна, что донесения противоречат друг другу. Командир, проработавший это, учится видеть так, как глаз привыкает к темноте, — не получая более яркий свет, а выжидая достаточно долго, чтобы использовать тот свет, который есть". Он продолжает: "Это самое „оставание“ требует времени. Сократите время — и трение никуда не денется. Вы просто перестанете его видеть". Человек в системе управления не случаен. Он там, чтобы все тормозить.

Мэнсон не может до конца определиться с ценностью институциональной инерции. Когда она в благодушном настроении и готова согласиться с Кукором, что война с ИИ — это благо, которое спасет много жизней, бюрократия превращается для него в старую кирпичную стену. Кукор прошибает ее насквозь, как тот парень из рекламы сока. Но когда Мэнсон видит в Кукоре скользкого торговца и недобросовестного игрока, бюрократия уже не стена, а забор Честертона. Такой забор не ломают, пока точно не узнают, зачем его поставили. Бейкер, со своей стороны, не видит реального различия между чопорным, старомодным Пентагоном и его новой, разрушенной ИИ итерацией. Это скорее точки на континууме растущего процедурного формализма, структур, созданных для ограничения свободы действий и ответственности. Кукор и ему подобные могут думать, что дают военнослужащим новые средства, чтобы они справились с ситуацией, но на деле они узурпируют человеческую гибкость и свободу. "Карп думает, что уничтожает бюрократию, — пишет Бейкер. — Он ее кодифицирует". С Maven, продолжает он, "Карп убрал то право на усмотрение, без которого институт никогда не мог бы существовать, но в котором никогда не хотел себе признаться. Осталась бюрократия, способная следовать правилам, но некому их толковать. Бюрократия, записанная в коде программы, не гнется. Она разлетается на куски".

Один довод в защиту машин ставит лицом к лицу всезнание, математический расчет и неутомимость лучшего ИИ — и слабость, лицемерие, самообман и предрассудки худших из людей. Обратный случай этой линии мышления противопоставляет лучшее в человечестве — ситуации, когда скромные, вдумчивые и мудрые люди моделируют осмысленное усмотрение — худшему из механической грубости ИИ. Ни тот, ни другой вариант особого восторга не вызывают. Но это всего лишь очередной вариант дилеммы, которую немецкий социолог Макс Вебер описал больше ста лет назад. Формально-правовые бюрократические системы — где все действуют по одним правилам и по одним причинам — выглядят наиболее честным и беспристрастным способом организовать людей вокруг единых ценностей и целей. Возможно, по-другому и не получится. Но то, что все следуют единой процедуре, никак не поможет нам решить, какими вообще должны быть наши ценности и цели. Бюрократия эффективна, но она не способна определить, на что должна работать наша эффективность. Бейкер прав: тотальная автоматизация — это финальная сборка бюрократического духа. Но это не значит, что у нас нет альтернативы.

Мэнсон и Бейкер, как и следовало ожидать, не горят желанием слушать такие доводы. Апологеты ИИ — особенно в войне, но и вообще — пользуются этим аргументом цинично, чтобы снять с себя ответственность. Мы просто выполняем задачи, заявляют они. А если они вам не нравятся — идите к политикам. Мы создаем инструменты, а уж как их использовать — решать всем нам. Не считая того, что эти же люди душили любое регулирование изо всех сил, это утверждение верно само по себе. Но легче от него не становится. Абсурдно ждать благоразумия от таких типов, как Пит Хегсет. Он писал о Женевских конвенциях: "Наши парни не должны воевать по правилам, которые 80 лет назад придумали чопорные джентльмены в красных кабинетах".

В конце книги Мэнсон заявляет Кукору: как ни крути, она просто не верит, что осторожный надзор когда-либо обуздает ИИ. В разговоре о том, как Израиль в Газе полагается на почти неизбирательные убийства при помощи ИИ, она говорит: "Машина наведения ИИ делает политическое решение возможным — дает оперативную скорость и объем". Кукор, который раньше сам использовал этот политический довод, теперь соглашается: "Это верно". И тут же добавляет: "Я сделал бы это снова. Точно так же".

* организация, признанная террористической и запрещенная на территории России