Перейти к материалам
истории

Нейросети умеют воевать — и убивать «Медуза» публикует выпуск рассылки Kit о том, как искусственный интеллект используют на фронте

Источник: Meduza
истории

Нейросети умеют воевать — и убивать «Медуза» публикует выпуск рассылки Kit о том, как искусственный интеллект используют на фронте

Источник: Meduza

Еще недавно словосочетание «искусственный интеллект» (ИИ) было чем-то из области научной фантастики. Сегодня же мы сталкиваемся с ИИ постоянно: он подбирает нам рекламу в интернете, советует посты в соцсетях, фильмы и музыку на стриминговых сервисах, встречает на горячих линиях и в чат-ботах. А еще искусственный интеллект умеет убивать. Здесь он — как и в других областях — достигает недоступных человеку высот, а значит, делает войны более смертоносными. Государства уже ведут гонку ИИ-вооружений, которую кембриджские исследователи Стивен Кейв и Шон ОʼХегарти назвали одной из наиболее вероятных причин Третьей мировой войны. А в войне в Украине ИИ уже помогает оценивать боевую обстановку и сбивает самолеты. Дружественная «Медузе» рассылка Kit подробно рассказывает, почему современная война иногда выглядит как сайт с удобным интерфейсом и какими будут войны будущего.

Этот текст вышел в издании Kit — «Медуза» публикует его с разрешения редакции. Kit — это медиа в имейл-рассылке. Подпишитесь на него здесь, и вы будете получать два длинных текста в неделю. Kit пишет о политике, войне, климате, науке, технологиях, сексе, воспитании детей и многом другом. Материалы издания можно прочитать либо в письмах, либо по ссылкам, которые распространяются в соцсетях — здесь и здесь.
Глава первая

Как ИИ привел к новой гонке вооружений

Искусственный интеллект — это собирательное название технологий, умеющих выполнять задачи, которые традиционно решали люди. Обычно под ИИ понимают компьютерные программы с машинным обучением — то есть нейросети. Они сами находят закономерности и обучаются на огромном объеме информации. Чем чаще нейросеть сталкивается с каким-то паттерном, тем больше будет считать его правильным.

Развитие искусственного интеллекта началось в 1950-е годы с подачи военных: британскихамериканских и советских. Тогда создавались не только безобидные проекты вроде распознавания голоса, но и автоматические системы запуска ответного ядерного удара. Долгое время программисты вручную прорабатывали логику нейросетей — для запуска сложных программ не хватало вычислительных мощностей. Но в 1990-е они возросли, и появилась возможность оперировать большими массивами данных, использовать машинное обучение и языковые модели. В результате компьютеры обыграли человека в шахматы и игру Jeopardy! (ее российский аналог — «Своя игра»). 

Сегодня же искусственный интеллект может анализировать такое количество данных, которое не осилит и сотня аналитиков. Это позволяет буквально видеть (и предвидеть) каждый шаг противника, ну или как минимум знать больше него. Например, мощности мини-компьютера 2012 года Raspberry Pi размером с кредитную карту достаточно, чтобы запустить программу с ИИ, которая победит профессиональных летчиков в симуляторе воздушного боя. 

Искусственный интеллект называют главной технологией современности. Он способен не только дать преимущество на поле боя, но и кардинально изменить ход войны, а само его появление даже сравнивают с революциями, вызванными порохом и атомным оружием. Стремление обладать этим преимуществом привело к гонке вооружений, имеющих искусственный интеллект. 

Сейчас разработки в этой области ведут Великобритания, Израиль, Южная Корея и члены Евросоюза, но лидер гонки очевиден — это США. Только в 2021 году министерство обороны страны работало над 600 проектами с ИИ. Американские военные вкладывают в развитие технологии больше всех в мире. В 2024 году Пентагон запросил у федерального правительства на эти нужды 3,2 миллиарда долларов. 

Второй главный участник гонки — Китай. В 2016 году программа AlphaGo выиграла матч у Ли Седоля, одного из лучших игроков в сложную настольную игру го. Корейский игрок был шокирован умениями AlphaGo. Как и китайское правительство — уже в следующем году в КНР приняли план развития ИИ в военных целях. И даже есть успехи: местные ученые лидируют по количеству публикуемых исследований и патентов в области машинного обучения. Но пока Китаю не удается обогнать Штаты — у тех все еще лучшие специалисты и технологии. 

Российское правительство тоже интересуется возможностями алгоритмов. В 2017 году президент Владимир Путин говорил, что тот, кто станет лидером в сфере ИИ, будет управлять миром.

Президент России Владимир Путин и вице-премьер Дмитрий Рогозин в Климовске во время осмотра боевого робота, созданного российскими разработчиками
Михаил Климентьев / пресс-служба президента РФ

Два года спустя Путин подписал национальную стратегию по развитию искусственного интеллекта. Только в 2021 году на гранты разработчикам ИИ правительство выделило 1,4 миллиарда рублей. Тогда же озвучили планы по созданию при Минобороны управления по развитию искусственного интеллекта (и, судя по всему, оно действительно заработало). А глава ведомства Сергей Шойгу заявил, что министерство производит боевых роботов, способных работать без операторов. 

Гонка ИИ-вооружений только началась — показательно, что в 2021 году национальная комиссия по безопасности искусственного интеллекта США рекомендовала Джо Байдену не запрещать создание оружия под управлением ИИ. Причина проста: Китай и Россия от своих разработок точно не откажутся. 

Глава вторая

Как воюет искусственный интеллект

Военный ИИ можно разделить на несколько видов: полностью автономное оружие, системы разведки и анализа данных, системы наведения (которые помогают точнее стрелять и запускать ракеты), боевые симуляторы и беспилотный транспорт. Расскажем про каждый из них. 

Автономные вооружения

Сюда относятся летающие беспилотники, «умные» крылатые ракеты, наземные и морские роботизированные установки, комплексы ПВО и системы управления ядерным оружием. Это самая неоднозначная группа, ведь подобные системы могут сами принимать решение об убийстве. 

Больше всего на слуху дроны, каждым действием которых еще пять лет назад должен был управлять оператор. Однако сегодня они сами находят и атакуют цели — все благодаря ИИ, который анализирует информацию с камер и радаров. Тяжелые ударные беспилотники (размером почти с самолет) с такими способностями создают по всему миру. На Западе это X-47BMQ-9 и Kratos XQ-58 Valkyrie, в Китае — FH-97A, а в России — С-70 «Охотник». В 2020 году американские военные и вовсе доверили ИИ ARTUµ полностью управлять разведывательным самолетом.

Американский беспилотник X-47B полетает над авианосцем «Джордж Буш» в Атлантическом океане
Mass Communication Specialist 2nd Class Timothy Walter / U.S. Navy / UPI / Shutterstock / Vida Press

Но даже маленькие и дешевые дроны наносят ощутимый урон и способны иметь ИИ. А еще их можно объединить в рой — благодаря искусственному интеллекту такая армада сможет атаковать несколько целей сразу или одну большую с разных сторон. 

ИИ на борту имеют не только дроны с самолетами, но и ракеты. Американские LRASM сами находят цели в заданном районе. Если не нашли — самоуничтожаются или возвращаются на базу. 

Автономным может быть и наземное, и водное оружие. В 2022 году в военных учениях США на Гавайях участвовало несколько прототипов кораблей с ИИ. Средние (длиной 40 метров и весом 135 тонн) суда «Си Хантер» и «Сихок» с гидролокаторами и устройствами для блокирования радиоэлектронных сигналов работали в связке с эсминцами, чтобы искать и уничтожать подводные лодки. Эти беспилотные корабли сами прокладывали курс, следовали за головным судном, выполняли команды капитана и могли оценить полученный урон. В учениях участвовали и крупные беспилотные (без капитана, но с экипажем из шести матросов) корабли «Номад» и «Рейнджер», которые патрулировали воды под дистанционным управлением.

В том же году эстонская компания Milrem Robotics испытала беспилотные танки, сделанные по заказу Нидерландов. В 2023-м подобный танк протестирует и Израиль. Его шестиколесная машина с пушкой и ракетами, по заявлениям разработчиков, сможет «видеть» на 360 градусов, самостоятельно объезжать препятствия и находить угрозы в любое время суток, а также запускать беспилотник (скорее всего, тоже с ИИ). 

В этом ролике можно увидеть, как выглядит израильский беспилотный танк
Elbit Systems

Интерес к сухопутным военным роботам проявляют и российские военные. Например, боевой модуль (что-то вроде танковой башни) с нейросетью от концерна «Калашников» способен сам определять цель и открывать по ней огонь. Установить модуль можно на платформу «Маркер», которая передвигается без команд оператора (есть гусеничная и колесная версии) и сама управляет башней с оружием.

Самая одиозная беспилотная разработка российских военных — торпеда «Посейдон» с ядерным зарядом. Разрабатывать ее начали еще в советское время, но данных о готовности до сих пор нет. Известно лишь, что «Посейдон» должен уметь сканировать морское дно звуковым радаром, чтобы идти вдоль него с большой скоростью. Скрываясь от потенциального противника, торпеда, согласно замыслу, может устроить атомный взрыв прямо у его берегов, создав тем самым мощное цунами.

В то же время некоторые устройства российских военных вызывают скорее недоумение, чем страх. Прототип робопса, представленный на выставке «Армия-2022», подозрительно похож на китайского робота с AliExpress в камуфляжном чехле и с гранатометом на спине.

Разведывательные и аналитические системы

ИИ отлично собирает и анализирует данные. Поэтому существенная часть военных разработок с искусственным интеллектом связана с большими массивами информации и разведкой. Еще в начале 2000-х в США создали систему JADE, которая составляет детальные планы военных операций, для чего использует как прошлый опыт развертывания войск, так и текущие позиции. 

ИИ может выполнять и более узкие задачи. Например, в 2017 году в США запустили проект Maven («Знаток») — искусственный интеллект, способный находить людей на записях с дронов и составлять на них досье. Спустя три года Maven стал частью расширенной системы управления боем (Advanced Battle Management System), которая получает данные с датчиков на поля боя в реальном времени, обрабатывает их и помогает военным быстрее принимать решения.

Простой пример: дрон снимает заброшенную школу и толпу людей в хаки возле нее. Запись тут же попадает в центр обработки данных, где искусственный интеллект сравнивает изображения с миллионами других. Он ищет сходство людей на видео с террористами, сверяется с фотографиями со спутников, а также предлагает лучший вариант для ракетного удара. Так военные получают исчерпывающую картину происходящего, которую сформировал компьютер по своим закрытым алгоритмам. Остается только нажать кнопку, чтобы запустить ракету. 

Нечто похожее весной этого года представила компания Palantir, давно сотрудничающая с Пентагоном. Их система под названием AIP похожа на ChatGPT, которую скрестили с сайтом планирования типа ClickUp или Trello. Оператор может общаться с AIP, написав команду в чат, — например, «показать силы противника», «направить разведывательный дрон», «просчитать возможные варианты атаки», «показать количество доступных боеприпасов», «сформировать доклад начальству».

В России подобные системы тоже разрабатывают. Скажем, тестируемая в ВДВ автоматизированная система управления должна рассчитывать траекторию полета ракет, оценивать боеспособность своих и вражеских подразделений, а также возможные потери.

Другие системы

Все эти технологии пока не применяются в войнах массово. Однако ИИ-помощники — автопилоты в авиации, системы наведения на цель и защиты, обучающие программы (например, для пилотов истребителей или пехоты) — военные давно используют

Скажем, в Китае в 2022 году создали алгоритм предсказания курса гиперзвуковых ракет. Дело в том, что такие ракеты летят быстрее скорости звука, поэтому их невозможно сбить стандартным ПВО. Китайский же ИИ способен предсказать точку, в которой ракета окажется через три минуты, где ее и собьют.

Есть и более необычные разработки. Так, минобороны США использует компьютерную игру Command: Modern Operations вместе с мощным искусственным интеллектом. В игре можно настраивать точные параметры боевой техники — типа дальности ракет и скорости самолетов, а ИИ проигрывает миллионы сценариев боевых действий, чтобы найти самое эффективное сочетание сил и их применение для победы.

А еще ИИ помогает солдатам стрелять точнее. В сентябре 2022 года израильская компания Elbit Systems представила систему ARCAS, которая облегчает стрельбу из автомата: измеряет расстояние до цели, делает баллистические поправки, обнаруживает источники огня и движения, умеет различать своих и чужих, отслеживает количество патронов в оружии.

Другое военное направление развития ИИ — это беспилотный транспорт. В США создают автономные грузовые вертолеты, которые могут доставлять припасы и эвакуировать раненых, а в Великобритании — схожие по функциям самолеты.

Искусственный интеллект уже меняет войну. Систему Mavenкоторая умеет находить людей на видео и искать по ним информацию, американские военные с 2017 года используют для борьбы с ИГИЛ** в Сирии. А современные установки ПВО в автоматическом режиме следят за небом без участия человека. Например, так способны работать американские комплексы Patriot, которые, кстати, получила Украина в 2023 году, и корабельные пушки Phalanx.

Более того, оружие с ИИ уже убивает людей. Первый случай нападения дронов на человека без прямой команды оператора зафиксирован в 2020 году. Тогда в ходе гражданской войны в Ливии Правительство национального согласия применило автоматизированные беспилотники, которые преследовали отступающие силы Ливийской национальной армии, атакуя солдат и истребители. По сути, дроны сами решали, кого убивать. И сколько людей погибло, неизвестно до сих пор.

В том же году искусственный интеллект помог убить главу иранской ядерной программы Мохсена Фахризаде. Израильский «Моссад» (служба разведки) использовал автономный пулемет, который установили на пути кортежа Фахризаде. Устройством дистанционно управлял оператор, а ИИ корректировал огонь и достиг в этом пугающей точности: жена Фахризаде, сидевшая рядом, не пострадала.

Место гибели иранского ученого Мохсена Фахризаде недалеко от Тегерана
WANA / Reuters / Scanpix / LETA

Армия Израиля в принципе использует автономное оружие активнее других. На сторожевых вышках устанавливают автоматические турели, а границу патрулируют беспилотные автомобили. Кроме того, израильские военные применяют автономные дроны Harpy, которые работают по принципу «запустил и забыл» — летают по заданному маршруту и совершают камикадзе-атаки. А в 2021 году армия Израиля впервые использовала рой дронов, чтобы находить ракетные установки ХАМАС.

Глава третья

Как война в Украине влияет на развитие искусственного интеллекта

Война в Украине стала первой войной с массовым применением ИИ. Уже 25 февраля 2022 года украинская компания Reface начала разработку искусственного интеллекта, который может распознавать российские войска на спутниковых снимках.

С марта того же года Минобороны Украины использует программу распознавания лиц Clearview AI с базой более чем из двух миллиардов фото из «ВКонтакте». С помощью нейросетей украинские военные устанавливают личности российских солдат, борются с дезинформацией (например, доказывают, что российские военные были там, где их якобы не было), идентифицируют погибших и проверяют людей на КПП. Это помогло в том числе опознать виновных в военных преступлениях в Буче и Ирпене Киевской области. Кроме того, искусственный интеллект массово используют, чтобы фиксировать нарушения законов войны.

В апреле 2022 года украинские компании YouControl и Artellence вместе с СБУ запустили приложение «ТиХто» для выявления подозрительных лиц. Оно позволяет определить подлинность документов человека и проверить, не находится ли он в государственном розыске, под санкциями или в базе «Миротворец». Уже в первый месяц с помощью «ТиХто», по данным МВД Украины, задержали 200 представителей «незаконных вооруженных формирований». 

С помощью американской программы Primer украинские военные переводят в текст и выделяют самую важную информацию из десятков часов перехваченных переговоров россиян. А программное обеспечение от компании Palantir позволяет получать информацию из самых разных источников — от коммерческих спутников и трансляций с дронов до видео, записанных обычными людьми через приложение eVorog. На всех этих видео искусственный интеллект распознает дружеские и вражеские войска и после наносит позиции врага на карту.

Война в Украине, как все, кажется, уже поняли, — это война дронов. Они бросают гранаты, устраивают камикадзе-атаки, атакуют стратегические объекты и проводят разведку. Большинством из них управляют люди-операторы, но есть и дроны, которые могут убивать сами. Например, Россия применяет дроны «Ланцет», которые самостоятельно выбирают цель и подолгу висят в воздухе перед тем, как спикировать, а ВСУ — схожие по функционалу американские Switchblade.

Подробнее о войне дронов

Российско-украинскую войну уже можно назвать войной дронов. Но совсем не тех, о которых все думали поначалу Рассказываем о главных беспилотниках, которые используют противники, — и показываем их

Подробнее о войне дронов

Российско-украинскую войну уже можно назвать войной дронов. Но совсем не тех, о которых все думали поначалу Рассказываем о главных беспилотниках, которые используют противники, — и показываем их

Кроме того, дроны умеют воевать и друг против друга. Полностью автономный DroneHunter F700 находит вражеские беспилотники и стреляет в них сеткой (более мелкие объекты он утаскивает с собой, а крупные отпускает — и они падают, запутавшись в сети). Зимой 2023 года первые шесть таких дронов поступили на вооружение ВСУ.

Некоторые считают, что искусственный интеллект дает Украине преимущество в войне. А в декабре 2022 года колумнист The Washington Post Дэвид Игнатиус даже писал, что «применение американских программ с ИИ склонило чашу весов в пользу ВСУ».

Тем не менее российские войска тоже стремятся использовать искусственный интеллект на поле боя. В январе 2023 года в Украину хотели отправить роботов «Маркер» для борьбы с немецкими танками Leopard, а в мае РИА Новости сообщило, что ракетный комплекс С-350 впервые сбил самолет, находясь в автоматическом режиме. В июне же появились сообщения о первом применении беспилотника С-70 «Охотник» в Сумской области.

Затяжная война может привести к тому, что Россия и Украина совсем откажутся от принципа «убивать по команде оператора» и оставят это право машинам. Министр цифровой трансформации Украины Михаил Федоров писал в январе 2023 года, что сделает «все, чтобы автономные технологии развивались быстрее», и заключил: «Больше дронов, больше спасенных жизней наших защитников, меньше вражеских сил».

Правительства же других стран, глядя на эту войну, только убеждаются в силе искусственного интеллекта. Например, США в 2023 году решили создать тысячу беспилотных ведомых самолетов (то есть сопровождающих пилотируемые истребители) и потратят 700 миллионов долларов на исследования дронов, которые ловят другие дроны.

Глава четвертая

Почему оружие с ИИ вредит его создателям

Во многом применение искусственного интеллекта на войне связано с теми же проблемами, что и любое другое использование нейросетей. Об опасностях ИИ Kit уже рассказывал в этом письме. Однако у оружия с нейросетями есть и другие проблемы, а некоторые прежние встают куда острее.

Будет больше жертв

Кажется, что у оружия с искусственным интеллектом есть главное преимущество перед обычным: оно не нуждается в людях, а значит, уменьшит количество солдат в армиях (и потенциальные смерти). Да и вообще, алгоритм всегда точен, не подвержен эмоциям и когнитивным искажениям, поэтому он позволит совершать буквально иголочные удары, вместо того чтобы сравнивать с землей целые города. 

Однако правда в том, что ИИ-оружие будет гораздо эффективнее убивать людей. Вот наглядный пример: беспилотник размером с консервную банку и с небольшим количеством взрывчатки может убить лидера террористов, не нанеся больше никому вреда. В то же время рой таких беспилотников, подконтрольный уже самому террористу, способен обнаружить и уничтожить всех мужчин призывного возраста в городе.

Использование искусственного интеллекта может невероятно снизить цену человеческой жизни, ведь ответственность за убийство перекладывается на машину, которая не видит разницы между действиями «написать текст» и «выбрать цель, которую эффективнее всего взорвать». Такая технология не выглядит гуманной и мало чем отличается от оружия массового поражения. 

Более того, подобные устройства наверняка понравятся авторитарным правителям. Ведь с их помощью можно легко устранять неугодных, проводить чистки или даже геноцид — либо просто запугивать население. В отчете Белфер-центра Гарвардского университета, занимающегося исследованиями в области контроля за вооружениями, автономное оружие с ИИ сравнили с ядерным. Ту же позицию в мае 2023 года озвучили лидеры индустрии, в том числе OpenAI и Google DeepMind.

ИИ может ошибаться

Объективность алгоритма условна. Он не «думает», а принимает решение, исходя из заложенных в него сведений. А учатся нейросети на данных, которые создали люди. Поэтому, например, искусственный интеллект воспроизводит дискриминацию. Есть примеры ошибок и в военной сфере. В 2003 году, во время вторжения США в Ирак, комплексы Patriot сбили два союзных самолета: автоматическая система перепутала их с вражескими. В результате погибли три пилота.

К тому же ИИ можно довольно легко обмануть. Если добавить на изображение небольшие искажения (размером всего в несколько пикселей), то искусственный интеллект примет один предмет за совершенно другой. Например, «увидит» винтовку вместо черепахи. 

Причем обманывать ИИ может другой ИИ. Программа TextFooler умеет менять слова на синонимы в тексте так, чтобы проверяющий его искусственный интеллект выдал неверный результат. Например, принял отрицательный отзыв за положительный. Это открывает широкое поле для ИИ-диверсий. Если можно запутать Tesla, заставив выехать на встречную полосу, то можно обмануть и искусственный интеллект, анализирующий спутниковые снимки и управляющий оружием.

И кстати, в поисках оптимального решения ИИ может жульничать и сам. Например, программа, игравшая в тетрис, ставит игру на паузу перед падением последнего блока, чтобы не проиграть. Настроенный на победу алгоритм, оказавшись в безвыходном положении, предпочитает не признавать поражение и вовсе не заканчивать игру. 

Военным известно о стремлении ИИ выполнить задачу любыми средствами. Они всерьез прорабатывают гипотетические сценарии, при которых дрон с искусственным интеллектом, запрограммированный на уничтожение ПВО, может открыть огонь по оператору, если тот запретит атаковать выявленную цель.

Из-за ИИ войн станет больше, а обстановка в мире — еще нестабильнее

Чем меньше люди вовлечены в боевые действия, тем больше им безразличны причины войны — по крайней мере, если верить американскому исследованию 2011 года. Так, после перехода от обязательной воинской повинности к профессиональной армии количество протестов против войн в США снизилось. Битвы роботов и систем искусственного интеллекта будут привлекать куда меньше внимания, чем сейчас, ведь воевать будут машины, а погибать — только профессиональные солдаты. Теоретически это может привести к тому, что все больше стран будут начинать военные конфликты.

ИИ вообще кардинально меняет правила игры: сильным становится не тот, у кого больше армия, а тот, у кого она «умнее». Такие вооруженные конфликты станут менее предсказуемыми. Ведь военные привыкли иметь дело с людьми, а не с машинами — быстро адаптирующимися, способными лучше просчитывать ситуацию и действовать по недоступной человеку логике. 

Войны с использованием ИИ могут зайти так далеко, что правительства передадут часть критически важных решений и функций, например управление ядерным арсеналом, машине, логику которой толком не понимают. Даже разработчики искусственных интеллектов не могут ответить, как системы приходят к своим выводам (это называют «черным ящиком ИИ»). При этом ложные предупреждения о ядерном ударе случались не раз в СШАСССР, Китае, Индии и Израиле — количество инцидентов исчисляется тысячами. И как в таком случае поступит ИИ, который не подвержен человеческому фактору, неизвестно.

Глава пятая

Кто пытается остановить роботов-убийц

В ноябре 2017 года на ютьюбе вышел короткометражный псевдодокументальный фильм о том, как с помощью роя беспилотников неизвестные устраивают теракты в конгрессе США и американских университетах. Видео пестрит пугающими подробностями: большой дрон сперва проламывает стену, после чего дроны поменьше проникают в здание и убивают беззащитных студентов, вычисляя цели по критическим постам в соцсетях.

Stop Autonomous Weapons

Фильм с характерным названием «Slaughterbots» (можно перевести как «Боты-мясники» или «Боты-головорезы») выпустила группа исследователей искусственного интеллекта «Остановим роботов-убийц» (Stop Killer Robots). В 2015-м представители группы опубликовали открытое письмо с призывом запретить такое оружие. Среди подписавшихся — соучредитель Apple Стив Возняк, основатель Twitter Джек Дорси, директор SpaceX и Tesla Илон Маск, британский астрофизик Стивен Хокинг и еще 34 тысячи человек. «Успехи в создании искусственного интеллекта могут стать самым большим достижением в истории человеческой цивилизации. Но они могут стать и последними, если мы не научимся избегать рисков», — заявил Хокинг. Поддерживают движение и крупные организации по правам человека, например Human Rights Watch.

Очевидно, что остановить развитие ИИ уже невозможно, поэтому сейчас большинство активистов выступают не за запрет, а за создание норм международного и государственного регулирования. Ведь до сих пор непонятно, кто несет ответственность за действия ИИ. Составить правила предлагает и OpenAI — разработчик ChatGPT. Компания призывает создать что-то вроде МАГАТЭ, только для ИИ.

Вообще, идей об ограничении искусственного интеллекта много. Например, предлагается включить беспилотники в реестр вооружений ООН (то есть как минимум признать их оружием, чего до сих пор не сделано) и ограничить их использование (ввести лимит на их численность в войсках), признать рои беспилотников оружием массового поражения, не подключать ИИ к системам ядерного вооружения и сохранять у автономных вооружений возможность отключения.

Запуск дронов во время церемонии празднования 73-го Дня армии Индии в Нью-Дели. 5 января 2021 года
Prakash Singh / AFP / Scanpix / LETA

Но сложно ждать принятия таких норм в мире, где все чаще отказываются ограничивать даже уже существующие вооружения. Например, вопрос создания закона о летальных автономных вооружениях ООН изучает с 2013 года. Однако никакого прогресса за 10 лет организация не достигла, и расходы военных на технологии ИИ продолжают расти. В 2019 году генеральный секретарь ООН Антониу Гутерриш призывал запретить автономные летальные вооружения — но толку от этого не было. Тогда же Организация Объединенных Наций приняла свод принципов по автономным вооружениям, но он не имеет обязательной силы — лишь рекомендует. Введение обязательного регулирования блокируют самые активные разработчики оружия с ИИ: Австралия, Израиль, Южная Корея, Турция, а также постоянные члены Совета Безопасности — Франция, Великобритания, США и Россия. Все они настаивают, что в законе об автономных вооружениях нет смысла.

Неспособность международного сообщества прийти к общему мнению привела к целому параду правил и сводов этических норм по ИИ на более низких уровнях. То есть свои документы выпускают государства и частные компании, в том числе правительства Канады, Китая, Индии, Японии, Саудовской Аравии, Великобритании, США и России, а также Евросовет и НАТО.

Однако все эти документы содержат очень абстрактные рассуждения и не предлагают конкретных мер, лишь более-менее одинаково размытые принципы вроде безопасности, контролируемости, этичности и надежности. Авторы правил всегда пытаются усидеть на двух стульях: с одной стороны, говорят об опасностях ИИ, с другой — выступают в поддержку его развития.

Схожие абстрактные положения предлагает и запущенное в 2020 году глобальное партнерство по ИИ (The Global Partnership on Artificial Intelligence), которое объединяет экспертов, представителей гражданского общества и международных организаций, ученых и правительства 29 стран. 

Пока идет война в Украине, где уже используют ИИ, больше 60 стран в 2023 году выпустили заявление с призывом «ответственно» применять искусственный интеллект. Но никаких юридических гарантий они на себя не взяли. США предложили другим странам использовать американские рамки «ответственного» использования ИИ. Китай призвал действовать через ООН. Израиль отказался подписать итоговое соглашение. Россию на конференцию не пригласили, Украины на встрече тоже не было. 

Но даже если конкретные международные нормы появятся, одного их наличия будет недостаточно. История биологического и химического оружия показывает, что ничто не мешает государствам тайно продолжать работать над запрещенным вооружением. И отследить использование искусственного интеллекта, в отличие от ядерного или химического оружия, будет практически невозможно.


Война в Украине не только показывает, что оружие с искусственным интеллектом таит в себе угрозу, но и что войны в принципе античеловечны, и новые «умные» технологии не делают их лучше. Какой бы мощный искусственный интеллект человечество ни создало, управлять им и нести за него ответственность должны люди. А у нас самих до сих пор не все в порядке с этикой. 

Интересный способ решения проблемы ИИ на войне предлагает исследователь и предприниматель Гари Маркус: «Давайте тогда изобретем новое поколение систем искусственного интеллекта, в которых знание прошлого сочетается с ценностями, представляющими будущее, к которому мы стремимся. Мы должны сосредоточиться на том, чтобы понять, как построить ИИ, который может отражать ценности и рассуждать о них, а не просто увековечивать старые данные».

Kit

«Медуза» — это вы! Уже три года мы работаем благодаря вам, и только для вас. Помогите нам прожить вместе с вами 2025 год!

Если вы находитесь не в России, оформите ежемесячный донат — а мы сделаем все, чтобы миллионы людей получали наши новости. Мы верим, что независимая информация помогает принимать правильные решения даже в самых сложных жизненных обстоятельствах. Берегите себя!