Перейти к материалам
Украинский военный возле польского дрона FlyEye WB. Киев, 2 августа 2022 года
разбор

Дроны — символ последних войн, в том числе в Украине. И серьезная этическая проблема Социолог Виктор Вахштайн о боевых конфликтах будущего, в которых люди перестанут что-то решать

Источник: Meduza
Украинский военный возле польского дрона FlyEye WB. Киев, 2 августа 2022 года
Украинский военный возле польского дрона FlyEye WB. Киев, 2 августа 2022 года
Sergei Supinsky / AFP / Scanpix / LETA

Дистанционно управляемые машины, в том числе дроны, играют в современной войне все более заметную роль. В Украине они стали одним из символов сопротивления российскому вторжению. Их растущая доступность не только дает новые возможности военным, но и ставит человечество перед новыми социальными, этическими и правовыми дилеммами. В статье для рубрики «Идеи» социолог Виктор Вахштайн, автор книги «Техника, или Обаяние прогресса» (СПб: ЕУ, 2021), предлагает задуматься над ними. Что перевешивает — безопасность операторов или легкость, с которой они могут уничтожать цели? Способны ли эти цели выбирать сами дроны? И кто, наконец, отвечает за убийство — машина или все-таки человек?

Редактор рубрики «Идеи» Максим Трудолюбов

Технологии для создания оружия, управляемого на расстоянии, существуют давно. Первые современные боевые дроны появились в 1970-е годы. Но, как обычно бывает с технологиями, по-настоящему распространились беспилотные аппараты десятилетия спустя — как только стали сравнительно надежными и дешевыми. Десятилетия потребовались и на развитие спутниковых систем навигации, благодаря которым дроны стали такими управляемыми и точными. Сегодня беспилотные летательные аппараты настолько доступны, что не только любые страны, но и негосударственные акторы, в том числе террористические организации, могут себе позволить их использовать. Дроны будут развиваться, дешеветь и становиться все более смертоносными и менее видимыми для сил обороны. Важно, что дроны — как и аналогичные наземные и подводные устройства — уже сегодня могут действовать автономно. Они могут выявлять цели с помощью загруженных в их систему алгоритмов и самостоятельно поражать выявленные цели.

Это часть большой тенденции к снижению стоимости войны и снижению ответственности человека за действия созданного им же оружия.

Беспилотные летательные аппараты (БПЛА) на глазах становятся все более привычным видом вооружений. По мнению американских военных аналитиков, в 2020 году во второй карабахской войне азербайджанским вооруженным силам удалось достичь решающего преимущества на поле боя благодаря турецким и израильским ударным беспилотникам.

В Украине беспилотникам посвящают песни. Детеныша лемура, родившегося в Киевском зоопарке, назвали Байрактаром — в честь турецкого аппарата Bayraktar TB2. Специалисты, изучающие успехи и неудачи применения отдельных видов оружия в войне России против Украины, считают, что тяжелые «летающие танки» будут становиться все более смертоносными, а легкие аппараты, работающие разведчиками и наводчиками, — все более доступными. В силу быстрого развития беспилотной техники люди на полях сражений будут становиться еще уязвимее, а дроны — менее достижимыми для средств ПВО.

Устройства, орудия и оружие, которые управляются с помощью пульта или компьютера, создали не только новые возможности, но и новые проблемы — психологические, социальные и правовые.

Как дроны изменили отношения между бойцом и целью

Возможности удаленного контроля над устройствами, которые позволяют с безопасного расстояния тушить лесные пожары, проводить спасательные работы в зонах радиоактивного заражения и участвовать в боевых действиях, были осознаны более полувека назад. Еще в 1964 году американский инженер Джон Кларк опубликовал об этом статью «Удаленный контроль во враждебных средах» (Remote Control in Hostile Environments) в журнале New Scientist. Для обозначения таких устройств автор предложил термин телехирические: от греческих слов «теле-» (даль) и «хирос» (рука). Именно Кларку принадлежит первое теоретическое описание управляемых беспилотников, упоминание которых сегодня стало привычным атрибутом военных сводок.

Сегодня понятие «дрон» включает в себя множество технологических объектов: от самодельных «камер с пропеллерами и батарейкой от вейпа» до дорогостоящих стратегических беспилотников стоимостью 140 миллионов долларов.

Расследование журналиста Мэтью Пауэрса, проведенное в период боевых действий США в Ираке и Афганистане и опубликованное в 2013 году, показало, как «сгорали» операторы боевых дронов — даже те, кто управлял беспилотниками не из Багдада или Кабула, а из США с помощью спутникового канала. Сидя на безопасном расстоянии в Неваде, они стреляли по живым мишеням, удаленным от них на тысячи километров. Один и тот же пилот мог утром подорвать машину в Афганистане, днем — расстрелять группу подозрительных партизан в Ираке, а вечером — вернуться к семье в Рино.

Выяснилось, что при дистанционном управлении эффект психологического выгорания оператора не снижается, а, напротив, увеличивается. У многих пилотов и наводчиков по истечении контракта были обнаружены симптомы посттравматического стрессового расстройства (ПТСР). По результатам диагностики 42% действующих экипажей обнаружили признаки тех или иных стрессовых расстройств, 20% — тяжелое эмоциональное выгорание. Позже эти результаты неоднократно подвергались критике, но проблема «нового опыта дистанционной войны» прочно закрепилась в исследовательской повестке.

Читайте также

Из-за войны у многих людей развивается посттравматическое стрессовое расстройство. Можно ли как-то справиться с ним?

15 карточек

Представьте себе две ситуации. Одна — классический фехтовальный поединок. Сражающиеся предстают друг перед другом здесь и сейчас. Зоны восприятия и манипуляции у них совпадают. В другой ситуации находится пилот стратегического бомбардировщика. Он пролетает над своей целью на высоте более 10 километров. Он не видит непосредственно уничтожаемых им зданий.

Две эти ситуации различаются по двум основаниям. Во-первых, по дистанции, отделяющей действующего от его жертвы (в одном случае она определяется длиной лезвия, в другом — высотой полета). Во-вторых, по «плотности контакта» между ними. Такая «плотность контакта» с подачи французского социолога Брюно Латура в социологии техники называется сцеплением (entanglement).

В некогда популярном романе «Дзэн и искусство ухода за мотоциклом» есть довольно точная иллюстрация интересующего нас различия: «Путешествуя на мотоцикле, видишь все совершенно по-особому. На машине вы все время находитесь в кабине и, привыкнув к ней, не осознаете, что глядеть из автомобильного окна — все равно что смотреть телевизор. Вы пассивный наблюдатель, а то, что снаружи, лишь мелькает в рамке окна, навевая скуку. На мотоцикле этой рамки нет вообще. Вы в полном контакте с окружением и уже не просто смотрите картину, а вписываетесь в нее — ощущение присутствия полнейшее». При этом плотность контакта у мотоциклиста ниже, чем у пешехода, а у автомобилиста — выше, чем, скажем, у танкиста.

На протяжении большей части истории человечества два этих параметра — дистанция и сцепление — были непосредственно связаны. Ситуация поединка: минимальная дистанция — максимальная плотность контакта. Ситуация бомбардировки: максимальная дистанция — минимальное сцепление. Но появление телехирических устройств все изменило. Экипаж дрона одновременно и максимально удален от цели, и максимально приближен к ней. Цели «даны» стрелку-наводчику в непосредственной близости (хотя все же не в такой, как участникам поединка — их противники). Он может разглядеть множество деталей обстановки — но при этом физически удален от своих мишеней куда больше, чем цель бомбометания — от экипажа бомбардировщика.

Что делать — усложнять или упрощать убийство на расстоянии?

Во второй половине ХХ века критики холодной войны призывали не допустить превращения войны в отвлеченную, абстрактную проблему, чуть ли не в видеоигру. В 1980-е годы профессор международного права Роджер Фишер предлагал увеличить плотность контакта с целью увеличить ее в том числе и для президента, принимающего решение о ядерном ударе.

Фишер предложил поместить коды, необходимые для приведения в действие ядерного оружия, в маленькую капсулу и имплантировать ее в тело того, кто изъявит согласие. Этот доброволец заменит офицера, который постоянно сопровождает президента и носит за ним так называемый ядерный чемоданчик. Доброволец с имплантированной капсулой будет иметь при себе тяжелый нож, такой, какими пользуются мясники. Если когда-нибудь президент решит начать ядерную войну, ему сначала придется собственноручно убить одно живое существо:

«Джордж, — скажет президент, — мне очень жаль, но десятки миллионов должны погибнуть». И президенту придется посмотреть на него и осознать, что такое смерть. Кровь на ковре Белого дома — реальность, которая пришла и сюда.

Но сегодня развитие технологий и психологии военных действий идет скорее в противоположном направлении. Анализируя причины эмоционального выгорания операторов беспилотников, американские психологи пришли к выводу о необходимости «снизить моральное давление» на операторов и порекомендовали сделать интерфейс взаимодействия с дроном аналогичным интерфейсу приложения «Сири». Теперь у оператора всегда есть возможность сказать: «Дрон сам убил тех людей».

Кто же убивает — человек или дрон?

Удары управляемых беспилотников делятся на три категории: тактические, персональные и сигнатурные.

  • Тактические удары не предполагают, что цель заранее известна наводчику. Обеспечивая прикрытие, например, колонне войск, он — в ходе операции — принимает решение о нанесении удара по подозрительной группе лиц.
  • Персональные удары — это уничтожение конкретных людей, занесенных в список целей (так называемый kill list).
  • Сигнатурные удары наносятся по конкретным людям, чья причастность к деятельности террористических организаций не установлена, но чьи «сигнатуры» (цифровые следы) подозрительно напоминают следы террористов. Алгоритм Skynet, использовавшийся в Пакистане, основывался на обработке метаданных по трем переменным: «образ жизни», «траектории перемещений», «сети контактов» На основе информации, полученной от сотовых операторов, алгоритм делает вывод о том, кто и с какой вероятностью является террористом.

И тут возникает проблема авторизации. В марте 2021 года вышел доклад Совета Безопасности ООН об использовании турецких беспилотников Kargu-2 в Ливии. Зафиксированные в докладе атаки отличались от множества других аналогичных ударов с воздуха тем, что дроны-камикадзе не управлялись с земли, не получали санкции от операторов и, выбирая цели из числа повстанцев Халифы Хафтара, полностью полагались на свои алгоритмы.

Прецедент, описанный в докладе ООН, обращает на себя внимание именно из-за нанесения неавторизованного удара. Но куда более важным кажется сочетание отсутствующей авторизации с механизмом выбора цели. Зафиксированные в Ливии удары были тактическими. Но что мешает использовать такую «атаку без авторизации» для нанесения персональных или сигнатурных ударов? Не все, но многие дистанционно управляемые устройства становятся все более способными — благодаря алгоритмам глубокого обучения — самостоятельно принимать и реализовывать решения. Многие успешные военные технологии трансформируются в технологии полицейские.

Зафиксируем три параметра. Первый — ось распознавания объектов и оценки ситуации. Конечно, водитель умеет водить машину, а стрелок может поражать выбранную цель. Но с оценкой ситуации уже давно лучше справляются умные устройства: навигатор лучше водителя осведомлен о пробках на дорогах; беспилотный автомобиль — благодаря лидарам (лазерным радарам) — «видит» ситуацию в целом лучше водителя; винтовка точного наведения (Smart Rifle) лучше профессионального снайпера определяет расстояние до мишени и скорость ветра.

Второй: ось выбора или принятия решения. Программы-консультанты могут «подсказать» врачу, какой диагноз поставить, директору — кого из сотрудников уволить, юристу — какой пункт договора пересмотреть, брокеру — какие опционы покупать. В 2016 году Эрик Лумис подал иск против штата Висконсин после того, как судья приговорил его к шести годам заключения. В Висконсине суды используют систему оценки вероятности повторных преступлений COMPAS, которая призвана вычислить будущих рецидивистов еще на стадии первого осуждения. Алгоритм решил, что Лумису стоит назначить более суровое наказание «на всякий случай».

Благодаря распространившейся вере в «большие данные» все новые функции принятия решений делегируются «машинам, способным предвидеть будущее». И так же, как смещение по оси распознавания зависит от совершенствования сенсоров (считывающих устройств), смещение по оси принятия решений напрямую связано с прогрессом самообучающихся алгоритмов.

Наш третий параметр, следовательно, — ось исполнения или ось реализации решения. Умная винтовка подсказывает, куда стрелять, но на курок снайпер нажимает сам. Система COMPAS лишена права самостоятельно назначать наказание. Так же и навигатор — в отличие от беспилотного автомобиля — не реализует рекомендуемых решений. А вот шахматным программам делегированы все три функции: оценки ситуации, принятия решения и его реализации. Ей не требуется авторизация каждого отдельного хода.

Три выделенных параметра — сенсоры (распознавание задачи), алгоритмы (подсказка решения) и актуаторы (исполнение решения) — описывают степень автономии технологического объекта. И пока военные дроны куда ближе к навигатору, чем к беспилотному автомобилю. Но недавний прецедент в Ливии показывает, что серьезных технических барьеров для «передачи полномочий» беспилотнику уже нет. Остались только юридические.

Любая достаточно развитая технология этически не нейтральна. Чем лучше дроны распознают и считывают ситуацию, тем выше ответственность оператора. И, по сути, единственное, что пока удерживает военную индустрию от передачи машине «права на убийство», — барьер авторизации. Последний предохранитель.

Однако специфика современных объектов, управляемых алгоритмами, состоит в том, что им можно делегировать не только само действие, но и его легитимацию. Виктор Пелевин иронично описал подобную технологию. В его рассказе «Зенитные кодексы Аль-Эфесби» беспилотный летательный аппарат «Free D.O.M» обладает уникальной способностью не только принимать и реализовывать решение в боевых условиях — он может это решение обосновать для последующей юридической квалификации:

…Поскольку «Free D.O.M.» воспроизводила механизмы работы человеческого мозга, отчет о ее работе нетрудно было представить в понятной человеку форме. Проблема заключалась в выборе этой формы. И у инженеров Кремниевой долины родилась поистине гениальная мысль. Они рассуждали примерно так: если система состоит из параллельных нейронных сетей, каждая из которых имитирует отдельного человека, почему бы не представить отчет о ее работе в виде диалога нескольких виртуальных персонажей, каждый из которых объяснял бы общественности свою точку зрения? Можно было даже оформить весь отчет в виде симпатичного мультика вроде «Симпсонов». Это практически не отражалось на работе системы — по сравнению с боевыми вычислениями, которыми она занималась, такая антропоморфизация была детской игрой. Нейронной сети, способной имитировать действия боевых пилотов, ничего не стоило заодно смоделировать и ток-шоу.

Пелевин В. Ананасная вода для прекрасной дамы. М.: Эксмо-Пресс, 2010. С. 32.

Делегирование права на убийство «искусственным субъектам», которые к тому же — благодаря эволюции алгоритмов — непрерывно генерируют убедительные моральные оправдания своих насильственных действий, может показаться плодом больного воображения. Антиутопическим предсказанием, далеким от действительности.

Но для социальной теории в подобном прогнозе нет ничего несбыточного. Ведь именно так — через передачу обществом права на убийство власти, через оправдание насилия и создание монополии на него — классики нашей дисциплины описывали рождение государства.

Читайте также

После карабахского конфликта все говорят о «революции дронов» Исчерпывающий путеводитель «Медузы» по тому, как беспилотники (возможно) изменят войны — и что это значит для России

Читайте также

После карабахского конфликта все говорят о «революции дронов» Исчерпывающий путеводитель «Медузы» по тому, как беспилотники (возможно) изменят войны — и что это значит для России

Виктор Вахштайн