Дронам больше не нужны люди: они научились летать без пилотов лучше, чем с ними Теперь главный вопрос, где этому быстрее найдут применение — на фронте или все-таки в мирной жизни
Исследователи из Университета Цюриха разработали систему искусственного интеллекта Swift, которая способна автономно, без какой-либо посторонней помощи, управлять FPV-дроном. В ходе испытания в закрытом помещении, которое организовали разработчики, Swift обошла даже профессиональных пилотов-людей. Для робототехники это событие, сравнимое с победой компьютера над человеком в шахматах или в го. В перспективе аналогичный подход позволит усовершенствовать алгоритмы управления беспилотными автомобилями или летательными аппаратами. Но сейчас наибольший интерес, конечно, представляет военное применение подобных систем — ведь их полная автономность означает, что подавить такой дрон с помощью внешних помех становится почти невозможно. Впрочем, до реального применения полностью автономных дронов еще очень далеко.
Автопилоты существуют уже очень давно, но раньше они не могли конкурировать с человеком на равных
Системы автоматического пилотирования для летательных аппаратов появились немногим позже, чем сами эти летательные аппараты. Так, первый опытный образец такого устройства успешно прошел испытания в США еще в 1914 году, всего через 11 лет после первого полета братьев Райт на планере с двигателем. С 1930-х автопилоты уже серийно устанавливали на некоторые модели пассажирских самолетов, а сейчас бо́льшая часть полета таких бортов, включая посадку, проходит именно под управлением автопилота.
Но широкое распространение автопилотов в авиации вовсе не означает, что они действительно научились летать лучше людей. Пока это не так. Бóльшая часть задач, которую решают современные системы управления — что в небе, что на земле, — довольно примитивны. Если живые пилоты могут управлять воздушным судном в любых условиях, то автопилоты всегда работают только в тесной связи с наземными сенсорами и только когда заранее известны расположение и геометрия всех окружающих объектов. Как только речь заходит не о заранее просчитанной траектории, а о неизвестном окружении или об облете препятствий, задача становится практически нерешаемой. Быстро реагировать на происходящее и принимать решения в таких условиях современные автопилоты пока не умеют.
Как работают обычные автопилоты в авиации?
В целом задача автоматизированного управления летательным аппаратом в воздушном пространстве относительно проста, поскольку не предполагает существенного изменения курса и высоты полета, облета препятствий или областей с плохой погодой. В последнем случае пилоты-люди могут скорректировать параметры работы автопилота. Трудности возникают, только когда возникает необходимость не просто поддерживать скорость, направление и высоту полета, но и каким-то образом взаимодействовать с внешним миром. Например, облетать препятствия.
Тут возникает множество сложных задач: оценка размеров препятствия, расстояния до него, сопоставление изменяющихся во время полета данных о препятствии с текущими параметрами самого полета. Все это можно упростить, если ввести внешнюю систему контроля движения, как, например, в больших международных аэропортах. Там самолет при заходе на посадку получает исчерпывающие данные от аэродромных курсо-глиссадных систем, указывающих не только местоположение посадочной полосы в пространстве, но и положение летательного аппарата относительно этой самой полосы.
Некоторые современные лайнеры, например Airbus A320neo, способны совершать полностью автоматическую посадку на подобных аэродромах.
Собственно, по этой же причине системы автономного управления до сих пор не вытеснили живых водителей из автомобилей. Но если говорить именно про летательные аппараты, особенно небольшие, то дополнительная сложность заключается еще и в том, что они крайне ограничены в массе полезной нагрузки, которую способны принять на борт. Множество радиовысотомеров, ультразвуковых датчиков, камер, лидаров и прочих сенсоров, обычных для самолетов (а иногда и беспилотных авто), на них не повесишь. Следовательно, и возможности таких аппаратов в распознавании препятствий и их облете крайне ограничены.
Именно поэтому задачей наивысшей сложности для автопилота может быть как раз управление самыми маленькими, самыми скоростными летательными аппаратами с наименьшим числом сенсоров — FPV-дронами. Обычно (но не всегда) это очень легкие квадрокоптеры, оснащенные лишь небольшой камерой переднего обзора. В полете изображение с камеры, а также показания немногих бортовых датчиков передаются в очки оператора. Он должен не только решать, когда и куда лететь, но и полностью отвечает за то, как это будет сделано. Например, часто пилот FPV-дрона должен удерживать баланс аппарата, вручную управляя его двигателями, — в коммерческих дронах обычно за это отвечает автоматика.
В целом задача FPV-пилотирования оказывается настолько сложной, что, даже просто чтобы поднять его в воздух, человеку требуется долго учиться на виртуальных симуляторах. Тем не менее некоторые талантливые пилоты с этим хорошо справляются, и для них уже несколько лет регулярно организуются спортивные соревнования — дрон-рейсинги.
Гонки проводятся на трехмерной трассе, то есть в пространстве, где расставлены контрольные точки в виде прямоугольных рамок, через которые дроны должны пролетать в определенной последовательности. При этом сами рамки находятся на разной высоте от земли и на разном расстоянии друг от друга — так, чтобы заставить пилотов выполнять самые головокружительные виражи с наибольшим ускорением. К ручному управлению и ограниченному обзору, с которым имеют дело FPV-пилоты, добавьте еще то, что дроны способны разгоняться до скорости более 100 километров в час, а на соревнованиях внутренний размер рамки контрольной точки составляет 75 на 75 сантиметров.
Цель таких соревнований довольно проста — быстрее всех пролететь через все контрольные точки, ни одну при этом не пропустив. Обычно дрон-рейсинги — это просто спорт или развлечение, но для специалистов по робототехнике они представляют идеальную площадку для тестирования новых технологий. Здесь, с одной стороны, есть четкие правила, которые полезны при сравнении разных подходов в разработке, с другой — есть возможность обойти человека в условиях, на фоне которых обычное пилотирование самолета не покажется чем-то особенным.
До сих пор, однако, задача создания автопилота для FPV-дронов оставалась нерешенной. Либо же решалась не вполне «честно»: так, в 2017 году исследователи из того же Цюрихского университета создали систему автопилота для дрон-рейсинга, которой удалось добиться высокой точности и скорости полета дронов, сравнимой с той, что может достичь человек. Однако получены такие показатели были лишь потому, что на гоночной трассе были расставлены сенсоры, информация с которых передавалась на дроны, что помогало им ориентироваться в пространстве. Автономной такую систему никак не назовешь, да и с человеком она соревновалась явно не на равных правах.
Сейчас та же группа совершила большой шаг вперед, избавившись от всех дополнительных сенсоров и прочих внешних «костылей», и создала систему, которая может конкурировать с людьми — и даже побеждать их в полностью равных условиях.
В лабораторном эксперименте Swift выиграл 15 из 25 пролетов у профессиональных гонщиков. Это похоже на победу компьютера в го и в шахматах
Система, получившая название Swift, при управлении дроном полагается исключительно на данные, собираемые на борту: изображение с камеры и показания «вестибулярной системы» дрона — акселерометра. Swift состоит из двух программных модулей. Первый преобразует изображение с камеры и акселерометра дрона в упрощенный набор данных о текущем положении в пространстве и скорости, которые необходимы для качественного управления. Второй модуль обрабатывает полученный упрощенный набор и преобразует его в набор команд для управления полетом аппарата.
Главная задача первого модуля Swift — определить положение дрона в пространстве. Для этого используются нейросети, которые на потоке видео с камеры распознают границы рамок (контрольных точек) на гоночной трассе. Зная положение и размер рамок, а также общую форму трассы, система может рассчитать свое положение в пространстве и скорость. Помимо видеоизображения, для решения этой же задачи Swift использует данные от акселерометра. Оба потока данных согласуются друг с другом, проходя через фильтр Калмана, и поступают в модуль управления полетом.
Главная особенность этого второго модуля заключается в том, что пилотировать его научили не разработчики, а многие часы виртуальных тренировок. Его архитектура основана на методе глубокого обучения с подкреплением — того же подхода к разработке, который ранее помог инженерам DeepMind обыграть человека в го, а затем и обойти лучших игроков в Starcraft. Обучение с подкреплением — это метод машинного обучения, при котором система на больших объемах данных (в данном случае на виртуальных и реальных полетах) учится с помощью проб и ошибок. Проще говоря, во время обучения неудачным решениям, то есть не подходящим для решения задачи, присваиваются отрицательные значения, а правильным — положительные. Присвоение значений и есть подкрепление, которое позволяет найти оптимальную стратегию поведения.
Вместе же оба модуля составляют систему, которая действует так, чтобы дрон летел на максимальной для себя скорости, но при этом пролетал как можно ближе к центру рамки и одновременно удерживал в поле зрения камеры следующую рамку.
Испытания Swift проводились в реальных условиях на квадратной площадке со сторонами 30 метров в длину и восемь метров в высоту, на которой были установлены пять контрольных точек для пролета. Общая протяженность гоночного маршрута составила 75 метров. FPV-дрон под управлением Swift соревновался с тремя дрон-рейсерами: чемпионом мира 2019 года Алексом Вановером, дважды чемпионом мира Томасом Битматтой и трехкратным чемпионом Швейцарии Марвином Шеппером. Непосредственно перед испытаниями каждый из людей-пилотов тренировался на гоночном маршруте неделю.
Во время самих испытаний дрон под управлением Swift и аппараты чемпионов стартовали одновременно. Они должны были трижды пролететь гоночный маршрут, не пропустив ни одной контрольной точки. В итоге дрон под управлением Swift выиграл 15 гонок из 25: пять гонок из девяти у Вановера, четыре из семи у Битматты и шесть из девяти у Шеппера. При этом из десяти гонок, проигранных Swift, в четырех дрон столкнулся в воздухе с аппаратом соперника, в четырех — с рамкой, в двух — проиграл из-за меньшей, чем у соперников, скорости полета. Кроме того, беспилотник с системой искусственного интеллекта установил рекорд трассы, пролетев ее на полсекунды быстрее самого быстрого участника-человека.
На полностью автономный автопилот, полагающийся только на собственные сенсоры, есть давний заказчик. Это военные
Сегодняшняя реальность такова, что любые достижения разработчиков в области повышения автономности роботизированных систем примеряются на военные беспилотники. Ведь такие аппараты активно используются в военных конфликтах разными странами как минимум с 1980-х годов. Да и раньше беспилотная авиация тоже применялась, хоть и не так, как сегодня. Например, во время Второй мировой войны Великобритания использовала беспилотные самолеты Queen Bee для подготовки расчетов противовоздушной обороны, а ФАУ-1, созданный в Германии, тоже, вообще говоря, относился к автономным БПЛА, управляемым собственной (очень несовершенной) системой навигации. В эти дни беспилотники самых разных классов, в том числе и FPV-дроны, применяются в ходе российской-украинской войны.
В коммерческих и военных беспилотниках сейчас главным образом используются две навигационные системы для полетов: спутниковая и инерциальная.
В спутниковой системе навигации, наиболее точной из существующих, местоположение беспилотника определяется по сигналам с нескольких спутников методом триангуляции. В обычной жизни спутниковая навигация работает надежно, однако она становится совершенно бесполезной в условиях радиоэлектронного подавления — когда специальная установка создает электромагнитные помехи на каналах, которые используются для спутниковых сигналов (диапазон от 1,1 до 1,6 гигагерца). Коммерческие беспилотные аппараты при потере спутниковых сигналов запрограммированы совершать посадку. Военные аппараты в этом случае обычно переходят в режим барражирования — иными словами, начинают кружить на минимальной скорости вокруг точки, в которой был потерян сигнал. При восстановлении спутниковых сигналов полет к назначенной точке продолжается, а при исчерпании топлива или заряда аккумуляторов аппарат выполняет посадку (в этот момент его может перехватить противник).
Против дронов со спутниковой системой навигации, помимо методов радиоэлектронного подавления, применяется и спуфинг. В этом случае несколько наземных станций передают на беспилотник немного более мощный сигнал, чем спутниковые. При этом сначала сигнал передается таким образом, чтобы аппарат вычислял свое пространственное положение корректно. Затем сигналы корректируются так, чтобы бортовая система беспилотника начала выдавать уже неверные координаты, отклоняя аппарат от намеченного курса.
Вторая важнейшая навигационная система в беспилотниках — инерциальная, которая, к слову, применяется уже очень давно. Она способна по данным с акселерометров определять отклонение от траектории и корректировать полет беспилотника. Суть метода инерциальной навигации заключается в получении с акселерометров данных об ускорении аппарата и его угловых скоростей. Эти данные позволяют рассчитать отклонение от изначальной траектории. Однако при полете на значительные расстояния, больше сотни километров, даже в самой совершенной инерциальной системе будут накапливаться навигационные ошибки — из-за порывов ветра, неравномерности атмосферы, из-за разницы в работе двигателей аппарата.
Именно по причине накопления навигационных ошибок при длительном полете инерциальные системы почти никогда не применяются в качестве самостоятельных систем ни в беспилотниках, ни в барражирующих боеприпасах, ни в самолетах. После того как системы спутниковой навигации получили широкое распространение, инерциальные системы перешли на вторые роли — обычно они служат лишь дополнением к системам вроде GPS и ГЛОНАСС и некоторое время способны подменять их при утере данных спутников (например, при погружении подводной лодки). Однако именно благодаря сохранению инерциальной системы навигации операторы беспилотников могут настроить их так, чтобы в определенной точке те отключались от приема спутниковых данных, — в этом случае наземные системы радиоэлектронного подавления становятся бессмысленными, ведь бесполезно ставить помехи на радиочастотах, которые никем не используются.
Все беспилотные аппараты (дроны, управляемые ракеты, барражируемые снаряды и т. д.) объединяет то, что их эффективность критически зависит от той стратегии, которую они используют для решения двух своих основных (и тесно взаимосвязанных) проблем — навигации и связи.
До сих пор здесь существовали подходы, которые можно классифицировать следующим образом:
- Для работы основной части гражданских дронов (которые широко применяются и на войне, поэтому требуют отдельного рассмотрения) необходимо наличие одновременно и сигнала спутниковой навигации, и устойчивой связи с пилотом. Поскольку частоты, на которых работают спутниковая навигация и связь, хорошо известны, такие аппараты несложно нейтрализовать с помощью средств радиоэлектронного подавления. Потеряв сигнал GPS или связь с «хозяином», такие дроны просто опускаются на землю.
- Как реакция на легкость подавления спутниковой навигации все чаще cтала применяться другая стратегия: отказ от спутниковой навигации в пользу ручного управления. Такая стратегия применяется в простых FPV-дронах, которые управляются от первого лица на основе «видеокартинки», которую передает установленная на БПЛА камера. Передавать видеосигнал можно на разных, заранее не известных противнику частотах, поэтому такие дроны более устойчивы к радиоэлектронному подавлению. Однако на небольшом расстоянии и при наличии достаточно мощных «глушилок» вывести из строя можно и FPV-дроны.
- Третья стратегия подразумевает отказ от связи с оператором и передачу задач навигации и наведения бортовому компьютеру, но с использованием некоторой внешней навигационной помощи — сигнала GPS, как, например, в ракетах HIMARS, или лазерной подсветки целей, как во многих барражирующих боеприпасах, в том числе в российских системах «Краснополь». GPS, как сказано выше, можно легко подавить; лазерная подсветка также имеет собственные недостатки: чувствительность к погоде и хорошей видимости, необходимость в операторе лазера на поле боя.
- Наконец, четвертая стратегия подразумевает полностью автономное управление БПЛА, которое потенциально полностью устойчиво к системам подавления радиосигнала. Почти всегда такая автономность основана на инерциальной системе навигации, которая рассчитывает положение БПЛА или ракеты на основе данных ускорения. Однако в ходе полета в расчете постоянно накапливаются ошибки, что на определенном расстоянии делает применение таких систем вовсе бессмысленным. Для компенсации ошибок инерциальные системы дополняют другими способами навигации, такими как сверка с цифровой картой местности. Существует множество подобных систем, но до сих пор все они были довольно сложными и не очень точными.
Но если речь заходит о самых простых дронах-камикадзе, которые все чаще применяются на поле боя, то ни спутниковая, ни инерциальная система им вообще не нужна. Они полностью полагаются на связь с оператором, который сам ориентируется на местности и вручную управляет их полетом. С точки зрения радиоэлектронной борьбы подобные FPV-дроны имеют небольшое преимущество, которое заключается в том, что, в отличие от GPS и ГЛОНАСС, создатели таких аппаратов могу гибко выбирать частоты, на которых настраивается связь с оператором. Соответственно, глушить их сложнее — хотя, конечно, все еще возможно.
Другое дело — полностью автономные системы, которые могут появиться в будущем. Инженеры, которые разработали систему Swift, фактически создали новый вариант решения проблемы навигации БПЛА в рамках полностью автономной стратегии (конечно, со своими ограничениями).
Радиоэлектронное подавление не должно стать помехой для систем вроде Swift. Но до их реального применения на поле боя еще достаточно много времени
Разработка швейцарских исследователей вполне может найти применение в вооруженных силах. Потенциально она может пригодиться для аппаратов, используемых в разведке или для нанесения точечных ударов по подвижным целям в условиях города. Так, FPV-дрон под управлением системы, подобной Swift, сможет быстро и на малой высоте долететь до нужной точки в городском районе, облетая все возможные препятствия: заборы, здания, деревья и прочее.
Но еще важнее, чем способность облетать препятствия, может оказаться полная автономность системы Swift. До сих пор важнейшим препятствием для применения FPV-дронов на поле боя были системы радиоэлектронного подавления, которые блокируют передачу сигнала от пилота. Swift же в пилоте не нуждается и, в отличие от современных аппаратов, все равно сможет продолжать лететь, распознавая объекты и цели совершенно самостоятельно, несмотря ни на какие «глушилки». Подавить его с помощью радиоэлектронной борьбы будет почти невозможно.
Тут, правда, важно, что между гоночным треком размером 30 на 30 метров, где Swift показал чудеса автономного управления, и реальным полем боя есть огромная разница. Она заключается прежде всего в сложности той «сцены», на которой приходится действовать дрону в реальности. Справится ли Swift или аналогичная система с такой задачей и как именно это будет реализовано — очень сложный вопрос, на который пока нельзя ответить.
С одной стороны, даже в тех «стерильных» условиях лабораторного трека, где Swift удалось обогнать людей, ему потребовалось иметь внутреннюю трехмерную модель помещения, а затем довольно долго тренировать пролет по трассе в виртуальной версии трека. И только после этого Swift удалось обойти людей в гонке. Пока совсем не ясно, как создать такую модель в боевых условиях, насколько она должна быть точной — и как может быть организована вся необходимая подготовительная работа до автономного полета. Как не ясно и то, как будут приниматься системой решения в условиях, когда речь идет не о спортивном соревновании, а о потенциально смертельном оружии.
С другой стороны, все эти задачи не выглядят принципиально неразрешимыми. Например, если просто сравнить время, которое потратили на тренировки по проходу трассы живые пилоты — соперники Swift, то выяснится, что на самом деле оно уже сейчас значительно превышает то время, которое потребовалось компьютеру. Нет сомнений, что в будущем этот разрыв будет только увеличиваться — и на любых трассах в любых условиях компьютер будет учиться летать и выполнять задания быстрее, чем люди. Кроме того, создание трехмерных моделей пространства для задач навигации тоже не станет чем-то принципиально новым для военных: подобные модели давно используются, например, для огибания препятствий в управляемых ракетных системах — разве что подробность и точность этих моделей гораздо ниже, чем в той, что использовалась для Swift. Но это тоже трудность, которая выглядит решаемой со временем, а не принципиально непреодолимой.
И наконец, что касается этичности применения полностью автономных систем, то практика, к сожалению, показывает, что до сих пор подобные соображения никогда не удерживали военных от решения своих задач на поле боя, если «сомнительные» системы действительно обладают решающими преимуществами перед альтернативными. Иначе давно не было бы противопехотных мин, кассетных боеприпасов или ядерного оружия.
Архитектура системы Swift может оказаться полезной и при конструировании мирных автопилотов. Потому что она умеет учитывать случайности, которые невозможно предсказать заранее
Остается только надеяться, что главным вкладом создателей Swift в робототехнику станет не разработка нового смертоносного оружия, а нечто более конструктивное. Как показывают авторы в своей новой статье в Science Robotics (которая вышла уже после отчета о победе Swift), наиболее инновационной частью их работы стал даже не сам автопилот для дронов. Прорыв здесь в отказе от того традиционного метода оптимального управления, который очень долго и очень успешно использовался в подобных системах: в робототехнике вообще и в проектировании автопилотов в частности.
Этот метод основан на точном математическом моделировании тех действий машины, которые необходимы для получения идеального результата — в данном случае наиболее быстрого прохождения трассы. Как и всякое математически оптимальное решение задачи, здесь, казалось бы, просто нельзя ничего улучшить — поэтому может показаться странным, что создатели Swift отказались от этого подхода.
Но дело, как утверждают они, вовсе не в том, чтобы бесконечно улучшать то, что и так работает почти идеально, — а в том, чтобы в первую очередь не ошибиться с тем, что на самом деле требует улучшения. И если конечная цель автопилота состоит в прохождении трассы в реальных условиях, когда далеко не все удается точно, заранее и вовремя просчитать, то именно это и нужно научить его делать.
Как выяснилось, алгоритмы, основанные на обучении с подкреплением, для такой задачи из «реального мира», как полет, подходят лучше, чем «идеальные решения», предлагаемые в традиционном подходе и часто неспособные учесть неопределенности и случайности, возникающие в процессе. Если они правы и подобный подход действительно может найти широкое применение в робототехнике, то это будет означать создание не только нового оружия, но и по-настоящему автономных автопилотов для автомобилей, самолетов и всего остального, что только может двигаться.
«Медуза»