Команда из искусственных интеллектов не смогла одолеть профессиональных игроков в Dota 2 Боты хороши в бою, но отстают в стратегии

Команда из пяти ботов, разработанных некоммерческой организацией OpenAI (один из ее основателей Илон Маск), выступила на The International 2018 — чемпионате по игре Dota 2. Виртуальная команда — она называется OpenAI Five — не участвовала в самом чемпионате, но попробовала силы против двух профессиональных команд, состоящих из людей. Оба раза она проиграла.

Dota 2 — игра, в которой обычно участвуют две команды из пяти игроков. Каждый игрок управляет своим героем (всего их больше сотни с разными характеристиками и умениями) и пытается вместе с напарниками отбить атаки врага и уничтожить его базу. Математически Dota 2 сложнее, чем шахматы или игра го, в которую искусственный интеллект уже научился играть лучше людей: вариантов развития событий так много, что просчитать их все просто не получится.

Тут на помощь пришел искусственный интеллект: вместо того, чтобы пытаться просчитать все возможные варианты, бот может накопить очень много «опыта» (играя с самим собой миллионы партий), а затем использовать его, чтобы решать, как действовать в той или иной ситуации. Боты OpenAI были настроены на зарабатывание как можно большего количества очков: «награды» им выдавали, например, за убийства вражеских героев, заработанное золото и за победу в игре. При этом речь идет о пяти разных ботах, а не единой программе: они не общаются друг с другом, хотя каждый стремится к победе.

Играя так в Dota 2 время, эквивалентное тысячам лет, программы «поняли» ее суть, выработали стратегии битвы и всего за несколько месяцев развились до уровня опытных игроков. Прогресс впечатляющий: еще в мае 2018 года OpenAI Five была на уровне разработчиков из OpenAI (то есть совсем низко), в июне она подросла до любительских и полупрофессиональных команд, а в августе уже смогла достойно выступить против сильнейших игроков в Dota 2.

В первой битве OpenAI Five сыграли против бразильской команды paiN. Боты проводили хорошо скоординированные атаки в правильные моменты и смогли совершить больше убийств, чем их соперники (в Dota 2 герои возрождаются после убийства). Но их слабой стороной оказалась стратегия: боты реагировали на события, происходящие прямо сейчас, а не занимались долгосрочным планированием. Как рассказала Wired разработчик Сьюзан Жан, работавшая в OpenAI над этим проектом, боты просчитывают последствия своих действий только на 14 минут вперед — у них просто нет механизма, позволяющего «заглянуть» дальше и оценить игру в целом.

Ко второй игре, рассказал The Register сотрудник OpenAI Филип Уольски, разработчики решили изменить систему наград, чтобы настроить ботов на победу. Для этого было снижено количество очков, которое боты получали за выполнение неосновных задач — в том числе за убийство врагов и накопление золота.

Это не помогло: в битве против команды из пяти профессиональных игроков из Китая OpenAI Five потерпела второе поражение.

Но в OpenAI не расстраиваются: в блоге организации после второго проигрыша появился пост с впечатлениями. В нем говорится, что оба раза у ботов был хороший шанс на победу в первые 20-35 минут игры, но потом что-то шло не так. Разработчики отмечают, что матчи против сильнейших игроков длились 45 и 51 минуту — то есть не меньше, чем в «живых» играх профессионалов.

«Побеждать хорошо, но проигрыш показывает невероятное мастерство профессионалов высшего уровня и позволяет нам сравнить игру OpenAI Five с лучшими из лучших», — пишут разработчики в блоге. Технический директор OpenAI Грег Брокман уверен, что проигрыш команды ботов не означает, что они достигли предела развития искусственного интеллекта. «Матчи этой недели отражают текущий прогресс, но не пределы возможного», — написал он.

Сотрудник OpenAI Филип Уольски рассказал, что во время подготовки к матчам с профессионалами разработчики провели много бессонных ночей. «Мы пойдем домой, отдохнем, возможно, уточним, загрузили ли мы правильные параметры в ботов, — сказал он The Register. — Но мы продолжим работать над Dota 2, чтобы играть в нее все лучше и со все меньшим количеством ограничений».