Пять различных алгоритмов ИИ, объединённых в команду OpenAI Five, одержали убедительную победу над людьми в популярной стратегической компьютерной игре Dota 2.

Разработчиком алгоритмической команды стал некоммерческий стартап OpenAI, базирующийся в Калифорнии. Каждый из пяти алгоритмов использует нейронную сеть не только для обучения игре, но и для улучшения взаимодействия с остальными участниками команды.

Это важное новое направление развития ИИ, алгоритмы которого обычно действуют независимо друг от друга. Кооперация может иметь важные коммерческие приложения, например, ИИ могут объединяться для опережения соперников в онлайновом трейдинге. Коллективному интеллекту также проще соревноваться с людьми, что и показала победа над любительской командой игроков в Dota 2, одержанная в ходе тестирования OpenAI Five.

Ранее OpenAI уже демонстрировала алгоритм, способный конкурировать с лучшими игроками людьми в индивидуальной игре Dota 2. Модифицированные алгоритмы новой версии нацелены как на персональный, так и на командный успех. При этом, в игре они находятся на положении рядовых игроков: общаться между собой планируя атаки, собирая предметы и ведя боевые действия в реальном времени, они могут только используя средства коммуникаций, предусмотренные геймплеем.

Стратегии Dota 2 более формальны, чем те, что используются в шахматах или Го, тем не менее достичь совершенства в этой игре очень трудно, особенно для машины, так как для оценки оперативной ситуации часто приходится опираться на сообщения от остальных членов команды.

«Dota 2 — чрезвычайно сложная игра, поэтому даже победа над сильными любителями действительно впечатляет, — говорит Ном Браун (Noam Brown), исследователь из Университета Карнеги-Меллона в Питтсбурге (штат Пенсильвания). — В частности, серьезной проблемой является работа со скрытой информации в такой большой игре как Dota 2».

OpenAI представила систему нейросетей, которых обучили играть как самостоятельно, так и в команде. Программы тренируются только на играх с самими собой, не используя противников-людей. Для обучения они задействовали 256 графических процессоров и 128 000 центральных. Это позволяет им в день сыграть такое количество матчей, которое бы у людей заняло 180 лет. Программы взаимодействуют друг с другом при помощи метода обучения с подкреплением, а само «общение» происходит только через игровой интерфейс.

«То, что мы увидели, показывает, что координация и взаимодействие могут возникать естественно при соответствующих стимулах», — говорит Грег Брокман, один из создателей OpenAI. Разработчики попробовали заменить одного из ботов на человека. Это тоже сработало: он утверждал, что чувствует хорошую поддержку команды.

На данный момент система нейросетей может работать только с существенными ограничениями: каждая программа играет только за определенного персонажа, у противников одинаковый набор героев, запрещены некоторые предметы и так далее. К августу, когда состоится чемпионат мира по Dota 2 с самым крупным среди всех компьютерных игр призовым фондом — около 40 миллионов долларов, — OpenAI собирается представить группу нейросетей, способную на одном уровне играть с лучшими командами людей. К тому времени число ограничений должно будет сократиться до уменьшенного набора возможных героев. 28 июля должен состояться подготовительный матч против команды профессионалов.

Грег Брокман (Greg Brockman), один из учредителей OpenAI, рассказал, что в ходе экспериментов один из алгоритмов команды пробовали заменять игроком-человеком. По отзывам последнего, он чувствовал себя вполне органично вписавшимся в командную работу и на равных участвовал в координации групповых действий.

Следующим ориентиром OpenAI станут игры, активно использующие общение, такие как Diplomacy или Settlers of Catan — в них ключевым для достижения успеха является соблюдение тонкого баланса между сотрудничеством и конкуренцией.