В моделях машинного обучения уже освоены шахматы, го, игры Atari и многое другое, но для того, чтобы подняться на новый уровень, исследователи из Facebook планируют, чтобы ИИ взял на себя другой вид игры: заведомо сложный и бесконечно сложный Nethack. .
«Мы хотели создать в этой игре то, что мы считаем наиболее доступной« грандиозной задачей ». Это не будет решать ИИ, но он откроет пути к лучше AI », – сказал Эдвард Грефенстетт из Facebook AI Research. «Игры – это хорошая область, где можно найти наши предположения о том, что делает машины умными, и сломать их».
Возможно, вы не знакомы с Nethack, но это одна из самых влиятельных игр всех времен. Вы – искатель приключений в фантастическом мире, погружающийся во все более опасные глубины подземелья, которое каждый раз меняется. Вы должны сражаться с монстрами, преодолевать ловушки и другие опасности и при этом оставаться в хороших отношениях со своим богом. Это первый «рогалик» (после Rogue, его непосредственного и гораздо более простого предшественника) и, возможно, все еще лучший – почти наверняка самый сложный.
(Кстати, это бесплатно, и вы можете скачать и играть практически на любой платформе.)
Его простая графика в формате ASCII с использованием флага для гоблина, @ для игрока, линий и точек для архитектуры уровня и т. Д. Противоречит его невероятной сложности. Потому что Nethack, дебютировавший в 1987 году, с тех пор находится в активной разработке, с постоянно меняющейся командой разработчиков, расширяющей список объектов и существ, правил и бесчисленных, бесчисленных взаимодействий между ними всеми.
И это часть того, что делает Nethack такой сложной и интересной задачей для ИИ: он настолько неограничен. Мало того, что мир каждый раз меняется, но и каждый объект и существо могут взаимодействовать по-новому, большинство из которых кодируются вручную на протяжении десятилетий, чтобы охватить каждый возможный выбор игрока.
«Atari, Dota 2, StarCraft 2… решения, которые мы использовали, чтобы добиться здесь прогресса, очень интересны. Nethack просто создает другие проблемы. Вы должны полагаться на человеческие знания, чтобы играть в игру как человек », – сказал Грефенстетт.
В этих других играх есть более или менее очевидная стратегия победы. Конечно, в такой игре, как Dota 2, это сложнее, чем в игре для Atari 800, но идея та же – есть элементы, которыми управляет игрок, игровое поле окружения и условия победы, которые нужно преследовать. Так обстоит дело с Nethack, но это еще более странно. Во-первых, игра каждый раз разная, и не только в деталях.
«Новое подземелье, новый мир, новые монстры и предметы, у вас нет точки сохранения. Если вы совершите ошибку и умрете, второго выстрела у вас не будет. Это немного похоже на настоящую жизнь », – сказал Грефенштетте. «Вы должны учиться на ошибках и приходить к новым ситуациям, вооружившись этими знаниями».
Конечно, пить разъедающее зелье – плохая идея, но как насчет того, чтобы бросить его в монстра? Покрыть им свое оружие? Залить им замок сундука с сокровищами? Разбавить водой? У нас есть интуитивные представления об этих действиях, но игровой ИИ думает не так, как мы.
По словам Грефенстетта, глубину и сложность систем в Nethack трудно объяснить, но это разнообразие и сложность делают игру идеальным кандидатом для соревнований. «Чтобы играть в эту игру, нужно полагаться на человеческие знания», – сказал он.
В течение многих лет люди разрабатывали ботов для игры в Nethack, которые полагаются не на нейронные сети, а на деревья решений, столь же сложные, как сама игра. Команда Facebook Research надеется разработать новый подход, создав среду обучения, в которой люди смогут тестировать игровые алгоритмы на основе машинного обучения.
Обучающая среда Nethack была фактически создана в прошлом году, но Nethack Challenge только начинается. NLE – это, по сути, версия игры, встроенная в выделенную вычислительную среду, которая позволяет ИИ взаимодействовать с ним с помощью текстовых команд (направления, действия, такие как атака или выпивка).
Это заманчивая цель для амбициозных дизайнеров искусственного интеллекта. В то время как такие игры, как StarCraft 2, в некотором смысле могут иметь более высокий статус, Nethack является легендарным, и идея построения модели, полностью отличной от тех, которые используются для доминирования в других играх, представляет собой интересную задачу.
Кроме того, как объяснил Грефенстетт, он более доступный, чем многие в прошлом. Если вы хотели создать ИИ для StarCraft 2, вам требовалось много вычислительных мощностей для запуска механизмов визуального распознавания изображений из игры. Но в этом случае вся игра передается через текст, что делает работу с ней чрезвычайно эффективной. В нее можно играть в тысячи раз быстрее, чем любой человек, даже с самой простой компьютерной настройкой. Это оставляет проблему широко открытой для отдельных лиц и групп, у которых нет доступа к мощным установкам, необходимым для работы других методов машинного обучения.
«Мы хотели создать исследовательскую среду, в которой было бы много проблем для сообщества ИИ, но не ограничивать ее только крупными академическими лабораториями», – сказал он.
В течение следующих нескольких месяцев люди смогут протестировать NLE, и конкуренты смогут создавать своих ботов или ИИ любыми способами. Но когда 15 октября начнется серьезное соревнование, они будут ограничены взаимодействием с игрой в контролируемой среде с помощью стандартных команд – без специального доступа, без проверки ОЗУ и т. Д.
Целью соревнования будет завершение игры, и команда Facebook будет отслеживать, сколько раз агент «поднимается», как это называется в Nethack, за установленный промежуток времени. Но «мы предполагаем, что это будет ноль для всех», – признал Грефенстетт. В конце концов, это одна из самых сложных игр, когда-либо созданных, и даже люди, которые играли в нее годами, не могут выиграть даже один раз в жизни, не говоря уже о нескольких раз подряд. Для определения победителей в нескольких категориях будут использоваться другие показатели.
Есть надежда, что этот вызов станет зародышем нового подхода к искусственному интеллекту, который более фундаментально напоминает реальное человеческое мышление. Ярлыки, метод проб и ошибок, взлом очков и зергинг здесь не работают – агенту необходимо изучить системы логики и применять их гибко и разумно, иначе он ужасно погибнет от рук разъяренного кентавра или совомедведя.
Вы можете ознакомиться с правилами и другими особенностями Nethack Challenge здесь. Результаты будут объявлены на конференции NeurIPS в конце этого года.