Большая часть ранних дискуссий о революции генеративного ИИ в играх была сосредоточена на том, как инструменты ИИ могут повысить эффективность создателей игр, позволяя создавать игры быстрее и в большем масштабе, чем раньше. Мы считаем, что в долгосрочной перспективе ИИ изменит не только способ создания игр, но и саму природу игр.
Все время ИИ помогает создавать новые формы игр. От процедурно сгенерированных подземелий в Rogue (1980 г.) до конечных автоматов в Half-Life (1998 г.) и ИИ-директоров игр в Left 4 Dead (2008 г.). В последнее время достижения в области технологий глубокого обучения еще больше изменили правила игры, позволив компьютерам создавать новый контент на основе запросов пользователя и больших наборов данных.
Пока еще рано, но мы уже видим некоторые интересные области игр, управляемых ИИ, включая генеративных агентов, персонализацию, повествование ИИ, динамические миры и ИИ-пилотов. В случае успеха эти системы могут объединиться для создания новых игр с искусственным интеллектом, которые сохранят лояльных игроков.
Генеративный агент
Игра-симулятор, созданная компанией Maxis SimCity в 1989 году, позволяет игрокам строить и управлять виртуальным городом. Сегодня самой популярной игрой-симулятором является The Sims, в которой более 70 миллионов игроков по всему миру управляют виртуальными людьми, известными как «симы», и позволяют им заниматься своей повседневной жизнью. Дизайнер Уилл Райт однажды назвал The Sims «интерактивным кукольным домиком».
Генеративный ИИ может значительно ускорить разработку игр-симуляторов, делая агентов более реалистичными за счет возникающего социального поведения, управляемого большими языковыми моделями (LLM).
Ранее в этом году исследовательская группа из Стэнфордского университета и Google опубликовала статью, в которой показано, как применять LLM к агентам в играх. Под руководством аспиранта Джуна Сунг Пака исследовательская группа включила 25 агентов, похожих на Sims, в мир песочницы с пиксельной графикой, поведение которого определялось ChatGPT и архитектурой, расширяющей LLM для использования естественного языка для хранения полной записи опыта агента, синтезирования этих воспоминаний в рефлексии более высокого уровня и динамического извлечения их для планирования поведения.
Эти результаты — отличный предварительный просмотр потенциального будущего игр-симуляторов. Начиная с указанного пользователем предложения о том, что агент хочет устроить вечеринку в честь Дня святого Валентина, агенты независимо друг от друга распространяют приглашения на вечеринку, заводят новые дружеские отношения, приглашают друг друга на свидания и координируют свои действия, чтобы прибыть на вечеринку вовремя через два дня.
Такое поведение возможно, потому что LLM обучаются на данных социальных сетей, поэтому их модели включают основы того, как люди разговаривают друг с другом и ведут себя в различных социальных контекстах. А в интерактивных цифровых средах, таких как аналоговые игры, эти реакции могут запускаться для создания реалистичного поведения.
С точки зрения игрока, конечный результат — более захватывающий игровой процесс. Большая часть удовольствия от игры в The Sims или симулятор колонии RimWorld связана с неожиданными событиями. С поведением агентов в социальных сетях мы можем увидеть игры-симуляторы, которые не только демонстрируют воображение геймдизайнеров, но и отражают непредсказуемость человеческого общества. Просмотр этих симуляций может доставить столько же удовольствия, сколько просмотр следующего поколения Шоу Трумана, что невозможно с сегодняшними предварительно подготовленными телепередачами или фильмами.
Сами агенты также могут быть персонализированы, опираясь на наши творческие стремления к игре «Кукольный домик». Игроки могут создать идеального агента на основе себя или вымышленных персонажей. «Ready Player Me» позволяет пользователям создавать свой собственный 3D-аватар, делая селфи, и импортировать аватар в более чем 9000 игр/приложений. Платформы персонажей с искусственным интеллектом Character.ai, InWorld и Convai могут создавать пользовательских NPC со своими предысториями, личностями и элементами управления поведением.
Благодаря возможностям естественного языка способ взаимодействия с агентами также был расширен. Сегодня разработчики могут использовать модели преобразования текста в речь Eleven Labs для создания реалистичных голосов для своих агентов. Convai недавно заключила партнерское соглашение с Nvidia для широко разрекламированной демонстрации, в которой игроки могли участвовать в естественном голосовом разговоре с ИИ-поваром, готовящим рамэн, с диалогами и соответствующими выражениями лица, генерируемыми в режиме реального времени. Сопутствующее приложение AI Replika уже позволяет пользователям общаться со своими друзьями с помощью голоса, видео и AR / VR. В будущем можно представить игру-симулятор, в которой игроки могут оставаться на связи со своими агентами по телефону или видеочату во время путешествия, а затем, вернувшись к своему компьютеру, включиться в более захватывающую игру.
Однако предстоит решить еще много проблем, прежде чем мы сможем увидеть полностью сгенерированную версию The Sims. Данные обучения для LLM имеют врожденные погрешности, которые могут отражаться в поведении агента. Круглосуточные сервисные игры в реальном времени 7 дней в неделю Стоимость запуска крупномасштабных симуляций может быть экономически невыгодной, запуск 25 агентов за 2 дня обойдется исследовательской группе в тысячи долларов вычислительных ресурсов. Усилия по переносу рабочей нагрузки моделей на устройства многообещающие, но все еще относительно ранние. Нам также может понадобиться разработать новые нормы квазисоциальных отношений с агентами.
Но ясно одно: сейчас существует огромный спрос на генеративные агенты. Согласно нашему недавнему опросу, 61% игровых студий планируют экспериментировать с ИИ-NPC. Мы верим, что спутники ИИ скоро станут обычным явлением, когда агенты войдут в наши повседневные социальные сферы. Игры-симуляторы представляют собой цифровую песочницу, в которой мы можем весело и непредсказуемо взаимодействовать с нашими любимыми ИИ-компаньонами. В долгосрочной перспективе характер игр-симуляторов, вероятно, изменится, и эти агенты станут не просто игрушками, а потенциальными друзьями, членами семьи, коллегами, советниками и даже любовниками.
Индивидуальная настройка
Конечная цель персонализированной игры — предоставить каждому игроку уникальный игровой опыт. Например, давайте начнем с создания персонажа — начиная с оригинальной настольной игры Dungeons & Dragons и заканчивая Genshin Impact от Mihoyo, создание персонажа было основой почти каждой ролевой игры (RPG). Большинство ролевых игр позволяют игроку выбирать из предустановленных параметров внешний вид, пол, класс и т. д. Так как же выйти за пределы пресетов, чтобы создать уникального персонажа для каждого игрока и игрового процесса? Это позволяет персонализированный конструктор персонажей, сочетающий LLM с моделью преобразования текста в изображение.
Arrowmancer от Spellbrush — это ролевая игра, основанная на собственной модели анимации компании на основе GAN. В Arrowmancer игроки могут создать полный набор уникальных аниме-персонажей, включая арты и боевые способности. Эта персонализация также является частью его системы монетизации, когда игроки импортируют персонажей, созданных искусственным интеллектом, в пользовательские баннеры гача, где они могут зарабатывать дубликаты персонажей, чтобы укреплять свои ряды.
Персонализация также распространяется на внутриигровые предметы. Например, ИИ может помочь создать уникальное оружие и доспехи, доступные только игрокам, выполнившим определенные задачи. Azra Games создала конвейер ресурсов на основе искусственного интеллекта, чтобы быстро придумывать и создавать обширную библиотеку внутриигровых и мировых предметов, прокладывая путь к более разнообразному игровому опыту. Известный разработчик ААА Activision Blizzard создала систему Blizzard Diffusion, точную копию генератора изображений Stable Diffusion, чтобы создавать концепт-арты для различных персонажей и нарядов.
Внутриигровой текст и диалоги также можно персонализировать. Эмблемы в мире могут отражать какой-то титул или статус, которого достиг игрок. NPC могут быть настроены как агенты LLM с уникальными личностями, которые адаптируются к поведению игрока. Например, диалог может измениться в зависимости от прошлого поведения игрока с агентом. Мы видели, как эта концепция успешно реализована в игре AAA-класса, а в Shadow of Mordor от Monolith есть система мести, которая динамически создает интересные предыстории для злодеев на основе действий игрока. Эти элементы персонализации делают каждую игру уникальной.
Издатель игр Ubisoft недавно представил Ghostwriter, диалоговый инструмент, основанный на LLM. Сегодня издатели используют этот инструмент для автоматической генерации диалогов, что помогает имитировать живой мир вокруг игроков.
С точки зрения игрока, искусственный интеллект делает игру более увлекательной и увлекательной. Неизменная популярность ролевых модификаций в иммерсивных играх с открытым миром, таких как Skyrim и Grand Theft Auto V, демонстрирует скрытую потребность в персонализированных историях. Даже сегодня в GTA V постоянно больше игроков на ролевых серверах, чем в оригинальной игре. Мы верим, что в будущем системы персонализации станут неотъемлемым операционным инструментом в режиме реального времени для привлечения и удержания игроков во всех играх.
Рассказ ИИ
Конечно, хорошая игра — это нечто большее, чем персонажи и диалоги. Еще один интересный сценарий — использование генеративного ИИ для создания более качественных и личных историй.
Dungeons & Dragons — это дедушка персонализированного повествования в играх, в котором человек, известный как «мастер подземелий», готовится рассказать историю группе друзей, каждый из которых играет свою роль в этой истории. Получившаяся история представляет собой частично импровизированную драму, частично ролевую игру, а это означает, что каждое прохождение уникально. В знак необходимости индивидуального повествования Dungeons & Dragons сегодня популярнее, чем когда-либо, а продажи цифровых и аналоговых игр достигли рекордных высот.
Сегодня многие компании применяют LLM к сюжетному режиму Dungeons & Dragons. Здесь у игроков есть возможность провести время в своих любимых вселенных, созданных игроками или IP, под руководством бесконечно терпеливого ИИ-рассказчика. Запущенная в 2019 году игра Latitude AI Dungeon представляет собой открытую текстовую приключенческую игру, в которой ИИ играет хозяина подземелий. Пользователи также настроили версию OpenAI GPT-4 для игры в Dungeons & Dragons с многообещающими результатами. Текстовая приключенческая игра от Character.AI — один из самых популярных режимов приложения.
Hidden Door делает еще один шаг вперед, обучая модель машинного обучения на определенном наборе исходных материалов (например, «Волшебник страны Оз») и позволяя игрокам путешествовать по заданной вселенной IP. Таким образом, Hidden Door работала с владельцем интеллектуальной собственности над созданием новой интерактивной формы расширения бренда. Как только фанаты закончат просмотр фильма или книги, они смогут продолжить свои приключения в своих любимых мирах с помощью специальных событий, подобных Dungeons & Dragons. Спрос на фан-эксперименты стремительно растет: только в мае Archiveofourown.org и Wattpad, два крупнейших онлайн-репозитория фанфиков, получили более 354 и 146 миллионов посещений веб-сайтов соответственно.
NovelAI разработала собственный LLM Clio, используя его, чтобы рассказывать истории в режиме песочницы, чтобы помочь писателям-людям преодолеть проблемы с написанием блоков. Для самых взыскательных писателей NovelAI позволяет настроить Clio на основе их собственных произведений или даже произведений известных авторов, таких как Лавкрафт или Жюль Верн.
Стоит отметить, что есть много препятствий, прежде чем производство истории ИИ будет полностью готово. Сегодня, чтобы стать хорошим рассказчиком с искусственным интеллектом, требуется множество человеческих правил для создания повествовательных линий, определяющих хорошую историю. Память и связность очень важны, рассказчик должен помнить, что произошло ранее в рассказе, и быть последовательным в фактах и стиле. Интерпретируемость остается проблемой для большей части кода с закрытым исходным кодом, который работает как черный ящик, и разработчикам игр необходимо понимать, как ведут себя системы, чтобы улучшить игровой процесс.
Однако в преодолении этих препятствий ИИ стал вторым пилотом рассказчиков-людей. Сегодня миллионы писателей используют ChatGPT, чтобы вдохновлять свои истории. Студия развлечений ic объединила DALL-E, ChatGPT, Midjourney, Eleven Labs и Runway с командой редакторов для создания интерактивного приключенческого шоу, которое теперь можно транслировать на Netflix.
Динамическое построение мира
В то время как текстовые истории популярны, многие игроки также хотят, чтобы их истории воплощались в жизнь визуально. Возможно, одна из самых больших возможностей для генеративного ИИ в играх — помощь в создании живых миров, в которые игроки проводят бесчисленные часы, погружаясь в них.
Конечное видение состоит в том, чтобы иметь возможность генерировать уровни и контент в реальном времени по мере прохождения игроком игры. «Игра разума» в фантастическом романе «Игра Эндера» (Ender's Game) — типичный пример такого рода игр. The Mind Game — это управляемая искусственным интеллектом игра, которая в режиме реального времени адаптируется к интересам каждого учащегося, при этом игровой мир постоянно меняется в зависимости от поведения учащегося и любой другой умственной информации, получаемой ИИ.
Вероятно, самая близкая к «интеллектуальной игре» сегодня — это серия Left 4 Dead от Valve, которая использует подсказки ИИ для динамической настройки темпа и сложности игры. Вместо того, чтобы устанавливать точку появления врагов (зомби), ИИ-режиссер размещает зомби в разных позициях в соответствии со статусом, навыками и положением каждого игрока, создавая уникальный опыт в каждой игре.Режиссер также использует динамические визуальные эффекты и музыку для создания атмосферы игры. Основатель Valve Гейб Ньюэлл называет эту систему «запрограммированным повествованием». Признанный критиками ремейк Dead Space от EA использует вариант системы режиссера ИИ, чтобы довести ужас до крайности.
Хотя сегодня это может показаться сюжетом научной фантастики, однажды, с улучшением генеративных моделей и приобретением достаточного количества расчетов и данных, мы сможем создать ИИ-режиссера, который сможет не только создавать страхи, но и создавать сам мир.
Стоит отметить, что концепция машинно-генерируемых уровней в играх не нова. От Hades от Supergiant до Diablo от Blizzard и Minecraft от Mojang, многие из самых популярных современных игр используют процедурную генерацию, которая использует уравнения и наборы правил, разработанные дизайнерами-людьми для случайного создания уровней, каждый раз отличающихся друг от друга. Полный набор программных библиотек был создан для помощи в создании программ. Unity SpeedTree помогает разработчикам создавать виртуальную листву, которую вы могли видеть в лесах Пандоры в «Аватаре» или в ландшафтах Элден-Ринг.
Игра может сочетать генератор процедурных активов с LLM в пользовательском интерфейсе. В игре «Городской пейзаж» используется процедурная система, в которой от игрока требуется ввести только две части информации (положение и цвет блоков), и ее можно быстро преобразовать в великолепный городской пейзаж. Представьте себе добавление Townscaper от LLM в пользовательский интерфейс, чтобы помочь игрокам повторять более изысканные и изысканные работы с помощью подсказок на естественном языке.
Многие разработчики также воодушевлены потенциалом использования машинного обучения для улучшения генерации программ. Однажды дизайнеры смогут итеративно генерировать жизнеспособные первые наброски уровней, используя модели, обученные на существующих уровнях с похожими стилями. Ранее в этом году Шьям Судхакаран возглавил команду Копенгагенского университета, которая создала MarioGPT — инструмент GPT2, который генерирует уровни Super Mario, используя модель, обученную на исходных уровнях из Super Mario 1 и 2. Академические исследования в этой области ведутся уже некоторое время, включая проект 2018 года, использующий генеративно-состязательные сети (GAN) для разработки уровней для шутера от первого лица DOOM.
Генеративные модели, используемые в сочетании с процедурными системами, могут значительно ускорить создание активов. Художники уже начали использовать модели преобразования текста в изображение для концепт-арта и раскадровки с помощью ИИ. В этом сообщении в блоге супервайзер по визуальным эффектам мэйнфреймов Юсси Кемппайнен описывает, как он создавал мир и персонажей для приключенческой 2,5D-игры с помощью Midjourney и Adobe Firefly.
Методы 3D-генерации также были тщательно исследованы. Luma использует поля нейронного излучения (NeRF), чтобы позволить потребителям создавать фотореалистичные 3D-активы из 2D-изображений, снятых на iPhone. Kaedim использует комбинацию искусственного интеллекта и человеческого контроля качества для создания готовых к производству 3D-сеток и в настоящее время используется более чем 225 разработчиками игр. CSM недавно выпустил собственную модель, которая может генерировать 3D-модели из видео и изображений.
Создание мира в реальном времени с помощью моделей ИИ — вот что важно в долгосрочной перспективе. На наш взгляд, в будущем всю игру больше не нужно будет рендерить, а она будет генерироваться во время выполнения с помощью нейронных сетей. Технология DLSS от Nvidia уже позволяет генерировать новые игровые кадры с высоким разрешением на лету с использованием графических процессоров потребительского уровня. Возможно, когда-нибудь вы сможете нажать кнопку «взаимодействовать» в фильме Netflix и шагнуть в мир, где каждая сцена генерируется на лету и адаптируется к игроку. В будущем игры ничем не будут отличаться от фильмов.
Стоит отметить, что одного только динамически генерируемого мира недостаточно для создания хорошей игры, о чем свидетельствует обзор No Man's Sky. Перспектива динамических миров заключается в их сочетании с другими игровыми системами (персонализация, генеративные агенты и т. д.), чтобы открыть новые формы повествования. В конце концов, самая захватывающая часть «Игр разума» — это то, как они формируют себя для Эда, а не сам мир.
ИИ "Второй пилот"
Хотя ранее мы рассматривали использование генеративных агентов в симуляционных играх, существует еще один новый вариант использования, когда ИИ выступает в роли второго пилота игры, направляя нас в игре, а в некоторых случаях даже сражаясь вместе с нами.
Для игроков, начинающих играть в сложные игры, роль второго пилота ИИ неизмерима. Например, игра-песочница UGC, такая как Minecraft, Roblox или Rec Room, представляет собой богатую среду, в которой игроки могут построить практически все, что могут вообразить, при наличии нужных материалов и навыков. Но порог обучения очень высок, и большинству игроков нелегко найти способ начать.
Второй пилот с искусственным интеллектом может сделать любого игрока мастером создания игр UGC, предоставляя пошаговые инструкции на основе текстовых подсказок или изображений и помогая игрокам исправить ошибки. Хорошей точкой отсчета является концепция «мастеров-строителей» в мире Lego, этих редких существ, обладающих даром видеть чертежи любого творения, которое они могут вообразить, когда это необходимо.
Microsoft начала разработку системы с искусственным интеллектом для Minecraft, которая использует DALL-E и Github Copilot, чтобы позволить игрокам вводить активы и логику в сеансы Minecraft с помощью подсказок на естественном языке. Roblox активно интегрирует инструменты генерации искусственного интеллекта в платформу Roblox с целью дать возможность «каждому пользователю стать творцом». От написания кода с помощью Github Copilot до написания с помощью ChatGPT эффективность второго пилота ИИ для совместного творчества была доказана во многих областях.
В дополнение к соавторству, LLM, обученный на игровых данных, должен уметь понимать, как вести себя в различных играх. При правильной интеграции агент может выступать в качестве партнера, когда друзья игрока не могут участвовать, или в качестве другой стороны в очных играх, таких как FIFA и NBA 2k. Такой агент может участвовать в игре в любой момент, независимо от того, выигрывает он или проигрывает, он дружелюбен и не станет обвинять игрока. Точно настроенные на основе наших индивидуальных игровых историй, такие агенты могут значительно превзойти существующих ботов, играя точно так же, как мы, или играя взаимодополняющими способами.
Подобные проекты были успешно запущены в ограниченных средах. В популярной гоночной игре Forza была разработана система «Drivatar», которая использует машинное обучение для создания водителя с искусственным интеллектом для каждого игрока-человека, который имитирует их поведение за рулем. Дриватары загружаются в облако, и когда человек-партнер не в сети, дриватары можно активировать, чтобы соревноваться с другими игроками и даже зарабатывать победные очки. AlphaStar от Google DeepMind обучался на наборе игровых данных StarCraft II «200-летней давности», чтобы создать агента, который может играть против профессионалов киберспорта и побеждать их.
В качестве игровой механики второй пилот ИИ может даже создавать совершенно новые игровые режимы. Представьте себе Fortnite, но у каждого игрока есть палочка «мастер-строитель», которая может мгновенно строить снайперские башни или пылающие валуны с подсказками. В этом игровом режиме исход может больше зависеть от того, что делает жезл (подсказка), чем от умения прицеливаться.
Идеальный «партнер» ИИ в играх стал незабываемой частью многих популярных игровых франшиз. Примеры включают Кортану во вселенной Halo, Эль в The Last of Us или Элизабет в BioShock Infinite. Избиение компьютерных ботов никогда не выйдет из моды для соревновательных игр — от жарки инопланетян в Space Invaders до боевого топания в StarCraft, который со временем превратился в собственный игровой режим Co-op Commander.
По мере того, как игры превращаются в социальные сети следующего поколения, мы ожидаем, что второй пилот ИИ будет играть все более важную социальную роль. Хорошо задокументировано, что добавление социальных функций может повысить прилипчивость игры, а уровень удержания игроков с друзьями может быть в 5 раз выше. По нашему мнению, в каждой игре будущего будет второй пилот с искусственным интеллектом.
в заключение
Мы все еще находимся на начальном этапе, когда дело доходит до применения ИИ в играх, и есть много юридических, этических и технических препятствий, которые необходимо решить, прежде чем эти идеи можно будет воплотить в жизнь. В настоящее время юридическое право собственности и защита авторских прав для игр, использующих ресурсы, созданные ИИ, в значительной степени неясны, если разработчики не могут доказать право собственности на все данные, используемые для обучения моделей. Это затрудняет использование сторонних моделей искусственного интеллекта владельцами существующей лицензированной интеллектуальной собственности в своих производственных процессах.
Как компенсировать первоначальным авторам, художникам и создателям обучающих данных, также является серьезной проблемой. Проблема заключается в том, что большинство моделей ИИ обучаются на общедоступных данных в Интернете, большинство из которых защищены авторским правом. В некоторых случаях пользователям даже удавалось воспроизвести стиль художника с помощью генеративных моделей. Это еще рано, и вопрос компенсации для создателей контента должен быть должным образом решен.
Большинство генеративных моделей в настоящее время слишком дороги для запуска в облаке в глобальном масштабе 24/7, что требуется для современных игровых операций. Чтобы снизить затраты, разработчикам приложений может потребоваться найти способы разгрузки рабочих нагрузок моделей на устройства конечных пользователей, но это займет время.
Однако теперь ясно, что разработчики игр и игроки проявляют большой интерес к генеративному ИИ для игр. Несмотря на то, что вокруг много ажиотажа, мы рады видеть, как много талантливых команд в этой области работают сверхурочно над созданием инновационных продуктов.
Возможность состоит не только в том, чтобы сделать существующие игры быстрее и дешевле, но и в том, чтобы создать совершенно новый тип игр с искусственным интеллектом, который раньше был невозможен. Мы еще не знаем, какую форму примут эти игры, но мы знаем, что история игровой индустрии была историей технологий, открывающих новые формы игры. С такими системами, как генеративные агенты, персонализация, повествование ИИ, динамическое построение мира и вторые пилоты ИИ, мы можем быть на грани того, чтобы увидеть первые «бесконечные» игры, созданные разработчиками ИИ.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Углубленный анализ a16z: какой новый игровой процесс создаст ИИ?
Источник: a16z
Сборник: Ник
Большая часть ранних дискуссий о революции генеративного ИИ в играх была сосредоточена на том, как инструменты ИИ могут повысить эффективность создателей игр, позволяя создавать игры быстрее и в большем масштабе, чем раньше. Мы считаем, что в долгосрочной перспективе ИИ изменит не только способ создания игр, но и саму природу игр.
Все время ИИ помогает создавать новые формы игр. От процедурно сгенерированных подземелий в Rogue (1980 г.) до конечных автоматов в Half-Life (1998 г.) и ИИ-директоров игр в Left 4 Dead (2008 г.). В последнее время достижения в области технологий глубокого обучения еще больше изменили правила игры, позволив компьютерам создавать новый контент на основе запросов пользователя и больших наборов данных.
Генеративный агент
Игра-симулятор, созданная компанией Maxis SimCity в 1989 году, позволяет игрокам строить и управлять виртуальным городом. Сегодня самой популярной игрой-симулятором является The Sims, в которой более 70 миллионов игроков по всему миру управляют виртуальными людьми, известными как «симы», и позволяют им заниматься своей повседневной жизнью. Дизайнер Уилл Райт однажды назвал The Sims «интерактивным кукольным домиком».
Ранее в этом году исследовательская группа из Стэнфордского университета и Google опубликовала статью, в которой показано, как применять LLM к агентам в играх. Под руководством аспиранта Джуна Сунг Пака исследовательская группа включила 25 агентов, похожих на Sims, в мир песочницы с пиксельной графикой, поведение которого определялось ChatGPT и архитектурой, расширяющей LLM для использования естественного языка для хранения полной записи опыта агента, синтезирования этих воспоминаний в рефлексии более высокого уровня и динамического извлечения их для планирования поведения.
Эти результаты — отличный предварительный просмотр потенциального будущего игр-симуляторов. Начиная с указанного пользователем предложения о том, что агент хочет устроить вечеринку в честь Дня святого Валентина, агенты независимо друг от друга распространяют приглашения на вечеринку, заводят новые дружеские отношения, приглашают друг друга на свидания и координируют свои действия, чтобы прибыть на вечеринку вовремя через два дня.
Такое поведение возможно, потому что LLM обучаются на данных социальных сетей, поэтому их модели включают основы того, как люди разговаривают друг с другом и ведут себя в различных социальных контекстах. А в интерактивных цифровых средах, таких как аналоговые игры, эти реакции могут запускаться для создания реалистичного поведения.
Сами агенты также могут быть персонализированы, опираясь на наши творческие стремления к игре «Кукольный домик». Игроки могут создать идеального агента на основе себя или вымышленных персонажей. «Ready Player Me» позволяет пользователям создавать свой собственный 3D-аватар, делая селфи, и импортировать аватар в более чем 9000 игр/приложений. Платформы персонажей с искусственным интеллектом Character.ai, InWorld и Convai могут создавать пользовательских NPC со своими предысториями, личностями и элементами управления поведением.
Благодаря возможностям естественного языка способ взаимодействия с агентами также был расширен. Сегодня разработчики могут использовать модели преобразования текста в речь Eleven Labs для создания реалистичных голосов для своих агентов. Convai недавно заключила партнерское соглашение с Nvidia для широко разрекламированной демонстрации, в которой игроки могли участвовать в естественном голосовом разговоре с ИИ-поваром, готовящим рамэн, с диалогами и соответствующими выражениями лица, генерируемыми в режиме реального времени. Сопутствующее приложение AI Replika уже позволяет пользователям общаться со своими друзьями с помощью голоса, видео и AR / VR. В будущем можно представить игру-симулятор, в которой игроки могут оставаться на связи со своими агентами по телефону или видеочату во время путешествия, а затем, вернувшись к своему компьютеру, включиться в более захватывающую игру.
Однако предстоит решить еще много проблем, прежде чем мы сможем увидеть полностью сгенерированную версию The Sims. Данные обучения для LLM имеют врожденные погрешности, которые могут отражаться в поведении агента. Круглосуточные сервисные игры в реальном времени 7 дней в неделю Стоимость запуска крупномасштабных симуляций может быть экономически невыгодной, запуск 25 агентов за 2 дня обойдется исследовательской группе в тысячи долларов вычислительных ресурсов. Усилия по переносу рабочей нагрузки моделей на устройства многообещающие, но все еще относительно ранние. Нам также может понадобиться разработать новые нормы квазисоциальных отношений с агентами.
Но ясно одно: сейчас существует огромный спрос на генеративные агенты. Согласно нашему недавнему опросу, 61% игровых студий планируют экспериментировать с ИИ-NPC. Мы верим, что спутники ИИ скоро станут обычным явлением, когда агенты войдут в наши повседневные социальные сферы. Игры-симуляторы представляют собой цифровую песочницу, в которой мы можем весело и непредсказуемо взаимодействовать с нашими любимыми ИИ-компаньонами. В долгосрочной перспективе характер игр-симуляторов, вероятно, изменится, и эти агенты станут не просто игрушками, а потенциальными друзьями, членами семьи, коллегами, советниками и даже любовниками.
Индивидуальная настройка
Конечная цель персонализированной игры — предоставить каждому игроку уникальный игровой опыт. Например, давайте начнем с создания персонажа — начиная с оригинальной настольной игры Dungeons & Dragons и заканчивая Genshin Impact от Mihoyo, создание персонажа было основой почти каждой ролевой игры (RPG). Большинство ролевых игр позволяют игроку выбирать из предустановленных параметров внешний вид, пол, класс и т. д. Так как же выйти за пределы пресетов, чтобы создать уникального персонажа для каждого игрока и игрового процесса? Это позволяет персонализированный конструктор персонажей, сочетающий LLM с моделью преобразования текста в изображение.
Arrowmancer от Spellbrush — это ролевая игра, основанная на собственной модели анимации компании на основе GAN. В Arrowmancer игроки могут создать полный набор уникальных аниме-персонажей, включая арты и боевые способности. Эта персонализация также является частью его системы монетизации, когда игроки импортируют персонажей, созданных искусственным интеллектом, в пользовательские баннеры гача, где они могут зарабатывать дубликаты персонажей, чтобы укреплять свои ряды.
Внутриигровой текст и диалоги также можно персонализировать. Эмблемы в мире могут отражать какой-то титул или статус, которого достиг игрок. NPC могут быть настроены как агенты LLM с уникальными личностями, которые адаптируются к поведению игрока. Например, диалог может измениться в зависимости от прошлого поведения игрока с агентом. Мы видели, как эта концепция успешно реализована в игре AAA-класса, а в Shadow of Mordor от Monolith есть система мести, которая динамически создает интересные предыстории для злодеев на основе действий игрока. Эти элементы персонализации делают каждую игру уникальной.
Издатель игр Ubisoft недавно представил Ghostwriter, диалоговый инструмент, основанный на LLM. Сегодня издатели используют этот инструмент для автоматической генерации диалогов, что помогает имитировать живой мир вокруг игроков.
С точки зрения игрока, искусственный интеллект делает игру более увлекательной и увлекательной. Неизменная популярность ролевых модификаций в иммерсивных играх с открытым миром, таких как Skyrim и Grand Theft Auto V, демонстрирует скрытую потребность в персонализированных историях. Даже сегодня в GTA V постоянно больше игроков на ролевых серверах, чем в оригинальной игре. Мы верим, что в будущем системы персонализации станут неотъемлемым операционным инструментом в режиме реального времени для привлечения и удержания игроков во всех играх.
Рассказ ИИ
Конечно, хорошая игра — это нечто большее, чем персонажи и диалоги. Еще один интересный сценарий — использование генеративного ИИ для создания более качественных и личных историй.
Dungeons & Dragons — это дедушка персонализированного повествования в играх, в котором человек, известный как «мастер подземелий», готовится рассказать историю группе друзей, каждый из которых играет свою роль в этой истории. Получившаяся история представляет собой частично импровизированную драму, частично ролевую игру, а это означает, что каждое прохождение уникально. В знак необходимости индивидуального повествования Dungeons & Dragons сегодня популярнее, чем когда-либо, а продажи цифровых и аналоговых игр достигли рекордных высот.
Сегодня многие компании применяют LLM к сюжетному режиму Dungeons & Dragons. Здесь у игроков есть возможность провести время в своих любимых вселенных, созданных игроками или IP, под руководством бесконечно терпеливого ИИ-рассказчика. Запущенная в 2019 году игра Latitude AI Dungeon представляет собой открытую текстовую приключенческую игру, в которой ИИ играет хозяина подземелий. Пользователи также настроили версию OpenAI GPT-4 для игры в Dungeons & Dragons с многообещающими результатами. Текстовая приключенческая игра от Character.AI — один из самых популярных режимов приложения.
Hidden Door делает еще один шаг вперед, обучая модель машинного обучения на определенном наборе исходных материалов (например, «Волшебник страны Оз») и позволяя игрокам путешествовать по заданной вселенной IP. Таким образом, Hidden Door работала с владельцем интеллектуальной собственности над созданием новой интерактивной формы расширения бренда. Как только фанаты закончат просмотр фильма или книги, они смогут продолжить свои приключения в своих любимых мирах с помощью специальных событий, подобных Dungeons & Dragons. Спрос на фан-эксперименты стремительно растет: только в мае Archiveofourown.org и Wattpad, два крупнейших онлайн-репозитория фанфиков, получили более 354 и 146 миллионов посещений веб-сайтов соответственно.
Стоит отметить, что есть много препятствий, прежде чем производство истории ИИ будет полностью готово. Сегодня, чтобы стать хорошим рассказчиком с искусственным интеллектом, требуется множество человеческих правил для создания повествовательных линий, определяющих хорошую историю. Память и связность очень важны, рассказчик должен помнить, что произошло ранее в рассказе, и быть последовательным в фактах и стиле. Интерпретируемость остается проблемой для большей части кода с закрытым исходным кодом, который работает как черный ящик, и разработчикам игр необходимо понимать, как ведут себя системы, чтобы улучшить игровой процесс.
Однако в преодолении этих препятствий ИИ стал вторым пилотом рассказчиков-людей. Сегодня миллионы писателей используют ChatGPT, чтобы вдохновлять свои истории. Студия развлечений ic объединила DALL-E, ChatGPT, Midjourney, Eleven Labs и Runway с командой редакторов для создания интерактивного приключенческого шоу, которое теперь можно транслировать на Netflix.
Динамическое построение мира
В то время как текстовые истории популярны, многие игроки также хотят, чтобы их истории воплощались в жизнь визуально. Возможно, одна из самых больших возможностей для генеративного ИИ в играх — помощь в создании живых миров, в которые игроки проводят бесчисленные часы, погружаясь в них.
Конечное видение состоит в том, чтобы иметь возможность генерировать уровни и контент в реальном времени по мере прохождения игроком игры. «Игра разума» в фантастическом романе «Игра Эндера» (Ender's Game) — типичный пример такого рода игр. The Mind Game — это управляемая искусственным интеллектом игра, которая в режиме реального времени адаптируется к интересам каждого учащегося, при этом игровой мир постоянно меняется в зависимости от поведения учащегося и любой другой умственной информации, получаемой ИИ.
Вероятно, самая близкая к «интеллектуальной игре» сегодня — это серия Left 4 Dead от Valve, которая использует подсказки ИИ для динамической настройки темпа и сложности игры. Вместо того, чтобы устанавливать точку появления врагов (зомби), ИИ-режиссер размещает зомби в разных позициях в соответствии со статусом, навыками и положением каждого игрока, создавая уникальный опыт в каждой игре.Режиссер также использует динамические визуальные эффекты и музыку для создания атмосферы игры. Основатель Valve Гейб Ньюэлл называет эту систему «запрограммированным повествованием». Признанный критиками ремейк Dead Space от EA использует вариант системы режиссера ИИ, чтобы довести ужас до крайности.
Хотя сегодня это может показаться сюжетом научной фантастики, однажды, с улучшением генеративных моделей и приобретением достаточного количества расчетов и данных, мы сможем создать ИИ-режиссера, который сможет не только создавать страхи, но и создавать сам мир.
Стоит отметить, что концепция машинно-генерируемых уровней в играх не нова. От Hades от Supergiant до Diablo от Blizzard и Minecraft от Mojang, многие из самых популярных современных игр используют процедурную генерацию, которая использует уравнения и наборы правил, разработанные дизайнерами-людьми для случайного создания уровней, каждый раз отличающихся друг от друга. Полный набор программных библиотек был создан для помощи в создании программ. Unity SpeedTree помогает разработчикам создавать виртуальную листву, которую вы могли видеть в лесах Пандоры в «Аватаре» или в ландшафтах Элден-Ринг.
Игра может сочетать генератор процедурных активов с LLM в пользовательском интерфейсе. В игре «Городской пейзаж» используется процедурная система, в которой от игрока требуется ввести только две части информации (положение и цвет блоков), и ее можно быстро преобразовать в великолепный городской пейзаж. Представьте себе добавление Townscaper от LLM в пользовательский интерфейс, чтобы помочь игрокам повторять более изысканные и изысканные работы с помощью подсказок на естественном языке.
Генеративные модели, используемые в сочетании с процедурными системами, могут значительно ускорить создание активов. Художники уже начали использовать модели преобразования текста в изображение для концепт-арта и раскадровки с помощью ИИ. В этом сообщении в блоге супервайзер по визуальным эффектам мэйнфреймов Юсси Кемппайнен описывает, как он создавал мир и персонажей для приключенческой 2,5D-игры с помощью Midjourney и Adobe Firefly.
Создание мира в реальном времени с помощью моделей ИИ — вот что важно в долгосрочной перспективе. На наш взгляд, в будущем всю игру больше не нужно будет рендерить, а она будет генерироваться во время выполнения с помощью нейронных сетей. Технология DLSS от Nvidia уже позволяет генерировать новые игровые кадры с высоким разрешением на лету с использованием графических процессоров потребительского уровня. Возможно, когда-нибудь вы сможете нажать кнопку «взаимодействовать» в фильме Netflix и шагнуть в мир, где каждая сцена генерируется на лету и адаптируется к игроку. В будущем игры ничем не будут отличаться от фильмов.
Стоит отметить, что одного только динамически генерируемого мира недостаточно для создания хорошей игры, о чем свидетельствует обзор No Man's Sky. Перспектива динамических миров заключается в их сочетании с другими игровыми системами (персонализация, генеративные агенты и т. д.), чтобы открыть новые формы повествования. В конце концов, самая захватывающая часть «Игр разума» — это то, как они формируют себя для Эда, а не сам мир.
ИИ "Второй пилот"
Хотя ранее мы рассматривали использование генеративных агентов в симуляционных играх, существует еще один новый вариант использования, когда ИИ выступает в роли второго пилота игры, направляя нас в игре, а в некоторых случаях даже сражаясь вместе с нами.
Для игроков, начинающих играть в сложные игры, роль второго пилота ИИ неизмерима. Например, игра-песочница UGC, такая как Minecraft, Roblox или Rec Room, представляет собой богатую среду, в которой игроки могут построить практически все, что могут вообразить, при наличии нужных материалов и навыков. Но порог обучения очень высок, и большинству игроков нелегко найти способ начать.
Второй пилот с искусственным интеллектом может сделать любого игрока мастером создания игр UGC, предоставляя пошаговые инструкции на основе текстовых подсказок или изображений и помогая игрокам исправить ошибки. Хорошей точкой отсчета является концепция «мастеров-строителей» в мире Lego, этих редких существ, обладающих даром видеть чертежи любого творения, которое они могут вообразить, когда это необходимо.
Microsoft начала разработку системы с искусственным интеллектом для Minecraft, которая использует DALL-E и Github Copilot, чтобы позволить игрокам вводить активы и логику в сеансы Minecraft с помощью подсказок на естественном языке. Roblox активно интегрирует инструменты генерации искусственного интеллекта в платформу Roblox с целью дать возможность «каждому пользователю стать творцом». От написания кода с помощью Github Copilot до написания с помощью ChatGPT эффективность второго пилота ИИ для совместного творчества была доказана во многих областях.
Подобные проекты были успешно запущены в ограниченных средах. В популярной гоночной игре Forza была разработана система «Drivatar», которая использует машинное обучение для создания водителя с искусственным интеллектом для каждого игрока-человека, который имитирует их поведение за рулем. Дриватары загружаются в облако, и когда человек-партнер не в сети, дриватары можно активировать, чтобы соревноваться с другими игроками и даже зарабатывать победные очки. AlphaStar от Google DeepMind обучался на наборе игровых данных StarCraft II «200-летней давности», чтобы создать агента, который может играть против профессионалов киберспорта и побеждать их.
В качестве игровой механики второй пилот ИИ может даже создавать совершенно новые игровые режимы. Представьте себе Fortnite, но у каждого игрока есть палочка «мастер-строитель», которая может мгновенно строить снайперские башни или пылающие валуны с подсказками. В этом игровом режиме исход может больше зависеть от того, что делает жезл (подсказка), чем от умения прицеливаться.
Идеальный «партнер» ИИ в играх стал незабываемой частью многих популярных игровых франшиз. Примеры включают Кортану во вселенной Halo, Эль в The Last of Us или Элизабет в BioShock Infinite. Избиение компьютерных ботов никогда не выйдет из моды для соревновательных игр — от жарки инопланетян в Space Invaders до боевого топания в StarCraft, который со временем превратился в собственный игровой режим Co-op Commander.
в заключение
Мы все еще находимся на начальном этапе, когда дело доходит до применения ИИ в играх, и есть много юридических, этических и технических препятствий, которые необходимо решить, прежде чем эти идеи можно будет воплотить в жизнь. В настоящее время юридическое право собственности и защита авторских прав для игр, использующих ресурсы, созданные ИИ, в значительной степени неясны, если разработчики не могут доказать право собственности на все данные, используемые для обучения моделей. Это затрудняет использование сторонних моделей искусственного интеллекта владельцами существующей лицензированной интеллектуальной собственности в своих производственных процессах.
Как компенсировать первоначальным авторам, художникам и создателям обучающих данных, также является серьезной проблемой. Проблема заключается в том, что большинство моделей ИИ обучаются на общедоступных данных в Интернете, большинство из которых защищены авторским правом. В некоторых случаях пользователям даже удавалось воспроизвести стиль художника с помощью генеративных моделей. Это еще рано, и вопрос компенсации для создателей контента должен быть должным образом решен.
Большинство генеративных моделей в настоящее время слишком дороги для запуска в облаке в глобальном масштабе 24/7, что требуется для современных игровых операций. Чтобы снизить затраты, разработчикам приложений может потребоваться найти способы разгрузки рабочих нагрузок моделей на устройства конечных пользователей, но это займет время.
Однако теперь ясно, что разработчики игр и игроки проявляют большой интерес к генеративному ИИ для игр. Несмотря на то, что вокруг много ажиотажа, мы рады видеть, как много талантливых команд в этой области работают сверхурочно над созданием инновационных продуктов.
Возможность состоит не только в том, чтобы сделать существующие игры быстрее и дешевле, но и в том, чтобы создать совершенно новый тип игр с искусственным интеллектом, который раньше был невозможен. Мы еще не знаем, какую форму примут эти игры, но мы знаем, что история игровой индустрии была историей технологий, открывающих новые формы игры. С такими системами, как генеративные агенты, персонализация, повествование ИИ, динамическое построение мира и вторые пилоты ИИ, мы можем быть на грани того, чтобы увидеть первые «бесконечные» игры, созданные разработчиками ИИ.