Трудно игнорировать бурю генеративного ИИ, когда вы являетесь частью индустрии разработки игр. Итак, вы заинтересованы в использовании нейронных сетей, таких как Stable Diffusion (SD), в своих творческих процессах? Это определенно возможно. Просто загляните в Твиттер . А как же 3D-игры? Можно ли использовать SD как волшебную коробку для создания ассетов для 3D-игр? Является ли ИИ концом человеческих 3D-художников в разработке игр? Что ж, я пытался создать с ним игру, и мой ответ — не совсем (пока). Но давайте рассмотрим это подробнее.

Влияние ИИ на создание 3D-объектов

Один человек не может освоить все этапы процесса разработки игры. Процесс 3D-моделирования очень сложен из-за многочасового труда и требований к опыту. Конечно, не каждой игре нужны высокополигональные 3D-модели с гиперреалистичными текстурами, но красивые ассеты в подходящем стиле редко портят игру.

Что, если бы у нас был инструмент, который мог бы превращать текст в 3D-объекты? Он может предоставить множество творческих сценариев для независимых разработчиков игр без бюджета. Это может быть полезным инструментом для профессиональных художников, повышающим производительность и автоматизирующим повторяющиеся задачи. Такие алгоритмы начинают появляться.

Но должны ли профессионалы беспокоиться о потере работы? Я взял свою готовую игру и заменил в ней все 3D-модели на сгенерированные ИИ. Мне понравилось, и я нашел, что это весело и быстро, но я не думаю, что это кого-то еще заменит.

Кроме того, меня интересует эта тема, потому что я оставил должность MLE в Snap и начал работать над докторской диссертацией IGGI на пересечении искусственного интеллекта и графики. Захват 3D и генерация 3D являются моими исследовательскими интересами, поэтому я в восторге от последних достижений в этой области, но беспокоюсь о том, как не отставать. Я думаю, что подобные алгоритмы будут использоваться при создании 3D-контента и облегчат его создание.

Стабильная версия DreamFusion для разработчиков игр

Стабильная диффузия использовалась во многих областях, связанных с созданием контента. Game Dev не является исключением, с его помощью вы можете легко создать отдельный ассет 2D-игры или даже создать целую игру только из сгенерированных изображений. Люди используют SD для быстрого создания концепт-арта, и если вы знаете основы Blender, можно вручную создать из него 3D-ассет. В последний месяц стало возможным генерировать 3D-модели из текста.

Раньше существовало очень простое 3D-генерирование из текста, но старые идеи в сочетании с диффузионными моделями дают гораздо лучшие результаты. Первой работой, которая объединила нейронный рендеринг как представление сцены (NeRF) со стабильной диффузией в качестве функции потерь, была DreamFusion от Google Research. Через месяц Nvidia опубликовала улучшение этой идеи под названием Magic3D . Он имеет более высокое разрешение и быстрее. К сожалению, обе компании не поделились своим кодом или моделями.

Но благодаря открытому коду (и Kiui в частности) мы можем использовать технологию аналогичного уровня — Stable DreamFusion , правда с чуть меньшим качеством генерации. Основная идея DreamFusion заключается в использовании предварительно обученной 2D-модели преобразования текста в изображение для преобразования текста в 3D. Они достигают этого итеративно, начиная со случайного тома (представленного как NeRF). Самая большая разница между реализацией с открытым исходным кодом и документом заключается в том, что SD используется вместо Imagen (внутренняя модель Google).

Bee Simulator: пример использования ИИ для создания 3D-объектов

В рамках учебного модуля Game Dev IGGI я создал простую игру «Bee Simulator». Основное удовольствие от игры исходит от сложного управления, похожего на миссию с вертолетом из GTA. Моя жена Оля учится 3D-моделированию и согласилась создать 3D-ассеты для пчелы и осы. Остальные активы взяты из магазина Unity. Оригинальную игру можно найти здесь .

Теперь давайте сделаем вид, что нам больше не нужны 3D-художники (лучше жену не пугать), потому что у нас есть Stable DreamFusion. Оля делала две модели за день. Я дал себе столько же времени, чтобы заменить все активы сгенерированными ИИ. Большая часть этого времени была потрачена на игру с текстовыми подсказками.

Технические подробности

Я использовал набор гиперпараметров по умолчанию и изменил только скорость обучения и количество итераций. Это дало конвергентную модель за 30 минут (что все равно на порядок медленнее, чем для 2D) с использованием RTX 3080 16 ГБ. Для каждого из финальных объектов я тратил 4–5 попыток, выбирая лучший текст. Финальные подсказки:

• Пчела — «мультяшная векторная иллюстрация милой пчелы»;
• Оса — «мультяшный шершень, разгневанная пчела-оса»;
• Цветок — «мультяшный простой весенний цветок»;
• Рок — «векторная иллюстрация каменного камня в плоском стиле»;
• Дерево — «мультяшное 3D зеленое дерево».

Кому интересно, я загрузил модель осы в Sketchfab .

Будущее 3D-искусства

Полное геймплейное видео финальной игры вы можете посмотреть здесь .

В ближайшей перспективе я уверен, что начинающий 3D-художник сможет лучше и быстрее моделировать, чем человек с доступом к GPU и GitHub. Но, надеюсь, в реальной жизни это не соревнование между художниками и машинами, и люди адаптируются к его использованию, как они делали это раньше с другими технологиями (великолепная дискуссия между двумя художниками на DA ) . Я думаю, что 3D-художники сначала будут использовать его для прототипирования. Независимые разработчики могут повеселиться с простыми 3D-моделями без участия художника. Пока нет, но после публичного выпуска технологии сравнимого уровня качества с Magic3D. И в конце концов, инструменты ИИ могут стать обязательным инструментом художника, требуемым в его резюме. Все делается после открытия коробки.

Я много играл с генерацией изображений AI (SD, DALLE2) и сомневаюсь, что это заменит художников. Под «художником» я подразумеваю творческую личность со знаниями и чувством вкуса, независимо от технических навыков. Я ужасно рисую, и генеративные инструменты мне совсем не помогли. Мне трудно задавать осмысленные вопросы модели, а мои поколения скучны. В то же время художники, освоившие инструменты преобразования текста в изображение, уже вносят свою индивидуальность в свои работы. Думаю, такая же ситуация будет и с генерацией 3D-ассетов.

Исключением из моих мыслей является 3D-моделирование, которое строго зависит от референсов другого художника. Я не оптимистичен в отношении будущего 3D-художников, которые занимаются только этим. Если ваша работа сосредоточена исключительно на моделировании и текстурировании объектов по эталону, вы можете остаться без работы ( см. раздел Magic3D «Другие возможности редактирования»). Я уверен, что 3D-художники делают гораздо больше. Если бы я начинал как 3D-художник, я бы предпочел получить как можно более широкие знания обо всех аспектах визуального конвейера — моделировании, оснастке, анимации, освещении и, конечно же, инструментах генеративного ИИ.

Независимо от того, являетесь ли вы независимым разработчиком игр или 3D-художником, включение ИИ в ваш рабочий процесс позволит вам исследовать новые творческие возможности. Но с доступной в настоящее время моделью преобразования текста в 3D это пока не работает.

Вы можете связаться со мной в Твиттере .