É difícil ignorar a tempestade de IA generativa quando você faz parte da indústria de desenvolvimento de jogos. Então, você está interessado em usar redes neurais como Stable Diffusion (SD) em seus pipelines criativos? É definitivamente possível. Basta verificar o Twitter . Mas e os jogos 3D? O SD pode ser usado como uma caixa mágica para criar ativos de jogos 3D? A IA é o fim dos artistas 3D humanos no desenvolvimento de jogos? Bem, eu tentei criar um jogo com ele e minha resposta é - na verdade não (ainda). Mas vamos ver isso com mais detalhes.

O impacto da IA ​​na criação de ativos 3D

Não é possível para uma pessoa dominar todas as partes do processo de desenvolvimento do jogo. O processo de modelagem 3D é muito desafiador devido às horas de trabalho e requisitos de especialização. É claro que nem todo jogo precisa de modelos 3D de alto poli com texturas hiper-realistas, mas bons recursos em um estilo adequado raramente estragariam um jogo.

E se tivéssemos uma ferramenta que pudesse transformar texto em ativos 3D? Pode fornecer muitos cenários criativos para desenvolvedores de jogos independentes sem orçamento. Esta pode ser uma ferramenta útil para artistas profissionais, aumentando a produtividade e automatizando tarefas repetitivas. Algoritmos como esses estão começando a aparecer.

Mas os profissionais devem se preocupar em perder o emprego? Peguei meu jogo pré-fabricado e substituí todos os modelos 3D nele por modelos gerados por IA. Gostei e achei divertido e rápido, mas acho que ainda não vai substituir ninguém.

Além disso, estou interessado neste tópico porque deixei uma função de MLE na Snap e iniciei um IGGI PhD na interseção de IA e gráficos. A captura 3D e a geração 3D são meus interesses de pesquisa, por isso estou entusiasmado com os avanços recentes no campo, mas preocupado em como me manter atualizado. Acho que algoritmos como esse serão usados ​​na criação de conteúdo 3D e facilitarão a criação.

DreamFusion estável para desenvolvedores de jogos

A difusão estável foi usada em muitos campos relacionados à criação de conteúdo. Game Dev não é uma exceção, você pode facilmente criar um ativo de jogo 2D separado com ele ou até mesmo criar um jogo inteiro apenas a partir de imagens geradas. As pessoas usam SD para geração rápida de arte conceitual e, se você conhece o básico do Blender, é possível criar manualmente um ativo 3D a partir dele. No último mês, tornou-se possível gerar modelos 3D a partir de texto.

Anteriormente, existia uma geração 3D muito básica a partir de texto, mas ideias antigas combinadas com modelos de difusão fornecem resultados muito melhores. O primeiro trabalho que combinou renderização neural como representação de cena (NeRF) com difusão estável como uma função de perda foi o DreamFusion do Google Research. A Nvidia publicou uma melhoria para essa ideia um mês depois, chamada Magic3D . Tem maior resolução e é mais rápido. Infelizmente, ambas as empresas não compartilharam seus códigos ou modelos.

Mas, graças ao código aberto (e ao Kiui em particular), podemos usar tecnologia de nível semelhante — Stable DreamFusion , embora com qualidade de geração um pouco menor. A ideia principal do DreamFusion é usar um modelo de difusão de texto para imagem 2D pré-treinado para transformar texto em 3D. Eles o alcançam de forma iterativa, partindo de um volume aleatório (representado como NeRF). A maior diferença entre a implementação de código aberto e o papel é que SD é usado em vez de Imagen (modelo interno do Google).

Bee Simulator: um estudo de caso sobre o uso de IA para criação de ativos 3D

Como parte do módulo de treinamento Game Dev IGGI, criei um jogo simples “Bee Simulator”. A principal diversão do jogo vem dos controles complexos, semelhantes à missão do helicóptero do GTA. Minha esposa Olya está aprendendo modelagem 3D e concordou em criar os ativos 3D para a abelha e a vespa. Outros ativos são da loja Unity. O jogo original pode ser encontrado aqui .

Agora, vamos fingir que não precisamos mais de artistas 3D (prefiro não assustar minha esposa) porque temos Stable DreamFusion. Olya fez dois modelos em um dia. Eu me dei o mesmo tempo para substituir todos os ativos por aqueles gerados por IA. A maior parte desse tempo foi gasta brincando com prompts de texto.

Detalhes técnicos

Usei o conjunto padrão de hiperparâmetros e alterei apenas a taxa de aprendizado e o número de iterações. Isso deu um modelo convergente em 30 minutos (que ainda é uma ordem de grandeza mais lenta do que para 2D) usando RTX 3080 16 GB. Para cada um dos objetos finais, passei de 4 a 5 tentativas para escolher o melhor texto. Os prompts finais são:

• Abelha — “uma ilustração em vetor de desenho animado de abelha”;
• Vespa — “um desenho animado de vespa, abelha e vespa”;
• Flor — “uma simples flor de primavera de desenho animado”;
• Rock — “uma ilustração vetorial de pedra de rocha em estilo simples”;
• Árvore — “uma árvore verde de desenho animado em 3D”.

Para quem estiver interessado, carreguei o modelo wasp no Sketchfab .

O futuro da arte 3D

Você pode ver o vídeo completo do jogo final aqui .

No curto prazo, tenho certeza de que um artista 3D iniciante pode fazer uma modelagem melhor e mais rápida do que uma pessoa com acesso a uma GPU e GitHub. Mas espero que na vida real não seja uma competição entre artistas e máquinas, e as pessoas se adaptem ao uso dela, como fizeram anteriormente com outras tecnologias (uma ótima discussão entre dois artistas no DA ) . Acho que os artistas 3D irão inicialmente usá-lo para prototipagem. Os desenvolvedores independentes podem se divertir com modelos 3D simples sem um artista. Ainda não, mas após o lançamento público de um nível comparável de tecnologia de qualidade para Magic3D. E, eventualmente, as ferramentas de IA podem se tornar um instrumento obrigatório para um artista, exigido em seu currículo. Tudo é feito assim que a caixa é aberta.

Eu brinquei muito com a geração de imagens AI (SD, DALLE2) e duvido que substituiria os artistas. O “artista” que quero dizer é uma pessoa criativa com conhecimento e bom gosto, independentemente de habilidades técnicas. Sou péssimo em desenho e as ferramentas generativas não me ajudaram em nada. Estou tendo dificuldade em fazer perguntas significativas ao modelo, e minhas gerações são chatas. Ao mesmo tempo, artistas que dominam as ferramentas de conversão de texto em imagem já injetam sua personalidade em seus trabalhos. Acho que a mesma situação seria com a geração de ativos 3D.

A exceção à minha linha de pensamento é quando se trata de modelagem 3D, que depende estritamente das referências de outro artista. Não estou otimista sobre o futuro dos artistas 3D que só fazem isso. Se o seu trabalho for puramente focado em modelar e texturizar objetos a partir de uma referência, você pode estar sem trabalho ( consulte a seção “Outros recursos de edição” do Magic3D). Tenho certeza de que os artistas 3D fazem muito mais do que isso. Se eu estivesse começando como artista 3D, preferiria obter o maior conhecimento possível sobre todos os aspectos do pipeline visual - modelagem, rigging, animação, iluminação e, é claro, ferramentas de IA generativa.

Seja você um desenvolvedor de jogos independente ou um artista 3D, incorporar IA em seu fluxo de trabalho permitirá que você explore novas possibilidades criativas. Mas com o modelo text-to-3D atualmente disponível, ainda não funciona.

Você pode se conectar comigo no Twitter .