Es difícil ignorar la tormenta de la IA generativa cuando formas parte de la industria de Game Dev. Entonces, ¿está interesado en usar redes neuronales como Stable Diffusion (SD) en sus procesos creativos? Definitivamente es posible. Solo echa un vistazo a Twitter . Pero, ¿qué pasa con los juegos en 3D? ¿Se puede usar SD como una caja mágica para crear activos de juegos en 3D? ¿Es la IA el fin de los artistas 3D humanos en el desarrollo de juegos? Bueno, he intentado crear un juego con él y mi respuesta es: no realmente (todavía). Pero veamos eso con más detalle.

El impacto de la IA en la creación de activos 3D

No es posible que una persona domine todas las partes del proceso de desarrollo del juego. El proceso de modelado 3D es muy desafiante debido a las horas de trabajo y los requisitos de experiencia. Por supuesto, no todos los juegos necesitan modelos 3D de gran cantidad de polígonos con texturas hiperrealistas, pero los activos agradables en un estilo adecuado rara vez estropearían un juego.

¿Qué pasaría si tuviéramos una herramienta que pudiera convertir texto en activos 3D? Puede proporcionar muchos escenarios creativos para desarrolladores de juegos independientes sin presupuesto. Esta puede ser una herramienta útil para artistas profesionales, aumentando la productividad y automatizando tareas repetitivas. Algoritmos como estos están empezando a aparecer.

Pero, ¿deberían los profesionales preocuparse por perder sus trabajos? Tomé mi juego prefabricado y reemplacé todos los modelos 3D con modelos generados por IA. Lo disfruté y me pareció divertido y rápido, pero no creo que reemplace a nadie todavía.

Además, estoy interesado en este tema porque dejé un rol de MLE en Snap y comencé un doctorado en IGGI en la intersección de IA y gráficos. La captura 3D y la generación 3D son mis intereses de investigación, por lo que estoy entusiasmado con los avances recientes en el campo, pero me preocupa cómo mantenerme al día. Creo que algoritmos como este se usarán en la creación de contenido 3D y lo harán más fácil de hacer.

DreamFusion estable para desarrolladores de juegos

Stable Diffusion se utilizó en muchos campos relacionados con la creación de contenido. Game Dev no es una excepción, puede crear fácilmente un activo de juego 2D separado con él o incluso crear un juego completo solo a partir de imágenes generadas. La gente usa SD para la generación rápida de arte conceptual , y si conoce los conceptos básicos de Blender, es posible crear manualmente un activo 3D a partir de él. En el último mes, se ha hecho posible generar modelos 3D a partir de texto.

Anteriormente, existía una generación 3D muy básica a partir de texto, pero las ideas antiguas combinadas con modelos de difusión dan resultados mucho mejores. El primer trabajo que combinó la representación neuronal como representación de escena (NeRF) con Stable Diffusion como función de pérdida fue DreamFusion de Google Research. Nvidia publicó una mejora a esta idea un mes después, llamada Magic3D . Tiene mayor resolución y es más rápido. Desafortunadamente, ambas compañías no han compartido su código o modelos.

Pero gracias al código abierto (y Kiui en particular), podemos usar tecnología de nivel similar: Stable DreamFusion , aunque con una calidad de generación ligeramente menor. La idea principal de DreamFusion es usar un modelo de difusión de texto a imagen 2D previamente entrenado para convertir texto en 3D. Lo logran de forma iterativa, partiendo de un volumen aleatorio (representado como NeRF). La mayor diferencia entre la implementación de código abierto y el papel es que se usa SD en lugar de Imagen (el modelo interno de Google).

Bee Simulator: un estudio de caso sobre el uso de IA para la creación de activos 3D

Como parte del módulo de capacitación Game Dev IGGI, creé un juego simple "Bee Simulator". La principal diversión del juego proviene de los controles complejos, similares a la misión del helicóptero de GTA. Mi esposa, Olya, está aprendiendo a modelar en 3D y accedió a crear los activos en 3D para la abeja y la avispa. Otros activos son de la tienda Unity. El juego original se puede encontrar aquí .

Ahora, pretendamos que ya no necesitamos artistas 3D (preferiría no asustar a mi esposa) porque tenemos Stable DreamFusion. Olya hizo dos modelos en un día. Me di la misma cantidad de tiempo para reemplazar todos los activos con los generados por IA. La mayor parte de ese tiempo se dedicó a jugar con indicaciones de texto.

Detalles técnicos

Usé el conjunto predeterminado de hiperparámetros y cambié solo la tasa de aprendizaje y el número de iteraciones. Eso dio un modelo convergente en 30 minutos (que sigue siendo un orden de magnitud más lento que para 2D) usando RTX 3080 de 16 GB. Para cada uno de los objetos finales, pasé de 4 a 5 intentos seleccionando el mejor texto. Las indicaciones finales son:

• Abeja: "una linda ilustración de vector de dibujos animados de abeja";
• Avispa - "una caricatura de avispón abeja avispa enojada";
• Flor: "una flor de primavera simple de dibujos animados";
• Roca: "una ilustración de vector de piedra de roca en estilo plano";
• Árbol: "un árbol verde de dibujos animados en 3D".

Para cualquier persona interesada, subí el modelo de avispa a Sketchfab .

El futuro del arte 3D

Puedes ver el video completo del juego final aquí .

A corto plazo, estoy seguro de que un artista 3D principiante puede hacer un modelado mejor y más rápido que una persona con acceso a una GPU y GitHub. Pero, con suerte, en la vida real no es una competencia entre artistas y máquinas, y la gente se adaptará al uso, como lo hicieron anteriormente con otras tecnologías (una gran discusión entre dos artistas en DA ) . Creo que los artistas 3D lo usarán inicialmente para crear prototipos. Los desarrolladores independientes pueden divertirse con modelos 3D simples sin un artista. Todavía no, pero después del lanzamiento público de un nivel de tecnología de calidad comparable al de Magic3D. Y eventualmente, las herramientas de IA pueden convertirse en un instrumento obligatorio para un artista, requerido en su CV. Todo está hecho una vez que se abre la caja.

Jugué mucho con la generación de imágenes AI (SD, DALLE2), y dudo que reemplace a los artistas. El “artista” me refiero a una persona creativa con conocimiento y sentido del gusto, independientemente de las habilidades técnicas. Soy terrible dibujando, y las herramientas generativas no me han ayudado en nada. Me cuesta mucho hacerle preguntas significativas a la modelo, y mis generaciones son aburridas. Al mismo tiempo, los artistas que dominan las herramientas de texto a imagen ya inyectan su personalidad en sus obras. Creo que la misma situación sería con la generación de activos 3D.

La excepción a mi línea de pensamiento es cuando se trata de modelado 3D, que depende estrictamente de las referencias de otros artistas. No soy optimista sobre el futuro de los artistas 3D que solo hacen eso. Si su trabajo se centra exclusivamente en modelar y texturizar objetos a partir de una referencia, es posible que se quede sin trabajo ( consulte la sección "Otras funciones de edición" de Magic3D). Estoy seguro de que los artistas 3D hacen mucho más que eso. Si estuviera comenzando como artista 3D, preferiría obtener el mayor conocimiento posible sobre todos los aspectos de la canalización visual: modelado, rigging, animación, iluminación y, por supuesto, herramientas de IA generativa.

Ya sea que sea un desarrollador de juegos independiente o un artista 3D, incorporar IA en su flujo de trabajo le permitirá explorar nuevas posibilidades creativas. Pero con el modelo de texto a 3D actualmente disponible, todavía no funciona.

Puedes conectarte conmigo en Twitter .