Como ultrapassei os limites do fotorrealismo de IA e por que desisti: Parte 1

Nov 28 2022
Toda história tem seu começo Ao longo de 3 a 5 meses, ultrapassei os limites das técnicas e estilo “fotorrealistas” da arte de IA. Devo compartilhar que não sou um artista primeiro.
IA fotorrealista funciona por Curtis White

Toda história tem seu começo

Ao longo de 3 a 5 meses, ultrapassei os limites das técnicas e estilo “fotorrealistas” da arte de IA. Devo compartilhar que não sou um artista primeiro. Sou um engenheiro de software, talvez um tecnólogo desmotivado, e estudei mercados extensivamente. No entanto, pratiquei os métodos tradicionais de arte e pintura digital por um período de 3 anos, há mais de 20 anos! Até aprendi um pouco de modelagem 3D.

Minha primeira exposição à arte foi, provavelmente, pixel art de computador e arte digital. Em algum momento, aprendi que a maioria das grandes obras de pixel art que apreciei eram cópias de outros grandes artistas como Boris Vallejo, Sorayama Hajime ou Julie Bell. Pixel art era uma habilidade muito específica e às vezes meticulosa que eu apreciava, mas não tinha interesse em dominar. No entanto, isso me levou a estudar os mestres dos quais eles copiaram.

Eu até tenho algumas lembranças vagas de estar em bate-papos gerais com os grandes nomes da arte digital como Craig Mullins. Lembro-me de como ele implorou para se livrar do fundo branco vazio com um gradiente e bloquear formas sobre ele. Era uma ótima técnica para alguém que era tão habilidoso quanto Mullins e precisava se livrar das sufocantes técnicas tradicionais. Mas para alguém sem perspicácia técnica como eu, não tenho tanta certeza de que foi a abordagem certa.

E, realmente, isso resume muitas das minhas primeiras tentativas. Foi uma miscelânea de vários ensinamentos clássicos e outras coisas que tentei aprender com outros profissionais. O verdadeiro problema era que eu não tinha talento para realizar minha visão. Cometi outro erro quando comecei a tentar criar trabalhos originais cedo demais. Senti que se pudesse imaginar um trabalho, certamente poderia criá-lo. Eu sinto que essa capacidade de ver ou trabalhar em direção a um objetivo na arte é valiosa - ou então você é deixado para copiar os outros. No entanto, para fazer um progresso estruturado, é preciso ter um processo quase científico de como alcançar o resultado desejado. Para qualquer nova obra de arte, deve-se saber como atingir 80% do resultado final - apenas 20% devem ser aprendizados ou incógnitas. É assim que eu sinto que o progresso é feito.

Então, em algum momento, percebi que não conseguiria realizar minhas visões. E, para ser sincero, reconheci algo sobre os melhores artistas: eles se contentavam em pintar e se distrair por longos períodos de tempo, enquanto minha mente começava a disparar quando eu pintava. Fiquei entediado ou inquieto ao pintar. Eu precisava de um estímulo mais intelectual e me concentrei novamente nos mercados, no comércio e na minha engenharia de software.

No entanto, o “bug” para criar obras magistrais ainda estava lá em segundo plano.

Vendedor ambulante do futuro

A parte do “bug” quando aprendi sobre Dalle-2. Eu estava dizendo a todos que sabia como a IA e o ML mudariam a arte, o comércio e o mundo como o conhecemos. Mas, na verdade, não me preocupei em tentar fazer arte com as mais recentes tecnologias de IA. E em algum momento o estranho deslocamento do conhecimento da tecnologia futura e minha falta de experiência me impressionaram: preciso adquirir alguma experiência com essa tecnologia.

Quando tentei obter acesso ao Dalle-2, descobri que estava disponível apenas para um grupo selecionado de pessoas pré-selecionadas. Não consegui acesso: no entanto, aprendi sobre um gerador de IA chamado “Dalle-mini” ao qual também consegui acesso.

Dalle-mini

Portais Série Dalle-mini por Curtis White

O Dalle-mini tem, na melhor das hipóteses, cerca de 1/1.000 da capacidade do Dalle2. A maioria das pessoas que usava Dalle-mini o usava para criar memes de piadas, como fotos de câmeras de trilha. Foi horrível em comparação com Dalle2.

No começo, eu estava usando um serviço público, mas rapidamente percebi que precisava configurar meu próprio servidor para poder gerar execuções suficientes. Exigiu que eu configurasse um servidor Linux dentro de um serviço Docker ou WSDL. Isso não é para os fracos de coração e foi um desafio para mim, mesmo com minha forte formação técnica.

Dalle-mini teve alguns benefícios, embora fosse razoavelmente rápido, levando apenas cerca de 2 minutos para retornar um resultado e, o mais importante, gratuito. Isso levou à minha primeira experiência séria com hacking imediato. Com a arte da IA, você dá à IA uma descrição de texto da arte que deseja fazer e ela mostra um resultado. Na maioria das vezes, ele cospe como vômito de cachorro, mas se você continuar hackeando, continue solicitando, poderá começar a obter bons resultados. Obter um ótimo resultado envolveu habilidades sérias de solicitação e, em seguida, deixá-lo gerar uma tonelada de imagens para selecionar os melhores trabalhos.

Você pode ver meus primeiros “trabalhos de portais” apresentados no início desta seção. Dalle-mini produziu imagens de resolução relativamente baixa, mas consegui obter melhores resultados usando algoritmos de IA de superdimensionamento ou upsampling.

Portais de Curtis White com Super Resolução AI
Estudo de personagem por Curtis White (Dalle-mini com AI Super Resolution)

Dalle-mini poderia criar representações visuais, mas na maioria das vezes elas não eram muito artísticas. Geralmente produz o literal, não refinado e muitas vezes não artístico. Claro, isso não quer dizer que não poderia criar algo artístico com um hacking sério e executando meu próprio servidor, mas um artista tradicional não perderia o sono com suas capacidades.

Disco Diffusion Early Works

Portão de Tannhauser, inspirado em Blade Runner, por Curtis White
Portão de Tannhauser, inspirado em Blade Runner, por Curtis White

A primeira vez que vi uma peça do Disco Diffusion marcada no twitter, fiquei maravilhado. O nível de detalhe foi incrível! Era quase detalhe demais. Ao contrário das representações chatas e literais de baixa resolução criadas por dalle-mini, este era um detalhe de alta resolução, pictórico, esplêndido. Não havia serviço público para a Disco Diffusion. E minha placa de vídeo não tinha memória suficiente. Em vez disso, tive que pagar pelo serviço remoto da plataforma de computação em nuvem AI.

Disco Diffusion tem inúmeras limitações. Ele pode fazer peças de pintura bem, mas luta com figuras, animais e fotorrealismo. Cada imagem leva cerca de 30 minutos para renderizar, em comparação com cerca de 30 segundos para Dalle2. O hacking imediato é mais lento, mas ainda crítico. Embora não seja obrigatório, muitos artistas de difusão fazem referência a outros pintores.

Série Pantera Negra de Curtis White (inspirada em Gerald Brom)

Mantendo o fogo aceso

Fallout e arte pós-apocalíptica por Curtis White

Gerar arte com o Disco Diffusion é um trabalho sério e árduo. Quando consegui um bom servidor remoto habilitado para GPU rápido, tive que manter a instância ativa porque eles eram destinados apenas para uso em tempo real. Você deseja criar imagens suficientes com um bom prompt para ter trabalhos suficientes para selecionar a imagem desejada, mas não tantos que sejam um desperdício. Geralmente, cerca de 25 a 50 gerações por prompt eram desejadas. Eu costumava ter 2 instâncias em andamento. Tudo isso significa que você precisa estar preparado para longas sessões de trabalho.

Neste momento, acho que pode ser útil explicar algo sobre arte assistida por IA e por que fiz tanto trabalho em um período tão curto de tempo. Ser assistido por IA leva a crescimento e produtividade exponencial — é como o filme Limitless. Isso é altamente revigorante, até mesmo viciante, e leva a uma vontade de trabalhar mais. Não ser restringido a um estilo específico ou motivo estreito também mantém a criatividade fluindo para alguém com uma mente inquieta como eu.

Fallout e arte pós-apocalíptica por Curtis White

Um artista tradicional precisa aprender a resolver problemas específicos do tipo de pintura que deseja fazer. Desenvolver um estilo único é difícil. O artista assistido por IA pode adotar novos estilos sempre que o clima mudar com o clima.

Armas secretas e a IA humilhante

Alien Worlds por Curtis White (GPT assistido, Disco Diffusion)

Enquanto a IA gerava as imagens exatas, comecei com minha visão, minha intenção e vi tudo como simplesmente levando a IA ao meu resultado. No entanto, nessa época, tomei conhecimento do Open GPT, que era um gerador de texto e comecei a usá-lo para descrever pinturas que mais tarde alimentaria o Disco Diffusion. E isso levou ao resultado acima e a alguns dos trabalhos mais artísticos e interessantes que eu acho que criei.

Mundos Alienígenas de Curtis White

Não acredite nas mentiras

Futurismo retro por Curtis White (Arte AI)

Deixe-me dar um passo para explicar mais para todos os artistas tradicionais que agora estão pensando que a IA fez todo o trabalho. Eu tive que solicitar hackear o GPT para obter os resultados que eu queria. Fui solicitado a hackear o GPT para obter uma visão desejada e, em seguida, a hackear ainda mais esse resultado. Mais adiante, em vários desses trabalhos, levei-os para o Photoshop e fiz um pós-processamento extenso e adicional para torná-los os melhores possíveis.

A melhor parte da IA ​​para o artista digital é que, em vez de ter que começar com um fundo branco (ou um preenchimento gradiente como Mullins recomendado) - você pode começar em qualquer nível que desejar e trabalhar na solução dos problemas de sua pintura em seu nível. Este é um valor tremendo.

Falando em Photoshop

Pintura digital/composta Dalle2 de várias execuções de Curtis White

Minhas habilidades de photoshop estavam avançando significativamente com minhas habilidades de IA. A capacidade de usar a IA me permitiu focar na técnica de pintura e na resolução de problemas específicos. É importante ressaltar que a tecnologia de IA também estava avançando rapidamente. Abaixo está um exemplo da minha pintura digital no Photoshop, onde compus várias execuções de IA, ala “estilo de pintura fosca” para obter o resultado final que eu queria.

Dédalo de Curtis White

Isso conclui a primeira parte da minha jornada artística de IA. Compartilharei mais sobre como ultrapassei os limites do trabalho de IA fotorrealista e os fatores que me levaram a desistir na parte 2.

Gostou deste artigo? Comente, curta e não deixe de seguir . Preciso obter 100 assinantes para o Medium para me dar um osso de participação nos lucros.