내가 AI 포토 리얼리즘의 한계를 뛰어넘은 방법과 그만두는 이유: 1부

Nov 28 2022
모든 이야기에는 시작이 있습니다. 3~5개월 동안 저는 AI 예술의 "사실적인" 기술과 스타일의 경계를 넓혔습니다. 나는 먼저 예술가가 아니라는 것을 공유해야 합니다.
Curtis White의 포토리얼리스틱 AI 작품

모든 이야기에는 시작이 있습니다

3~5개월에 걸쳐 저는 AI 예술의 "사실적인" 기술과 스타일의 경계를 넓혔습니다. 나는 먼저 예술가가 아니라는 것을 공유해야 합니다. 저는 소프트웨어 엔지니어, 아마도 의욕이 없는 기술자일 것입니다. 그리고 시장을 광범위하게 연구했습니다. 하지만 저는 20년 전보다 약 3년 동안 전통적인 예술 방식과 디지털 페인팅을 연습했습니다! 3D 모델링도 조금 배웠습니다.

예술에 대한 나의 첫 노출은 아마도 초기 컴퓨터 픽셀 아트와 디지털 아트였을 것입니다. 어느 시점에서 나는 내가 높이 평가하는 대부분의 훌륭한 픽셀 아트 작품이 Boris Vallejo, Sorayama Hajime 또는 Julie Bell과 같은 다른 위대한 예술가의 사본이라는 것을 알게 되었습니다. 픽셀 아트는 내가 높이 평가하지만 마스터하는 데 관심이 없었던 매우 구체적이고 때로는 힘든 기술이었습니다. 그러나 이것은 내가 그들이 베낀 거장 예술가들을 연구하게 만들었다.

Craig Mullins와 같은 디지털 아트 거장들과 일반적인 대화를 나눴던 막연한 기억도 있습니다. 나는 그가 그라데이션으로 빈 흰색 배경을 없애고 그 위에 모양의 블록을 어떻게 간청했는지 기억합니다. Mullins만큼 숙련되고 숨막히는 전통 기술로부터의 자유가 필요한 사람에게는 훌륭한 기술이었습니다. 하지만 나처럼 기술적 통찰력이 없는 사람에게는 이것이 올바른 접근 방식인지 확신할 수 없습니다.

그리고 실제로, 그것은 나의 초기 시도의 많은 부분을 요약합니다. 그것은 다양한 고전적 가르침과 내가 다른 전문가들로부터 선택하려고 시도한 것들의 뒤죽박죽이었습니다. 진짜 문제는 제게 비전을 이룰 재능이 없다는 것이었습니다. 너무 빨리 독창적인 작품을 만들려고 했을 때 또 다른 실수를 저질렀습니다. 작품을 상상할 수 있다면 반드시 만들 수 있을 것 같았습니다. 나는 예술의 목표를 가치 있게 보거나 이를 위해 노력하는 이 능력을 정말로 느낍니다. 그러나 구조화된 진행을 위해서는 원하는 결과를 달성하는 방법에 대해 거의 과학적인 프로세스가 있어야 합니다. 새로운 아트워크의 경우 최종 결과의 80%를 달성하는 방법을 알아야 합니다. 단 20%만 학습 또는 미지수여야 합니다. 그래야 발전이 있다고 생각합니다.

그래서 어느 순간 제 비전을 이룰 수 없다는 걸 깨달았어요. 그리고 솔직히 말해서, 나는 더 나은 예술가들에 대해 무언가를 인식했습니다. 그들은 그림에 만족하고 오랜 시간 동안 멍하니 있었지만 내가 그림을 그릴 때 내 마음은 경주를 시작했습니다. 나는 그림을 그릴 때 지루해지거나 안절부절하게 되었다. 나는 좀 더 지적인 자극이 필요했고 시장과 거래, 소프트웨어 엔지니어링에 다시 집중했습니다.

그러나 명작을 만드는 "버그"는 여전히 배경에 존재했습니다.

미래의 호커

Dalle-2에 대해 알게 된 "버그" 비트. 나는 AI와 ML이 예술, 거래, 우리가 알고 있는 세상을 어떻게 바꿀지 알고 있다고 모든 사람에게 말하고 있었습니다. 하지만 실제로 최신 AI 기술로 예술을 만들려고 노력한 적은 없었습니다. 그리고 어느 시점에서 미래 기술에 대한 지식의 이상한 탈구와 경험 부족이 저에게 깊은 인상을 주었습니다. 이 기술에 대한 경험이 필요합니다.

Dalle-2에 액세스하려고 했을 때 미리 선택된 사람들 중 일부만 사용할 수 있다는 것을 알게 되었습니다. 저는 접근할 수 없었습니다. 하지만 접근할 수 있는 "Dalle-mini"라는 AI 생성기에 대해 알게 되었습니다.

달레미니

Curtis White의 포털 시리즈 Dalle-mini

Dalle-mini는 Dalle2보다 기껏해야 약 1/1,000 정도의 성능입니다. Dalle-mini를 사용하던 대부분의 사람들은 트레일 카메라 사진과 같은 농담 밈을 만드는 데 사용했습니다. Dalle2에 비하면 꽤 끔찍했습니다.

처음에는 공용 서비스를 사용하고 있었지만 충분한 실행을 생성하려면 자체 서버를 설정해야 한다는 것을 금방 깨달았습니다. Docker 또는 WSDL 서비스 내에 Linux 서버를 설정해야 했습니다. 이것은 심약한 사람을 위한 것이 아니며 강력한 기술 배경을 가진 저에게도 도전이었습니다.

Dalle-mini는 결과를 반환하는 데 약 2분밖에 걸리지 않으며 가장 중요한 것은 무료라는 점에서 몇 가지 이점이 있습니다. 이것은 프롬프트 해킹에 대한 나의 첫 번째 진지한 경험으로 이어졌습니다. AI 아트를 사용하면 만들고 싶은 아트에 대한 텍스트 설명을 AI에 제공하고 결과를 내뱉습니다. 대부분의 경우 개 토하듯이 뱉어내지만 계속 해킹하고 프롬프트를 표시하면 좋은 결과를 얻을 수 있습니다. 훌륭한 결과를 얻는 것은 진지한 프롬프트 기술에 관한 것이었고 최고의 작품을 선택하기 위해 수많은 이미지를 생성하도록 하는 것이었습니다.

이 섹션의 시작 부분에 소개된 내 초기 "포털 작업"을 볼 수 있습니다. Dalle-mini는 상대적으로 저해상도 이미지를 생성했지만 슈퍼 스케일링 또는 업샘플링 AI 알고리즘을 사용하여 더 나은 결과를 얻을 수 있었습니다.

AI Super Resolution을 사용하는 Curtis White의 포털
Curtis White의 캐릭터 연구(AI 슈퍼 해상도를 사용한 Dalle-mini)

Dalle-mini는 시각적 묘사를 만들 수 있지만 대개는 그다지 예술적이지 않습니다. 일반적으로 문자 그대로, 정제되지 않은, 종종 비예술적인 것을 출력합니다. 물론, 진지한 프롬프트 해킹과 자체 서버 실행으로 예술적인 것을 만들 수 없다는 말은 아니지만 전통적인 아티스트는 그 기능에 대해 잠을 자지 않을 것입니다.

디스코 확산 초기 작품

Curtis White의 Blade Runner에서 영감을 받은 Tannhauser Gate
Curtis White의 Blade Runner에서 영감을 받은 Tannhauser Gate

Disco Diffusion의 작품이 트위터에 태그된 것을 처음 보았을 때 저는 깜짝 놀랐습니다. 디테일의 수준은 놀라웠습니다! 그것은 거의 너무 많은 세부 사항이었습니다. dalle-mini가 만든 지루한 문자 그대로의 저해상도 묘사와 달리 이것은 고해상도의 디테일, 회화적, 화려함이었습니다. Disco Diffusion에 대한 공공 서비스는 없었습니다. 그리고 내 그래픽 카드의 메모리가 충분하지 않았습니다. 대신 원격 AI 클라우드 컴퓨팅 플랫폼 서비스 비용을 지불해야 했다.

Disco Diffusion에는 많은 제한 사항이 있습니다. 그것은 회화적인 작품을 잘 할 수 있지만 인물, 동물 및 사실주의와 씨름합니다. 각 이미지를 렌더링하는 데 걸리는 시간은 Dalle2의 약 30초에 비해 약 30분입니다. 즉각적인 해킹은 느리지만 여전히 중요합니다. 필수는 아니지만 많은 확산 예술가는 다른 화가를 참조합니다.

커티스 화이트의 블랙 팬서 시리즈(제럴드 브롬 영감)

불을 계속 지피다

낙진 및 포스트 아포칼립스 아트 by Curtis White

Disco Diffusion으로 아트를 생성하는 것은 매우 힘든 작업입니다. 좋은 고속 GPU 지원 원격 서버를 얻었을 때 인스턴스는 실시간 사용만을 위한 것이었기 때문에 인스턴스를 활성 상태로 유지해야 했습니다. 원하는 이미지를 선택하기에 충분한 작업이 있지만 낭비가 되지 않도록 좋은 프롬프트로 충분한 이미지를 만들고 싶습니다. 일반적으로 프롬프트당 약 25~50세대가 필요했습니다. 나는 종종 2 개의 인스턴스를 가질 것입니다. 이 모든 것은 장기간의 작업 세션에 대비해야 함을 의미합니다.

이쯤되면 AI 어시스트 작품에 대한 설명과 짧은 시간에 왜 그렇게 많은 작업을 했는지 설명하는 것이 도움이 될 것 같다. AI의 도움을 받으면 기하급수적인 성장과 생산성으로 이어집니다. 이는 영화 Limitless와 같습니다. 이것은 매우 활력이 넘치고 심지어 중독성이 있으며 더 열심히 일하려는 의지로 이어집니다. 특정 스타일이나 좁은 주제에 얽매이지 않는 것도 저처럼 불안한 마음을 가진 사람에게 창의적인 주스가 흐르도록 합니다.

낙진 및 포스트 아포칼립스 아트 by Curtis White

전통적인 예술가는 자신이 원하는 그림 유형에 특정한 문제를 해결하는 방법을 배워야 합니다. 독특한 스타일을 개발하는 것은 힘든 일입니다. AI 지원 아티스트는 날씨에 따라 기분이 바뀌는 만큼 자주 새로운 스타일을 적용할 수 있습니다.

비밀 병기 및 겸손한 AI

Curtis White의 Alien Worlds(GPT 지원, Disco Diffusion)

AI가 정확한 이미지를 생성하는 동안 나는 내 비전, 내 의도에서 시작했고 모든 것이 단순히 AI를 내 결과로 이끄는 것으로 보았습니다. 그러나 이 무렵 나는 텍스트 생성기인 Open GPT를 알게 되었고 나중에 Disco Diffusion에 공급할 그림을 설명하는 데 사용하기 시작했습니다. 그리고 이것은 위의 결과로 이어졌고 가장 예술적이고 흥미로운 작품 중 일부는 제가 만든 것 같습니다.

Curtis White의 Alien Worlds

거짓말을 믿지마

Curtis White(AI Art)의 레트로 퓨처리즘

이제 AI가 모든 작업을 수행했다고 생각하는 모든 전통적인 예술가를 위해 더 설명하기 위해 한 걸음 더 나아가겠습니다. 원하는 결과를 얻으려면 GPT를 해킹하라는 메시지를 표시해야 했습니다. 나는 GPT를 해킹하여 원하는 비전을 얻은 다음 그 결과를 더 신속하게 해킹했습니다. 이러한 작업 중 몇 가지에 대해 더 나아가 Photoshop으로 가져와 가능한 한 훌륭하게 만들기 위해 광범위하고 추가적인 후 처리를 수행했습니다.

디지털 아티스트를 위한 AI의 가장 좋은 점은 흰색 배경(또는 Mullins 권장과 같은 그라데이션 채우기)으로 시작하지 않고 원하는 수준에서 시작하여 원하는 수준에서 페인팅 문제를 해결할 수 있다는 것입니다. 수준. 이것은 엄청난 가치입니다.

포토샵에 대해 말하자면

Curtis White가 여러 번 실행한 디지털 페인팅/합성 Dalle2

제 포토샵 실력은 AI 실력과 함께 눈에 띄게 발전했습니다. AI를 사용할 수 있는 능력 덕분에 페인팅 기술과 특정 문제 해결에 집중할 수 있었습니다. 중요한 것은 AI 기술도 빠르게 발전하고 있다는 것입니다. 아래는 내가 원하는 최종 결과를 얻기 위해 여러 AI 실행, 즉 "무광택 페인팅 스타일"을 합성한 Photoshop 디지털 페인팅의 예입니다.

커티스 화이트의 다이달로스

이것으로 AI 아트 여정의 첫 번째 부분을 마칩니다. 실사적 AI 작업의 경계를 어떻게 넓혔는지, 그리고 그만두게 된 요인은 2부에서 자세히 말씀드리겠습니다.

이 기사가 마음에 드셨나요? 댓글, 좋아요, 팔로우 꼭 해주세요 . 나에게 수익 공유 뼈대를 던지려면 미디엄 구독자 100명을 확보해야 합니다.