Automated Stable-Diffusion Checkpoint Merger, autoMBW.

체크포인트 병합은 강력합니다.

체크포인트 병합의 위력은 부인할 수 없습니다. bbc-mc의 sdweb-merge-block-weighted-gui 확장이 도입되면서 체크포인트 병합 가능성이 이전 방법에 비해 기하급수적으로 증가했습니다. 실제로 이 방법은 매우 강력하여 모든 최신 병합 모델의 대부분이 구성에 MBW 병합을 통합합니다.

몇 가지 예: AnythingV4 , AbyssOrangeMix2&3 및 기타 많은 인기 모델은 이 병합 구성 방법을 활용합니다.

이 새로운 방법의 주요 장점 중 하나는 모델 A와 B 사이의 텍스트 인코더뿐만 아니라 모델 내의 25개 UNET 레이어 각각을 미세 조정할 수 있다는 것입니다. 이러한 수준의 유연성을 통해 체크포인트 병합에서 전례 없는 품질을 얻을 수 있습니다. .

그러나 이 방법에 필요한 가파른 학습 곡선과 상당한 시간 투자로 인해 새로운 병합 개발 속도가 느려졌습니다. MBW를 효과적으로 사용하려면 사용자는 각 소수점 슬라이더가 개별적으로 변경한 사항을 조정하고 연구하는 데 상당한 시간을 투자해야 합니다. 결과적으로 이 기술을 실험하는 데 극도로 헌신하는 사람들만이 이 기술의 잠재력을 성공적으로 활용할 수 있었습니다.

제시된 품질 추구는 대부분의 사람들에게 너무 벅찬 일이었습니다. 그렇다면 해결책은 무엇입니까?

미적 분류를 사용하여 프로세스를 자동화하는 복잡한 자동 병합기인 autoMBW를 입력하십시오 .

무차별 대입 또는 바이너리 병합을 사용하여 autoMBW는 암호 크래킹과 마찬가지로 각 슬라이더의 각 간격을 개별적으로 테스트합니다. 그런 다음 생성된 체크포인트 는 병합에서 해당 특정 값을 조정하여 변경 사항의 순위를 매기는 미적 값을 출력하는 cafe-aesthetic 또는 laion-V2 와 같은 미적 분류기에 공급되는 이미지를 생성하는 데 사용됩니다 .

이 프로세스는 수천 번 반복되며 가장 높은 점수를 받은 값이 선택되어 사람의 개입 없이 "수학적으로 완벽한" 병합을 생성합니다.

체크포인트 병합에 autoMBW를 사용하는 프로세스에는 엄청난 시간이 걸립니다. 다음 매개변수 사용:

• 검색 알고리즘: Binary Mid Pass 2x(더 느리지만 더 정확한 Binary 2x, 2배속/2배 슬라이더용 2x)
• 패스 횟수: 더블패스(2배 느림)
• 이미지 생성: 42단계, 4x 배치 크기, 768x768

병합의 최종 품질도 틀림없이 더 낫다는 점은 주목할 가치가 있습니다. 이와 같이 이 병합 방법을 기반으로 출시된 첫 번째 및 두 번째 모델인 Silicon28 & Silicon29는 이 방법의 잠재적인 품질을 입증하기 위해 다음과 같은 비교를 수행하는 데 사용되었습니다.

다음 비교는 스크립트를 사용하여 수행됩니다. X/Y/Z 프롬프트.

두 실리콘 모델 모두 텍스처, 조명 및 구성에서 디테일이 크게 눈에 띄게 증가했습니다.

이 비교에서 Silicon29는 이미지 내에서 훨씬 더 많은 디테일을 볼 수 있고 컬러웨이가 훨씬 더 인상적이기 때문에 앞서 나갑니다.

공통적으로 일상적인 음식, 모든 모델이 똑같이 인상적입니다.

여기에서 AOM2에 문제가 발생했습니다. 픽셀 아트 프롬프트로 고장난 것 같습니다.

실리콘(28/29) 모델이 훨씬 더 잘 수행된다는 점을 지적하는 것은 흥미롭습니다. 이 특정 프롬프트에 대해 해부학적 구조가 대부분 그대로 유지되는 것처럼 보이기 때문입니다.

보시다시피 품질은 인기 있는 병합 모델과 비슷합니다.

체크포인트 병합에 autoMBW를 사용한 결과는 인기 있는 병합 모델과의 비교에서 알 수 있듯이 인상적입니다. 사실, 품질은 더 좋지는 않더라도 비슷하며, 이는 그 효과에 대한 증거입니다.

체크포인트 병합에 autoMBW를 사용하는 프로세스는 시간이 많이 소요될 수 있지만 그 결과는 인상적이며 그 자체로 입증된다는 점을 강조하는 것이 중요합니다. autoMBW에서 사용하는 미적 분류는 최종 병합 모델의 각 UNET 비율이 미리 만들어진 일반 공식이 아닌 입력 모델에 맞게 특별히 조정되도록 합니다.

미세 조정 병합 프로세스를 자동화하는 기능을 갖춘 autoMBW는 Silicon29의 인상적인 결과에서 알 수 있듯이 미숙한 병합이 고품질 결과를 달성할 수 있는 보다 효율적이고 효과적인 방법을 제공합니다.

이 기사에 제시된 결과는 선별되었으며(물론 그렇지 않은 이유는 무엇입니까?) 제시된 각 모델에는 고유한 강점과 특성이 있습니다. 이 기사의 비교도 다소 간단하며 말 그대로 이러한 각 모델의 전체 품질 중 작은 부분을 보여줍니다(예: 두 실리콘 모델 모두 초광각 이미지에서도 탁월함). 따라서 모델 간의 뉘앙스와 차이점을 더 잘 이해하기 위해 각 모델을 직접 실험해 보는 것이 좋습니다.

Silicon28 및 Silicon29는 여기에서 찾을 수 있습니다.

https://huggingface.co/Xynon/SD-Silicon

여기에서 AbyssOrangeMix를 찾을 수 있습니다.

https://huggingface.co/WarriorMama777/OrangeMixs

여기에서 AnythingV4.5를 찾을 수 있습니다.

https://huggingface.co/andite/anything-v4.0

여기에서 autoMBW를 찾을 수 있습니다.

https://github.com/Xerxemi/sdweb-auto-MBW

참고: 저는 Xynon#7407과 함께 autoMBW & Silicon 모델의 공동 제작자입니다. 따라서 이것이 자기 홍보처럼 보인다면 실제로는 ;)

참고: 우리는 거의 한 달 동안 이 작업을 해왔으므로 조금 자랑할 수도 있습니다 .

참고: 이런 성격의 기사를 쓰는 것은 이번이 처음이므로 여기에 작성해 주시면 감사하겠습니다!