TL;DR

これは、アニメ画像用の新しい Stable-Diffusion のようなモデル (SD2 から微調整) であり、解像度 768x768 をサポートし、評価によると、いくつかの人気のあるアニメ モデルよりも大幅に優れています。チェックポイントは公開されており (インストール手順)、デモはしばらくの間利用できます。

• はじめに
• 背景
  -拡散モデル
  -潜在拡散
  -安定拡散
  -ワイフ拡散
  -安定拡散 2
• 私たちのモデル: トレーニング
  -コンディショナー
  -技術的な問題と最適化
  -トレーニング セットの更新
  -高解像度のトレーニング
  -サンプリングの変更
• 結果
• 他のアニメモデルとの比較
• 討論
• 参考文献
• ポインター

ゼロから拡散モデルをトレーニングする実験を行った後、複数の人から、同じ/類似のデータセットに微調整された Stable Diffusionバージョンが多数あることが指摘されました。特に：

• Waifu Diffusion : データの比較的小さなサブセットを使用しており、条件付けのためにタグ プロンプトを CLIP にフィードするだけです)。元の Stable Diffusion にコードを変更する必要はありません (これは IMO の問題です)。それにもかかわらず、現時点で最も人気のあるアニメ拡散モデルのようです. 次のモデルとは異なり、一般向けのチェックポイントをリリースしました。
• NovelAI : これは、独立した研究者/エンジニアではなく、実際の会社によって行われます。彼らはモデルをリリースしませんが、有料のインターフェースを提供します。どうやら、チェックポイントとコードがリークされたというドラマもあったようで、元のStable Diffusionに小さな変更を加えたようです。
• Anything-v3 : これは少し後に登場しました。モデルに関する情報はあまりありませんが、WaifuDiffusion から微調整された疑いがあります (少なくとも、CLIP にフィードする前に同様の迅速な変換を使用します)。非常に詳細で見栄えの良い画像を生成しますが、プロンプトにはあまり忠実ではありません。その出力スペースは非常に小さく (多様性がなく、すべての画像が同じスタイルを持ち、互いに類似しています)、拡散前の GAN モデルを連想させます。他のモデルとは異なり、このモデルも NSFW を生成できません。そのため、1 人のアーティストが高品質の画像の小さなデータセットを微調整することによって得られたのかもしれません。

しかし、この分野にはモデルが豊富に存在するため、最初は気にせず、進行に任せることにしました。しかし今、Stable Diffusion 2がリリースされ、アニメ モデルの目に見える進歩はまだありません。この投稿では、カスタム プロンプト コンディショナーを使用して Stable Diffusion 2 を微調整し、結果を表示する方法について説明します。もちろん、モデルも公開しています — 私が試したいくつかのプロンプトから、上記のモデルよりも優れていました。次のいくつかのセクションでは、技術的な詳細に焦点を当てます。興味がない場合は、結果に直接スキップできます。

バックグラウンド

何が起こっていて何が変わったのかを理解するために、まず既存のモデルの概要を簡単に見てみましょう。

拡散モデル

拡散モデルの詳細については説明しませんが、インターネットにはすでに良いレビューがたくさんあります。私たちの目的のためには、画像生成のプロセスを一連の「ノイズ除去」ステップに分解するというアイデアを知っていれば十分です。トレーニング中、モデル バックボーン (画像の場合 — 通常はUNet) には、破損した画像とノイズ除去ステップが与えられ、破損の 1 つのステップを元に戻そうとしています。推論中、ランダムなノイズから開始し、バックボーンを繰り返し適用して、すべての架空の破損ステップを「元に戻す」。この背後にある正確な計算は正確である必要があります。推論時に、最新の拡散モデルのほとんどは、プロセスを変更してサンプリング ステップの数を減らします (これは、プロセスが確率微分方程式を数値法で解くのと疑わしいほど似ていることに誰かが気づき、よりスマートな DE ソルバーを適用したことで可能になりました)。代わりは）。

潜在拡散

これは間違いなく最も重要なアイデアであり、ほとんどのオープン拡散モデルで使用されています。Google や OpenAI などの企業は、多くのハードウェアを持っているため、元のピクセル空間で拡散モデルをトレーニングして使用する余裕があります。しかし、素人にとっては、512x512 ピクセル空間での UNet のトレーニング (または実行) は非常にコストがかかります。アイデアは、画像を元の 512x512x3 空間から潜在空間 (Stable Diffusion の場合 — 64x64x4) に圧縮するオートエンコーダーをトレーニングすることです。オートエンコーダーは、潜在空間を「適切」に保つために、KL ベースの正則化を使用してVAEとしてトレーニングされます。

次に、モデルはこの 64x64x4 空間で拡散を実行しますが、これは明らかにはるかに効率的です。欠点は、VAE が完全ではなく、画像の圧縮中に一部の情報が失われることです。しかし、実際には、それは非常にうまく機能します。

FWIW、代替アプローチが可能です。たとえば、Imagenはピクセル空間で低次元の画像を生成し、それを徐々に拡大します。ただし、これは、この記事で説明しているモデルには関係ありません。

安定拡散

これは、技術的なブレークスルーというよりも社会的なものでした。このモデルは、 LAIONでトレーニングされた「バニラ」潜在拡散モデルであり、以前のほとんどの画像生成モデルとは異なり、一般に公開されました。これにより、機械学習に慣れていない幅広い視聴者がこの技術を利用できるようになり、多くの創造性、議論、およびさまざまなデータセット (上記のアニメ モデルなど) での微調整が行われました。

私たちにとって非常に重要なアーキテクチャの興味深い選択の 1 つは、モデルがどのように条件付けを行っているかです。通常、モデルは「無条件」( UNet(破損した画像) ~画像) と条件付き ( UNet(破損した画像、状態) ~画像) モードの両方でトレーニングされ、サンプリング時に分類子を使用しないガイダンスが使用されます: UNet (破損した画像) を使用する代わりに、条件) 画像を生成するときは、C * UNet (壊れた画像、条件) — ( C — 1) * UNet (壊れた画像)、およびCを使用します。は 1 よりかなり高い (例: 7)。これはあまり直感的ではありませんが、生成された画像の画質と迅速な忠実度の両方が大幅に向上します。

私たちに関係するのは、状態がどのように得られるかです。Stable Diffusion では、CLIPモデルのテキスト エンコーダーの最後の隠しレイヤーを使用します。これは凍結されています。つまり、トレーニング中に勾配が逆伝播されません。これは言語エンコーダー モデルと見なすことができ、画像の二次的なフレーバーが言語理解を視覚的理解に偏らせます。

ワイフ・ディフュージョン

これは、アニメのイメージで微調整された安定した拡散です。彼らはトレーニング セットとしてDanbooru2021 (または類似のもの)のサブセットを使用したようです。彼らは Stable Diffusion をコードを変更せずにそのまま使用しました (ただし、VAE のデコーダー部分を微調整して、アニメ画像で少しうまく機能するようにしました)。

その結果、同様に CLIP をコンディショナーとして使用し、タグ付きの文字列をプロンプトとして供給します。タグの前処理も行うため (アンダースコアをスペースに置き換えるなど)、うまく機能しなかったと思います。しかし、それでも、プロンプトに対する CLIP の理解は最適ではないようです。

安定拡散 2

これは、(同じサイズの) モデルを最初から再トレーニングし、コンディショナーをOpenCLIPに置き換えた増分リリースです。また、深度ベースの img2img や高解像度モデル (768x768 ピクセル) など、いくつかの興味深い追加機能もあります。

私たちのモデル: トレーニング

目標は、アニメ画像で Stable Diffusion 2 を微調整し、エンコーダーを、CLIP の自然言語ではなく、入力としてのタグのセットに特化したカスタム モデルに置き換えることです。より良いコンディショニングに加えて、これはAnifusionからの迅速な増強技術も可能にし、そこでの品質と多様性を大いに助けました.

コンディショナー

Anifusion と同じアプローチを使用します。条件付けモデルは、位置埋め込みのないBERTサイズのトランスフォーマーです (タグ プロンプトの対称性をキャプチャするため: タグの順序は重要ではありません)。コンディショナーを交換するだけで、拡散バックボーンのクロスアテンション部分は同じままです。

ここで重要な問題は、重みトランスフォーマーを初期化する方法です。トレーニングされていないコンディショナーとトレーニング済みの UNet から始めて、それらを一緒にトレーニングすると、トレーニング プロセスが UNet の重みを破壊または大幅に低下させる可能性があります。幸いなことに、これを修正するのは難しくありません。UNet をフリーズして、しばらくの間、Transformer 部分だけのトレーニングを実行できます。

技術的な問題と最適化

トレーニングを効率的にするには、バッチ サイズをビデオ RAM にできるだけ大きくすることが重要です (たとえば、オプティマイザ ロジックを適用するコストはバッチごとに 1 回しか支払われないため)。ここには基本的に2つの方向があります。

パイプラインの変更

正規の SD トレーニング コードは、VAE エンコーダーをオンラインで実行し、生の画像を解析してエンコードします。これは、取り除かなければならない最も簡単な成果です。VAE の重みは VRAM を消費し、このエンコーダーの適用による中間変数も VRAM を消費し、エンコードのプロセスには時間がかかります。特に、データに対して複数のパスを作成する場合、同じ画像を複数回エンコードするコストを支払うことは意味がありません。

幸いなことに、この部分は簡単に最適化できます。トレーニング セット内のすべての画像を事前にエンコードするだけです。追加の利点は、結果として得られるトレーニング セットが、ピクセル空間の元の 512x512 画像よりも (ディスク サイズに関して) はるかに小さいことです。

VRAM を少し節約するもう 1 つの方法は、EMA を無効にすることです。指数移動平均は、一連の最後のチェックポイントからの重みを (大まかに) 平均化することによってモデルの品質をわずかに改善するためのトリックであり、EMA を保存しないことは、結果のモデルに大きな影響を与えずに VRAM の使用を減らす簡単な方法です。

トレーニングの変更

トレーニングを高速化し、VRAM を節約する一般的な方法は、より低い精度を使用することです。通常の fp32 (32 ビット浮動小数点数) ではなく、fp16 または bf16 (16 ビット浮動小数点数のバリエーション)、または混合精度 (実行fp16 の一部の操作)。

試してみましたが、確かにパフォーマンスには役立ちますが、あまりにも危険です。特に、ある時点で、注意のために「with torch.autocast():」(混合精度) を追加し、その後、モデルが時間の経過とともにゆっくりと発散している理由を理解するためにかなりの時間を無駄にしました。

その結果、トレーニングがすでに非常に効率的であることを考えると、この性質の最適化をモデルに適用しない方が安全であると判断しました。

トレーニングセットの更新

Anifusion では、古いバージョンのDanbooruデータセットが使用されていたため、トレーニング セットのサイズとプロンプトでサポートされるタグのセットを拡張すると同時に、それを更新するのに適した時期であると判断しました。ただし、いくつかの複雑な問題がありました: (1) データセットの新しいバージョンは以前のものの単純なスーパーセットではありませんでした。(2) モデルが既にトレーニングされている間にそれを行うことにしたため、既存のデータセットを移行するための追加作業がいくつかありました。チェックポイントが必要でした。

データセットの違い

これは些細なことですが、新しいデータセット バージョンのメタデータをダウンロードした後、大量の画像 (数パーセント) が消えていることに気付きました。以前にトップ 2.5k に入っていたいくつかのタグも消えました (最も人気のあるタグのいくつかを含む)。さらに、削除された画像は削除されたタグと一致していました。

さらに調べてみると、消えたタグはすべて「フリンジ NSFW」パターンに一致していることが判明しました (中にはフリンジが多すぎて、そのようなものがあることさえ知らなかったものもありました…)。似たような性質のタグや画像が他の場所に保持されていたため、一貫性がありませんでした。データセットの管理者かソース画像ホスティング サイトのいずれかが、PR の問題に対処するための簡単なハックとして実装したと思います。とにかく、古いデータセットと新しいデータセットを組み合わせて、約 2M の画像をトレーニングに使用しました。さらに、後で高解像度モデルを微調整するために、解像度が 786x768 以上の 800k 画像をサンプリングしました。

タグセットの拡張

このセクションは、実際には重要な部分です。新しいデータセットが作成された時点で、モデルはかなり長い間トレーニングされ、上位 2.5k タグからのプロンプトを入力として取得して、適切に収束したコンディショナー トランスフォーマーを使用していました。新しいバージョンでは、代わりに上位 12,000 のタグを使用することにしました。それらをモデルに追加する方法は？

アップグレードする必要があるのは、トランスフォーマーの埋め込みテーブルです (2500x1024 から 12000x1024 へ)。単純なアプローチは、新しい埋め込みをランダムに初期化し、凍結された UNet でモデルをしばらくトレーニングし、トランスフォーマーのみを更新することです。しかし、これは (1) 時間と計算の点で無駄であり、(2) 退屈です。それらをより適切に初期化できますか?

入手可能な情報を見てみましょう。すでに 2.5k の埋め込みをトレーニングしており、新しいタグの埋め込みはそれらと多少似ているはずです。しかし、どちらに？素朴なアイデアは、意味的に類似したタグの埋め込みを使用することです。しかし、意味的な類似性をどのように得るのでしょうか? 古き良き word2vecはその点で非常に優れているため、タグ セットを取得して、それらに対する word2vec 埋め込みをトレーニングすることができます。以下は、結果のt-SNE視覚化です (暗い点は NSFW タグに対応しているため、見たくない人は簡単にスキップできます):インタラクティブ リンク.

トランスフォーマーからの 2.5k のトレーニング済み埋め込みの同じ視覚化を見てみましょう: interactive link。

したがって、実際には同じではなく、セマンティックよりも視覚的な外観に重点が置かれています。ただし、十分に近い必要があるため、次のように新しいタグの初期埋め込みを計算できます。上位 2.5k のタグから word2vec 空間内の最近傍を取得し、それらの変換埋め込みを集約します。実際、少し改善することもできます: 最も近い隣接集約が最初の 2.5k 集約に真の埋め込みと一致するように word2vec を変換する小さな NN をトレーニングし、それを残りのタグに適用します。

これにより、新しい埋め込みの合理的な初期化を取得し、最新のチェックポイントを変更して、新しいデータのトレーニングをそのまま再開します。

高解像度トレーニング

Stable Diffusion 2 には、サイズ 768x768 (つまり、512x512 の 2.25 倍) の画像を生成するバージョンがあり、いくつかの興味深い特性があります (たとえば、低解像度バージョンよりも指の描画に優れているように見えます)。そのため、モデルで同じことを行うことにしました。特に、トレーニングには 2 つの段階があります。

• 低解像度: バッチ サイズ 11、学習率 5e-6、100 万ステップの 512x512 画像 (64x64x4 潜在空間) でのトレーニング。
• 高解像度: 前のフェーズから再開し、バッチ サイズ 5、学習率 5e-6、80k ステップで、768x768 画像 (96x96x4 潜在空間) でトレーニングします。

サンプリングの変更

Anifusionでは、別のモデルでプロンプトを拡張すると、結果が大幅に改善されました。直観的には、拡散プロセス内の暗黙の連続空間とは対照的に、離散概念空間で物事をサンプリングする方が簡単です。

ここでは、同じ手法を適用して、新しいトレーニング セットでプロンプト拡張トランスフォーマーを再トレーニングします。同じ効果が観察されます。特に短いプロンプトの場合、サンプルの品質と多様性は、プロンプトの増強によって大幅に向上します。

結果

768x768 のモデルは 512x512 のモデルよりも優れた画像を生成しているように見えますが、これは解像度だけでなく、画像の全体的な一貫性と (特に) キャラクターの解剖学的詳細が優れているためです。ただ、即応性は若干悪い気がします（正確な測定値はありませんが、私の印象です）。

注意すべきことの1つは、アニフュージョンと比較して、モデルはNSFW/際どいイメージに偏っているように見えることです. その一部はプロンプトの拡張に起因する可能性がありますが、UNet の部分にも責任があります。なぜそれが起こっているのかわかりません（トレーニングセットの変更はかなり小さいです。おそらくサイズ/安定拡散からの開始がこれを引き起こしますか？）。

さまざまなタイプの画像を段階的に見ていきましょう。

肖像画

これは最も単純なユースケースであり、アニメの肖像画は GAN の時代でも成功裏に生成されました。当然のことながら、このモデルには問題はありません (以下にいくつかの例を示します)。

一文字、人気タグ

これはより難しいテストであり、予想どおり、時々 (まれに) 悪いイメージが得られることがあります。一般的な障害モードは、解剖学的構造の不良、つまり追加の腕または脚です。そしてもちろん、モデルにとって指は非常に難しいものです。

1文字、テールタグ

ここではあまり人気のないタグ、特にトレーニングの後の段階で追加されたタグをテストしています (詳細については上記を参照してください)。完璧ではありませんが、非常にうまく機能しているようです。いくつかの例を以下に示します。一般的に、キャラクタータグはコンセプトタグよりもモデルにとって扱いやすいようです。

キャラクターの相互作用

最後に、興味深いことに到達しています。オリジナルの Anifusion は、キャラクターが相互作用しているときにうまく機能しませんでした。新しいモデルの方が良いですか？

複数のキャラクターが隣同士に立っているだけでも問題ないようです。

シンプルなアクションも多少機能します。

オブジェクトとの相互作用も多かれ少なかれ問題ありません。

ただし、複雑な相互作用を特定しようとすると、体の恐怖が頻繁に発生します (これらの写真は邪魔になる可能性があるため、ここには掲載しません)。なぜこうなった？これは、プロンプトが単なるタグのセットであり、相互作用を十分に正確に指定していないためだと推測しています。そもそも拡散モデルが優れた画像を生成したのは、分類器を使用しないガイダンスでした。強調しすぎると、プロンプトのないサンプリングと比較して品質が大幅に向上しました。これは、拡散内の複雑な概念をサンプリングするのが難しいためです。したがって、プロンプトで明確に指定されたものは何でも適切に生成されると期待できますが、あいまいさはあまり良くない方法で解決されます。この意味では、自然言語プロンプトの方が優れている場合があります。

FWIW、reddit の元の Anifusion 投稿へのコメントで、GwernはBLIPを使用して画像から自然言語プロンプトを生成することを提案しました。実際にやってみたのですが、プロンプトのクオリティが極端に低くて、そう簡単にはいきませんでした。

スタイル

オリジナルの Stable Diffusion では、モデルにスタイルを指定する方法が数多くありましたが、そのほとんどはアーティストの名前を追加することでした。アニメモデルも同じですか？

試してみてください — 非常にうまく機能します (これは、AnythingV3 と比較した利点です)。以下は、さまざまなランダム スタイルの例です。

他のアニメモデルとの比較

AnythingV3 との比較は行いません。これはプロンプトを実際には尊重せず、かなりのものに対して同様の画像を生成するためです (名前が示すように)。これにより、WaifuDiffusion と NovelAI が残ります。リークされたチェックポイントを使用する必要があるため、NovelAI との比較は取りやめました。そのようなドラマには近づかない方がよいでしょう。これにより、WaifuDiffusion が残ります。

注意すべきことの 1 つは、短いプロンプトでの比較は WaifuDiffusion にとって不公平すぎるということです。これには (アニフュージョンとは異なり) プロンプトの拡張が含まれていないため、短いプロンプトで非常に悪い結果が得られます。そのため、代わりに 2 つの異なる比較を行います。1 つは、元のデータセットからタグ セットをサンプリングし、考慮事項からプロンプト拡張を効果的に削除し、拡散部分のみを比較します。2 つ目では、いくつかの中規模のプロンプトを手動で作成し、両方のモデルを評価します (これにはプロンプト拡張の効果が含まれます)。

データセットからのタグ セット

データセットから 97 個のタグ セットをサンプリングします (一様に、「安全」と評価された画像にフィルターをかけます)。Anifusion の場合、プロンプトに「rating_s、score_perc_100、adjusted_score_perc_100」を追加して前処理します。WaifuDiffusion の場合、アンダースコアをスペースに置き換えて前処理します。どちらの場合も、 50 ステップのDDIM サンプリングと分類器なしのガイダンス スケール 9 を使用します。

いくつかの人間の評価を取得した後 (比較のために側面をランダムに反転させて)、Waifu に対して次の結果が得られます。

• アニフュージョンの方が良い: 30%
• ワイフの方がいい: 24%
• ほぼ同じ: 46%

Waifu で気づいた 1 つの失敗パターン: キャラクターの頭が切り捨てられて、フル イメージではなくサブイメージが生成されることがよくあります。Anifusion の失敗パターンは、促されない NSFW です (そして関連する - 悪い解剖学; 何らかの理由で、画像が NSFW に近づくほど、モデルの解剖学が悪化します)。

補足:ここでは、同じプロンプトに対する AnythingV3 の結果を見つけることができます。結果はよく見えますが、比較に含めることをためらう理由がわかります。すべての画像はまったく同じスタイルに見え、多様性が著しく欠けています。つまり、モデルの出力スペースがはるかに小さいことを意味します。

したがって、分布内サンプリングでは、大幅に改善されるわけではありません。しかし、モデルの高解像度バージョンを使用するとどうなるでしょうか?

• アニフュージョンの方が良い: 41%
• ワイフの方がいい: 13%
• ほぼ同じ: 46%

「ほぼ同じ」の自明でない量があることに気付くことができます。これらの例のほとんどは、両方のモデルが同等に優れていますが、両方のモデルがひどく悪いものもあります (どういうわけか、この中で相関しています)。

手動の中サイズのプロンプト

前のセクションで説明したのと同じプロンプト前処理を使用します。私たちは 33 の妥当な中サイズのプロンプトを手動で準備します (もちろん、これらは 1 人の人物によって準備されているため、全体的な分布を代表するものではない可能性があります)。

ここでは、結果が大きく異なります。

• アニフュージョンの方が良い: 73%
• ワイフの方がいい: 9%
• ほぼ同じ: 18%

ご覧のとおり、迅速な増強が違いを生みます。高解像度モデルを使用するとどうなりますか? 結果はかなり似ています (生データ):

• アニフュージョンの方が良い: 73%
• ワイフの方がいい: 3%
• ほぼ同じ: 24%

素人のためのアクセシビリティ

興味深い観察結果の 1 つは、100 万回のミニバッチのトレーニングの後でも、モデルが改善し続けていることです。非常に多くのステップの後、モデルが元の安定拡散チェックポイントから何かを覚えているかどうかは不明です。おそらく、アニメのデータセットは、既存の SD からホットスタートすることなく、市販のハードウェアで SD サイズの拡散モデルをゼロからトレーニングできるほど簡単なのでしょうか? これは調査すべき方向性です。この場合、LAION ベースのトレーニングの場合のように、コンピューティングに数百万ドルを費やす必要がなく、個人向けの新しいアーキテクチャを試すことが容易になるはずです。

更なる品質向上

現在のモデルでどこまで到達できるかを見るのは興味深いので、2M サブセットではなく完全なデータセットを使用して、もう少し微調整したいと思います。しかし、制限要因は微調整の量ではなく、データセットの品質であると思われます (つまり、モデルの品質を向上させるには、より高品質の画像のみをフィードするか、モデルを支援するコンディショナーに特別な識別子を追加する必要があります)。良い画像と悪い画像を区別するため)。私の知る限り、アニメにはこのような信頼できるモデルはありません (一般的なイメージでは、人々は LAION の「美学」サブセットを使用します)。このモデルや WaifuDiffusion とは異なる素晴らしい結果を生み出すモデルもいくつかありますが (たとえば、Midjorney のアニメ モデルは、彼らの選りすぐりの画像の形でしか入手できません)、これは可能かもしれません。

高解像度の生成により、解像度以外の面でも品質が向上することに注意することが重要です。たとえば、悪名高い「AI ハンド」が改善されます。さらに 1024x1024 に増やすと、さらに改善されるのではないでしょうか。試してみるべきことは、潜在空間でカスケード拡散 (例: Imagen )を使用することです (例:潜在空間で 64x64 -> 128x128 -> 256x256、元の空間で 2048x2048 を生成)。

使いやすさ

私がリリースしようとしているものの 1 つの懸念は、それが概念実証であるということです。モデルのコードは SD とは異なるため、ほとんどのツール (特にプロンプ​​ト トークナイザー部分) と実際には互換性がありません。そのため、このモデルは他の利用可能なアニメ モデルよりも見栄えがしますが、使いやすさはそれほど優れていません。それに対する潜在的な解決策は、コミュニティ (または時間があれば私) が既存のツールと適切に統合するか、インターフェイスのレベルで SD と互換性を持たせることです。

参考文献

• 安定拡散 2
• 潜在拡散
• Danbooru2021 データセット

• Web UI を起動する手順
• モデル チェックポイント (ハグフェイス): 512x512、768x768、プロンプト オーグメンター
• モデルに適応した SD Github リポジトリ
• 768x768 デモ- 「評価: 安全」に制限されています。しばらくは実行し続けますが、最終的には維持しません。