機械学習でKLダイバージェンスが頻繁に使用されるのはなぜですか？

Dec 15 2020

KLダイバージェンスは、ガウス分布などの単純な分布の閉じた形式で計算するのは非常に簡単ですが、あまり良くない特性がいくつかあります。たとえば、対称ではなく（したがって、メトリックではありません）、三角不等式を尊重しません。

MLで頻繁に使用される理由は何ですか？代わりに使用できる他の統計的距離はありませんか？

回答

2 rhdxor Dec 19 2020 at 16:52

この質問は、検討しているMLの領域によって理由が異なる可能性があるという意味で、非常に一般的です。以下は、KL発散が自然な結果であるMLの2つの異なる領域です。

分類：対数尤度を最大化する（または負の対数尤度を最小化する）ことは、ワンホットターゲットが参照として一般的に使用されるDLベースの分類で一般的に使用されるKL発散を最小化することと同等です（を参照）。https://stats.stackexchange.com/a/357974）。さらに、ワンホットベクターがある場合$e_y$ と $1$ インデックスで $y$、クロスエントロピーを最小限に抑える $\min_{\hat{p}}H(e_y, \hat{p}) = - \sum_y e_y \log \hat{p}_y = - \log \hat{p}$要約すると、対数尤度を最大化することになります。要約すると、対数尤度を最大化することは間違いなく自然な目的であり、KLダイバージェンス（0 log 0を0として定義）は、目的として明示的に動機付けられるのではなく、通常の設定での対数尤度と同等であるために発生します。
多腕バンディット（強化学習のサブエリア）：信頼上限（UCB）は、標準的な濃度の不平等から導出されたアルゴリズムです。ベルヌーイ報酬のあるMABを検討する場合、チェルノフの限界を適用し、自由パラメーターを最適化して、以下に示すようにKL発散で表される上限を取得できます（を参照）。https://page.mi.fu-berlin.de/mulzer/notes/misc/chernoff.pdf いくつかの異なる証明のために）。

しましょう $X_1, \dots, X_n$ パラメータ付きのベルヌーイRVをiidする $p$。 $$P(\sum_i X_i \geq (p+t)n) \leq \inf_\lambda M_X (\lambda) e^{-\lambda t} = \exp(-n D_{KL}(p+t||p)).$$

1 ArayKarjauv Dec 19 2020 at 21:11

MLでは、データの出所となる未知の確率分布を常に扱います。実際の分布とモデルの分布の間の距離を計算する最も一般的な方法は、$KL$ 発散。

なぜカルバック・ライブラー発散なのか？

他の損失関数（MSE、MAEなど）がありますが、 $KL$確率分布を扱う場合、発散は自然です。これは、2つの確率分布がどれだけ近いかをビット単位で定量化する情報理論の基本方程式です。これは相対エントロピーとも呼ばれ、その名前が示すように、情報理論の中心的な概念であるエントロピーと密接に関連しています。離散ケースのエントロピーの定義を思い出してみましょう。

$$ H = -\sum_{i=1}^{N} p(x_i) \cdot \text{log }p(x_i) $$

ご覧のとおり、エントロピー自体は単一の確率分布の尺度にすぎません。2番目の分布を追加してこの式を少し変更すると、次のようになります。$KL$ 発散：

$$ D_{KL}(p||q) = \sum_{i=1}^{N} p(x_i)\cdot (\text{log }p(x_i) - \text{log }q(x_i)) $$

どこ $p$ データ分布であり、 $q$ モデル配布です。

ご覧のとおり、 $KL$発散は、2つの分布を比較する最も自然な方法です。さらに、計算は非常に簡単です。この記事はこれについてより多くの直感を提供します：

基本的に、KL発散で見ているのは、元の分布のデータの確率と近似分布のデータの対数差の期待値です。繰り返しますが、$log_2$ これは、「失われると予想される情報のビット数」と解釈できます。

クロスエントロピー

クロスエントロピーは、クラス全体の予測分布を表すため、ソフトマックス（またはシグモイド）出力層がある損失関数として機械学習で一般的に使用されます。ワンホット出力はモデル分布を表します$q$、真のラベルはターゲット分布を表します $p$。私たちの目標はプッシュすることです$q$ に $p$できるだけ近くに。すべての値の平均二乗誤差を取ることも、絶対差を合計することもできますが、情報理論によって動機付けられる1つの尺度はクロスエントロピーです。として配布されたサンプルをエンコードするために必要な平均ビット数を示します。$p$、を使用して $q$ エンコーディング分布として。

エントロピーに基づくクロスエントロピー。通常、2つの確率分布の差を計算し、 $KL$発散。違いは、分布間の合計エントロピーを計算する一方で、$KL$発散は相対エントロピーを表します。コルスエントロピーは次のように定義できます。

$$ H(p, q) = H(p) + D_{KL}(p \parallel q) $$

この方程式の最初の項は、真の確率分布のエントロピーです。 $p$ のエントロピーが $p$は一定です。したがって、クロスエントロピーを最小化することは、最適化することと同じです。$KL$ 発散。

対数尤度

（対数）尤度を最大化することは、クロスエントロピーを最小化することと同等であることも示すことができます。

制限事項

あなたが言ったように、 $KL$発散は対称的ではありません。ただし、ほとんどの場合、これは重要ではありません。モデルの分布を実際の分布に近づけることで推定したいのですが、その逆はありません。イェンセン・シャノン発散と呼ばれる対称化されたバージョンもあります。$$ D_{JS}(p||q)=\frac{1}{2}D_{KL}(p||m)+\frac{1}{2}D_{KL}(q||m) $$ どこ $m=\frac{1}{2}(p+q)$。

の主な欠点 $KL$未知の分布とモデル分布の両方がサポートされている必要があるということです。それ以外の場合は$D_{KL}(p||q)$ になります $+\infty$ そして $D_{JS}(p||q)$ になります $log2$

第二に、注意する必要があります $KL$三角不等式に違反するため、はメトリックではありません。つまり、モデル分布を推定するときに正しい方向に進んでいるかどうかがわからない場合があります。これは、この回答から抜粋した例です。2つの離散分布が与えられた$p$ そして $q$、計算します $KL$ 発散とワッサースタイン計量：

ご覧のように、 $KL$ 発散は同じままでしたが、ワッサースタインメトリックは減少しました。

しかし、コメントで述べられているように、ワッサースタイン計量は連続空間では非常に扱いにくいです。WassersteinGANで使用されているKantorovich-Rubinsteinの二重性を適用することで引き続き使用できます。このトピックの詳細については、この記事を参照してください。