Pourquoi la divergence KL est-elle si souvent utilisée dans le Machine Learning?

Dec 15 2020

La divergence KL est assez facile à calculer sous forme fermée pour des distributions simples - telles que les gaussiens - mais a des propriétés pas très intéressantes. Par exemple, il n'est pas symétrique (donc ce n'est pas une métrique) et il ne respecte pas l'inégalité triangulaire.

Quelle est la raison pour laquelle il est utilisé si souvent en ML? N'y a-t-il pas d'autres distances statistiques qui peuvent être utilisées à la place?

Réponses

2 rhdxor Dec 19 2020 at 16:52

Cette question est très générale en ce sens que la raison peut différer selon le domaine de ML que vous envisagez. Voici deux zones différentes de ML où la divergence KL est une conséquence naturelle:

  • Classification: maximiser la log-vraisemblance (ou minimiser la log-vraisemblance négative) équivaut à minimiser la divergence KL, comme cela est généralement utilisé dans la classification basée sur DL où des cibles à un point chaud sont couramment utilisées comme référence (voirhttps://stats.stackexchange.com/a/357974). De plus, si vous avez un vecteur one-hot$e_y$ avec $1$ à l'index $y$, minimisant l'entropie croisée $\min_{\hat{p}}H(e_y, \hat{p}) = - \sum_y e_y \log \hat{p}_y = - \log \hat{p}$se résume à maximiser le log-vraisemblance. En résumé, maximiser la log-vraisemblance est sans doute un objectif naturel, et la divergence KL (avec 0 log 0 défini comme 0) survient en raison de son équivalence à la log-vraisemblance dans des contextes typiques, plutôt que d'être explicitement motivée comme objectif.
  • Bandits à plusieurs bras (un sous-domaine de l'apprentissage par renforcement): La limite de confiance supérieure (UCB) est un algorithme dérivé des inégalités de concentration standard. Si nous considérons les MAB avec des récompenses de Bernoulli, nous pouvons appliquer la borne de Chernoff et optimiser le paramètre libre pour obtenir une borne supérieure exprimée en termes de divergence KL comme indiqué ci-dessous (voirhttps://page.mi.fu-berlin.de/mulzer/notes/misc/chernoff.pdf pour quelques preuves différentes).

Laisser $X_1, \dots, X_n$ be iid Bernoulli RVs avec paramètre $p$. $$P(\sum_i X_i \geq (p+t)n) \leq \inf_\lambda M_X (\lambda) e^{-\lambda t} = \exp(-n D_{KL}(p+t||p)).$$

1 ArayKarjauv Dec 19 2020 at 21:11

En ML, nous traitons toujours des distributions de probabilité inconnues dont proviennent les données. Le moyen le plus courant de calculer la distance entre la distribution réelle et la distribution du modèle est$KL$ divergence.

Pourquoi la divergence Kullback – Leibler?

Bien qu'il existe d'autres fonctions de perte (par exemple MSE, MAE), $KL$la divergence est naturelle lorsqu'il s'agit de distributions de probabilité. C'est une équation fondamentale de la théorie de l'information qui quantifie, en bits, la proximité de deux distributions de probabilité. Elle est également appelée entropie relative et, comme son nom l'indique, elle est étroitement liée à l'entropie, qui à son tour est un concept central de la théorie de l'information. Rappelons la définition de l'entropie pour un cas discret:

$$ H = -\sum_{i=1}^{N} p(x_i) \cdot \text{log }p(x_i) $$

Comme vous l'avez observé, l'entropie en elle-même n'est qu'une mesure d'une distribution de probabilité unique. Si on modifie légèrement cette formule en ajoutant une seconde distribution, on obtient$KL$ divergence:

$$ D_{KL}(p||q) = \sum_{i=1}^{N} p(x_i)\cdot (\text{log }p(x_i) - \text{log }q(x_i)) $$

$p$ est une distribution de données et $q$ est la distribution du modèle.

Comme on peut le voir, $KL$la divergence est la manière la plus naturelle de comparer 2 distributions. De plus, c'est assez facile à calculer. Cet article fournit plus d'intuition à ce sujet:

Essentiellement, ce que nous regardons avec la divergence KL est l'espérance de la différence logarithmique entre la probabilité de données dans la distribution d'origine avec la distribution approximative. Encore une fois, si nous pensons en termes de$log_2$ nous pouvons l'interpréter comme «combien de bits d'information nous nous attendons à perdre».

Entropie croisée

L'entropie croisée est couramment utilisée dans l'apprentissage automatique en tant que fonction de perte où nous avons une couche de sortie softmax (ou sigmoïde), car elle représente une distribution prédictive sur les classes. La sortie one-hot représente une distribution de modèle$q$, alors que les vraies étiquettes représentent une distribution cible $p$. Notre objectif est de pousser$q$ à $p$aussi proche que possible. Nous pourrions prendre une erreur quadratique moyenne sur toutes les valeurs, ou nous pourrions additionner les différences absolues, mais la seule mesure motivée par la théorie de l'information est l'entropie croisée. Il donne le nombre moyen de bits nécessaires pour coder les échantillons répartis comme$p$, en utilisant $q$ comme distribution de codage.

Entropie croisée basée sur l'entropie et calcule généralement la différence entre deux distributions de probabilité et étroitement liée à $KL$divergence. La différence est qu'il calcule l'entropie totale entre les distributions, tandis que$KL$la divergence représente l'entropie relative. Corss-entropie peut être définie comme suit:

$$ H(p, q) = H(p) + D_{KL}(p \parallel q) $$

Le premier terme de cette équation est l'entropie de la vraie distribution de probabilité $p$ qui est omis lors de l'optimisation, car l'entropie de $p$est constante. Par conséquent, minimiser l'entropie croisée équivaut à optimiser$KL$ divergence.

Probabilité du journal

On peut également montrer que maximiser la (log) vraisemblance équivaut à minimiser l'entropie croisée.

Limites

Comme vous l'avez mentionné, $KL$la divergence n'est pas symétrique. Mais dans la plupart des cas, ce n'est pas critique, car nous voulons estimer la distribution du modèle en la poussant vers la distribution réelle, mais pas l'inverse. Il existe également une version symétrisée appelée divergence Jensen – Shannon :$$ D_{JS}(p||q)=\frac{1}{2}D_{KL}(p||m)+\frac{1}{2}D_{KL}(q||m) $$$m=\frac{1}{2}(p+q)$.

Le principal inconvénient de $KL$est que la distribution inconnue et la distribution modèle doivent être prises en charge. Sinon, le$D_{KL}(p||q)$ devient $+\infty$ et $D_{JS}(p||q)$ devient $log2$

Deuxièmement, il convient de noter que $KL$n'est pas une métrique, car elle viole l'inégalité triangulaire. Autrement dit, dans certains cas, cela ne nous dira pas si nous allons dans la bonne direction lors de l'estimation de la distribution de notre modèle. Voici un exemple tiré de cette réponse . Étant donné deux distributions discrètes$p$ et $q$, nous calculons $KL$ divergence et métrique de Wasserstein:

Comme vous pouvez le voir, $KL$ la divergence est restée la même, tandis que la métrique de Wasserstein a diminué.

Mais comme mentionné dans les commentaires, la métrique de Wasserstein est hautement insoluble dans un espace continu. Nous pouvons toujours l'utiliser en appliquant la dualité Kantorovich-Rubinstein utilisée dans Wasserstein GAN . Vous pouvez également en savoir plus sur ce sujet dans cet article .

Les 2 inconvénients de $KL$peut être atténué en ajoutant du bruit. Plus à ce sujet dans cet article