Comment inclure les valeurs observées, et pas seulement leurs probabilités, dans l'entropie de l'information ?
L'entropie de Shannon mesure l'imprévisibilité du résultat d'une variable aléatoire en tant que moyenne pondérée des probabilités des résultats ou des valeurs observées de cette variable. Cependant, il ignore les valeurs réelles observées à partir desquelles les probabilités ont été dérivées, n'utilisant que des probabilités dans sa formule à la place. Cela semble être une perte d'informations importante puisque ce sont les valeurs observées, et non leurs probabilités, qui contiennent des détails tels que l'ampleur et la direction des réalisations de la variable aléatoire.
N'y a -t-il pas d'estimateurs d'entropie qui incluent les valeurs observées à côté des probabilités, de sorte qu'elles ne sont pas mesurées uniquement sur la base des probabilités ? Par exemple, une mesure d'entropie ajustée qui est une moyenne pondérée des probabilités et des valeurs observées d'une manière ou d'une autre ?
Réponses
L'entropie peut être développée comme surprise attendue , comme je l'ai essayé dans l'interprétation statistique de la distribution d'entropie maximale . Je vais travailler pour le cas discret maintenant, mais la plupart peuvent être reportés au cas continu.
Définir une fonction surprise $\sigma \colon p \mapsto \sigma(p)$qui envoie une probabilité à la valeur de surprise d'un événement ayant cette probabilité. Au fur et à mesure que vous êtes moins surpris par un événement plus probable,$\sigma$devrait diminuer, et$\sigma(1)=0$car vous n'êtes pas du tout surpris par un certain événement qui se produit. La fonction surprise$\log\left( \frac1p \right)$conduit à l'entropie de Shannon.
Tout d'abord, connectons cela à l'exemple de l'autre réponse de @Richard Hardy. Dénotons les valeurs discrètes par$x_i$et supposons qu'il s'agisse de nombres réels. Supposons qu'il y en ait un$x_m =\mu$, la valeur attendue, et que$p(x_i)\leq p(x_m)$, et si$(x_i-\mu)^2 \geq (x_j-\mu)^2$alors alors$p_i \leq p_j$. Dans ce cas$$ \sigma \colon x\mapsto (x-\mu)^2$$est une fonction de surprise et la surprise attendue correspondante est la variance. De cette façon, nous pouvons considérer la variance comme une sorte d'entropie !
Retour aux généralités. Une famille de fonctions de surprise est$$ \sigma_\alpha \colon [0,1]\mapsto [0, \infty]; \quad \sigma_\alpha(p)=\begin{cases} (1-\alpha)^{-1} (1-p^{\alpha-1})&, \alpha\not=1 \\ -\log p &, \alpha=1 \end{cases}$$La surprise attendue devient$$ D_\alpha(p_1, \dotsc, p_n)=\sum_i p_i \sigma_\alpha(p_i) = \\ \begin{cases} (\alpha-1)^{-1} (\left( 1-\sum_i p_i^\alpha\right) &, \alpha\not=1 \\ -\sum_i p_i\log p_i &, \alpha=1 \end{cases} $$et nous avons utilisé le nom$D$parce qu'en écologie c'est ce qu'on appelle la diversité (comme en biodiversité .) En écologie on présente souvent cela d'une autre manière en utilisant le concept de nombre effectif d'espèces . L'idée est qu'un écosystème avec$n$l'espèce est la plus diversifiée si la fréquence de toutes les espèces est la même, donc$p_i=1/n$. Dans d'autres cas, nous pouvons calculer certains$\text{effective number of species }\leq n$. J'ai écrit à ce sujet ici : En quoi l'indice Herfindahl-Hirschman est-il différent de l'entropie ? donc ne se répétera pas. Dans le cas de l'entropie de Shannon, le nombre effectif d'espèces est donné par l'exponentielle de l'entropie. Maintenant écris$A=\{p_1, \dotsc, p_n\}$et$$ \lvert A \rvert = e^{H(A)} =\prod_i p_i^{-p_i} $$et appelons cela la cardinalité de$A$, pour avoir un nom mathématique utile aussi en dehors de l'écologie. Considérez cela comme une mesure de la taille de$A$. Maintenant, nous voulons étendre cela pour toutes les fonctions de surprise$\sigma_\alpha$. Le résultat est (pour le moment je saute le développement)$$\lvert A \rvert_\alpha = \begin{cases} \left( \sum_i p_i^\alpha\right)^{\frac1{1-\alpha}}&,\alpha\not=1 \\ \prod_i p_i^{-p_i}&, \alpha=1 \end{cases} $$Maintenant, nous pouvons revenir à l'échelle d'entropie en prenant des logarithmes, et ainsi nous définissons le$\alpha$-entropie par$H_\alpha(A)=\log \lvert A \rvert_\alpha$. Ceci est généralement appelé l'entropie Renyi et a de meilleures propriétés mathématiques que le$\alpha$-la diversité. Tout cela et plus peut être trouvé à partir d' ici .
Les mesures dont nous avons parlé jusqu'ici n'utilisent que les probabilités$p_i$, donc nous n'avons pas encore répondu à la question --- donc un peu de patience ! Nous avons d'abord besoin d'un nouveau concept :
Cardinalité des espaces métriques Soit$A$être un ensemble de points$a_1, \dotsc, a_n$avec des distances données$d_{ij}$($d_{ij}=\infty$est autorisé.) Considérez cela comme un espace métrique fini, mais il n'est pas clair que nous ayons vraiment besoin de tous les axiomes de l'espace métrique. Définir une matrice$Z=\left( e^{-d_{ij}}\right)_{i,j}$et un vecteur$w$comme toute solution de$Z w = \left(\begin{smallmatrix}1\\ \vdots \\1 \end{smallmatrix}\right)$.$w$s'appelle une pondération de$A$. Nous pouvons maintenant définir la cardinalité de$A$comme la somme des composantes de$w$,$$ \lvert A \rvert_\text{MS} =\sum_i w_i $$C'est un exercice pour montrer que cela ne dépend pas du choix de$w$. Maintenant, nous voulons étendre cette définition à un ...
Espace de probabilité métrique $A=(p_1, \dotsc, p_n; d)$où$d$est une fonction de distance, une métrique. A chaque pointe$i$on associe une densité $\sum_j p_j e^{-d_{ij}}$. Depuis$e^{-d_{ij}}$est antimonotone au loin$d$, il représente une proximité , donc la densité peut être considérée comme une proximité attendue autour du point$i$, ce qui explique la densité terminologique. Définir une matrice de similarité $Z=\left( e^{-d_{ij}}\right)_{i,j}$et vecteur de probabilité$p=(p_1, \dotsc, p_n)$. À présent$Zp$est le vecteur densité. Par exemple, si toutes les distances$d_{ij}=\infty$alors$Z=I$, la matrice identité, donc$Zp=p$.
Maintenant, nous allons généraliser en remplaçant dans de nombreuses formules$p$avec$Zp$.
La surprise antérieure ne dépendait que des probabilités de l'événement observé. Maintenant, nous allons également prendre en compte les probabilités des points proches. Par exemple, vous serez probablement très surpris par un serpent python à Manhattan, mais maintenant nous allons mesurer cette surprise en tenant également compte des probabilités d'autres serpents... avec la fonction surprise$\sigma$, la surprise attendue est maintenant définie comme$\sum_i p_i \sigma\left( (Zp)_i\right)$pour un espace métrique discret avec tout$d_{ij}=\infty$, ce n'est pas un changement.
La diversité est maintenant généralisée à$$ D_\alpha(A)=\sum_i p_i \sigma_\alpha\left( (Zp)_i\right)= \begin{cases} (\alpha-1)^{-1} \left(1-\sum_i p_i(Zp)_i^{\alpha-1} \right)&,\alpha\not=1 \\ -\sum_i p_i \log\left( (Zp)_i\right) &, \alpha=1\end{cases} $$Par exemple, avec$\alpha=2$,$D_2(A)= p^T \Delta p$,$\Delta=\left( 1-e^{-d_{ij}}\right)_{i,j}$est connu sous le nom d'indice de diversité quadratique de Rao ou d'entropie quadratique de Rao.
$\alpha$-Cardinalité En conséquence, nous avons$$ \lvert A\rvert_{\alpha} = \frac1{\sigma_\alpha^{-1}(D_\alpha(A))}= \begin{cases} \left( \sum_i p_i (Zp)_i^{\alpha-1} \right)^{\frac1{1-\alpha}}&,\alpha\not=1 \\ \prod_i (Zp)_i^{-p_i} &, \alpha=1 \end{cases} $$et maintenant le...
$\alpha-entropy$s'obtient en prenant les logarithmes des$\alpha$-cardinalité, et de cette façon nous avons maintenant obtenu une entropie où les distances entre les points jouent un rôle. Tout cela et bien plus encore peut être trouvé ici au café n-Category . Il s'agit encore d'une théorie relativement nouvelle, de sorte que de nouveaux développements peuvent être attendus. Les idées viennent à l'origine des écologistes théoriques.
L'entropie mesure la quantité de caractère aléatoire ou de surprise d'un phénomène/expérience aléatoire , pas nécessairement une variable aléatoire (cette dernière n'a même pas besoin d'être définie).
En ce qui concerne votre question, des mesures de propagation telles que l'écart absolu moyen, la variance, etc. pourraient être pertinentes. Par exemple, la variance pourrait en effet être considérée comme une mesure d'entropie ajustée qui est une moyenne pondérée des probabilités et des valeurs [observées] . Pour une variable aléatoire continue d'espérance$\mu_X$et densité de probabilité$f(x)$,$$ \text{Var}(X)=\int_{-\infty}^{\infty}(x-\mu_X)^2f(x)\ dx; $$pour un discret avec des valeurs possibles$x_1,\dots,x_n$avec les probabilités correspondantes$p_1,\dots,p_n$et avec attente$\mu_X$, c'est$$ \text{Var}(X)=\sum_{i=1}^{n}(x_i-\mu_X)^2 p_i. $$Vous pouvez voir à la fois les valeurs possibles et leurs probabilités/densités jouer un rôle.