Como incluir os valores observados, não apenas suas probabilidades, na entropia da informação?
A entropia de Shannon mede a imprevisibilidade no resultado de uma variável aleatória como a média ponderada das probabilidades dos resultados ou valores observados dessa variável. No entanto, ele descarta os valores reais observados dos quais as probabilidades foram derivadas, usando apenas as probabilidades em sua fórmula. Isso parece uma perda de informação significativa, uma vez que são os valores observados, não suas probabilidades, que contêm detalhes como magnitude e direção das realizações da variável aleatória.
Não existem estimadores de entropia que incluam os valores observados ao lado das probabilidades, de forma que ela não seja medida apenas com base nas probabilidades? Por exemplo, uma medida de entropia ajustada que é uma média ponderada das probabilidades e valores observados de alguma forma?
Respostas
A entropia pode ser desenvolvida como surpresa esperada , como tentei em Interpretação estatística da distribuição de entropia máxima . Vou trabalhar para o caso discreto agora, mas a maioria pode ser transportada para o caso contínuo.
Defina uma função surpresa $\sigma \colon p \mapsto \sigma(p)$que envia uma probabilidade ao valor surpresa de um evento com essa probabilidade. À medida que você fica menos surpreso com um evento mais provável,$\sigma$ deve estar diminuindo, e $\sigma(1)=0$como você não está surpreso com a ocorrência de um determinado evento. A função surpresa$\log\left( \frac1p \right)$ leva à entropia de Shannon.
Primeiro, vamos conectar isso ao exemplo na outra resposta de @Richard Hardy. Denote os valores discretos por$x_i$e suponha que sejam números reais. Suponha que haja um$x_m =\mu$, o valor esperado, e que $p(x_i)\leq p(x_m)$, e se $(x_i-\mu)^2 \geq (x_j-\mu)^2$ então então $p_i \leq p_j$. Nesse caso$$ \sigma \colon x\mapsto (x-\mu)^2$$é uma função surpresa e a surpresa esperada correspondente é a variância. Assim podemos considerar a variância uma espécie de entropia!
De volta às generalidades. Uma família de funções surpresa é$$ \sigma_\alpha \colon [0,1]\mapsto [0, \infty]; \quad \sigma_\alpha(p)=\begin{cases} (1-\alpha)^{-1} (1-p^{\alpha-1})&, \alpha\not=1 \\ -\log p &, \alpha=1 \end{cases}$$ A surpresa esperada torna-se $$ D_\alpha(p_1, \dotsc, p_n)=\sum_i p_i \sigma_\alpha(p_i) = \\ \begin{cases} (\alpha-1)^{-1} (\left( 1-\sum_i p_i^\alpha\right) &, \alpha\not=1 \\ -\sum_i p_i\log p_i &, \alpha=1 \end{cases} $$ e nós usamos o nome $D$porque em ecologia isso é conhecido como diversidade (como em biodiversidade ). Em ecologia, muitas vezes se apresenta isso de outra maneira, usando o conceito de número efetivo de espécies . A ideia é que um ecossistema com$n$ espécie é mais diversa se a frequência de todas as espécies for a mesma, então $p_i=1/n$. Em outros casos, podemos calcular alguns$\text{effective number of species }\leq n$. Escrevi sobre isso aqui: Como o índice Herfindahl-Hirschman difere da entropia? então não vou repetir. No caso da entropia de Shannon, o número efetivo de espécies é dado pela exponencial da entropia. Agora escreva$A=\{p_1, \dotsc, p_n\}$ e $$ \lvert A \rvert = e^{H(A)} =\prod_i p_i^{-p_i} $$ e chame isso de cardinalidade de $A$, para ter um nome matemático útil também fora da ecologia. Pense nisso como uma medida do tamanho de$A$. Agora queremos estender isso para todas as funções surpresa$\sigma_\alpha$. O resultado é (no momento eu salto o desenvolvimento)$$\lvert A \rvert_\alpha = \begin{cases} \left( \sum_i p_i^\alpha\right)^{\frac1{1-\alpha}}&,\alpha\not=1 \\ \prod_i p_i^{-p_i}&, \alpha=1 \end{cases} $$ Agora podemos voltar à escala de entropia tomando logaritmos, e assim definimos o $\alpha$-entropia por $H_\alpha(A)=\log \lvert A \rvert_\alpha$. Isso geralmente é chamado de Renyi-entropia, e tem melhores propriedades matemáticas do que o$\alpha$-diversidade. Tudo isso e muito mais pode ser encontrado começando aqui .
As medidas que discutimos até agora usam apenas as probabilidades $p_i$, então ainda não respondemos à pergunta --- então, um pouco de paciência! Primeiro, precisamos de um novo conceito:
Cardinalidade de espaços métricos Let$A$ seja um conjunto de pontos $a_1, \dotsc, a_n$ com distâncias dadas $d_{ij}$ ($d_{ij}=\infty$é permitido.) Pense nisso como um espaço métrico finito, mas não está claro se realmente precisamos de todos os axiomas do espaço métrico. Defina uma matriz$Z=\left( e^{-d_{ij}}\right)_{i,j}$ e um vetor $w$ como qualquer solução de $Z w = \left(\begin{smallmatrix}1\\ \vdots \\1 \end{smallmatrix}\right)$. $w$é chamado de ponderação de$A$. Agora podemos definir a cardinalidade de$A$ como a soma dos componentes de $w$, $$ \lvert A \rvert_\text{MS} =\sum_i w_i $$ É um exercício para mostrar que isso não depende da escolha de $w$. Agora queremos estender esta definição para um ...
Espaço de probabilidade métrica $A=(p_1, \dotsc, p_n; d)$ Onde $d$é uma função de distância, uma métrica. Para cada ponto$i$nós associamos uma densidade $\sum_j p_j e^{-d_{ij}}$. Desde a$e^{-d_{ij}}$ é antimonotone à distância $d$, representa uma proximidade , então a densidade pode ser vista como uma proximidade esperada em torno do ponto$i$, o que explica a densidade da terminologia. Defina uma matriz de similaridade $Z=\left( e^{-d_{ij}}\right)_{i,j}$ e vetor de probabilidade $p=(p_1, \dotsc, p_n)$. Agora$Zp$é o vetor densidade. Por exemplo, se todas as distâncias$d_{ij}=\infty$ então $Z=I$, a matriz de identidade, então $Zp=p$.
Agora vamos generalizar, substituindo em muitas fórmulas $p$ com $Zp$.
A surpresa anterior dependia apenas das probabilidades do evento observado. Agora também levaremos em consideração as probabilidades de pontos próximos. Por exemplo, você provavelmente ficará muito surpreso com uma cobra python em Manhattan, mas agora iremos medir essa surpresa também levando em consideração as probabilidades de outras cobras ... com a função surpresa$\sigma$, a surpresa esperada agora é definida como $\sum_i p_i \sigma\left( (Zp)_i\right)$ para um espaço métrico discreto com todos $d_{ij}=\infty$, isso não é mudança.
A diversidade agora é generalizada para$$ D_\alpha(A)=\sum_i p_i \sigma_\alpha\left( (Zp)_i\right)= \begin{cases} (\alpha-1)^{-1} \left(1-\sum_i p_i(Zp)_i^{\alpha-1} \right)&,\alpha\not=1 \\ -\sum_i p_i \log\left( (Zp)_i\right) &, \alpha=1\end{cases} $$ Por exemplo, com $\alpha=2$, $D_2(A)= p^T \Delta p$, $\Delta=\left( 1-e^{-d_{ij}}\right)_{i,j}$ é conhecido como índice de diversidade quadrática de Rao, ou entropia quadrática de Rao.
$\alpha$-Cardinalidade correspondentemente, temos$$ \lvert A\rvert_{\alpha} = \frac1{\sigma_\alpha^{-1}(D_\alpha(A))}= \begin{cases} \left( \sum_i p_i (Zp)_i^{\alpha-1} \right)^{\frac1{1-\alpha}}&,\alpha\not=1 \\ \prod_i (Zp)_i^{-p_i} &, \alpha=1 \end{cases} $$ e agora o ...
$\alpha-entropy$ é obtido tomando os logaritmos do $\alpha$-cardinalidade, e desta forma agora obtivemos uma entropia onde as distâncias entre os pontos desempenham um papel. Tudo isso e muito mais pode ser encontrado aqui no café Categoria n . Esta ainda é uma teoria relativamente nova, portanto, novos desenvolvimentos podem ser esperados. As ideias vêm originalmente de ecologistas teóricos.
A entropia mede a quantidade de aleatoriedade ou surpresa de um fenômeno / experimento aleatório , não necessariamente uma variável aleatória (esta última nem precisa ser definida).
Com relação à sua pergunta, medidas de dispersão, como desvio absoluto médio, variância e semelhantes, podem ser relevantes. Por exemplo, a variância pode de fato ser considerada uma medida de entropia ajustada que é uma média ponderada das probabilidades e valores [observados] . Para uma variável aleatória contínua com expectativa$\mu_X$ e densidade de probabilidade $f(x)$, $$ \text{Var}(X)=\int_{-\infty}^{\infty}(x-\mu_X)^2f(x)\ dx; $$ para um discreto com valores possíveis $x_1,\dots,x_n$ com as probabilidades correspondentes $p_1,\dots,p_n$ e com expectativa $\mu_X$, isto é $$ \text{Var}(X)=\sum_{i=1}^{n}(x_i-\mu_X)^2 p_i. $$ Você pode ver os valores possíveis e suas probabilidades / densidades desempenhando um papel.