Bilgi entropisine sadece olasılıkları değil, gözlemlenen değerler nasıl dahil edilir?
Shannon entropisi, rastgele bir değişkenin sonucundaki öngörülemezliği , o değişkenin sonuçlarının veya gözlemlenen değerlerin olasılıklarının ağırlıklı ortalaması olarak ölçer . Ancak, olasılıkların türetildiği gerçek gözlemlenen değerleri , bunun yerine yalnızca formülündeki olasılıkları kullanarak atar . Bu, rastgele değişkenin gerçekleşmelerinin büyüklüğü ve yönü gibi ayrıntıları içeren olasılıkları değil, gözlemlenen değerler olduğu için önemli bir bilgi kaybı gibi görünüyor.
Olasılıkların yanı sıra gözlemlenen değerleri de içeren , böylece yalnızca olasılıklara dayalı olarak ölçülemeyecek herhangi bir entropi tahmin edicisi yok mu? Örneğin, bir şekilde olasılıkların ve gözlemlenen değerlerin ağırlıklı ortalaması olan ayarlanmış bir entropi ölçüsü ?
Yanıtlar
Maksimum Entropi Dağılımının İstatistiksel yorumunda denediğim gibi, entropi beklendiği gibi geliştirilebilir . Şimdi ayrı durum için çalışacağım, ancak çoğu sürekli duruma taşınabilir.
Sürpriz bir işlev tanımlayın $\sigma \colon p \mapsto \sigma(p)$bu olasılığa sahip bir olayın sürpriz değerine bir olasılık gönderiyor. Daha olası bir olay sizi daha az şaşırttığında,$\sigma$ azalıyor olmalı ve $\sigma(1)=0$meydana gelen belirli bir olay karşısında hiç şaşırmadığınız gibi. Sürpriz işlevi$\log\left( \frac1p \right)$ Shannon entropisine yol açar.
Öncelikle, bunu @Richard Hardy'nin diğer cevabındaki örneğe bağlayalım. Ayrık değerleri şu şekilde belirtin:$x_i$ve bunların gerçek sayılar olduğunu varsayalım. Varsayalım bir tane var$x_m =\mu$, beklenen değer ve bu $p(x_i)\leq p(x_m)$, ve eğer $(x_i-\mu)^2 \geq (x_j-\mu)^2$ sonra bu yüzden $p_i \leq p_j$. Bu durumda$$ \sigma \colon x\mapsto (x-\mu)^2$$sürpriz bir fonksiyondur ve buna karşılık gelen beklenen sürpriz varyanstır. Bu şekilde, varyansı bir tür entropi olarak kabul edebiliriz!
Genellere geri dönelim. Sürpriz işlevlerden oluşan bir aile$$ \sigma_\alpha \colon [0,1]\mapsto [0, \infty]; \quad \sigma_\alpha(p)=\begin{cases} (1-\alpha)^{-1} (1-p^{\alpha-1})&, \alpha\not=1 \\ -\log p &, \alpha=1 \end{cases}$$ Beklenen sürpriz olur $$ D_\alpha(p_1, \dotsc, p_n)=\sum_i p_i \sigma_\alpha(p_i) = \\ \begin{cases} (\alpha-1)^{-1} (\left( 1-\sum_i p_i^\alpha\right) &, \alpha\not=1 \\ -\sum_i p_i\log p_i &, \alpha=1 \end{cases} $$ ve adını kullandık $D$çünkü ekolojide bu çeşitlilik olarak bilinir ( biyolojik çeşitlilikte olduğu gibi ). Ekolojide kişi bunu genellikle etkili tür sayısı kavramını kullanarak başka bir şekilde sunar . Buradaki fikir, bir ekosistemin$n$ tüm türlerin sıklığı aynı ise türler çok çeşitlidir, bu nedenle $p_i=1/n$. Diğer durumlarda bazılarını hesaplayabiliriz$\text{effective number of species }\leq n$. Bunu burada yazdım: Herfindahl-Hirschman endeksi entropiden nasıl farklıdır? bu yüzden tekrar etmeyecek. Shannon entropisi durumunda, etkili tür sayısı entropinin üssü ile verilir. Şimdi yaz$A=\{p_1, \dotsc, p_n\}$ ve $$ \lvert A \rvert = e^{H(A)} =\prod_i p_i^{-p_i} $$ ve buna kardinalite deyin $A$, ekoloji dışında da yararlı bir matematiksel isme sahip olmak. Bunu boyutunun bir ölçüsü olarak düşünün.$A$. Şimdi bunu tüm sürpriz işlevler için genişletmek istiyoruz$\sigma_\alpha$. Sonuç (geliştirmeyi atladığım an için)$$\lvert A \rvert_\alpha = \begin{cases} \left( \sum_i p_i^\alpha\right)^{\frac1{1-\alpha}}&,\alpha\not=1 \\ \prod_i p_i^{-p_i}&, \alpha=1 \end{cases} $$ Şimdi logaritma alarak entropi ölçeğine geri dönebiliriz ve bu nedenle $\alpha$tarafından entropi $H_\alpha(A)=\log \lvert A \rvert_\alpha$. Buna genellikle Renyi-entropi denir ve daha iyi matematiksel özelliklere sahiptir.$\alpha$-çeşitlilik. Bu ve daha tüm itibaren bulabilirsiniz burada .
Şimdiye kadar tartıştığımız önlemler sadece olasılıkları kullanıyor $p_i$, bu yüzden soruyu henüz cevaplamadık --- bu yüzden biraz sabır! Önce yeni bir konsepte ihtiyacımız var:
Metrik uzayların önemi Let$A$ bir dizi nokta olmak $a_1, \dotsc, a_n$ verilen mesafelerle $d_{ij}$ ($d_{ij}=\infty$izin verilir.) Bunu sonlu bir metrik uzay olarak düşünün, ancak tüm metrik uzay aksiyomlarına gerçekten ihtiyacımız olduğu açık değil. Bir matris tanımlayın$Z=\left( e^{-d_{ij}}\right)_{i,j}$ ve bir vektör $w$ herhangi bir çözüm olarak $Z w = \left(\begin{smallmatrix}1\\ \vdots \\1 \end{smallmatrix}\right)$. $w$Bir denir ağırlıklandırma arasında$A$. Şimdi asallığını tanımlayabiliriz$A$ bileşenlerinin toplamı olarak $w$, $$ \lvert A \rvert_\text{MS} =\sum_i w_i $$ Bunun seçiminize bağlı olmadığını göstermek için bir alıştırmadır. $w$. Şimdi bu tanımı bir ...
Metrik olasılık alanı $A=(p_1, \dotsc, p_n; d)$ nerede $d$bir mesafe fonksiyonu, bir metriktir. Her noktaya$i$bir yoğunluğu ilişkilendiririz $\sum_j p_j e^{-d_{ij}}$. Dan beri$e^{-d_{ij}}$ Uzaktaki antimonotondur $d$, bir yakınlığı temsil eder , bu nedenle yoğunluk nokta etrafında beklenen bir yakınlık olarak görülebilir$i$, terminoloji yoğunluğunu açıklıyor. Bir benzerlik matrisi tanımlayın $Z=\left( e^{-d_{ij}}\right)_{i,j}$ ve olasılık vektörü $p=(p_1, \dotsc, p_n)$. Şimdi$Zp$yoğunluk vektörüdür. Örneğin, tüm mesafeler$d_{ij}=\infty$ sonra $Z=I$, kimlik matrisi, yani $Zp=p$.
Şimdi birçok formülü değiştirerek genelleştireceğiz $p$ ile $Zp$.
Daha önceki sürpriz, yalnızca gözlemlenen olayın olasılıklarına bağlıydı. Şimdi yakındaki noktaların olasılıklarını da hesaba katacağız. Örneğin, Manhattan'daki bir piton yılanına muhtemelen çok şaşıracaksınız, ancak şimdi bu sürprizi diğer yılanların olasılıklarını da hesaba katarak ölçeceğiz ... sürpriz işlevi ile$\sigma$, beklenen sürpriz artık şu şekilde tanımlanmıştır: $\sum_i p_i \sigma\left( (Zp)_i\right)$ tümü ile ayrı bir metrik uzay için $d_{ij}=\infty$, bu bir değişiklik değil.
Çeşitlilik artık genelleştirildi$$ D_\alpha(A)=\sum_i p_i \sigma_\alpha\left( (Zp)_i\right)= \begin{cases} (\alpha-1)^{-1} \left(1-\sum_i p_i(Zp)_i^{\alpha-1} \right)&,\alpha\not=1 \\ -\sum_i p_i \log\left( (Zp)_i\right) &, \alpha=1\end{cases} $$ Örneğin $\alpha=2$, $D_2(A)= p^T \Delta p$, $\Delta=\left( 1-e^{-d_{ij}}\right)_{i,j}$ Rao'nun ikinci dereceden çeşitlilik indeksi veya Rao'nun ikinci dereceden entropisi olarak bilinir.
$\alpha$-Karşılık olarak elimizde$$ \lvert A\rvert_{\alpha} = \frac1{\sigma_\alpha^{-1}(D_\alpha(A))}= \begin{cases} \left( \sum_i p_i (Zp)_i^{\alpha-1} \right)^{\frac1{1-\alpha}}&,\alpha\not=1 \\ \prod_i (Zp)_i^{-p_i} &, \alpha=1 \end{cases} $$ ve şimdi ...
$\alpha-entropy$ logaritmaları alınarak elde edilir $\alpha$- kardinalite ve bu şekilde, noktalar arasındaki mesafelerin rol oynadığı bir entropi elde ettik. Bütün bunlar ve daha fazlası burada n-Category kafede bulunabilir . Bu hala nispeten yeni bir teori, bu nedenle yeni gelişmeler beklenebilir. Fikirler aslen teorik ekolojistlerden geliyor.
Entropi , rastgele bir fenomenin / deneyin rastlantısallık veya sürpriz miktarını ölçer, mutlaka rastgele bir değişken değildir (ikincisinin tanımlanması bile gerekmez).
Sorunuzla ilgili olarak, ortalama mutlak sapma, varyans ve benzeri gibi yayılma ölçüleri alakalı olabilir. Örneğin varyans, aslında olasılıkların ve [gözlemlenen] değerlerin ağırlıklı ortalaması olan ayarlanmış bir entropi ölçüsü olarak düşünülebilir . Beklenti ile sürekli bir rastgele değişken için$\mu_X$ ve olasılık yoğunluğu $f(x)$, $$ \text{Var}(X)=\int_{-\infty}^{\infty}(x-\mu_X)^2f(x)\ dx; $$ olası değerlere sahip ayrık biri için $x_1,\dots,x_n$ karşılık gelen olasılıklar ile $p_1,\dots,p_n$ ve beklenti ile $\mu_X$, bu $$ \text{Var}(X)=\sum_{i=1}^{n}(x_i-\mu_X)^2 p_i. $$ Hem olası değerleri hem de olasılıklarını / yoğunluklarının rol oynadığını görebilirsiniz.