離散分布が均一であるかどうかを測定する方法は？
2つのベクトル[1,2,1,2,2]と[1,2,1,1,1]があるとします。各次元の数値は、1つの要素の頻度です。これらの2つのベクトルが一様分布に近いかどうかを測定するにはどうすればよいですか？これが連続値であるかどうかはわかっていますが、2つのベクトルのエントロピーを計算できます。エントロピーが高い方が一様分布に近くなります。しかし今、私は離散最適化問題を解いているので、整数値しか使用できません。
現在、値の計算を考えていますmax([1,2,1,2,2]) - min([1,2,1,2,2])。スコアが低いベクトルは、一様分布に近くなります。より良い方法はありますか？
回答
あなたの提案はうまくいくはずです。
別の提案をします。これも、均一性からの不一致の整数値を生成します。コメントに示されているように、アプリケーションに適しているかどうかを判断するのに十分な情報がありません。
通常のカイ2乗適合度統計は次のとおりです。 $\sum_i (O_i-E_i)^2/E_i$ （どこ $O_i$ カテゴリで観測された数です $i$ そして $E_i$予想される数です）。完全な均一性からの逸脱に使用する場合、$E_i=N/k$、 どこ $N=\sum_i O_i$ は総数であり、 $k$ カテゴリの数です。
均一性からのこのカイ2乗統計は、カウントの単純な分散にも関連しています。
この統計は、次のように、均一性の場合に単純化されることに注意してください。
\ begin {eqnarray} \ sum_i（O_i-E_i）^ 2 / E_i＆=＆\ sum_i（O_i-N / k）^ 2 /（N / k）\\＆=＆\ frac {k} {N} \ sum_i（O_i-N / k）^ 2 \\＆=＆\ frac {k} {N} \ sum_i [O_i ^ 2-2N / k \ cdot O_i +（N / k）^ 2] \\＆=＆\ frac {k} {N} [\ sum_i O_i ^ 2-2N / k \ sum_i O_i + \ sum_i（N / k）^ 2）] \\＆=＆\ frac {k} {N} [\ sum_i O_i ^ 2 -2N / k \ cdot N + k \ cdot（N / k）^ 2）] \\＆=＆（\ frac {k} {N} \ sum_i O_i ^ 2）-2N + N \\＆=＆（\ frac {k} {N} \ sum_i O_i ^ 2）-N \ end {eqnarray}
次に、カイ2乗統計の単純な線形再スケーリングは次のようになります。 $\sum_i O_i^2$、整数値になります。
と $r={N\mod k}$、あなたは置くことによって可能な限り最小のそのような値を計算することができます $\lfloor N/k\rfloor$ （平均カウントは切り捨てられます）に $k-r$ ビンと $\lceil N/k \rceil$ （同じ、切り上げ）に $r$ビン。上記の二乗カウントの合計からこの配置の二乗カウントの合計を差し引くことは合理的ですが、必須ではありません。これは次のような配置になります$[1,2,1,2,2]$ 値を取得する $0$、小さくすることはできませんので。このような配置でゼロ以外の値を取得したい場合は、$\sum O_i^2$ 正確に等しい割り当ての下で $N^2/k$、ただし、このような場合、これは整数にはならないため、から減算する前に切り捨てる必要があります。 $\sum O_i^2$ （切り捨ては違いを意味します $(\sum O_i^2)-\lfloor N^2/k\rfloor$ スプレッドが完全に均一である場合にのみ、正確にゼロになります）。
離散の場合も連続の場合と同じようにエントロピーを使用できます。たとえば、上の離散一様分布$\{ 1,2,\dotsc,n \}$また、同じサポート上のすべてのディストリビューション間のエントロピーを最大化します。そのサポートセットがいくつかの離散セットへの単なるインデックスの整数であるかどうかは問題ではないことに注意してください$\{ x_1, x_2, \dotsc, x_n \}$ エントロピー以来 $$ H=-\sum_i p_i \log p_i $$サポートセットの実際の値はまったく含まれていません。それは連続エントロピーとの重要な違いです$-\int f(x)\log f(x)\; dx$ これは実際に差分を介してサポートの値を使用します $d x$。
したがって、エントロピーを使用するだけですが、他の可能性もあります。