Entropy rời rạc của phần nguyên của một biến ngẫu nhiên

Aug 04 2020

Để cho $X$là một biến ngẫu nhiên có giá trị thực. Tất nhiên, phần nguyên$\lfloor X \rfloor$ của $X$ là một biến ngẫu nhiên rời rạc nhận các giá trị trong $\mathbb{Z}$. Do đó, chúng ta có thể xác định entropy rời rạc của nó \ begin {method} H (\ lfloor X \ rfloor) = - \ sum_ {n \ in \ mathbb {Z}} \ mathbb {P} (\ lfloor X \ rfloor = n) \ log (\ mathbb {P} (\ lfloor X \ rfloor = n)), \ end {method} nằm trong$[0,\infty]$ dưới dạng tổng hợp các thuật ngữ không âm, vì $- x \log x \geq 0$ bất cứ gì $0 \leq x \leq 1$ (với quy ước $0\log 0 = 0$).

Tôi đang tìm kiếm các điều kiện đủ để $H(\lfloor X \rfloor ) < \infty$. Ví dụ, có đủ để biết rằng$X$ có một khoảnh khắc tuyệt đối hữu hạn $\mathbb{E}[|X|^p] < \infty$ cho một số $p>0$? Bất kỳ điều kiện nào thuộc loại này, có thể yếu hơn, đều được hoan nghênh.

Động lực: Có mối liên hệ chặt chẽ giữa entropy vi sai của$X$ (giả định $X$ có một pdf có entropy vi phân được xác định rõ) và entropy rời rạc của $\lfloor nX \rfloor$ khi nào $n\rightarrow0$. Đây là chủ đề chính của bài báo năm 1959 của Alfred Rényi với tiêu đề Về thứ nguyên và entropy của phân bố xác suất : Tôi đang đặt câu hỏi về các giả định mà theo đó entropy rời rạc được xác định rõ ràng.

Trả lời

6 AnthonyQuas Aug 04 2020 at 11:09

Từ $\lfloor X\rfloor$ có entropy hữu hạn nếu và chỉ khi $|\lfloor X\rfloor|$có entropy hữu hạn, nó đủ để coi các biến ngẫu nhiên nhận giá trị trong các số tự nhiên. Viết$p_n$ cho $\mathbb P(X=n)$ (vậy nên $\sum_n p_n=1$). Chúng ta có$X\in L^q$ nếu và chỉ nếu $\sum p_n n^q<\infty$.

Giả sử $X\in L^q$ vậy nên $\sum p_n n^q<\infty$. Sau đó, hãy để$S_1=\{n\colon p_n<\frac{1}{n^2}\}$$S_2=\{n\colon p_n\ge \frac 1{n^2}\}$. Chúng ta có$$ H(X)=\sum_n -p_n\log p_n=-\sum_{n\in S_1}p_n\log p_n-\sum_{n\in S_2}p_n\log p_n. $$ Từ $-t\log t$ đang tăng lên $[0,\frac 1e]$, tổng đầu tiên được giới hạn ở trên bởi $$ \sum_{n\in S_1}\frac{2\log n}{n^2}<\infty. $$ Tồn tại một $n_0$ vì vậy mà cho $n\ge n_0$, $2\log n<n^q$. Đối với$n\in S_2$ như vậy mà $n\ge n_0$, $-\log p_n<2\log n<n^q$, vậy nên $$ -\sum_{n\in S_2,\,n\ge n_0}p_n\log p_n\le \sum_{n\in S_2,\,n\ge n_0}p_n n^q<\infty. $$ Vì thế $H(X)<\infty$. (Thủ thuật này xuất hiện trong một vài bài báo của tôi: một tờ với Ciprian Demeter ở NYJM và một bài báo trước khác gần đây hơn với Tamara Kucherenko và Christian Wolf).

8 TerryTao Aug 05 2020 at 21:34

Sử dụng (giả sử) ký hiệu thập phân, mã hóa ASCII và ký hiệu dấu phân tách như dấu cách hoặc dấu phẩy, cũng như luật số lớn, người ta gần như chắc chắn có thể mã hóa $N$ bản sao độc lập của $\lfloor X \rfloor$ sử dụng $O( N {\bf E} \log( 2 + |X| ) ) + o(N)$chút ít. Áp dụng định lý mã hóa nguồn Shannon , chúng tôi kết luận rằng

$$ {\bf H}( \lfloor X \rfloor ) \ll {\bf E} \log(2 + |X| )$$

mà theo sự bất bình đẳng của Jensen cũng cho

$$ {\bf H}( \lfloor X \rfloor ) \ll_p \log(2 + {\bf E} |X|^p)$$

bất cứ gì $0 < p < \infty$.

7 IosifPinelis Aug 04 2020 at 19:54

$\newcommand{\fx}{\lfloor X\rfloor}$ $\newcommand\Z{\mathbb{Z}}$ Chúng tôi sẽ chứng minh nhiều hơn yêu cầu: rằng $H(\fx)<\infty$ nếu $E\ln(1+|X|)<\infty$.

Thật vậy, hãy $$p_n:=P(\fx=n),$$ vậy nên $$H(\fx)=-\sum_{n\in\Z}p_n\ln p_n.$$ Để cho $q\colon\mathbb R\to(0,\infty)$ là bất kỳ chức năng nào như vậy $$\sum_{n\in\Z}q(n)=1\tag{1}$$$$q(x)\le cq(\lfloor x\rfloor)\tag{2}$$ cho một số thực $c>0$ và tất cả đều có thật $x$.

Sau đó bằng bất đẳng thức Gibbs cho sự phân kỳ Kullback-Leibler giữa$(p_n)_{n\in\Z}$$(q(n))_{n\in\Z}$ chúng ta có $$0\le KL((p_n)_{n\in\Z}||(q(n))_{n\in\Z})=\sum_{n\in\Z}p_n\ln\frac{p_n}{q(n)}=-H(\fx)+\sum_{n\in\Z}p_n\ln\frac1{q(n)},$$ về sau, theo quan điểm của (2), $$H(\fx)\le\sum_{n\in\Z}p_n\ln\frac1{q(n)} \\ =\sum_{n\in\Z}\int_{[n,n+1)}P(X\in dx)\ln\frac1{q(n)} \\ \le\sum_{n\in\Z}\int_{[n,n+1)}P(X\in dx)\ln\frac c{q(x)} \\ =E\ln\frac c{q(X)}=\ln c+E\ln\frac1{q(X)}.$$ Vì thế, $$H(\fx)<\infty\quad\text{if}\quad E\ln\frac1{q(X)}<\infty.$$ Lấy ví dụ ở đây $q(x)=\frac C{(1+|x|)^2}$, Ở đâu $C:=1/\sum_{n\in\Z}\frac1{(1+|x|)^2}[=\frac3{\pi ^2-3}]$, ta có điều kiện (1) và (2) thỏa mãn. Vì thế,$$H(\lfloor X\rfloor)<\infty\quad\text{if}\quad E\ln(1+|X|)<\infty.$$ Nó theo sau đó cho bất kỳ thực $a>0$ $$H(\lfloor X\rfloor)<\infty\quad\text{if}\quad E|X|^a<\infty,$$ như mong muốn ban đầu.