Membuktikan ketidaksamaan probabilitas untuk mendapatkan batas atas untuk fungsi penghasil momen [tutup]
Saya terjebak dengan membuktikan ketidaksetaraan berikut.
Membiarkan $X_i$menjadi independen rv di [0,1]. Menunjukkan$S=X_1+\dots+X_n$.
Perhatikan bahwa untuk semua $a\in \mathbb{R}$ dan $0\leq x\leq 1$, kita punya $$e^{ax}\leq 1-x+xe^a \tag{0}$$
- Bagaimana cara menunjukkan ketidaksamaan berikut, yang memberikan batas atas untuk fungsi penghasil momen?
Untuk apapun $a\in \mathbb{R}$,
$$M_{X_i}(a) := \mathbb{E}[e^{aX_i}]\leq e^{\mathbb{E}[X_i](e^a-1)} \tag{1.1}$$ dan $$M_S(a) := \mathbb{E}[e^{aS}]\leq e^{\mathbb{E}[S](e^a-1)} \tag{1.2}$$
dengan asumsi masing-masing $M_{X_i}(a) := \mathbb{E}[e^{aX_i}]$ ada (dan dengan demikian $M_S(a)$ ada)
- Juga, bagaimana cara memperluasnya ke yang berikut ini?
Untuk apapun $0<t<1$,
$$\mathbb{P}(S\geq (1+t)\mathbb{E}[S])\leq(\frac{e^t}{(1+t)^{1+t}})^{\mathbb{E}[S]} \tag{2.1}$$
dan
$$\mathbb{P}(S\geq (1-t)\mathbb{E}[S])\leq(\frac{e^{-t}}{(1-t)^{1-t}})^{\mathbb{E}[S]} \tag{2.2}$$
Jawaban
(sebelumnya jawaban parsial. sekarang jawaban lengkap, saya harap).
Untuk membuktikan 1.1:
Ada ketidaksetaraan lain untuk digunakan: Kami memiliki untuk apa saja $b \in \mathbb R$ bahwa $$1+b \le e^b \tag{A}$$
Oleh $(0)$, $M_X(a) \le 1+(e^a-1)E[X]$. Oleh$(A)$ dengan $b=(e^a-1)E[X]$, kita mendapatkan $1+(e^a-1)E[X] \le e^{E[X](e^a-1)}$.
Catatan: Saya sebenarnya mendapat ketimpangan $(A)$ dari sini: https://en.wikipedia.org/wiki/Moment-generating_function#Other_properties -> di bagian dengan 'Ini mengikuti dari ketidaksetaraan sederhana'.
Untuk membuktikan 1.2 dari 1.1:
Dengan kemerdekaan (kemerdekaan $X_i$ menyiratkan kemerdekaan $e^{aX_i}$ karena $f(x)=e^{ax}, f: \mathbb R \to \mathbb R$dapat diukur atau sesuatu. lihat di sini atau di sini atau pertanyaan baru saya di sini ... atau gunakan definisi kemerdekaan dalam hal pemisahan kepadatan sendi atau sesuatu),
$$\mathbb{E}[e^{a(\sum_i X_i)} = \prod_i e^{aX_i}] = \prod_i E[e^{aX_i}]$$
Kemudian 1.1 kata $E[e^{aX_i}] \le e^{\mathbb{E}[X_i](e^a-1)}$. Karenanya, dari non-negativitas masing-masing$E[e^{aX_i}]$,
$$\mathbb{E}[e^{a(\sum_i X_i)}] \le \prod_i e^{\mathbb{E}[X_i](e^a-1)} = e^{\sum_i \mathbb{E}[X_i](e^a-1)} = e^{E[S](e^a-1)}$$
Untuk 2 (percobaan 1):
Tidak yakin ketidaksetaraan Markov membantu, tapi ...
Ketimpangan Markov, dengan asumsi berlaku, memberi
$$\mathbb{P}(S\geq (1 \pm t)\mathbb{E}[S])\le \frac{E[S]}{(1 \pm t)\mathbb{E}[S]} = \frac{1}{1 \pm t}$$
Di sini, ketimpangan Markov berlaku karena $S$, $1 \pm t$ dan $\mathbb{E}[S]$ tidak negatif, TAPI JIKA $\mathbb{E}[S]$bukan nol. Pada titik ini, saya kira mari kita gunakan bahwa variabel acak non-negatif memiliki mean nol jika dan hanya jika hampir pasti nol .
Untuk 2 (percobaan 2):
Saya pikir ketidaksetaraan Markov membantu tetapi tidak untuk $P(S \ge (1 \pm t)\mathbb{E}[S])$ secara langsung melainkan untuk $P(S \ge (1 \pm t)\mathbb{E}[S]) = P(e^{mS} \ge e^{m[(1 \pm t)\mathbb{E}[S])]})$, untuk apa saja $m > 0$. Kita mendapatkan
$$P(S \ge (1 \pm t)\mathbb{E}[S]) \le e^{-m((1 \pm t)\mathbb{E}[S])} M_S(m) \tag{B}$$
berdasarkan (lihat di sini ) bahwa untuk variabel acak apa pun$Z$ (tidak harus non-negatif) dan untuk apa pun $z$ (tidak harus positif) dan untuk apa pun $m > 0$
$$P(Z \ge z) \le e^{-zm} M_Z(m) := e^{-zm} E[e^{mZ}]$$
Saya rasa saya mendapatkannya untuk (2.1):
Di $(B)$, pilih $m=\ln(1+t)$, yang memang positif untuk $0 < t$ (tidak yakin di mana $t < 1$digunakan. mungkin ini digunakan lebih dalam (2.2)) dan kemudian digunakan$(0)$ di $E[e^{mS}]$ dengan $a=m$:
$$P(S \ge (1 + t)\mathbb{E}[S]) \le e^{(e^m-1-m-mt)E[S]}$$
lalu $e^{(e^m-1-m-mt)E[S]}$ memang $\le (\frac{e^t}{(1+t)^{1+t}})^{\mathbb{E}[S]}$, yang (saya harap!) benar jika dan hanya jika $(e^m-1-m-mt)E[S] \le \mathbb{E}[S] \ln(\frac{e^t}{(1+t)^{1+t}})$, yang benar jika dan hanya jika $e^m-1-m+mt \le \ln(\frac{e^t}{(1+t)^{1+t}} = t - (1+t)\ln(1+t)$
Demikian pula untuk 2.2: (mungkin terkait: Latihan terkait Borel-Cantelli: Tunjukkan itu$\sum_{n=1}^{\infty} p_n < 1 \implies \prod_{n=1}^{\infty} (1-p_n) \geq 1- S$. )
Melakukan $m=ln(1-t)$. Sekarang ini menggunakan$t < 1$ (tidak yakin jika $0 < t$digunakan). Daripada harus membuktikan '$e^m-1-m-mt \le t - (1+t)\ln(1+t)$', kita harus membuktikan ... juga
$e^m-1-m+mt \le - t \pm (1-t)\ln(1-t)$. Anda memeriksa ulang yang mana dari$\pm$ tapi bagaimanapun saya yakin kami punya
$e^m-1-m+mt \le - t - (1-t)\ln(1-t)$. Akhirnya, jika itu adalah file$+$, gunakan saja itu $- t - (1-t)\ln(1-t) \le - t + (1-t)\ln(1-t)$.
Catatan : Ingatlah untuk membuktikan ketidaksetaraan Markov, jika Anda belum melakukannya di kelas!