Mengapa probabilitas log berguna?
Probabilitas pengamatan variabel acak berada dalam kisaran $[0,1]$, sedangkan probabilitas log mengubahnya menjadi skala log. Lalu apa kisaran yang sesuai dari probabilitas log, yaitu menjadi berapa probabilitas 0, dan apakah itu kisaran minimum, dan menjadi apa probabilitas 1, dan apakah ini kisaran probabilitas log maksimum? Apa intuisi dari keberadaan praktis ini dibandingkan dengan$[0,1]$?
Saya tahu bahwa probabilitas log memungkinkan perhitungan numerik yang stabil seperti penjumlahan, tetapi selain aritmatika, bagaimana transformasi ini membuat aplikasi menjadi lebih baik dibandingkan dengan kasus di mana probabilitas mentah digunakan? contoh komparatif untuk variabel acak kontinu sebelum dan sesudah logging akan bagus
Jawaban
Log dari $1$ hanya $0$ dan batasnya sebagai $x$ pendekatan $0$ (dari sisi positif) dari $\log x$ adalah $-\infty$. Jadi kisaran nilai probabilitas log adalah$(-\infty, 0]$.
Keuntungan sebenarnya ada di aritmatika. Probabilitas log tidak semudah dipahami sebagai probabilitas (bagi kebanyakan orang), tetapi setiap kali Anda mengalikan dua probabilitas (selain$1 \times 1 = 1$), Anda akan mendapatkan nilai yang mendekati $0$. Berurusan dengan angka sangat dekat$0$bisa menjadi tidak stabil dengan perkiraan presisi yang terbatas, jadi bekerja dengan log membuat segalanya lebih stabil dan dalam beberapa kasus lebih cepat dan mudah. Mengapa Anda membutuhkan pembenaran yang lebih dari itu?
Saya ingin menambahkan bahwa mengambil log dari probabilitas atau kepadatan probabilitas sering kali dapat menyederhanakan perhitungan tertentu, seperti menghitung gradien kepadatan mengingat beberapa parameternya. Ini khususnya ketika kepadatan termasuk dalam keluarga eksponensial, yang sering kali berisi lebih sedikit panggilan fungsi khusus setelah dicatat daripada sebelumnya. Hal ini membuat pengambilan turunan dengan tangan lebih sederhana (karena aturan hasil perkalian menjadi aturan penjumlahan yang lebih sederhana), dan juga dapat menghasilkan kalkulasi turunan numerik yang lebih stabil seperti perbedaan hingga.
Sebagai ilustrasi, mari kita ambil Poisson dengan fungsi probabilitas $e^{-\lambda}\frac{\lambda^{x}}{x!}$. Meskipun$x$ terpisah, fungsi ini mulus terkait $\lambda$, dan menjadi $\log f_x= -\lambda + x*\log(\lambda) - \log(x!)$, untuk turunan yang terkait dengan $\lambda$ sederhana $\frac{\partial \log f_x}{\partial \lambda} = -1 + \frac{x}{\lambda}$, yang melibatkan dua operasi sederhana. Bandingkan itu dengan$\frac{\partial f_x}{\partial \lambda} = \frac{e^{-\lambda } (x-\lambda ) \lambda ^{x-1}}{x!}$, yang melibatkan eksponensial alami, eksponensiasi riil, komputasi faktorial, dan, yang terburuk, pembagian dengan faktorial. Ini melibatkan lebih banyak waktu komputasi dan lebih sedikit stabilitas komputasi, bahkan dalam contoh sederhana ini. Hasilnya digabungkan untuk fungsi probabilitas yang lebih kompleks, serta saat mengamati sampel iid variabel acak, karena ini ditambahkan dalam ruang log sementara dikalikan dalam ruang probabilitas (sekali lagi, memperumit perhitungan turunan, serta memperkenalkan lebih banyak titik mengambang kesalahan yang disebutkan di jawaban lain).
Ekspresi gradien ini digunakan dalam perhitungan analitik dan numerik dari Maximum a Posteriori ($\ell_0$Bayes) dan Penaksir Kemungkinan Maksimum. Ini juga digunakan dalam solusi numerik Metode Momen memperkirakan persamaan, sering kali melalui metode Newton, yang melibatkan perhitungan Hessian, atau turunan keduanya. Di sini perbedaan antara kompleksitas yang dicatat dan yang tidak diblog bisa sangat besar. Dan terakhir, ini digunakan untuk menunjukkan kesetaraan antara kuadrat terkecil dan kemungkinan maksimum dengan struktur kesalahan Gaussian.
Sebagai contoh proses yang disebutkan dalam jawaban Greg Snow: Saya cukup sering menggunakan bahasa pemrograman tingkat tinggi (Oktaf, Maxima [*], Gnuplot, Perl, ...) untuk menghitung rasio antara kemungkinan marjinal untuk perbandingan model Bayesian. Jika seseorang mencoba untuk menghitung rasio kemungkinan marjinal secara langsung, langkah-langkah perantara dalam perhitungan (dan terkadang hasil akhirnya juga) sangat sering melampaui kemampuan implementasi bilangan floating-point di interpreter / penyusun, menghasilkan angka yang sangat kecil sehingga komputer tidak dapat membedakan mereka dari nol, ketika semua informasi penting adalah fakta bahwa angka-angka itu sebenarnya tidak cukup nol. Sebaliknya, jika seseorang bekerja dalam probabilitas log secara keseluruhan, dan mengambil perbedaan antara logaritma kemungkinan marjinal di bagian akhir, masalah ini kemungkinan besar tidak akan terjadi.
[*] Kadang-kadang , Maxima menghindari masalah dengan menggunakan aritmatika bilangan rasional dan bukan aritmatika floating-point, tetapi seseorang tidak dapat selalu mengandalkan ini.
Ini mungkin bukan yang Anda minati, tetapi probabilitas log dalam fisika statistik terkait erat dengan konsep energi dan entropi . Untuk sistem fisik dalam kesetimbangan pada suhu$T$ (dalam kelvin), perbedaan energi antara dua mikrostat A dan B terkait dengan logaritma probabilitas sistem dalam keadaan A atau B:
$$E_\mathrm{A} - E_\mathrm{B} =-k_\mathrm{B}T \left[ \ln(P_\mathrm{A}) - \ln( P_\mathrm{B}) \right]$$
Jadi, fisikawan statistik sering bekerja dengan probabilitas log (atau versi berskala dari mereka), karena mereka bermakna secara fisik. Misalnya, energi potensial molekul gas di atmosfer pada suhu tetap di bawah medan gravitasi seragam (perkiraan yang baik di dekat permukaan Bumi) adalah$mgh$, dimana $m$ adalah massa molekul gas, $g$ adalah percepatan gravitasi, dan $h$adalah ketinggian molekul di atas permukaan. Probabilitas menemukan molekul gas di lantai atas bangunan dibandingkan di lantai bawah (dengan asumsi lantai memiliki volume yang sama dan ketinggian lantai ke langit-langit kecil) diberikan oleh:
$$mg (h_\mathrm{top} - h_\mathrm{bottom}) \approx -k_\mathrm{B} T \left[ \ln (P_\mathrm{top}) - \ln(P_\mathrm{bottom}) \right]$$
Probabilitas ini secara sepele terkait dengan konsentrasi gas di dua lantai. Lantai yang lebih tinggi memiliki konsentrasi yang lebih rendah dan konsentrasi molekul yang lebih berat membusuk lebih cepat seiring dengan ketinggian.
Dalam fisika statistik, sering berguna untuk beralih bolak-balik antara kuantitas yang sebanding dengan probabilitas log (energi, entropi, entalpi, energi bebas) dan kuantitas yang sebanding dengan probabilitas (jumlah keadaan mikro, fungsi partisi, kepadatan keadaan).