Polinomial dalam model regresi (model hierarki Bayesian)
Saya bukan ahli statistik terlatih dan ingin mendapatkan klarifikasi tentang model dari literatur. Studi yang dimaksud adalah `` A Hierarchical Framework for Correcting Under-Reporting in Count Data . Model seperti yang didefinisikan oleh persamaan 11 sampai 14 (dengan subskrip, istilah yang tidak relevan dihapus untuk interpretasi yang lebih mudah):$$ \begin{align} z_{t} \mid y_{t} &\sim \operatorname{Binomial}\left(\pi, y_t \right) \\ \log \left(\frac{\pi}{1-\pi}\right)&=\beta_{0}+g\left(u\right) \\ y_{t} &\sim \operatorname{Poisson}\left(\lambda_{t}\right) \\ \log \left(\lambda_{t}\right) &=\log \left(P_{t, s}\right)+a_{0}+f_{1}\left(x_{s}^{(1)}\right)+f_{2}\left(x_{s}^{(2)}\right) \\ &+f_{3}\left(x_{s}^{(3)}\right)+f_{4}\left(x_{s}^{(4)}\right) \end{align} $$
dimana $z_t$ diamati jumlah dan $y_t$adalah nyata, hitungan benar. Dan fungsinya$g, f_1, \ldots, f_4(\cdot)$ adalah (dari kertas)
ortogonal polinomial derajat 3,2,2,2, Dibandingkan dengan polinomial mentah, ini mengurangi multikolinearitas antara istilah monomial (Kennedy dan Gentle 1980), dan ditetapkan menggunakan fungsi "poli" di R
Dari pemahaman saya, model ini pertama kali memperkirakan jumlah sebenarnya $y_t$. Penghitungan sebenarnya bergantung pada rumus regresi logistik dengan kovariatnya adalah populasi, dan indikator sosial seperti$x_s^{(1)} = $pengangguran. Kovariat digunakan sebagai masukan untuk fungsi ortogonal . Setelah memperkirakan jumlah sebenarnya, ia menggunakan nilai tersebut dalam model Binomial untuk menghitung jumlah "keberhasilan", yaitu jumlah yang diamati. Probabilitas keberhasilan dalam kasus ini diberikan oleh rumus regresi lain yang juga memiliki fungsi ortogonal untuk kovariat.
Pertanyaan saya agak sederhana:
Apa yang begitu penting tentang penggunaan fungsi ortogonal dalam model regresi. Mengapa koefisien sederhana tidak dapat digunakan (dan koefisien ini diperkirakan dalam implementasi Bayesian).
Interpretasi
logdari$\pi$ dan $\lambda$. Untuk$\pi$, Saya menebak, rumus regresi dapat mengevaluasi angka di luar (0, 1), jadi ilogit akan mengubahnya antara 0, 1. Saya tidak mengerti mengapa log mengambil $\lambda$.
Jawaban
Mari kita tangani 2. pertama.
Seperti yang Anda tebak, transformasi logit $\pi$dirancang sedemikian rupa sehingga rumus regresi tidak memiliki batasan pada nilainya; nilai apa pun akan dipetakan$(0,1)$. Hal yang sama juga berlaku untuk transformasi log$\lambda$: $\lambda$ harus positif, dan menggunakan transformasi log memungkinkan rumus regresi untuk mengambil nilai apa pun, positif atau negatif.
Bagian log dari kedua transformasi juga berarti kita mendapatkan model perkalian daripada aditif, yang seringkali lebih masuk akal untuk hitungan dan proporsi.
Dan, di atas semua itu, ada alasan matematis bahwa transformasi ini untuk distribusi tertentu ini mengarah pada komputasi yang sedikit lebih rapi dan merupakan default, meskipun itu seharusnya bukan alasan yang sangat penting.
Sekarang untuk fungsi ortogonal. Ini tidak dikatakan$f_1$ adalah ortogonal $f_2$; itu terserah data untuk memutuskan. Mereka mengatakan itu$f_1$ adalah polinomial kuadrat di $x^{(1)}$, dan itu diimplementasikan sebagai jumlah tertimbang istilah ortogonal, bukan sebagai jumlah tertimbang $x$, $x^2$. Apa sebenarnya polinomial ortogonal bergantung pada datanya, tetapi anggap saja datanya berjarak sama$[-1,1]$ dan mereka adalah polinomial Chebyshev $T_0(x)=1,\, T_1(x)=x,\, T_2(x)=2x^2-1,\, T_3(x)=4x^3-3x$.
Jika kami hanya melakukan kemungkinan maksimum, ini tidak masalah sama sekali. Misalkan perkiraan ML berdasarkan kekuatan$x$ dulu $-0.1+2.7x-3x^2+4.5x^3$. Kita dapat menulis ulang ini dalam suku-suku ortogonal polinomial: jelas koefisien$T_3$ harus 4,5 / 4 untuk membuat $x^3$cocok, dan sisanya akan dihitung. Ternyata begitu$-1.6T_0+6.075T_1-1.5T_2+1.125T_3$. Ini adalah polinomial yang sama , hanya saja cara penulisan model yang sama berbeda, dan dalam hal ini (dan hampir selalu dengan komputer modern) collinearity tidak cukup kuat untuk menyebabkan masalah pembulatan numerik.
Namun, dengan kesimpulan Bayesian, ada pertanyaan tentang prior. Lebih masuk akal untuk menempatkan prior independen ($\alpha_j$ dan $\beta_k$ di kertas) pada koefisien polinomial ortogonal daripada menempatkan prior independen pada koefisien $x$, $x^2$, $x^3$. Jadi, asumsi saya adalah bahwa polinomial ortogonal dipilih sehingga relatif datar ($N(0,10^2)$) independen sebelum koefisiennya masuk akal.