Bir regresyon modelinde polinomlar (Bayes hiyerarşik modeli)
Ben eğitimli bir istatistikçi değilim ve literatürden bir modelin bazı açıklamalarını almak istiyorum. Söz konusu çalışma, `` Sayım Verisindeki Eksik Raporlamayı Düzeltmek İçin Hiyerarşik Bir Çerçeve . 11 ila 14 arasındaki denklemlerle tanımlandığı şekliyle model (alt simgelerle, daha kolay yorumlanması için alakasız terimler kaldırılarak):$$ \begin{align} z_{t} \mid y_{t} &\sim \operatorname{Binomial}\left(\pi, y_t \right) \\ \log \left(\frac{\pi}{1-\pi}\right)&=\beta_{0}+g\left(u\right) \\ y_{t} &\sim \operatorname{Poisson}\left(\lambda_{t}\right) \\ \log \left(\lambda_{t}\right) &=\log \left(P_{t, s}\right)+a_{0}+f_{1}\left(x_{s}^{(1)}\right)+f_{2}\left(x_{s}^{(2)}\right) \\ &+f_{3}\left(x_{s}^{(3)}\right)+f_{4}\left(x_{s}^{(4)}\right) \end{align} $$
nerede $z_t$ gözlemlenen sayılar ve $y_t$gerçektir, doğru sayılardır. Ve fonksiyonlar$g, f_1, \ldots, f_4(\cdot)$ (kağıttan)
3,2,2,2 derecelerdeki ortogonal polinomlar, Ham polinomlarla karşılaştırıldığında, bunlar tek terimli terimler arasındaki çoklu eşdoğrusallığı azaltır (Kennedy ve Gentle 1980) ve R'deki "poli" işlevi kullanılarak kurulmuştur
Anladığım kadarıyla, bu model ilk önce gerçek sayımı tahmin ediyor $y_t$. Gerçek sayının kendisi, ortak değişkenlerin nüfus olduğu lojistik regresyon formülüne ve aşağıdaki gibi sosyal göstergelere bağlıdır.$x_s^{(1)} = $işsizlik. Ortak değişkenler, ortogonal fonksiyonlara girdi olarak kullanılır . Doğru sayımı tahmin ettikten sonra, bu değeri Binomial modelde "başarıların" sayısını, yani gözlemlenen sayıyı saymak için kullanır. Bu durumda başarı olasılığı, aynı zamanda ortak değişken için ortogonal bir işleve sahip olan başka bir regresyon formülü ile verilmektedir.
Sorularım oldukça basit:
Regresyon modellerinde ortogonal fonksiyonları kullanmanın önemi nedir? Neden basit katsayılar kullanılamıyor (ve bu katsayılar Bayes uygulamasında tahmin ediliyor)?
Yorumlanması
logve$\pi$ ve $\lambda$. İçin$\pi$Tahmin ediyorum, regresyon formülü (0, 1) dışındaki sayıları değerlendirebilir, böylece ilogit onu 0, 1 arasında dönüştürecek. Günlüğün neden işe yaradığını anlamıyorum $\lambda$.
Yanıtlar
Önce 2'yi ele alalım.
Tahmin ettiğiniz gibi, logit dönüşümü $\pi$regresyon formülünün değerleri üzerinde herhangi bir sınırlaması olmayacak şekilde tasarlanmıştır; herhangi bir değer eşlenecek$(0,1)$. Aynısı, günlük dönüşümü için de geçerlidir.$\lambda$: $\lambda$ pozitif olmalıdır ve günlük dönüşümü kullanmak regresyon formülünün pozitif veya negatif herhangi bir değeri almasına izin verir.
Her iki dönüşümün de log kısmı, aynı zamanda, genellikle sayımlar ve oranlar için daha mantıklı olan bir toplamadan ziyade çarpımsal bir model elde ettiğimiz anlamına gelir.
Ve hepsinden önemlisi, bu belirli dağılımlar için bu dönüşümlerin biraz daha düzenli hesaplamalara yol açmasının matematiksel nedenleri var ve bu çok önemli bir sebep olmamasına rağmen varsayılanlar.
Şimdi ortogonal fonksiyonlar için. Bunlar söylemiyor$f_1$ ortogonaldir $f_2$; bu karar verilecek verilere kalmış. Diyorlar ki$f_1$ ikinci dereceden bir polinomdur $x^{(1)}$ve ağırlıklı toplamı yerine ortogonal terimlerin ağırlıklı toplamı olarak uygulandığını $x$, $x^2$. Ortogonal polinomların gerçekte ne olduğu verilere bağlıdır, ancak verilerin eşit aralıklarla yerleştirilmiş olduğunu varsayalım.$[-1,1]$ ve bunlar Chebyshev polinomlarıdır $T_0(x)=1,\, T_1(x)=x,\, T_2(x)=2x^2-1,\, T_3(x)=4x^3-3x$.
Sadece maksimum olasılığı yapıyor olsaydık, bu hiç önemli olmazdı. Makine öğrenimi tahmininin gücüne dayalı olduğunu varsayalım$x$ oldu $-0.1+2.7x-3x^2+4.5x^3$. Bunu ortogonal polinomlar açısından yeniden yazabiliriz: açıkça katsayısı$T_3$ yapmak için 4.5 / 4 olması gerekir $x^3$maç ve gerisi hesaplama alacak. Olduğu ortaya çıkıyor$-1.6T_0+6.075T_1-1.5T_2+1.125T_3$. Bunlar aynı polinomdur , aynı modeli yazmanın farklı bir yolu ve bu durumda (ve neredeyse her zaman modern bilgisayarlarda) doğrusallık sayısal yuvarlama problemlerine neden olacak kadar güçlü değildir.
Bayesçi çıkarımla, yine de, önceden sorusu var. Bağımsız öncelikler koymak daha mantıklıdır ($\alpha_j$ ve $\beta_k$ Makalede) ortogonal polinomların katsayıları üzerine, katsayılarına bağımsız öncelikler koymak yerine $x$, $x^2$, $x^3$. Öyleyse, benim varsayımım, ortogonal polinomların, nispeten düz ($N(0,10^2)$) katsayılarına ilişkin bağımsız öncelikler mantıklıydı.