Полиномы в регрессионной модели (байесовская иерархическая модель)
Я не обученный статистик и хочу получить разъяснения по модели из литературы. Речь идет о исследовании « Иерархическая структура для исправления неполной отчетности в данных подсчета» . Модель, определенная уравнениями с 11 по 14 (с нижними индексами, нерелевантные термины удалены для облегчения интерпретации):$$ \begin{align} z_{t} \mid y_{t} &\sim \operatorname{Binomial}\left(\pi, y_t \right) \\ \log \left(\frac{\pi}{1-\pi}\right)&=\beta_{0}+g\left(u\right) \\ y_{t} &\sim \operatorname{Poisson}\left(\lambda_{t}\right) \\ \log \left(\lambda_{t}\right) &=\log \left(P_{t, s}\right)+a_{0}+f_{1}\left(x_{s}^{(1)}\right)+f_{2}\left(x_{s}^{(2)}\right) \\ &+f_{3}\left(x_{s}^{(3)}\right)+f_{4}\left(x_{s}^{(4)}\right) \end{align} $$
где $z_t$ наблюдаются подсчеты и $y_t$настоящие, верные подсчеты. И функции$g, f_1, \ldots, f_4(\cdot)$ (из статьи)
ортогональные полиномы степеней 3,2,2,2. По сравнению с необработанными полиномами они уменьшают множественную коллинеарность между мономиальными членами (Kennedy and Gentle 1980) и были установлены с использованием функции «poly» в R
Насколько я понимаю, эта модель сначала оценивает истинное количество $y_t$. Сам истинный подсчет зависит от формулы логистической регрессии, в которой ковариатами являются численность населения и социальные показатели, такие как$x_s^{(1)} = $безработица. Ковариаты используются в качестве входных данных для ортогональных функций . После того, как он оценивает истинное количество, он использует это значение в биномиальной модели для подсчета количества «успехов», т. Е. Наблюдаемого количества. Вероятность успеха в этом случае определяется другой формулой регрессии, которая также имеет ортогональную функцию для ковариаты.
Мои вопросы довольно простые:
Что так важно в использовании ортогональных функций в регрессионных моделях. Почему нельзя использовать простые коэффициенты (и эти коэффициенты оцениваются в байесовской реализации).
Интерпретация
logиз$\pi$ и $\lambda$. Для$\pi$, Я предполагаю, формула регрессии может оценивать числа вне (0, 1), поэтому ilogit преобразует его между 0, 1. Я не понимаю, почему журнал принимает для $\lambda$.
Ответы
Давайте сначала разберемся с 2..
Как вы уже догадались, логит-преобразование $\pi$спроектирована так, что формула регрессии не имеет ограничений на ее значения; любое значение будет отображено в$(0,1)$. То же самое верно и для преобразования журнала$\lambda$: $\lambda$ должен быть положительным, а использование логарифмического преобразования позволяет формуле регрессии принимать любое значение, положительное или отрицательное.
Логическая часть обоих преобразований также означает, что мы получаем мультипликативную модель, а не добавочную, что часто имеет больше смысла для подсчетов и пропорций.
И, вдобавок ко всему, есть математические причины, по которым эти преобразования для этих конкретных распределений приводят к немного более аккуратным вычислениям и являются значениями по умолчанию, хотя это не должно быть очень важной причиной.
Теперь об ортогональных функциях. Это не говорит$f_1$ ортогонален $f_2$; это на усмотрение данных. Они говорят что$f_1$ является квадратичным многочленом от $x^{(1)}$, и что он реализован как взвешенная сумма ортогональных членов, а не взвешенная сумма $x$, $x^2$. То, что на самом деле представляют собой ортогональные полиномы, зависит от данных, но давайте представим, что данные равномерно распределены по$[-1,1]$ и они многочлены Чебышева $T_0(x)=1,\, T_1(x)=x,\, T_2(x)=2x^2-1,\, T_3(x)=4x^3-3x$.
Если бы мы просто делали максимальную вероятность, это вообще не имело бы значения. Предположим, что оценка ML, основанная на степенях$x$ был $-0.1+2.7x-3x^2+4.5x^3$. Мы можем переписать это в терминах ортогональных многочленов: очевидно, коэффициент при$T_3$ должно быть 4,5 / 4, чтобы $x^3$совпадение, а остальное займет расчет. Оказывается$-1.6T_0+6.075T_1-1.5T_2+1.125T_3$. Это один и тот же полином , это просто другой способ написания одной и той же модели, и в этом случае (и почти всегда с современными компьютерами) коллинеарность далеко не настолько сильна, чтобы вызвать проблемы с числовым округлением.
Однако с байесовским выводом возникает вопрос априорных значений. Имеет смысл ставить независимые приоры ($\alpha_j$ и $\beta_k$ в статье) над коэффициентами ортогональных многочленов, чем ставить независимые априорные значения коэффициентам $x$, $x^2$, $x^3$. Итак, я предполагаю, что ортогональные многочлены были выбраны так, чтобы относительно плоский ($N(0,10^2)$) независимые априорные значения их коэффициентов имели смысл.