Если Y имеет экспоненциальное семейное распределение, покажите, что $E(\frac{\partial L}{\partial \theta}) = 0$
Я работаю в режиме самообучения и готовлюсь к курсу, который собираюсь пройти в этом семестре по обобщенным линейным моделям. Вопрос в том, что, учитывая, что случайная величина Y принадлежит к экспоненциальному семейству, показать, что:$$ E(\frac{\partial L}{\partial \theta}) = 0 $$
$$ E(\frac{\partial^2 L}{\partial \theta^2}) = -E((\frac{\partial L}{\partial \theta})^2) $$
Я немного устарел в этом виде упражнений, но это то, что мне удалось пока.
По первой части легко различить $L(\theta)$, где $L$- логарифмическая вероятность. Я использую точную параметризацию экспоненциального семейства (лечение$\phi$ как известно) следующее:
$$ f(y; \theta, \phi) = exp[\phi(y\theta - b(\theta)) + c(y;\phi)] $$
И $Y$ случайная величина, распределенная $f$.
Я могу прибыть в $\frac{\partial L}{\partial \theta} = \phi y - \phi b'(\theta)$ (функции $b$ и $c$дифференцируемы). Однако чтобы сделать вывод, что$E(\frac{\partial L}{\partial \theta}) = 0$ Я должен предположить, что $b'(\theta) = E(Y) = \mu$так что я могу использовать свойства ожидания и полностью исключить его. И мне кажется, что я обманываю, поскольку у меня вообще нет этого предположения.
Расчет $E(Y) = \int_{\mathbb{R}}yf(y)dy$ просто не получается.
Вторая часть также завершается тем, что мне приходится вычислять $E(b''(\theta))$ таким же образом.
В книге МакКаллага и Нелдера [1] говорится, что отношения $E(\frac{\partial L}{\partial \theta}) = 0$ и $E(\frac{\partial^2 L}{\partial \theta^2}) = -E((\frac{\partial L}{\partial \theta})^2)$ хорошо известны (стр. 28) и используют их для установления $E(Y)$, поэтому результат, который я пытаюсь доказать, очевидно, предшествует $E(Y)$ расчет.
1: Обобщенные линейные модели, 2-е издание П. МакКаллаг и. Дж. А. Нелдер (1989)
Ответы
Однако чтобы сделать вывод, что $E(\frac{\partial L}{\partial \theta}) = 0$ Я должен предположить, что $b'(\theta) = E(Y) = \mu$так что я могу использовать свойства ожидания и полностью исключить его. И мне кажется, что я обманываю, поскольку у меня вообще нет этого предположения.
$b(\theta)$ - логарифм статистической суммы, и ее производные относятся к моментам $y$.
Для связи с $\mu$ видеть https://en.m.wikipedia.org/wiki/Partition_function_(mathematics)#Expectation_values
Более общий
Пусть распределение описывается следующим образом:
$$f(x,\theta) \propto e^{g(x,\theta)}$$
или с фактором $z(\theta) = \int e^{g(x,\theta)} dx $ нормализовать это
$$f(x,\theta) = \frac{e^{g(x,\theta)}}{\int e^{g(x,\theta)} dx} = \frac{e^{g(x,\theta)}}{z(\theta)}$$
Тогда имеем (где штрих $'$ обозначает дифференцирование до $\theta$)
$$\begin{array}{}\frac{\partial}{\partial \theta} \log \left[ f(x,\theta) \right] &=& \log \left[ f(x,\theta) \right]' & =& \frac{f'(x,\theta)}{f(x,\theta)}\\ &&&=& \frac{\left(-z'(\theta)/z(\theta)^2 + g'(x,\theta)/ z(\theta) \right) \, e^{g(x,\theta)}} { e^{g(x,\theta)}/z(\theta)}\\ &&&=& \frac{-z'(\theta)}{z(\theta)} + g'(x,\theta) \end{array}$$
А теперь вопрос в том,
$$\frac{z'(\theta)}{z(\theta)} = E\left[ g'(x,\theta) \right]$$
Если мы можем выразить
$$z'(\theta) = \frac{\partial}{\partial \theta} \int e^{g(x,\theta)} dx = \int \frac{\partial}{\partial \theta} e^{g(x,\theta)} dx = \int g'(x,\theta) e^{g(x,\theta)} dx$$
тогда
$$\frac{z'(\theta)}{z(\theta)} = \frac{\int g'(x,\theta) e^{g(x,\theta)} dx}{\int e^{g(x,\theta)} dx} = E\left[ g'(x,\theta) \right]$$
Аналогичный вывод, более прямой без показателя степени, находится здесь: https://en.wikipedia.org/wiki/Score_(statistics)#Mean
Личности, которые вы указываете, носят общий характер и действительно хорошо известны. Они применимы к любой функции правдоподобия при условии, что логарифм правдоподобия дважды непрерывно дифференцируем и поддержка распределения не зависит от$\theta$. Нет необходимости предполагать экспоненциальное семейство или модель экспоненциальной дисперсии или что-то еще о$\mu$.
Если $f(y;\theta)$ является функцией плотности вероятности, то по определению удовлетворяет $$\int f(y;\theta)dy=1$$ Записывая это в терминах функции логарифма правдоподобия $L(\theta;y)=\log f(y;\theta)$ дает $$\int \exp L(\theta;y)dy=1$$ Дифференцируя обе стороны относительно $\theta$ дает $$\int \frac{\partial L}{\partial\theta}\exp L(\theta;y)dy=0$$ что является первым тождеством $$E\left(\frac{\partial L}{\partial\theta}\right)=0.$$
Повторное различение обеих сторон дает вторую идентичность.