Y에 지수 군 분포가있는 경우 $E(\frac{\partial L}{\partial \theta}) = 0$
저는 일반화 된 선형 모델에서 이번 학기에 수강 할 과정을 준비하는 자습 방식으로 일하고 있습니다. 질문은 Y 랜덤 변수가 지수 군에 속한다는 점에서 다음을 보여줍니다.$$ E(\frac{\partial L}{\partial \theta}) = 0 $$
$$ E(\frac{\partial^2 L}{\partial \theta^2}) = -E((\frac{\partial L}{\partial \theta})^2) $$
나는 이런 유형의 운동에서 약간 녹슬었지만 이것이 내가 지금까지 관리 한 것입니다.
첫 번째 부분은 차별화가 쉽습니다. $L(\theta)$, 어디 $L$로그 가능성입니다. 내가 사용하고있는 지수 군의 정확한 매개 변수화는 다음과 같습니다.$\phi$ 알려진대로) 다음 :
$$ f(y; \theta, \phi) = exp[\phi(y\theta - b(\theta)) + c(y;\phi)] $$
과 $Y$ 다음에 의해 분포 된 랜덤 변수입니다. $f$.
나는 도착할 수있다 $\frac{\partial L}{\partial \theta} = \phi y - \phi b'(\theta)$ (기능 $b$ 과 $c$차별화 가능). 그러나 결론을 내리기 위해서는$E(\frac{\partial L}{\partial \theta}) = 0$ 나는 그것을 가정해야 $b'(\theta) = E(Y) = \mu$기대의 속성을 사용하여 완전히 제거 할 수 있습니다. 그리고 내가 속임수를 쓰는 것 같은 느낌이 든다. 애초에 이런 가정이 없기 때문이다.
계산 중 $E(Y) = \int_{\mathbb{R}}yf(y)dy$ 잘 작동하지 않습니다.
두 번째 부분도 계산해야하는 절정에 달합니다. $E(b''(\theta))$ 같은 방식으로.
McCullagh와 Nelder의 책 [1]에서 그들은 관계를 말합니다. $E(\frac{\partial L}{\partial \theta}) = 0$ 과 $E(\frac{\partial^2 L}{\partial \theta^2}) = -E((\frac{\partial L}{\partial \theta})^2)$ 잘 알려져 있으며 (p. 28) $E(Y)$, 그래서 내가 증명하려는 결과는 분명히 $E(Y)$ 계산.
1 : 일반화 선형 모형, 2 판 P. McCullagh 및. JA Nelder (1989)
답변
그러나 결론을 내리기 위해서는 $E(\frac{\partial L}{\partial \theta}) = 0$ 나는 그것을 가정해야 $b'(\theta) = E(Y) = \mu$기대의 속성을 사용하여 완전히 제거 할 수 있습니다. 그리고 내가 속임수를 쓰는 것 같은 느낌이 든다. 애초에 이런 가정이 없기 때문이다.
$b(\theta)$ 로그 파티션 함수이며 파생물은 $y$.
관계를 위해 $\mu$ 보다 https://en.m.wikipedia.org/wiki/Partition_function_(mathematics)#Expectation_values
더 일반적
분포를 다음과 같이 설명합니다.
$$f(x,\theta) \propto e^{g(x,\theta)}$$
또는 요인으로 $z(\theta) = \int e^{g(x,\theta)} dx $ 그것을 정상화하기 위해
$$f(x,\theta) = \frac{e^{g(x,\theta)}}{\int e^{g(x,\theta)} dx} = \frac{e^{g(x,\theta)}}{z(\theta)}$$
그런 다음 우리는 (프라임 $'$ 차별화를 나타냅니다 $\theta$)
$$\begin{array}{}\frac{\partial}{\partial \theta} \log \left[ f(x,\theta) \right] &=& \log \left[ f(x,\theta) \right]' & =& \frac{f'(x,\theta)}{f(x,\theta)}\\ &&&=& \frac{\left(-z'(\theta)/z(\theta)^2 + g'(x,\theta)/ z(\theta) \right) \, e^{g(x,\theta)}} { e^{g(x,\theta)}/z(\theta)}\\ &&&=& \frac{-z'(\theta)}{z(\theta)} + g'(x,\theta) \end{array}$$
이제 문제는
$$\frac{z'(\theta)}{z(\theta)} = E\left[ g'(x,\theta) \right]$$
우리가 표현할 수 있다면
$$z'(\theta) = \frac{\partial}{\partial \theta} \int e^{g(x,\theta)} dx = \int \frac{\partial}{\partial \theta} e^{g(x,\theta)} dx = \int g'(x,\theta) e^{g(x,\theta)} dx$$
그때
$$\frac{z'(\theta)}{z(\theta)} = \frac{\int g'(x,\theta) e^{g(x,\theta)} dx}{\int e^{g(x,\theta)} dx} = E\left[ g'(x,\theta) \right]$$
지수없이 더 직접적으로 비슷한 파생이 여기에 있습니다. https://en.wikipedia.org/wiki/Score_(statistics)#Mean
당신이 말하는 신원은 완전히 일반적이며 실제로 잘 알려져 있습니다. 로그 우도가 두 번 연속적으로 미분 할 수 있고 분포 지원이 의존하지 않는 모든 우도 함수에 적용됩니다.$\theta$. 지수 군이나 지수 분산 모델 등을 가정 할 필요가 없습니다.$\mu$.
만약 $f(y;\theta)$ 확률 밀도 함수이며 정의에 따라 다음을 충족합니다. $$\int f(y;\theta)dy=1$$ 이것을 로그 가능도 함수로 작성 $L(\theta;y)=\log f(y;\theta)$ 준다 $$\int \exp L(\theta;y)dy=1$$ 에 대해 양쪽을 차별화 $\theta$ 준다 $$\int \frac{\partial L}{\partial\theta}\exp L(\theta;y)dy=0$$ 이것이 첫 번째 정체성입니다 $$E\left(\frac{\partial L}{\partial\theta}\right)=0.$$
두 번째로 양쪽을 구별하면 두 번째 정체성이 생깁니다.