Nếu Y có phân phối gia đình hàm mũ cho thấy rằng $E(\frac{\partial L}{\partial \theta}) = 0$
Tôi đang làm việc theo kiểu tự học để chuẩn bị cho một khóa học mà tôi sẽ tham gia học kỳ này về mô hình tuyến tính tổng quát. Câu hỏi đặt ra là biến ngẫu nhiên Y thuộc họ hàm mũ, hãy chỉ ra rằng:$$ E(\frac{\partial L}{\partial \theta}) = 0 $$
$$ E(\frac{\partial^2 L}{\partial \theta^2}) = -E((\frac{\partial L}{\partial \theta})^2) $$
Tôi hơi mệt mỏi với loại bài tập này, nhưng đây là những gì tôi đã quản lý cho đến nay.
Đối với phần đầu tiên, rất dễ để phân biệt $L(\theta)$, Ở đâu $L$là khả năng xảy ra nhật ký. Tham số chính xác của họ theo cấp số nhân mà tôi đang sử dụng là (xử lý$\phi$ như đã biết) như sau:
$$ f(y; \theta, \phi) = exp[\phi(y\theta - b(\theta)) + c(y;\phi)] $$
Và $Y$ là biến ngẫu nhiên được phân phối bởi $f$.
Tôi có thể đến lúc $\frac{\partial L}{\partial \theta} = \phi y - \phi b'(\theta)$ (chức năng $b$ và $c$có thể phân biệt được). Tuy nhiên, để kết luận rằng$E(\frac{\partial L}{\partial \theta}) = 0$ Tôi cần phải giả định rằng $b'(\theta) = E(Y) = \mu$để tôi có thể sử dụng các thuộc tính của kỳ vọng và loại bỏ hoàn toàn nó. Và có cảm giác như tôi đang lừa dối, vì tôi không có giả định này ngay từ đầu.
Tính toán $E(Y) = \int_{\mathbb{R}}yf(y)dy$ chỉ không diễn ra tốt đẹp.
Phần thứ hai cũng lên đến đỉnh điểm là tôi phải tính toán $E(b''(\theta))$ cùng một phong cách thời trang.
Trong cuốn sách của McCullagh và Nelder [1], họ nói rằng các mối quan hệ $E(\frac{\partial L}{\partial \theta}) = 0$ và $E(\frac{\partial^2 L}{\partial \theta^2}) = -E((\frac{\partial L}{\partial \theta})^2)$ được nhiều người biết đến (trang 28) và sử dụng nó để thiết lập $E(Y)$, vì vậy kết quả mà tôi đang cố gắng chứng minh dường như đi trước $E(Y)$ phép tính.
1: Mô hình tuyến tính tổng quát, ấn bản thứ 2 P. McCullagh và. JA Nelder (1989)
Trả lời
Tuy nhiên, để kết luận rằng $E(\frac{\partial L}{\partial \theta}) = 0$ Tôi cần phải giả định rằng $b'(\theta) = E(Y) = \mu$để tôi có thể sử dụng các thuộc tính của kỳ vọng và loại bỏ hoàn toàn nó. Và có cảm giác như tôi đang lừa dối, vì tôi không có giả định này ngay từ đầu.
$b(\theta)$ là chức năng phân vùng nhật ký và các dẫn xuất của nó liên quan đến những khoảnh khắc của $y$.
Đối với mối quan hệ với $\mu$ xem https://en.m.wikipedia.org/wiki/Partition_function_(mathematics)#Expectation_values
Tổng quát hơn
Hãy để phân phối được mô tả bằng:
$$f(x,\theta) \propto e^{g(x,\theta)}$$
hoặc với một yếu tố $z(\theta) = \int e^{g(x,\theta)} dx $ để bình thường hóa nó
$$f(x,\theta) = \frac{e^{g(x,\theta)}}{\int e^{g(x,\theta)} dx} = \frac{e^{g(x,\theta)}}{z(\theta)}$$
Sau đó, chúng tôi có (nơi nguyên tố $'$ biểu thị sự khác biệt với $\theta$)
$$\begin{array}{}\frac{\partial}{\partial \theta} \log \left[ f(x,\theta) \right] &=& \log \left[ f(x,\theta) \right]' & =& \frac{f'(x,\theta)}{f(x,\theta)}\\ &&&=& \frac{\left(-z'(\theta)/z(\theta)^2 + g'(x,\theta)/ z(\theta) \right) \, e^{g(x,\theta)}} { e^{g(x,\theta)}/z(\theta)}\\ &&&=& \frac{-z'(\theta)}{z(\theta)} + g'(x,\theta) \end{array}$$
Và bây giờ câu hỏi là liệu
$$\frac{z'(\theta)}{z(\theta)} = E\left[ g'(x,\theta) \right]$$
Nếu chúng ta có thể bày tỏ
$$z'(\theta) = \frac{\partial}{\partial \theta} \int e^{g(x,\theta)} dx = \int \frac{\partial}{\partial \theta} e^{g(x,\theta)} dx = \int g'(x,\theta) e^{g(x,\theta)} dx$$
sau đó
$$\frac{z'(\theta)}{z(\theta)} = \frac{\int g'(x,\theta) e^{g(x,\theta)} dx}{\int e^{g(x,\theta)} dx} = E\left[ g'(x,\theta) \right]$$
Một dẫn xuất tương tự, trực tiếp hơn mà không có số mũ là ở đây: https://en.wikipedia.org/wiki/Score_(statistics)#Mean
Danh tính bạn nêu là hoàn toàn chung chung và thực sự được nhiều người biết đến. Chúng áp dụng cho bất kỳ hàm khả năng nào với điều kiện khả năng nhật ký liên tục có thể phân biệt hai lần và sự hỗ trợ của phân phối không phụ thuộc vào$\theta$. Không cần phải giả định một họ mũ hoặc mô hình phân tán theo cấp số nhân hoặc bất cứ điều gì về$\mu$.
Nếu $f(y;\theta)$ là hàm mật độ xác suất, thì theo định nghĩa, nó thỏa mãn $$\int f(y;\theta)dy=1$$ Viết điều này dưới dạng hàm khả năng đăng nhập $L(\theta;y)=\log f(y;\theta)$ cho $$\int \exp L(\theta;y)dy=1$$ Phân biệt cả hai bên đối với $\theta$ cho $$\int \frac{\partial L}{\partial\theta}\exp L(\theta;y)dy=0$$ đó là danh tính đầu tiên $$E\left(\frac{\partial L}{\partial\theta}\right)=0.$$
Việc phân biệt cả hai bên lần thứ hai sẽ tạo ra bản sắc thứ hai.