Lấy đúng chức năng Log-likelbility

Question

$X_1, ..., X_n$ là một mẫu ngẫu nhiên từ một tập hợp có pdf được cung cấp bởi

$$ f(x; \mu, \lambda) = \frac{\lambda}{2}\operatorname{exp}(- \lambda |x - \mu|) $$

Ở đâu $\mu \in \mathbb{R}$ là thông số vị trí và $\lambda > 0$ là tham số tỷ lệ.

Tôi đang cố gắng lấy hàm log-likehood cho vấn đề này. Tôi có,

$$ L(\mu, \lambda; \mathbf{x}) = \prod_{i=1}^{n} f(x_i; \mu, \lambda) = \prod_{i=1}^{n} \frac{\lambda}{2}\operatorname{exp}(- \lambda |x - \mu|) = \frac{\lambda^n}{2^n}\operatorname{exp}\Bigl(- \lambda \sum_{i=1}^{n} |x - \mu|\Bigr). $$

Để cho $ \ell(\mu, \lambda; \mathbf{x}) = \text{log}[L(\mu, \lambda; \mathbf{x})] $. Sau đó chúng tôi có

$$ \ell(\mu, \lambda; \mathbf{x}) = n\text{log}(\lambda/2) - \lambda \sum_{i=1}^{n} |x - \mu|. $$

Đây có phải là dạng chính xác của khả năng xảy ra nhật ký mẫu không? Bởi vì nếu nó là ... thì việc cố gắng tối đa hóa nó sẽ dẫn đến một yếu tố quyết định Hessian là tiêu cực, ngay cả trước khi đánh giá ở điểm quan trọng.

---

Giả sử hàm log-likehood là đúng, bạn sẽ nhận được:

$$ \frac{\partial}{\partial \mu} \ell(\mu, \lambda; \mathbf{x}) = \lambda \sum_{i=1}^{n} \frac{x_i - \mu}{|x_i - \mu|} $$

$$ \frac{\partial}{\partial \lambda} \ell(\mu, \lambda; \mathbf{x}) = \frac{n}{\lambda} - \sum_{i=1}^{n} |x_i - \mu| $$

$$ \frac{\partial^2}{\partial \lambda^2} \ell(\mu, \lambda; \mathbf{x}) = \frac{-n}{\lambda^2}. $$

$$ \frac{\partial^2}{\partial \mu^2} \ell(\mu, \lambda; \mathbf{x}) = 0. $$

$$ \frac{\partial^2}{\partial\lambda \partial \mu} \ell(\mu, \lambda; \mathbf{x}) = \frac{\partial^2}{\partial\mu \partial \lambda} \ell(\mu, \lambda; \mathbf{x}) = \sum_{i=1}^{n} \frac{x_i - \mu}{|x_i - \mu|}. $$

Ngoài ra, tôi có điểm quan trọng (duy nhất) $ (\mu, \lambda) = (\bar{x}, n/\sum_{i=1}^{n} |x_i - \mu|) $. Với thông tin này, bạn sẽ nhận được$\text{det}(Hessian) < 0 \Rightarrow $điểm yên ngựa. Vậy là có gì đó không ổn.

Answer 1

Khả năng log là đúng. Vấn đề của bạn là các dẫn xuất.

Khả năng logli không thể phân biệt được đối với $\mu$ Ở đâu $\mu=x_i$(và đặc biệt, không phải ở MLE). Đạo hàm thứ hai đối với$\mu$là không ở mọi nơi mà nó được xác định. Vì vậy, bạn không thể chỉ làm phép tính.

Đối với bất kỳ cố định $\lambda$, khả năng logli là tuyến tính mảnh (và lõm) trong $\mu$với các góc tại các điểm quan sát, vì vậy có một điểm cực đại (và không có điểm đứng yên khác) và điểm cực đại phải ở một điểm quan sát. Khá dễ dàng để thỏa mãn bản thân rằng mức tối đa ở mức trung bình nếu$n$ là số lẻ và trên toàn bộ khoảng trung bình nếu $n$là thậm chí. Điều đó đúng cho mọi cố định$\lambda$ vì vậy nó phải đúng khi thay đổi $\lambda$ cũng.

Bây giờ, đang sửa chữa $\mu$ tại MLE, bạn gặp sự cố một tham số có thể phân biệt trong $\lambda$. Giải quyết$$\frac{\partial}{\partial \lambda} \ell(\hat\mu, \lambda ; \mathbf{x})=\frac{n}{\lambda}-\sum_{i=1}^{n}\left|x_{i}-\hat\mu\right|$$ mang đến cho bạn $\hat\lambda$là độ lệch tuyệt đối trung bình so với trung vị là điểm đứng yên duy nhất. Sau đó, bạn có thể kiểm tra wrt phái sinh thứ hai$\theta$để đảm bảo rằng đó là mức tối đa. Hoặc bạn có thể tranh luận rằng mức tối đa phải ở đó hoặc ở các điểm cuối$\lambda=0$ hoặc là $\lambda=\infty$, và nó không phải là một trong hai.