올바른 로그 가능도 함수 얻기
$X_1, ..., X_n$ 는 다음과 같이 주어진 pdf를 사용하는 모집단의 무작위 표본입니다.
$$ f(x; \mu, \lambda) = \frac{\lambda}{2}\operatorname{exp}(- \lambda |x - \mu|) $$
어디 $\mu \in \mathbb{R}$ 위치 매개 변수이고 $\lambda > 0$ 스케일 매개 변수입니다.
이 문제에 대한 로그 우도 함수를 얻으려고합니다. 나는 가지고있다,
$$ L(\mu, \lambda; \mathbf{x}) = \prod_{i=1}^{n} f(x_i; \mu, \lambda) = \prod_{i=1}^{n} \frac{\lambda}{2}\operatorname{exp}(- \lambda |x - \mu|) = \frac{\lambda^n}{2^n}\operatorname{exp}\Bigl(- \lambda \sum_{i=1}^{n} |x - \mu|\Bigr). $$
허락하다 $ \ell(\mu, \lambda; \mathbf{x}) = \text{log}[L(\mu, \lambda; \mathbf{x})] $. 그런 다음 우리는
$$ \ell(\mu, \lambda; \mathbf{x}) = n\text{log}(\lambda/2) - \lambda \sum_{i=1}^{n} |x - \mu|. $$
이것이 샘플 로그 우도의 올바른 형식입니까? 만약 그렇다면 ... 최대화를 시도하면 임계점에서 평가하기 전에도 음수 인 헤세 행렬식이 생성됩니다.
로그 가능성 함수가 정확하다고 가정하면 다음과 같은 결과를 얻을 수 있습니다.
$$ \frac{\partial}{\partial \mu} \ell(\mu, \lambda; \mathbf{x}) = \lambda \sum_{i=1}^{n} \frac{x_i - \mu}{|x_i - \mu|} $$
$$ \frac{\partial}{\partial \lambda} \ell(\mu, \lambda; \mathbf{x}) = \frac{n}{\lambda} - \sum_{i=1}^{n} |x_i - \mu| $$
$$ \frac{\partial^2}{\partial \lambda^2} \ell(\mu, \lambda; \mathbf{x}) = \frac{-n}{\lambda^2}. $$
$$ \frac{\partial^2}{\partial \mu^2} \ell(\mu, \lambda; \mathbf{x}) = 0. $$
$$ \frac{\partial^2}{\partial\lambda \partial \mu} \ell(\mu, \lambda; \mathbf{x}) = \frac{\partial^2}{\partial\mu \partial \lambda} \ell(\mu, \lambda; \mathbf{x}) = \sum_{i=1}^{n} \frac{x_i - \mu}{|x_i - \mu|}. $$
또한 (단일) 임계점을 얻었습니다. $ (\mu, \lambda) = (\bar{x}, n/\sum_{i=1}^{n} |x_i - \mu|) $. 이 정보를 사용하면$\text{det}(Hessian) < 0 \Rightarrow $안장 포인트. 그래서 뭔가 잘못되었습니다.
답변
로그 가능성이 정확합니다. 귀하의 문제는 파생 상품입니다.
로그 가능도는 다음과 관련하여 미분 할 수 없습니다. $\mu$ 어디 $\mu=x_i$(특히 MLE가 아닙니다). 에 대한 이차 미분$\mu$정의 된 모든 곳에서 0입니다. 그래서 당신은 미적분을 할 수 없습니다.
모든 고정 $\lambda$, 로그 가능도는 부분 선형 (및 오목)입니다. $\mu$관측치에 모서리가 있으므로 최대 값 (다른 고정 점 없음)이 있고 최대 값은 관측치에 있어야합니다. 다음과 같은 경우 최대 값이 중앙값이라는 것을 자신을 만족시키는 것은 매우 쉽습니다.$n$ 홀수이고 전체 중앙값 간격입니다. $n$짝수이다. 그것은 모든 고정에 대해 사실입니다$\lambda$ 따라서 다양한 $\lambda$ 게다가.
자, 고정 $\mu$ MLE에서는 미분 할 수있는 단일 매개 변수 문제가 있습니다. $\lambda$. 해결$$\frac{\partial}{\partial \lambda} \ell(\hat\mu, \lambda ; \mathbf{x})=\frac{n}{\lambda}-\sum_{i=1}^{n}\left|x_{i}-\hat\mu\right|$$ 당신에게 준다 $\hat\lambda$유일한 고정 점으로서 중앙값으로부터의 평균 절대 편차로. 그런 다음 이차 미분 wrt를 확인할 수 있습니다.$\theta$최대 값인지 확인합니다. 또는 최대 값이 거기 또는 끝점에 있어야한다고 주장 할 수 있습니다.$\lambda=0$ 또는 $\lambda=\infty$, 그리고 둘 중 하나가 아닙니다.