Erhalten der richtigen Log-Likelihood-Funktion

Question

$X_1, ..., X_n$ ist eine Zufallsstichprobe aus einer Population mit pdf von

$$ f(x; \mu, \lambda) = \frac{\lambda}{2}\operatorname{exp}(- \lambda |x - \mu|) $$

wo $\mu \in \mathbb{R}$ ist der Standortparameter und $\lambda > 0$ ist der Skalierungsparameter.

Ich versuche, die logarithmische Funktion für dieses Problem zu erhalten. Ich habe,

$$ L(\mu, \lambda; \mathbf{x}) = \prod_{i=1}^{n} f(x_i; \mu, \lambda) = \prod_{i=1}^{n} \frac{\lambda}{2}\operatorname{exp}(- \lambda |x - \mu|) = \frac{\lambda^n}{2^n}\operatorname{exp}\Bigl(- \lambda \sum_{i=1}^{n} |x - \mu|\Bigr). $$

Lassen $ \ell(\mu, \lambda; \mathbf{x}) = \text{log}[L(\mu, \lambda; \mathbf{x})] $. Dann haben wir

$$ \ell(\mu, \lambda; \mathbf{x}) = n\text{log}(\lambda/2) - \lambda \sum_{i=1}^{n} |x - \mu|. $$

Ist dies die richtige Form der Stichprobenprotokollwahrscheinlichkeit? Denn wenn es ... ist, dann führt der Versuch, es zu maximieren, zu einer hessischen Determinante, die negativ ist, noch bevor sie am kritischen Punkt bewertet wird.

---

Angenommen, die logarithmische Funktion ist korrekt, erhalten Sie:

$$ \frac{\partial}{\partial \mu} \ell(\mu, \lambda; \mathbf{x}) = \lambda \sum_{i=1}^{n} \frac{x_i - \mu}{|x_i - \mu|} $$

$$ \frac{\partial}{\partial \lambda} \ell(\mu, \lambda; \mathbf{x}) = \frac{n}{\lambda} - \sum_{i=1}^{n} |x_i - \mu| $$

$$ \frac{\partial^2}{\partial \lambda^2} \ell(\mu, \lambda; \mathbf{x}) = \frac{-n}{\lambda^2}. $$

$$ \frac{\partial^2}{\partial \mu^2} \ell(\mu, \lambda; \mathbf{x}) = 0. $$

$$ \frac{\partial^2}{\partial\lambda \partial \mu} \ell(\mu, \lambda; \mathbf{x}) = \frac{\partial^2}{\partial\mu \partial \lambda} \ell(\mu, \lambda; \mathbf{x}) = \sum_{i=1}^{n} \frac{x_i - \mu}{|x_i - \mu|}. $$

Auch ich habe den (einzelnen) kritischen Punkt bekommen $ (\mu, \lambda) = (\bar{x}, n/\sum_{i=1}^{n} |x_i - \mu|) $. Mit diesen Informationen würden Sie erhalten$\text{det}(Hessian) < 0 \Rightarrow $Sattelpunkt. Also stimmt etwas nicht.

Answer 1

Die Loglikelihood ist korrekt. Ihr Problem sind die Derivate.

Die Loglikelihood ist in Bezug auf nicht differenzierbar $\mu$ wo $\mu=x_i$(und insbesondere nicht bei der MLE). Die zweite Ableitung in Bezug auf$\mu$ist überall dort Null, wo es definiert ist. Sie können also nicht einfach rechnen.

Für jeden festen $\lambda$ist die Loglikelihood stückweise linear (und konkav) in $\mu$mit Ecken an den Beobachtungen, so gibt es ein Maximum (und keine anderen stationären Punkte) und das Maximum muss bei einer Beobachtung sein. Es ist ziemlich einfach, sich davon zu überzeugen, dass das Maximum im Median liegt, wenn$n$ ist ungerade und im gesamten Medianintervall wenn $n$ist gerade. Das gilt für jeden Fix$\lambda$ so muss es für das Variieren wahr sein $\lambda$ auch.

Jetzt reparieren $\mu$ Bei der MLE haben Sie ein differenzierbares Ein-Parameter-Problem in $\lambda$. Lösen$$\frac{\partial}{\partial \lambda} \ell(\hat\mu, \lambda ; \mathbf{x})=\frac{n}{\lambda}-\sum_{i=1}^{n}\left|x_{i}-\hat\mu\right|$$ gibt Ihnen $\hat\lambda$als mittlere absolute Abweichung vom Median als einziger stationärer Punkt. Sie können dann die zweite Ableitung überprüfen$\theta$um sicherzustellen, dass es ein Maximum ist. Oder Sie können argumentieren, dass das Maximum dort oder an den Endpunkten vorhanden sein muss$\lambda=0$ oder $\lambda=\infty$und es ist keines von denen.