может ли оценка максимального правдоподобия зависеть от параметризации?

Aug 17 2020

То есть, скажем, у меня есть распределение с параметром $\theta$.

Если перепишу с параметром $a$ такой, что $a^3=\theta$, возможно ли, что выполнение оценки максимального правдоподобия на a даст оценку $\hat a$ такой, что $\hat a^3 \neq \hat \theta$?

Может ли быть дело с другой функцией, отличной от $x^3$?

Если да, то каковы критерии выбора параметризации?

Ответы

7 StatsStudent Aug 17 2020 at 07:22

Свойство инвариантности оценок максимального правдоподобия (MLEs) говорит, что если $\hat{\theta}$ является MLE $\theta$, то для любой функции $\tau(\theta)$ MLE $\tau(\theta)$ является $\tau(\hat{\theta})$.

Итак, если вы определите $a^3=\theta$, как только вы получите MLE для $\theta$, $\hat{\theta}$, вы можете применить обратную функцию, взяв кубический корень из $\hat{\theta}$ и получить MLE $a$ (т.е. $\hat{a}=\hat{\theta}^{1\over{3}}$)

Обновить:

Я добавил доказательство, упомянутое Томасом Ламли в комментариях:

Позволять $\hat{\eta}$ обозначают значение, которое максимизирует $L^*(\eta|\textbf{x})$. Мы должны показать, что$L^*(\hat{\eta}|\textbf{x})$знак равно$L^*(\tau(\hat{\theta})|\textbf{x})$. Максимумы$L$ и $L^*$ совпадают, поэтому мы имеем

\ begin {eqnarray *} L ^ {*} (\ hat {\ eta} | \ textbf {x}) & = & \ underset {\ eta} {\ text {sup}} \ underset {\ {\ theta: \ тау (\ theta) = \ eta \}} {\ text {sup}} \, L (\ theta | \ textbf {x}) \\ & = & \ underset {\ theta} {\ text {sup}} L (\ theta | \ textbf {x}) \\ & = & L (\ hat {\ theta} | \ textbf {x}), \ end {eqnarray *}

Первое и третье равенства выполняются по определению $L^{*}$ и $\hat{\theta}$ соответственно, а второе равенство выполняется, потому что повторная максимизация равна безусловной максимизации по $\theta$, полученный в $\hat{\theta}$. В дальнейшем,

\ begin {eqnarray *} L (\ hat {\ theta} | \ textbf {x}) & = & \ underset {\ {\ theta: \ tau (\ theta) = \ tau (\ hat {\ theta}) \ }} {\ text {sup}} L (\ theta | \ textbf {x}) \\ & = & L ^ {*} \ left [\ tau (\ hat {\ theta}) | \ textbf {x} \ правильно]. \ end {eqnarray *}

Следовательно, строка равенств показывает, что $L^{*}(\hat{\eta}|\textbf{x})=L^{*}\left[\tau(\hat{\theta})|\textbf{x}\right]$ и это $\tau(\hat{\theta})$ является MLE $\tau(\theta)$. $\blacksquare$