Relação entre OLS, MM e ML

Question

Qual é a relação entre OLS, MM (método dos momentos) e ML (máxima verossimilhança)? Durante meus estudos, os três conceitos foram ensinados completamente separados uns dos outros. No entanto, eles parecem estar fortemente relacionados. Alguém poderia lançar alguma luz sobre isso em termos básicos / gerais?

Answer 1

São métodos diferentes para estimar parâmetros, porém estão relacionados. A distribuição gaussiana (normal) em particular tem$(x-a)^2$ como um termo na probabilidade de log, o que significa que maximizar a probabilidade ao longo $a$para observações independentes (envolvendo um produto das densidades que se torna uma soma após obter o log) equivale a minimizar a soma dos quadrados. Em outras palavras, o estimador de mínimos quadrados ordinários (OLS) será o mesmo que a verossimilhança máxima, o mesmo na regressão com erros de Gauss.

Para outras distribuições, eles geralmente não são os mesmos. Mínimos quadrados tem a interpretação direta de que o estimador é escolhido de forma que se aproxime bem de todos os dados no sentido de tornar as distâncias quadradas pequenas, o que pode fazer sentido mesmo para distribuições não normais, porém, nesses casos, maximizar a probabilidade será algo diferente , normalmente com melhores propriedades estatísticas (já que as observações são usadas de uma forma ótima para o modelo, em vez de seguir um princípio geral).

No caso gaussiano, o método dos momentos também dará os mesmos estimadores de máxima verossimilhança tanto para a média quanto para a variância, porém é um princípio diferente e em geral dará estimadores diferentes. É mais motivado matematicamente, escolhendo estimadores que estejam em linha com os momentos observados, ao invés de aproximar os dados (como OLS) ou tentar ser ótimo no modelo quanto à probabilidade.

A distribuição gaussiana é muito popular e aqui os métodos coincidem; na verdade, algumas pessoas tomariam o princípio OLS como sendo motivado pela probabilidade Gaussiana e diriam que as distribuições gaussianas devem ser assumidas ao calcular estimadores OLS (o que significa que eles também são ML), mas isso não é estritamente verdadeiro, o princípio OLS pode ser motivado também para outras situações, mas pode perder alguma qualidade aí.