Różnice między formułami AIC i BIC

Question

Mam pytanie odnośnie kryteriów informacyjnych AIC i BIC:

Znalazłem różne wzory na AIC / BIC, typowe, w tym prawdopodobieństwo $\mathcal{L}$ są $$AIC = 2K - 2 ln(\mathcal{L})\quad\text{and}\quad BIC =K\;ln(n)- 2 ln(\mathcal{L}).$$ W „Elements of Forecasting” firmy Diebold i „Econometric Analysis” Greene'a znalazłem kilka bardzo podobnych sformułowań z MSE (lub RSS), $$AIC = ln(\frac{RSS}{n}) + \frac{2K}{n} \quad\text{and}\quad BIC = ln(\frac{RSS}{n}) + \frac{K \;ln(n)}{n}.$$Pomijając fakt, że wartości uzyskanych przez jedną z pierwszych formuł nie można porównać z wartościami z tych ostatnich: W jaki sposób się różnią, czy też wszystkie są równoważne? Czy wszystkie przyjmują rozkład normalny, czy też istnieją inne założenia leżące u podstaw tych wzorów?

Answer 1

Jeśli przyjmiesz błędy o rozkładzie normalnym, zminimalizowanie MSE jest równoznaczne z maksymalizacją funkcji prawdopodobieństwa. Twoje późniejsze wyrażenia dla AIC i BIC są zatem przypadkami specjalnymi ogólnego wzoru (do stałej proporcjonalnej):

$$\text{AIC} = 2K - 2 \ln(\mathcal{L})\quad\text{and}\quad \text{BIC} =K\;\ln(n)- 2 \ln(\mathcal{L}).$$

Jeśli założysz inny rozkład danych, oszacowania MSE nie będą już takie same jak oszacowania maksymalnego prawdopodobieństwa i nie możesz już używać MSE zamiast $\mathcal{L}$, ponieważ nie jest to prawdopodobieństwo twojego modelu. Zobacz ten post, aby uzyskać więcej informacji na temat korzystania z AIC.