Differenze tra formule per AIC e BIC

Aug 22 2020

Ho una domanda riguardante i criteri di informazione AIC e BIC:

Ho trovato diverse formule per l'AIC/BIC, quelle comuni inclusa la verosimiglianza$\mathcal{L}$sono$$AIC = 2K - 2 ln(\mathcal{L})\quad\text{and}\quad BIC =K\;ln(n)- 2 ln(\mathcal{L}).$$In "Elements of Forecasting" di Diebold e in "Econometric Analysis" di Greene ho trovato alcune formulazioni molto simili con MSE (o RSS),$$AIC = ln(\frac{RSS}{n}) + \frac{2K}{n} \quad\text{and}\quad BIC = ln(\frac{RSS}{n}) + \frac{K \;ln(n)}{n}.$$A parte il fatto che i valori ottenuti da una delle prime formule non sono confrontabili con quelli delle seconde: in che cosa differiscono o sono tutti equivalenti? Presumono tutti una distribuzione iid normale o ci sono diverse ipotesi alla base di queste formule?

Risposte

2 J.C.Wahl Aug 22 2020 at 20:48

Se si assumono errori normalmente distribuiti, minimizzare l'MSE equivale a massimizzare la funzione di verosimiglianza. La tua successiva espressione per AIC e BIC sono quindi casi speciali della formula generale (fino a una costante proporzionale):

$$\text{AIC} = 2K - 2 \ln(\mathcal{L})\quad\text{and}\quad \text{BIC} =K\;\ln(n)- 2 \ln(\mathcal{L}).$$

Se presumi una distribuzione diversa per i tuoi dati, le stime MSE non saranno più le stesse delle stime di massima verosimiglianza e non potrai più utilizzare MSE al posto di$\mathcal{L}$, poiché non è la verosimiglianza del tuo modello. Vedi questo post per ulteriori informazioni sull'uso dell'AIC.