Possono verificarsi overfitting e underfitting simultaneamente?

Question

Sto cercando di capire meglio l'overfitting e l'underfitting. Considera un processo di generazione dei dati (DGP)$$ Y=f(X)+\varepsilon $$ dove $f(\cdot)$ è una funzione deterministica, $X$ sono alcuni regressori e $\varepsilon$ è un termine di errore casuale indipendente da $X$. Supponiamo di avere un modello$$ Y=g(Z)+u $$ dove $g(\cdot)$ è una funzione deterministica, $Z$ sono alcuni regressori (forse in parte sovrapposti a $X$ ma non necessariamente uguale a $X$) e $u$ è un termine di errore casuale indipendente da $Z$.

Overfitting

Penso che overfitting significhi che il modello stimato ha catturato alcuni pattern di rumore dovuti a$\varepsilon$ oltre ai modelli deterministici dovuti a $f(X)$. Secondo James et al. "Un'introduzione all'apprendimento statistico" (2013) p. 32,

[L'overfitting] si verifica perché la nostra procedura di apprendimento statistico sta lavorando troppo duramente per trovare modelli nei dati di addestramento e potrebbe rilevare alcuni modelli che sono solo causati da casualità piuttosto che da proprietà reali della funzione sconosciuta $f$.

Una versione simile è disponibile su Wikipedia ,

Nelle statistiche, l'overfitting è "la produzione di un'analisi che corrisponde troppo da vicino o esattamente a un particolare insieme di dati, e può quindi non riuscire ad adattare dati aggiuntivi o prevedere osservazioni future in modo affidabile". Un modello overfitted è un modello statistico che contiene più parametri di quelli che possono essere giustificati dai dati. L'essenza dell'overfitting consiste nell'aver estratto inconsapevolmente parte della variazione residua (cioè il rumore) come se quella variazione rappresentasse la struttura del modello sottostante.

Una differenza tra la prima e la seconda citazione sembra essere che Wikipedia menziona quanti parametri sono giustificati dai dati, mentre James et al. considera solo se$g(\cdot)$ sta catturando modelli a causa di $\varepsilon$. Se seguiamo James et al. ma non Wikipedia, la linea tra overfitting e assenza di ciò sembra un po 'sfocata. In genere, anche molto semplice$g(\cdot)$catturerà almeno alcuni dei modelli casuali dovuti a$\varepsilon$. Tuttavia, rendendo$g(\cdot)$ più flessibile potrebbe tuttavia migliorare le prestazioni predittive, in quanto più flessibile $g(\cdot)$ sarà in grado di approssimare $f(\cdot)$meglio. Finché il miglioramento nell'approssimazione$f(\cdot)$ supera il deterioramento dovuto all'approssimarsi dei modelli in $\varepsilon$, paga per fare $g(\cdot)$ più flessibile.

Underfitting

Penso che underfitting significhi$g(Z)$ non è sufficientemente flessibile per nidificare $f(X)$. L'approssimazione di$f(X)$ di $g(Z)$ sarebbe imperfetto anche data la perfetta precisione di stima dei parametri del modello, e quindi $g(Z)$ farebbe peggio di $f(X)$ nella previsione $Y$. Secondo Wikipedia ,

L'underfitting si verifica quando un modello statistico non è in grado di catturare adeguatamente la struttura sottostante dei dati. Un modello sottodimensionato è un modello in cui mancano alcuni parametri o termini che apparirebbero in un modello specificato correttamente. Ad esempio, l'adattamento di un modello lineare a dati non lineari si verificava.

Sovra e underfitting simultanei

Se seguiamo la definizione di overfitting di James et al., Penso che overfitting e underfitting possano verificarsi simultaneamente. Prendi un molto semplice$g(Z)$ che non si annida $f(X)$, e ovviamente ci sarà underfitting. Ci sarà anche un po 'di overfitting, perché con ogni probabilità,$g(Z)$catturerà almeno alcuni dei modelli casuali dovuti a$\varepsilon$.

Se seguiamo la definizione di overfitting di Wikipedia, penso che overfitting e underfitting possano ancora verificarsi simultaneamente. Prendi un piuttosto ricco$g(Z)$ che non si annida $f(X)$ ma è abbastanza ricco da catturare molti modelli casuali a causa di $\varepsilon$. Come$g(Z)$ non nidifica $f(X)$, ci sarà un underfitting. Come$g(Z)$ cattura molti modelli casuali a causa di $\varepsilon$, ci sarà anche un overfitting; un più semplice$g(Z)$ potrebbe essere trovato che migliorerebbe le prestazioni predittive apprendendo meno schemi casuali.

Domanda

Il mio ragionamento ha senso? Possono verificarsi overfitting e underfitting simultaneamente?

Answer 1

Il tuo ragionamento ha senso per me.

Ecco un esempio estremamente semplice. Supporre che$X$ consiste di solo due colonne $x_1$ e $x_2$, e il vero DGP è

$$ y=\beta_1x_1+\beta_2x_2+\epsilon $$

con diverso da zero $\beta_1$ e $\beta_2$e rumore $\epsilon$.

Quindi, supponilo $Z$ contiene colonne $x_1, x_1^2, x_1^3, \dots$- ma non $x_2$.

Se ora ci adattiamo $g(Z)$ (utilizzando OLS o qualsiasi altro approccio), non possiamo catturare l'effetto di $x_2$, semplicemente perchè $x_2$ è sconosciuto a $g(Z)$, quindi avremo underfitting. Ma al contrario, compresi i poteri spuri di$x_1$(o qualsiasi altro predittore spurio) significa che possiamo overfit, e di solito lo faremo, a meno che non ci regolarizziamo in qualche modo.

Answer 2

Mi piace l'idea di avere un cattivo adattamento della parte deterministica e anche di adattare eccessivamente il rumore come overfitting e underfitting, ma non è così che vedo queste terminologie.

Considero la questione dell'overfitting contro l'underfitting come correlata al compromesso tra bias e varianza. Sicuramente puoi avere situazioni che sono sia con un bias alto che con una varianza alta, ma non è questo il punto per esprimere la situazione overfitting (varianza relativamente alta) rispetto a underfitting (bias relativamente alto). Questi concetti sono relativi a un punto ideale. In pratica questo punto ideale può essere ancora parziale e anche con varianza. Non siamo mai (completamente) privi di pregiudizi e / o varianze.

(In realtà, direi che spesso la risposta più efficiente, con il minor errore, è spesso sempre con qualche bias, e quindi sia underfitting che overfitting)

Quindi con overfitting contro underfitting, penso sempre a questi grafici come

• Bias contro varianza. Come in questa domanda: matematica del compromesso tra pregiudizio e varianza

• O errore di addestramento e errore di prova. Come in queste domande ( a b c d ) e riassunte in questa domanda: come sapere se il modello è overfitting o underfitting?

Quindi per me questo overfitting rispetto a underfitting è qualcosa che è relativo, relativo a un parametro e possiamo tracciarlo in funzione di quel parametro.

Ma certo, questo grafico, dove un lato (sinistro / destro) è overfitting e l'altro lato (destro / sinistro) è underfitting, può anche essere considerato spostato su e giù in relazione alla questione dell'errore totale (bias + varianza ) essendo sia incessante che diminuita.