Nessuna aspettativa condizionale di errore nella regressione OLS
Supponiamo di avere una variabile dipendente $Y$ e una variabile indipendente $X$ in una popolazione e vogliamo stimare il modello lineare $$ Y = \beta_{0} + \beta_{1}X + \varepsilon $$ Usando il metodo dei minimi quadrati, otteniamo stime $\hat{\beta_{0}}$ e $\hat{\beta_{1}}$, e così in un campione di questa popolazione, abbiamo per ciascuno $i$ nel campione $$ y_{i} = \hat{\beta_{0}} + \hat{\beta_{1}}x_{i} + e_{i} $$ dove $e_{i}$ è il residuo associato all'osservazione $i$. Ora, un presupposto essenziale qui è che la distribuzione condizionale di$e_{i}$ dato un $X$ è normale e $$ \mathbb{E}(e_{i}|X) = 0 $$ Non capisco appieno come $e_{i}$può essere considerata come una variabile casuale data una$X$. Qual è precisamente la variabile casuale$e_{i}$, ovvero quali diversi valori può assumere? Stime date$\hat{\beta_{0}}$ e $\hat{\beta_{1}}$ e un valore $X$, mi sembra che il $e_{i}$assumere un numero finito di valori fissi (potrebbe anche essere 1); quindi in che senso viene vista come una variabile casuale?
In alternativa, la "casualità" in $e_{i}$vieni perché consideriamo i termini di errore associati a diverse stime dei coefficienti di regressione? In altre parole, l'aspettativa condizionale zero degli errori significa che dato un$X = x$, se abbiamo scelto diversi campioni della popolazione contenente $x$ e ha stimato la linea dei minimi quadrati per ciascuno di questi campioni, l'errore associato a $x$ dovrebbe, in media, essere zero?
Risposte
I residui, definiti dati i regressori, rimangono variabili casuali semplicemente perché, anche se si danno i regressori, non è possibile ridurli a costanti. In altre parole, se lo hai$x_i$ si possono ottenere, dati i coefficienti stimati, i valori previsti di $y$ ma questa previsione mantiene la sua incertezza.
Hai comunque ragione che i valori residui siano legati ai coefficienti stimati.
Ora devi notare che la condizione che hai scritto $E[e_i|X]=0$è sbagliato perché è scritto sui residui. Temo che confondi il significato di residui ed errori. Questo problema è ampiamente diffuso e molto pericoloso.
Seguendo la tua notazione, la condizione dovrebbe essere $E[\epsilon_i|X]=0$e ha senso solo se interpretiamo il vero modello come equazione strutturale e non come qualcosa di simile alla regressione della popolazione (parli di modello lineare nella tua domanda, nome troppo generico e ambiguo usato frequentemente). Incomprensioni come queste hanno prodotto molti problemi tra gli studenti e anche in letteratura.
Questi post possono aiutare te e altri lettori:
Qual è la definizione effettiva di endogeneità?
L'omoscedasticità implica che le variabili regressive e gli errori non siano correlati?
Test di endogeneità mediante test di correlazione
Parametri di popolazione della regressione
Parte della confusione riguarda la differenza tra $e$ e $\epsilon$, e questo sembra essere stato affrontato adeguatamente nei commenti e in altre risposte. Ma ulteriore confusione espressa dal PO riguarda la natura della casualità stessa in questo contesto, e nella correlata questione del significato di$E(\epsilon | X)$. Ecco una risposta che chiarisce questi problemi.
Considera un esempio classico: $Y$ = altezza da adulto del figlio, $X$= altezza da adulto del padre. Supponiamo$E(Y | X = x) = \beta_0 + \beta_1 x$è vero. Poiché questo è un modello per come potrebbero apparire i dati, abbiamo bisogno di una struttura concettuale per dove / quando / come i dati vengono raccolti. Supponiamo, per ragioni di concretezza, di parlare di un campione "tipico" di persone che vivono oggi nel mondo, ragionevolmente rappresentativo di questo spettro umano.
La questione della "casualità" può essere meglio compresa come qualcosa che non è correlato ai dati effettivi; che invece può essere inteso in termini di "dati potenzialmente osservabili" per il framework di raccolta dati concettuale. Dato un particolare padre la cui altezza è di 180 cm, ma che è altrimenti generico all'interno del quadro di campionamento, c'è una distribuzione delle altezze del figlio potenzialmente osservabili . Così il$Y$ nell'espressione $Y | X = 180$ può essere descritto come "casuale" in questa fase, avendo una certa distribuzione di probabilità di valori potenzialmente osservabili.
(Si noti che la "popolazione" del mondo è irrilevante in questo contesto - invece, il modello di regressione vede le altezze delle persone nel mondo oggi come se stesse ma una delle tante possibili realizzazioni di possibili altezze che avrebbero potuto esistere in questo particolare punto in Uno dei motivi per cui il quadro "popolazione" non ha senso è che non ci sono dati nella popolazione da cui costruire le distribuzioni condizionali della popolazione: quanti padri sul pianeta hanno un'altezza compresa tra 79,9999999 ... 9 e 80.0000 .......... 1 centimetro? La risposta è "nessuno" se lasci che il "..." funzioni abbastanza a lungo.)
Adesso, $\epsilon = Y - (\beta_0 + \beta_1 x)$, che è la differenza tra il potenziale osservabile (casuale) $Y$ e la media della distribuzione di tale potenziale osservabile $Y$ per il dato $x$. La "casualità" in$\epsilon$ è ereditato dalla "casualità" in $Y$ (la media condizionale $\beta_0 + \beta_1 x$, sebbene incerto nella mente, è scientificamente fissato in questo contesto).
Per capire la condizione $E(\epsilon | X=x) = 0$, considera di nuovo $X=180$. Qui,$\epsilon$ è la deviazione di un potenziale osservabile $Y$ per cui $X=180$, dalla media di tutto ciò potenzialmente osservabile $Y$. La media di tutto questo$\epsilon$è 0 proprio perché la media di tutto questo $Y$è $\beta_0 + \beta_1 (180)$.
A proposito, l'ipotesi $E(\epsilon | X=x) = 0 $ non è necessario qui: è una conseguenza matematica dell'assunzione più intuitiva $E(Y | X = x) = \beta_0 + \beta_1 x$, che afferma semplicemente che la funzione della media di regressione è modellata correttamente.