Expectativa condicional zero de erro na regressão OLS
Suponha que temos uma variável dependente $Y$ e uma variável independente $X$ em uma população, e queremos estimar o modelo linear $$ Y = \beta_{0} + \beta_{1}X + \varepsilon $$ Usando o método dos mínimos quadrados, obtemos estimativas $\hat{\beta_{0}}$ e $\hat{\beta_{1}}$, e assim, em uma amostra desta população, temos para cada $i$ na amostra $$ y_{i} = \hat{\beta_{0}} + \hat{\beta_{1}}x_{i} + e_{i} $$ Onde $e_{i}$ é o resíduo associado à observação $i$. Agora, uma suposição essencial aqui é que a distribuição condicional de$e_{i}$ dado um $X$ é normal, e $$ \mathbb{E}(e_{i}|X) = 0 $$ Eu não entendo totalmente como $e_{i}$pode ser visto como uma variável aleatória, dado um$X$. Qual é precisamente a variável aleatória$e_{i}$, ou seja, quais valores diferentes pode assumir? Estimativas dadas$\hat{\beta_{0}}$ e $\hat{\beta_{1}}$ e um valor $X$, parece-me que o $e_{i}$apenas assuma um número finito de valores fixos (pode até ser 1); então, em que sentido é visto como uma variável aleatória?
Alternativamente, a "aleatoriedade" em $e_{i}$veio porque consideramos os termos de erro associados a diferentes estimativas dos coeficientes de regressão? Em outras palavras, a expectativa condicional zero de erros significa que, dada uma$X = x$, se escolhermos diferentes amostras da população contendo $x$ e estimou a linha de quadrados mínimos para cada uma dessas amostras, o erro associado com $x$ deve, em média, ser zero?
Respostas
Os resíduos, definidos a partir dos regressores, permanecem variáveis aleatórias simplesmente porque, mesmo que os regressores sejam dados, não é possível reduzi-los a constantes. Em outras palavras, se você tiver$x_i$ você pode obter, dados coeficientes estimados, os valores previstos de $y$ mas esta previsão mantém sua incerteza.
No entanto, você tem o direito de que os valores residuais estão ligados aos coeficientes estimados.
Agora você deve observar que a condição que você escreveu $E[e_i|X]=0$está errado porque está escrito em resíduos. Temo que você confunda o significado de resíduos e erros. Este problema é amplamente disseminado e muito perigoso.
Seguindo sua notação, a condição deve ser $E[\epsilon_i|X]=0$e só faz sentido se interpretarmos o modelo verdadeiro como equação estrutural e não como algo como regressão populacional (você fala sobre modelo linear em sua pergunta, nome muito geral e ambíguo freqüentemente usado). Mal-entendidos como esses produziram muitos problemas entre os alunos e também na literatura.
Essas postagens podem ajudar você e outros leitores:
Qual é a definição real de endogeneidade?
A homocedasticidade implica que as variáveis do regressor e os erros não estão correlacionados?
Teste de endogeneidade usando teste de correlação
Parâmetros populacionais de regressão
Parte da confusão diz respeito à diferença entre $e$ e $\epsilon$, e isso parece ter sido tratado de forma adequada nos comentários e em outras respostas. Mas confusão adicional expressa pelo OP diz respeito à própria natureza da aleatoriedade neste contexto, e na questão relacionada do significado de$E(\epsilon | X)$. Aqui está uma resposta que esclarece essas questões.
Considere um exemplo clássico: $Y$ = altura adulta do filho, $X$= altura adulta do pai. Suponha$E(Y | X = x) = \beta_0 + \beta_1 x$é verdade. Uma vez que este é um modelo de como os dados podem aparecer, precisamos de alguma estrutura conceitual para onde / quando / como os dados são coletados. Suponha, por uma questão de concretude, que estamos falando de uma amostra "típica" de pessoas que vivem no mundo hoje, uma que seja razoavelmente representativa desse espectro humano.
A questão da "aleatoriedade" pode ser melhor entendida como algo que não está relacionado aos dados reais; que, em vez disso, pode ser entendido em termos de "dados potencialmente observáveis" para a estrutura de coleta de dados conceituais. Dado um pai particular cuja altura é de 180 cm, mas que é genérico dentro da estrutura de amostragem, há uma distribuição das alturas dos filhos potencialmente observáveis . Então, o$Y$ na expressão $Y | X = 180$ pode ser descrito como "aleatório" neste estágio, tendo alguma distribuição de probabilidade de valores potencialmente observáveis.
(Observe que a "população" do mundo é irrelevante neste contexto - em vez disso, o modelo de regressão vê as alturas das pessoas no mundo hoje como elas mesmas, mas uma das muitas realizações possíveis de alturas possíveis que poderiam ter existido neste ponto particular em tempo. Uma razão pela qual a estrutura da "população" não faz sentido é que não há dados na população a partir dos quais construir as distribuições condicionais da população: Quantos pais no planeta têm altura entre 79,9999999 ........... 9 e 80,0000 .......... 1 centímetro? A resposta é "nenhum" se você deixar o "..." funcionar por tempo suficiente.)
Agora, $\epsilon = Y - (\beta_0 + \beta_1 x)$, que é a diferença entre o potencialmente observável (aleatório) $Y$ e a média da distribuição de tais potencialmente observáveis $Y$ para o dado $x$. A "aleatoriedade" em$\epsilon$ é herdado da "aleatoriedade" em $Y$ (a média condicional $\beta_0 + \beta_1 x$, embora incerto na mente, é cientificamente fixado neste contexto).
Para entender a condição $E(\epsilon | X=x) = 0$, considere novamente $X=180$. Aqui,$\epsilon$ é o desvio de um potencialmente observável $Y$ para qual $X=180$, da média de todos esses potencialmente observáveis $Y$. A média de todos esses$\epsilon$'s é 0 precisamente porque a média de todos esses $Y$é $\beta_0 + \beta_1 (180)$.
A propósito, a suposição $E(\epsilon | X=x) = 0 $ não é necessário aqui: é uma consequência matemática da suposição mais intuitiva $E(Y | X = x) = \beta_0 + \beta_1 x$, que simplesmente afirma que a função média da regressão foi modelada corretamente.