Expectativa de error condicional cero en la regresión MCO
Supongamos que tenemos una variable dependiente $Y$ y una variable independiente $X$ en una población, y queremos estimar el modelo lineal $$ Y = \beta_{0} + \beta_{1}X + \varepsilon $$ Utilizando el método de mínimos cuadrados, obtenemos estimaciones $\hat{\beta_{0}}$ y $\hat{\beta_{1}}$, por lo que en una muestra de esta población, tenemos para cada $i$ en la muestra $$ y_{i} = \hat{\beta_{0}} + \hat{\beta_{1}}x_{i} + e_{i} $$ dónde $e_{i}$ es el residuo asociado con la observación $i$. Ahora, una suposición esencial aquí es que la distribución condicional de$e_{i}$ dado un $X$ es normal y $$ \mathbb{E}(e_{i}|X) = 0 $$ No entiendo completamente como $e_{i}$puede considerarse como una variable aleatoria dada una$X$. ¿Qué es precisamente la variable aleatoria$e_{i}$, es decir, ¿qué valores diferentes puede asumir? Estimaciones dadas$\hat{\beta_{0}}$ y $\hat{\beta_{1}}$ y un valor $X$, me parece que el $e_{i}$simplemente tome un número finito de valores fijos (incluso podría ser 1); entonces, ¿en qué sentido se considera una variable aleatoria?
Alternativamente, ¿la "aleatoriedad" en $e_{i}$viene porque consideramos los términos de error asociados con diferentes estimaciones de los coeficientes de regresión? En otras palabras, ¿significa la expectativa condicional cero de errores que, dado un$X = x$, si seleccionamos diferentes muestras de la población que contienen $x$ y estimó la línea de mínimos cuadrados para cada una de estas muestras, el error asociado con $x$ debería, en promedio, ser cero?
Respuestas
Los residuales, definidos dados los regresores, siguen siendo variables aleatorias simplemente porque, incluso si se dan los regresores, no es posible reducirlos a constantes. En otras palabras, si tienes$x_i$ puede obtener, dados los coeficientes estimados, los valores predichos de $y$ pero esta predicción mantiene su incertidumbre.
Sin embargo, tiene razón en que los valores residuales están vinculados a los coeficientes estimados.
Ahora debes tener en cuenta que la condición que escribiste $E[e_i|X]=0$es incorrecto porque está escrito en residuos. Me temo que confundes el significado de residuos y errores. Este problema está muy extendido y es muy peligroso.
Siguiendo su notación, la condición debe ser $E[\epsilon_i|X]=0$y tiene sentido solo si interpretamos el modelo verdadero como una ecuación estructural y no como algo como una regresión de población (usted habla de modelo lineal en su pregunta, un nombre demasiado general y ambiguo de uso frecuente). Malentendidos como esos han producido muchos problemas entre los estudiantes y también en la literatura.
Esas publicaciones pueden ayudarlo a usted y a otros lectores:
¿Cuál es la definición real de endogeneidad?
¿La homocedasticidad implica que las variables regresoras y los errores no están correlacionados?
Prueba de endogeneidad mediante prueba de correlación
Parámetros poblacionales de regresión
Parte de la confusión se refiere a la diferencia entre $e$ y $\epsilon$, y eso parece haberse abordado adecuadamente en los comentarios y otras respuestas. Pero la confusión adicional expresada por el PO se refiere a la naturaleza de la aleatoriedad en sí en este contexto, y en la cuestión relacionada del significado$E(\epsilon | X)$. Aquí hay una respuesta que aclara estos problemas.
Considere un ejemplo clásico: $Y$ = altura adulta del hijo, $X$= altura adulta del padre. Suponer$E(Y | X = x) = \beta_0 + \beta_1 x$es verdad. Dado que este es un modelo de cómo pueden aparecer los datos, necesitamos un marco conceptual sobre dónde / cuándo / cómo se recopilan los datos. Supongamos, en aras de la concreción, que estamos hablando de una muestra "típica" de personas que viven en el mundo de hoy, una que es razonablemente representativa de este espectro humano.
La cuestión de la "aleatoriedad" puede entenderse mejor como algo que no está relacionado con los datos reales; que, en cambio, puede entenderse en términos de "datos potencialmente observables" para el marco conceptual de recopilación de datos. Dado un padre en particular cuya altura es de 180 cm, pero que por lo demás es genérico dentro del marco de muestreo, existe una distribución de las alturas del hijo potencialmente observables . Por lo tanto, la$Y$ en la expresión $Y | X = 180$ puede describirse como "aleatorio" en esta etapa, teniendo alguna distribución de probabilidad de valores potencialmente observables.
(Tenga en cuenta que la "población" del mundo es irrelevante en este contexto; en cambio, el modelo de regresión ve las alturas de las personas en el mundo de hoy como ellas mismas, pero una de las muchas posibles realizaciones de las posibles alturas que podrían haber existido en este punto particular de Una razón por la que el marco de "población" no tiene sentido es que no hay datos en la población a partir de los cuales construir las distribuciones condicionales de la población: ¿Cuántos padres en el planeta tienen una estatura entre 79,9999999 ........... 9 y 80.0000 .......... 1 centímetro? La respuesta es "ninguno" si deja que el "..." corra el tiempo suficiente).
Ahora, $\epsilon = Y - (\beta_0 + \beta_1 x)$, que es la diferencia entre lo potencialmente observable (aleatorio) $Y$ y la media de la distribución de tal potencial observable $Y$ por lo dado $x$. La "aleatoriedad" en$\epsilon$ se hereda de la "aleatoriedad" en $Y$ (la media condicional $\beta_0 + \beta_1 x$, aunque incierto en la mente, está científicamente fijado en este contexto).
Para entender la condición $E(\epsilon | X=x) = 0$, considera de nuevo $X=180$. Aquí,$\epsilon$ es la desviación de un valor potencialmente observable $Y$ para cual $X=180$, a partir de la media de todos esos potencialmente observables $Y$. La media de todos esos$\epsilon$es 0 precisamente porque la media de todos esos $Y$es $\beta_0 + \beta_1 (180)$.
Por cierto, la suposición $E(\epsilon | X=x) = 0 $ no es necesario aquí: es una consecuencia matemática del supuesto más intuitivo $E(Y | X = x) = \beta_0 + \beta_1 x$, que simplemente establece que la función media de regresión está modelada correctamente.