Espérance d'erreur conditionnelle nulle dans la régression OLS
Supposons que nous ayons une variable dépendante $Y$ et une variable indépendante $X$ dans une population, et nous voulons estimer le modèle linéaire $$ Y = \beta_{0} + \beta_{1}X + \varepsilon $$ En utilisant la méthode des moindres carrés, nous obtenons des estimations $\hat{\beta_{0}}$ et $\hat{\beta_{1}}$, et donc dans un échantillon de cette population, nous avons pour chaque $i$ dans l'échantillon $$ y_{i} = \hat{\beta_{0}} + \hat{\beta_{1}}x_{i} + e_{i} $$ où $e_{i}$ est le résidu associé à l'observation $i$. Or, une hypothèse essentielle ici est que la distribution conditionnelle de$e_{i}$ donné un $X$ est normal, et $$ \mathbb{E}(e_{i}|X) = 0 $$ Je ne comprends pas complètement comment $e_{i}$peut être considérée comme une variable aléatoire étant donné un$X$. Quelle est précisément la variable aléatoire$e_{i}$, c'est-à-dire quelles valeurs différentes peut-il prendre? Estimations données$\hat{\beta_{0}}$ et $\hat{\beta_{1}}$ et une valeur $X$, il me semble que le $e_{i}$prenez juste un nombre fini de valeurs fixes (pourrait même être 1); alors dans quel sens est-il considéré comme une variable aléatoire?
Sinon, est-ce que le "caractère aléatoire" $e_{i}$venir parce que nous considérons les termes d'erreur associés à différentes estimations des coefficients de régression? En d'autres termes, l'espérance conditionnelle nulle d'erreurs signifie-t-elle que,$X = x$, si nous avons choisi différents échantillons de la population contenant $x$ et a estimé la ligne des moindres carrés pour chacun de ces échantillons, l'erreur associée à $x$ devrait, en moyenne, être nul?
Réponses
Les résidus, définis à partir des régresseurs, restent des variables aléatoires simplement parce que, même si les régresseurs sont donnés, il n'est pas possible de les réduire en constantes. En d'autres termes, si vous avez$x_i$ vous pouvez obtenir, compte tenu des coefficients estimés, les valeurs prédites de $y$ mais cette prédiction maintient son incertitude.
Cependant vous avez le droit que les valeurs résiduelles soient liées aux coefficients estimés.
Maintenant, vous devez noter que la condition que vous avez écrite $E[e_i|X]=0$est faux car il est écrit sur les résidus. Je crains que vous ne confondiez le sens des résidus et des erreurs. Ce problème est largement répandu et très dangereux.
Suivant votre notation, la condition doit être $E[\epsilon_i|X]=0$et cela n'a de sens que si nous interprétons le vrai modèle comme une équation structurelle et non comme quelque chose comme la régression de population (vous parlez de modèle linéaire dans votre question, nom trop général et ambigu fréquemment utilisé). Des malentendus comme ceux-là ont produit de nombreux problèmes chez les étudiants et dans la littérature également.
Ces articles peuvent vous aider, vous et d'autres lecteurs:
Quelle est la définition réelle de l'endogénéité?
L'homoscédasticité implique-t-elle que les variables de régression et les erreurs ne sont pas corrélées?
Test d'endogénéité à l'aide du test de corrélation
Paramètres de population de la régression
Une partie de la confusion concerne la différence entre $e$ et $\epsilon$, et cela semble avoir été traité de manière adéquate dans les commentaires et autres réponses. Mais une confusion supplémentaire exprimée par le PO concerne la nature du caractère aléatoire lui-même dans ce contexte, et la question connexe de la signification de$E(\epsilon | X)$. Voici une réponse qui clarifie ces questions.
Prenons un exemple classique: $Y$ = taille adulte du fils, $X$= taille adulte du père. Supposer$E(Y | X = x) = \beta_0 + \beta_1 x$est vrai. Puisqu'il s'agit d'un modèle pour la façon dont les données peuvent apparaître, nous avons besoin d'un cadre conceptuel pour savoir où / quand / comment les données sont collectées. Supposons, dans un souci de concrétisation, que nous parlions d'un échantillon «typique» de personnes vivant dans le monde aujourd'hui, un échantillon raisonnablement représentatif de ce spectre humain.
La question du «caractère aléatoire» peut être mieux comprise comme quelque chose qui n'a aucun rapport avec les données réelles; qui au contraire peut être compris en termes de «données potentiellement observables» pour le cadre conceptuel de collecte de données. Étant donné un père particulier dont la taille est de 180 cm, mais qui est par ailleurs générique dans le cadre d'échantillonnage, il existe une distribution des hauteurs de fils potentiellement observables . Ainsi, le$Y$ dans l'expression $Y | X = 180$ peut être décrit comme "aléatoire" à ce stade, ayant une distribution de probabilité de valeurs potentiellement observables.
(Notez que la «population» du monde n'est pas pertinente dans ce contexte - au lieu de cela, le modèle de régression considère les hauteurs des personnes dans le monde d'aujourd'hui comme elles-mêmes, mais comme l'une des nombreuses réalisations possibles des hauteurs possibles qui auraient pu exister à ce stade particulier en L'une des raisons pour lesquelles le cadre «population» n'a aucun sens est qu'il n'y a pas de données sur la population à partir desquelles construire les distributions conditionnelles de la population: combien de pères sur la planète ont une taille entre 79,9999999 ........... 9 et 80,0000 .......... 1 centimètre? La réponse est "aucun" si vous laissez le "..." fonctionner assez longtemps.)
Maintenant, $\epsilon = Y - (\beta_0 + \beta_1 x)$, qui est la différence entre le potentiellement observable (aléatoire) $Y$ et la moyenne de la distribution de ces $Y$ pour le donné $x$. Le "caractère aléatoire" de$\epsilon$ est hérité du "caractère aléatoire" de $Y$ (la moyenne conditionnelle $\beta_0 + \beta_1 x$, bien qu'incertain dans l'esprit, est scientifiquement fixé dans ce contexte).
Pour comprendre la condition $E(\epsilon | X=x) = 0$, réfléchis à nouveau $X=180$. Ici,$\epsilon$ est la déviation d'un potentiel observable $Y$ Pour qui $X=180$, à partir de la moyenne de toutes ces $Y$. La moyenne de tous ces$\epsilon$est 0 précisément parce que la moyenne de tous ces $Y$c'est $\beta_0 + \beta_1 (180)$.
Au fait, l'hypothèse $E(\epsilon | X=x) = 0 $ n'est pas nécessaire ici: c'est une conséquence mathématique de l'hypothèse plus intuitive $E(Y | X = x) = \beta_0 + \beta_1 x$, qui indique simplement que la fonction de moyenne de régression est correctement modélisée.