Biais variable omis (OVB) et multicolinéarité
Dans un modèle de régression linéaire, la raison pour laquelle nous contrôlons les variables est d'éviter le biais de variable omise (OVB). Autrement dit, supposons que nous essayions d'adapter le modèle$$ Y = \beta_{0} + \beta_{1}X_{1} + \varepsilon $$ cependant, il existe une autre variable $X_{2}$qui est corrélé avec$X_{1}$ et influences $Y$, puis l'estimation pour $\beta_{1}$, que nous pouvons appeler $\hat{\beta_{1}}$, sera biaisé. La façon de supprimer ce biais est d'ajouter une variable$X_{2}$ dans notre modèle, c'est-à-dire adapter le modèle $$ Y = \beta_{0} + \beta_{1}X_{1} + \beta_{2}X_{2} + \varepsilon $$Cependant, ma question est pourquoi cela ne viole pas l'hypothèse selon laquelle les covariables dans un modèle de régression linéaire multiple ne devraient pas être fortement corrélées les unes aux autres (pas de multicolinéarité)? Et qu'est-ce qui se passerait si$X_{1}$ et $X_{2}$sont multicollinéaires? Dans ce cas, omettre$X_{2}$ peut conduire à OVB, mais en incluant $X_{2}$pourrait conduire à la multicolinéarité. Que fait-on dans des cas comme celui-ci?
Réponses
C'est une bonne question. La confusion découle de «l'hypothèse» d'absence de multicolinéarité. À partir de la page Wikipédia sur la multicollinéarité:
Notez que dans les énoncés des hypothèses sous-jacentes aux analyses de régression telles que les moindres carrés ordinaires, l'expression «pas de multicolinéarité» fait généralement référence à l'absence de multicolinéarité parfaite, qui est une relation linéaire exacte (non stochastique) entre les prédicteurs. Dans ce cas, la matrice de données$X$ a moins que le rang complet, et donc la matrice de moment $X^TX$ne peut pas être inversé. Dans ces circonstances, pour un modèle linéaire général$y = X\beta + \epsilon$ , l'estimateur des moindres carrés ordinaires $\hat\beta_{OLS} = (X^TX)^{-1} X^T y $ n'existe pas.
La multicollinéarité au sens que vous décrivez gonfle la variance de l'estimateur OLS, mais à moins que vous n'incluiez $X_2$dans la régression, l'estimateur OLS est biaisé. En bref, si vous devez vous soucier de l'OVB, vous ne devriez pas vous soucier de la multicolinéarité. Pourquoi voudrions-nous un estimateur plus précis mais biaisé?
Plus longuement, je ne suis pas sûr que la multicolinéarité (ou l'inflation de la variance) soit significative à prendre en compte lorsque nous sommes concernés par l'OVB. Présumer
$$ Y = 5X_1 + X_2 + \epsilon $$ $$ X_1 = -0.1X_2 + u $$
Si $\text{Cov}(X_2, u) = 0$, la corrélation entre $X_1$ et $X_2$ est
$$ \rho = \frac{\sigma_{x_1x_2}}{\sigma_{x_1}\sigma_{x_2}} = \frac{-0.1\sigma_{x_2}}{\sqrt{0.01\sigma_{x_2}^2 + \sigma_u^2}} $$
Si nous laissons $\sigma_{x_2} = \sigma_{x_1}$, puis $\rho \approx -0.1$(ce qui est un cas où l'on ne s'inquiéterait pas de la multicolinéarité). En simulant dans R, on voit qu'une régression OLS de$Y$ sur $X_1$ contrôler pour $X_2$est impartiale. Cependant, le biais que nous obtenons en excluant$X_2$ est assez petit.
iter <- 10000 # NUMBER OF ITERATIONS
n <- 100 # NUMBER OF OBSERVATIONS PER SAMPLE
sigma_e = sigma_u = sigma_x2 = 5
mu_e = mu_u = mu_x2 = 0
res0 = res1 = list() # LISTS FOR SAVING RESULTS
for(i in 1:iter) {
#print(i)
x2 <- rnorm(n, mu_x2, sigma_x2)
u <- rnorm(n, mu_u, sigma_u)
e <- rnorm(n, mu_e, sigma_e)
x1 <- -0.1*x2 + u
y <- 5*x1 + x2 + e
res0[[i]] <- lm(y ~ x1 + x2)$coef res1[[i]] <- lm(y ~ x1)$coef
}
res0 <- as.data.frame(do.call("rbind", res0))
res1 <- as.data.frame(do.call("rbind", res1))
Si nous augmentons la variance de $X_2$ pour que $\rho \approx -0.95$
sigma_x2 <- 150
et répétez la simulation, nous voyons que cela n'affecte pas la précision de l'estimateur pour $X_1$ (mais la précision pour $X_2$augmente). Cependant, le biais est maintenant assez important, ce qui signifie qu'il existe une grande différence entre l'association entre$X_1$ et et $Y$, où d'autres facteurs (c'est-à-dire, $X_2$) ne sont pas maintenues constantes et l'effet de $X_1$ sur $Y$ ceteris paribus . Tant qu'il y a une certaine variation dans$X_1$ cela ne dépend pas de $X_2$ (c'est à dire, $\sigma_u^2 > 0$), nous pouvons récupérer cet effet par OLS; la précision de l'estimateur dépendra de la taille de$\sigma_u^2$ par rapport à $\sigma_\epsilon^2$.
Nous pouvons illustrer l'effet de l'inflation de variance en simulant avec et sans corrélation entre $X_1$ et $X_2$ et régresser $Y$ sur $X_1$ et $X_2$ pour le cas corrélé et non corrélé.
install.packages("mvtnorm")
library(mvtnorm)
sigma_x2 <- 5 # RESET STANDARD DEVIATION FOR X2
res0 = res1 = list()
Sigma <- matrix(c(sigma_x1^2, sigma_x1*sigma_x2*-0.95, 0,
sigma_x1*sigma_x2*-0.95, sigma_x2^2, 0,
0, 0, sigma_e^2), ncol = 3)
Sigma0 <- matrix(c(sigma_x1^2, 0, 0,
0, sigma_x2^2, 0,
0, 0, sigma_e^2), ncol = 3)
for(i in 1:iter) {
print(i)
tmp <- rmvnorm(n, mean = c(mu_x1, mu_x2, mu_e), sigma = Sigma0)
x1 <- tmp[,1]
x2 <- tmp[,2]
e <- tmp[,3]
y <- 5*x1 + x2 + e
res0[[i]] <- lm(y ~ x1 + x2)$coef tmp <- rmvnorm(n, mean = c(mu_x1, mu_x2, mu_e), sigma = Sigma) x1 <- tmp[,1] x2 <- tmp[,2] e <- tmp[,3] y <- 5*x1 + x2 + e res1[[i]] <- lm(y ~ x1 + x2)$coef
}
res0 <- as.data.frame(do.call("rbind", res0))
res1 <- as.data.frame(do.call("rbind", res1))
Cela montre que la précision de l'estimateur serait meilleure si $X_1$ et $X_2$n'étaient pas corrélés, mais s'ils ne le sont pas, nous ne pouvons rien y faire . Cela semble aussi précieux que de savoir que si la taille de notre échantillon était plus grande, la précision serait meilleure.
Je peux penser à un exemple dans lequel nous pourrions potentiellement nous soucier à la fois de l'OVB et de la multicolinéarité. Dis ça$X_2$est une construction théorique et vous ne savez pas comment le mesurer. Vous pourriez utiliser$X_{2A}$, $X_{2B}$, et / ou $X_{2C}$. Dans ce cas, vous pouvez choisir d'inclure simplement l'une de ces mesures de$X_2$plutôt que tous pour éviter une multicolinéarité excessive. Cependant, si vous êtes principalement intéressé par l'effet de$X_1$ ce n'est pas une préoccupation majeure.