Dériver une régression linéaire simple

Question

On cherche donc les coefficients $\beta_0, \beta_1$ de telle sorte que nous minimisons $\sum_{i=1}^n\epsilon_i^2$ dans $$Y_i = \beta_0 + \beta_1X_i + \epsilon_i$$ Sens, $\beta_0$ et $\beta_1$ tel que $$\sum_{i=1}^n\epsilon_i^2 = \sum_{i=1}^n\big(Y_i - \beta_0 - \beta_1X_i \big)^2$$est minime. Nous faisons cela en résolvant un système d'équations que nous obtenons en assimilant les dérivées partielles à zéro:$$\frac{d}{d\beta_0}\sum_{i=1}^n\big(Y_i - \beta_0 - \beta_1X_i \big)^2 = 0$$ $$\frac{d}{d\beta_1}\sum_{i=1}^n\big(Y_i - \beta_0 - \beta_1X_i \big)^2 = 0$$ Cela nous donne deux équations: $$-2\sum_{i=1}^n\big(Y_i-\beta_1X_i - \beta_0\big) = 0$$ $$-2\sum_{i=1}^nX_i\big(Y_i-\beta_1X_i - \beta_0\big) = 0$$ qui réduisent encore à $$\sum_{i=1}^nY_i - \beta_1\sum_{i=1}^nX_i - n\beta_0 = 0$$ $$\sum_{i=1}^nX_iY_i - \beta_1\sum_{i=1}^nX_i^2 - \beta_0\sum_{i=1}^nX_i = 0$$ Et j'ai réussi à résoudre ce système moi-même et j'ai eu la solution suivante pour $\beta_1$:

$$\beta_1 = \frac{\sum_{i=1}^nX_iY_i - n\bar{X_n}\bar{Y_n}}{\sum_{i=1}^nX_i^2 - n\bar{X_n}^2}$$Cette solution correspond à la solution donnée dans mon manuel. Cependant, mon manuel ajoute également une autre égalité pour laquelle il ne donne aucune explication. Ainsi, la version classique de la solution finale est la suivante:$$\beta_1 = \frac{\sum_{i=1}^nX_iY_i - n\bar{X_n}\bar{Y_n}}{\sum_{i=1}^nX_i^2 - n\bar{X_n}^2} = \frac{\sum_{i=1}^n(X_i-\bar{X_n})(Y_i-\bar{Y_n})}{\sum_{i=1}^n(X_i-\bar{X_n})^2}$$Au début, j'ai pensé, puisqu'ils ne montraient aucun travail, il devait être très simple de dériver le RHS du LHS. C'est possible. Mais je l'ai essayé depuis un moment maintenant et je n'arrive tout simplement pas à le faire. J'ai essayé de réécrire l'échantillon sous forme de moyennes et de toutes sortes de choses, mais soit je reviens là où j'ai commencé, soit l'expression devient trop compliquée, je dois donc tout recommencer.

Des idées? Merci.

Answer 1

Commençons par l'expression LHS. Je l'ai réorganisé, supprimant le$n$ en réintroduisant les moyennes dans les sommations:

$$ \beta_1 = \frac{ \sum_{i=1}^n (X_iY_i - \bar{X_n}\bar{Y_n}) }{ \sum_{i=1}^n (X_i^2 - \bar{X_n}^2) }$$

Dans le dénominateur, nous pouvons compléter des carrés. Au numérateur, nous pouvons ajouter et soustraire les termes manquants.

$$ \beta_1 = \frac{ \sum_{i=1}^n ((X_i - \bar{X_n})(Y_i - \bar{Y_n}) \color{red}{+ \bar{X_n}Y_i + X_i\bar{Y_n} - 2\bar{X_n}\bar{Y_n}}) }{ \sum_{i=1}^n ((X_i - \bar{X_n})^2 \color{red}{+ 2X_i\bar{X_n} - 2\bar{X_n}^2}) }$$

Pouvez-vous maintenant prouver que les sommations en rouge sont toutes deux égales à zéro?