Régression linéaire en profondeur

L'équation directive d'une ligne droite, régression linéaire simple, mathématiques, fonction de coût

La régression linéaire est le modèle d'apprentissage automatique le plus courant et constitue la première étape vers l'apprentissage automatique. Le terme régression linéaire peut être associé au concept du lycée d'une équation directive d'une ligne droite ou d'un modèle statistique pour déterminer l'intérêt linéaire entre deux variables ou plus.

La base de la régression linéaire consiste à trouver la ligne qui correspond le mieux à un ensemble de points. L'ensemble de points peut être représenté par une paire de points x et y où X est la variable indépendante du modèle et Y représente la variable dépendante.

L'équation directive d'une droite

Pour dériver le modèle statistique, nous partirons de l'équation directive d'une droite. L'équation d'une ligne droite est un outil puissant pour comprendre les propriétés et le comportement des lignes, et peut être utilisée dans une variété de contextes mathématiques et réels. L'équation d'une ligne droite peut être représentée sous plusieurs formes, mais une forme courante est la "forme pente-ordonnée à l'origine", également connue sous le nom de "forme ordonnée à l'origine". Cette forme de l'équation est représentée par :

où:

• a est la pente de la ligne (également appelée « gradient »), qui représente la pente de la ligne. C'est le rapport de la variation de y à la variation de x.
• x et y sont les coordonnées de n'importe quel point de la ligne.
• b est l'ordonnée à l'origine, qui est le point où la ligne croise l'axe des y (c'est-à-dire le point où x = 0).
• le terme de gauche de l'équation (yhat) représente la valeur que nous prédisons en fonction du paramètre d'entrée x.

Fonctions de coût

Après avoir défini la forme pente-ordonnée à l'origine, nous devons encore définir une fonction de coût et une fonction de perte. La fonction de perte consiste à capturer la différence entre les valeurs réelles et prédites pour un seul enregistrement, tandis que les fonctions de coût agrègent la différence pour l'ensemble de données d'apprentissage et que l'objectif de la fonction de coût est de minimiser l'erreur. L'une des fonctions de coût les plus couramment utilisées dans la régression linéaire est la fonction de coût d'erreur quadratique moyenne (MSE). Il est défini comme :

où:

• N est le nombre de points de données,
• y_i est la valeur réelle de y pour le ième point de données,
• x_i est la valeur de x pour le i-ième point de données,
• Σ désigne la somme de toutes les observations,
• et a et b sont les paramètres du modèle.

Une autre fonction de coût largement utilisée est l'erreur absolue moyenne (MAE) et elle est définie comme :

Enfin, la fonction de coût appelée Somme des erreurs au carré (SSE) qui sera utilisée dans cet article pour dériver le modèle statistique à l'aide du calcul peut être définie comme suit :

Régression linéaire

La régression linéaire est une méthode statistique utilisée pour modéliser la relation entre une variable dépendante (également appelée variable de réponse) et une ou plusieurs variables indépendantes (également appelées variables prédictives). L'objectif de la régression linéaire est de trouver la ligne la mieux ajustée (ou hyperplan en plusieurs dimensions) qui décrit la relation entre les variables. Le processus de régression linéaire simple consiste à trouver les valeurs des paramètres a et b qui minimisent la différence entre les valeurs prédites de y (basées sur l'équation de la ligne) et les valeurs réelles de y. Cette différence est quantifiée par une fonction de coût, qui est une équation mathématique qui mesure la différence entre les valeurs prévues et réelles.

Afin de trouver les valeurs des paramètres a et b, nous devons exprimer la pente et l'ordonnée à l'origine à l'aide de dérivées partielles. Maintenant, dérivons la dérivée partielle de la fonction de coût par rapport au paramètre a.

Après cela, nous dérivons maintenant la dérivée partielle de la fonction de coût par rapport au paramètre b. La dérivation est similaire à la dérivation de la fonction de coût au paramètre a.

Après dérivations partielles, nous avons dérivé deux équations. Après de simples ajustements algébriques, nous obtenons le résultat attendu pour exprimer les paramètres de recherche. Par ces ajustements, nous avons obtenu une expression des paramètres de découverte qui peuvent être utilisés dans la régression linéaire pour la prédiction.

Après avoir obtenu les expressions des paramètres de recherche, nous pouvons passer à l'implémentation dans le langage de programmation python. Nous allons implémenter les expressions dérivées des paramètres a et b. De plus, nous allons implémenter et dériver l'efficacité du modèle en définissant R-carré. R-Squared (R² ou le coefficient de détermination) est une mesure statistique dans un modèle de régression qui détermine la proportion de variance dans la variable dépendante qui peut être expliquée par la variable indépendante. En d'autres termes, le r au carré montre à quel point les données correspondent au modèle de régression (la qualité de l'ajustement).

import numpy as np

X = [1, 2, 3, 4, 5]
Y = [2, 3, 4, 5, 6]

X = np.array(X)
Y = np.array(Y)

denominator = X.dot(X) - X.mean() * X.sum()
a = ( X.dot(Y) - Y.mean() * X.sum() ) / denominator
b = ( Y.mean() * X.dot(X) - X.mean() * X.dot(Y) ) / denominator

Yhat = a*X + b

SSres = Y - Yhat
SStotal = Y - Y.mean()
r2 = 1 - SSres.dot(SSres) / SStotal.dot(SStotal)

import numpy as np
from sklearn.linear_model import LinearRegression

X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]])
Y = np.dot(X, np.array([1, 2])) + 3

reg = LinearRegression().fit(X, Y)
reg.score(X, Y)

Régression linéaire multiple en profondeur

Si vous aimez l'article, assurez-vous de me suivre pour voir mes nouveaux articles.