Classification multi-classes par régression logistique

L'article précédent mentionnait la classification unique logistique，Expliquez quelques détails sur la façon de mettre en œuvre. La prochaine chose à explorer est la classification logistique multi-classes.

Si la classification Logistique simple est un classificateur unique, la classification Logistique multi-classe est :

(1) Classificateur multi-classes.
(2) Le poids est une matrice dont la dimension est le nombre de {caractéristiques} × {le nombre de catégories}.
(3) La matrice des données d'entrée est sa dimension : {le nombre de données} × {le nombre de caractéristiques}.

La différence est que le poids de classification unique (binaire) est un vecteur unique et le poids multiclasse est une matrice en raison du grand nombre de classifications.

Attention à Softmax voici :

En ajoutant des classificateurs multicouches pour augmenter la profondeur de l'apprentissage, après un filtrage couche par couche, certaines situations augmenteront la précision de la valeur estimée, et vous ne le saurez que lorsque vous l'aurez réellement testée.

Il convient de noter ici que l'opération matricielle.

comparons le classificateur unique et le classificateur multi-classes :

Classificateur unique

Supposons que les données {X} aient 100 entrées, 3 champs de caractéristiques et 3 éléments dans le vecteur de poids W, le programme doit veiller à ce que les dimensions soient correctes…

Classificateur multi-classes

Supposons que les données {X} aient 100 entrées, 3 champs de caractéristiques, 3 catégories et que le vecteur de pondération W ait 3 x 3 éléments, le programme doit veiller à ce que les dimensions soient correctes :

Résumé

1. La source de tout est de trouver la fonction de perte et d'utiliser la méthode de descente de gradient pour différencier les variables de poids de chaque caractéristique de la fonction de perte pour former et trouver la valeur de poids la plus appropriée de chaque caractéristique. Revenir en arrière et faire beaucoup de données passées ou de données futures :
   (1) Régression
   (2) Classification
2. La fonction de perte de la régression logistique provient du carré de l'erreur. La signification directe est de minimiser l'erreur de la valeur prédite générée par le poids de la caractéristique.
3. La classification unique logistique (classificateur binaire) peut être considérée comme un classificateur unique, grâce à la fonction d'activation sigmoïde, la valeur prédite est compressée entre 0 et 1 et transformée en concept de probabilité. La fonction de perte est dérivée de la fonction de vraisemblance . Grâce à la probabilité Il provient de l'entropie croisée, puis différencie le concept de descente de gradient sur la fonction de perte pour obtenir le poids des caractéristiques afin de maximiser la probabilité de prédiction de la classification. Une autre signification est que le risque d'erreur devient plus petit.
4. La classification multiple logistique consiste à combiner plusieurs vecteurs de poids de classificateur unique dans une matrice de poids et à utiliser la fonction d'activation Softmax pour juger la classification par probabilité et la probabilité de chaque classification prédite par chaque somme de données à 1. Laissez les résultats prédits appartenir à qui catégorie, laquelle catégorie a la valeur de probabilité la plus élevée, et la probabilité correspond à la valeur réelle, et la matrice de pondération représentant l'inversion aide également à minimiser l'erreur des futurs résultats prédits.
5. La couche cachée peut être calculée avec la matrice de pondération des caractéristiques, puis utiliser la compression de valeurs de données normalisées telles que Sigmoid, Softmax, ReLU, etc. pour en faire une valeur similaire à la probabilité ; la couche cachée peut être multicouche et la couche finale peut générer la classification de prédiction finale, sa signification signifie également que, par le biais de la conversion de la couche cachée en probabilité, après filtrage et jugement couche par couche, la meilleure classification la prédiction sera obtenue avec le concept de probabilité totale.

1. https://www.kaggle.com/code/manishkc06/multi-class-logistic-regression-beginner-s-guide
2. https://en.wikipedia.org/wiki/Multinomial_logistic_regression
3. https://en.wikipedia.org/wiki/Softmax_function