Régression linéaire multiple avec plus de variables que d'échantillons

Oct 05 2020

J'apprends actuellement la chimiométrie pour mon travail et j'ai une question simple sur la régression linéaire multiple (MLR).

Juste pour expliquer le contexte: j'utilise simplement les spectres UV-Vis-NIR (2500 longueurs d'onde) pour quantifier une molécule en présence d'espèces interférentes. J'ai construit un jeu d'étalonnage qui décrit mes intervalles de concentration de manière complète et équilibrée (50 échantillons), et un jeu de validation qui est essentiellement des échantillons réels prélevés dans un processus (50 échantillons, indépendamment du jeu d'étalonnage). Après quelques exercices try / retry et quelques optimisations avec un add-on de chimiométrie pour MATLAB, j'ai mis au point un modèle PLS parcimonieux (algorithme SIMPLS) qui prédit avec précision les concentrations de l'ensemble de validation. Pour l'instant, comme mes échantillons de validation sont significativement différents en concentrations et en espèces interférentes par rapport à mon jeu d'étalonnage, je considère qu'un modèle est bon s'il prédit correctement mes solutions de validation: je n'utilise pas de tests statistiques tels que les tests t.

Cependant, après avoir essayé MLR, j'ai réalisé que le modèle MLR était significativement plus robuste en ce qui concerne les espèces interférentes (l'erreur quadratique moyenne de la prédiction est deux fois plus petite et certains échantillons de validation où le modèle PLS donne une prédiction relativement éloignée de la réalité sont correctement prédits par MLR).

Voici ma question:

Dans presque tous les manuels ou publications que j'ai lus, il est dit que MLR n'est pas applicable si nous avons plus de variables que d'échantillons, car l'inverse de la $X'X$ matrice, où $X$est le bloc prédicteur, n'existe pas. Pourtant, mon modèle MLR fonctionne mieux que mon modèle PLS quand, si je comprends bien ce que je lis correctement, le MLR ne devrait même pas fonctionner car j'ai plus de variables que d'échantillons (et mes variables sont censées être très colinéaires).

Le fait d'avoir plus de variables que d'échantillons n'empêche absolument pas le modèle d'être calculé, et donc de faire de bonnes prédictions, mais rend simplement les coefficients de régression instables et difficiles à interpréter? Ou est-ce que je déconne, et avoir un modèle MLR qui fonctionne bien dans ces conditions devrait me préoccuper de la pertinence de mon approche?

Merci beaucoup.

PS: J'ai appris (enfin, peut-être de manière inexacte) les bases de la chimiométrie principalement avec les livres de Tormod Naes et Harald Martens, ainsi que quelques publications. Avez-vous des suggestions de livres pour poursuivre mon apprentissage? Ty encore!

Réponses

3 cbeleitesunhappywithSX Oct 05 2020 at 20:25

Dans presque tous les manuels ou publications que j'ai lus, il est dit que MLR n'est pas applicable si nous avons plus de variables que d'échantillons, car l'inverse de la $\mathbf X′\mathbf X$ matrice, où $\mathbf X$ est le bloc prédicteur, n'existe pas.

Vous voudrez rechercher ici des modèles classiques (aka ordinaires) et inverses .

En chimiométrie (ou chimie), un modèle d'étalonnage classique suit le sens de la causalité: Une concentration$c$ provoque un signal (ici l'absorbance) $A$et donc le prédirait principalement les spectres à partir des concentrations. Donc, ce modèle d'absorption UV / VIS est fondamentalement la loi de Beer-Lambert:$$\mathbf A = \mathbf C \mathbf S$$ avec
$\mathbf A^{(n \times p)}$ les spectres mesurés avec $p$ différentes longueurs d'onde (variables, canaux),
$\mathbf C^{(n \times m)}$ les concentrations de $m$ différents constituants aka composants *, et
$\mathbf S^{(m \times p)}$ le spectre pur composant *.

Estimation $\mathbf S$ besoins seulement $n > m$ (bien sûr, plus il y en a, mieux c'est), et le calcul de la pseudo-inverse est également possible.

En revanche, le modèle inverse est mis en place pour prédire directement la concentration en fonction du signal (spectre):$$\mathbf C = \mathbf A \mathbf B$$

ici, les coefficients sont $\mathbf B^{(p \times m)}$et besoin $n > p$ afin d'estimer.

Il existe un certain nombre de différences entre les deux modèles:

Le classique est efficace pour estimer la courbe d'étalonnage / les spectres des composants purs, mais (s'il est disponible) le modèle inverse est plus efficace pour prédire les concentrations.
Le modèle classique suppose que l'erreur est sur le signal, tandis que l'inverse suppose que l'erreur est sur la concentration.
Cela a donné lieu à une discussion pour savoir si les modèles inverses (tels que la PCR ou le PLSR) sont vraiment appropriés. Mais on a fait remarquer que de nos jours, l'erreur de l'instrument sur le signal est en fait souvent inférieure à l'erreur sur les analyses de référence. (Et je me souviens d'un commentaire légèrement sarcastique selon lequel il est certainement inférieur à l'erreur de préparation habituelle dans les travaux pratiques des étudiants)
L'inverse nécessite de nombreux échantillons d'apprentissage, le classique a besoin de tous les constituants spectroscopiquement pertinents pour être connus. Cela inclut les interférences. Par exemple, pour configurer correctement un modèle classique ici, vous avez besoin de concentrations interférentes de référence.

Dans l'ensemble, l'étalonnage inverse est généralement préféré. Ainsi, s'il y a trop peu d'échantillons / cas$n$, une sorte de régularisation (telle que PLS) est utilisée.

Maintenant, vous décrivez le contraire: la régression PLS (qui est un modèle inverse régularisé) fonctionne moins bien que le modèle linéaire vraisemblablement classique. Cela peut arriver: rien ne garantit que la régularisation PLS soit suffisamment bonne pour faire mieux qu'un modèle linéaire classique, en particulier si vous avez très peu d'échantillons par rapport au nombre de canaux de longueur d'onde (caractéristiques, prédicteurs).
Il peut donc arriver que la sensibilité croisée non contrôlée du modèle classique soit moins problématique que l'instabilité et / ou le biais du modèle PLSR.

Maintenant, 2500 canaux pour un spectre UV / VIS sonne comme une différence de <1 nm entre les canaux adjacents. C'est beaucoup par rapport à la largeur de bande habituelle en UV / VIS pour être conforme à la résolution spectrale de votre spectrographe et / ou à la résolution spectrale nécessaire à votre application. Une approche peut être de réduire le nombre de canaux spectraux, par exemple par binning.
De plus, s'il y a des régions spectrales dont vous savez qu'elles ne fournissent pas d'informations (ni sur l'analyte ni sur les interférents), vous pouvez les couper manuellement. (Ces informations externes sont très puissantes, une bonne connaissance externe peut vous faire économiser beaucoup d'échantillons)