Multiple lineare Regression mit mehr Variablen als Stichproben

Oct 05 2020

Ich lerne derzeit Chemometrie für meine Arbeit und habe eine einfache Frage zur multiplen linearen Regression (MLR).

Nur um den Kontext zu erklären: Ich verwende einfach UV-Vis-NIR-Spektren (2500 Wellenlängen), um ein Molekül in Gegenwart störender Spezies zu quantifizieren. Ich habe ein Kalibrierungsset erstellt, das meine Konzentrationsintervalle vollständig und ausgewogen beschreibt (50 Proben), und ein Validierungsset, das im Grunde genommen echte Proben aus einem Prozess sind (50 Proben, unabhängig vom Kalibrierungsset). Nach einigen Versuchen / Wiederholungen und einigen Optimierungen mit einem Chemometrie-Add-On für MATLAB habe ich ein sparsames PLS-Modell (SIMPLS-Algorithmus) entwickelt, das die Konzentrationen des Validierungssatzes genau vorhersagt. Im Moment halte ich ein Modell für gut, da es meine Validierungslösungen korrekt vorhersagt: Ich verwende keine statistischen Tests wie T-Tests, da sich meine Validierungsproben in ihren Konzentrationen und störenden Spezies erheblich von meinem Kalibrierungssatz unterscheiden.

Nachdem ich MLR ausprobiert hatte, stellte ich jedoch fest, dass das MLR-Modell in Bezug auf störende Spezies signifikant robuster war (der quadratische mittlere Fehler der Vorhersage ist zweimal kleiner und einige Validierungsstichproben, bei denen das PLS-Modell eine Vorhersage liefert, die relativ weit von der Realität entfernt ist werden von MLR korrekt vorhergesagt).

Hier kommt meine Frage:

In fast jedem Lehrbuch oder jeder Veröffentlichung, die ich gelesen habe, heißt es, dass MLR nicht anwendbar ist, wenn wir mehr Variablen als Stichproben haben, weil die Umkehrung der $X'X$ Matrix, wo $X$ist der Prädiktorblock, existiert nicht. Mein MLR-Modell funktioniert jedoch tatsächlich besser als mein PLS-Modell, wenn ich verstehe, was ich richtig lese, sollte das MLR nicht einmal funktionieren, da ich mehr Variablen als Stichproben habe (und meine Variablen angeblich sehr kollinear sind).

Verhindert die Tatsache, dass mehr Variablen als Stichproben vorhanden sind, absolut nicht die Berechnung des Modells und damit gute Vorhersagen, sondern macht die Regressionskoeffizienten nur instabil und schwer zu interpretieren? Oder spiele ich herum und ein gut funktionierendes MLR-Modell unter diesen Bedingungen sollte mich über die Relevanz meines Ansatzes beunruhigen?

Vielen Dank.

PS: Ich habe (naja, vielleicht ungenau) die Grundlagen der Chemometrie hauptsächlich mit Büchern von Tormod Naes und Harald Martens sowie einigen Veröffentlichungen gelernt. Haben Sie einen Buchvorschlag, um mein Lernen fortzusetzen? Ty schon wieder!

Antworten

3 cbeleitesunhappywithSX Oct 05 2020 at 20:25

In fast jedem Lehrbuch oder jeder Veröffentlichung, die ich gelesen habe, heißt es, dass MLR nicht anwendbar ist, wenn wir mehr Variablen als Stichproben haben, weil die Umkehrung der $\mathbf X′\mathbf X$ Matrix, wo $\mathbf X$ ist der Prädiktorblock, existiert nicht.

Hier sollten Sie nach klassischen (auch als gewöhnliche) und inversen Modellen suchen .

In der Chemometrie (oder Chemie) folgt ein klassisches Kalibrierungsmodell der Richtung der Kausalität: Eine Konzentration$c$ verursacht ein Signal (hier Absorption) $A$und somit würde das in erster Linie Spektren aus Konzentrationen vorhersagen. Dieses Modell für die UV / VIS-Absorption ist also im Grunde das Beer-Lambert-Gesetz:$$\mathbf A = \mathbf C \mathbf S$$ mit
$\mathbf A^{(n \times p)}$ die gemessenen Spektren mit $p$ verschiedene Wellenlängen (variiert, Kanäle),
$\mathbf C^{(n \times m)}$ die Konzentrationen der $m$ verschiedene Bestandteile alias Komponenten * und
$\mathbf S^{(m \times p)}$ die reinen Komponenten * Spektren.

Schätzen $\mathbf S$ braucht nur $n > m$ (natürlich, je mehr desto besser), und die Berechnung der Pseudoinverse ist ebenfalls möglich.

Im Gegensatz dazu ist das inverse Modell so eingerichtet, dass die Konzentration als Funktion des Signals (Spektrums) direkt vorhergesagt wird:$$\mathbf C = \mathbf A \mathbf B$$

hier sind die Koeffizienten $\mathbf B^{(p \times m)}$und brauchen $n > p$ um zu schätzen.

Es gibt eine Reihe von Unterschieden zwischen den beiden Modellen:

Das klassische Modell ist effizient bei der Schätzung der Kalibrierungskurve / der Spektren reiner Komponenten, aber (falls verfügbar) das inverse Modell ist effizienter bei der Vorhersage von Konzentrationen.
Das klassische Modell geht davon aus, dass der Fehler im Signal liegt, während das Inverse davon ausgeht, dass der Fehler in der Konzentration liegt.
Dies hat zu einer Diskussion geführt, ob die inversen Modelle (wie PCR oder PLSR) wirklich geeignet sind. Es wurde jedoch darauf hingewiesen, dass der Instrumentenfehler im Signal heutzutage tatsächlich häufig geringer ist als der Fehler bei Referenzanalysen. (Und ich erinnere mich an eine leicht sarkastische Bemerkung, dass sie sicherlich niedriger ist als der übliche Vorbereitungsfehler in der Laborarbeit der Schüler)
Das Inverse benötigt viele Trainingsmuster, das Klassische braucht alle spektroskopisch relevanten Bestandteile, um bekannt zu sein. Dies schließt die Störungen ein. Das heißt, um hier ein klassisches Modell richtig einzurichten, benötigen Sie Referenzinterferenzkonzentrationen.

Insgesamt wird typischerweise eine inverse Kalibrierung bevorzugt. Also, wenn es zu wenige Proben / Fälle gibt$n$wird eine Art Regularisierung (wie PLS) verwendet.

Nun beschreiben Sie das Gegenteil: Die PLS-Regression (ein reguliertes inverses Modell) schneidet schlechter ab als das vermutlich klassische lineare Modell. Dies kann passieren: Es gibt keine Garantie dafür, dass die PLS-Regularisierung ausreichend gut ist, um eine bessere Leistung als ein klassisches lineares Modell zu erzielen, insbesondere wenn Sie im Vergleich zur Anzahl der Wellenlängenkanäle (Merkmale, Prädiktoren) nur sehr wenige Abtastwerte haben.
Es kann daher vorkommen, dass die ungeprüfte Querempfindlichkeit des klassischen Modells weniger problematisch ist als die Instabilität und / oder Verzerrung des PLSR-Modells.

Jetzt klingen 2500 Kanäle für ein UV / VIS-Spektrum wie ein Unterschied von <1 nm zwischen benachbarten Kanälen. Das ist viel im Vergleich zur üblichen Bandbreite in UV / VIS, um der spektralen Auflösung Ihres Spektrographen und / oder der für Ihre Anwendung erforderlichen spektralen Auflösung zu entsprechen. Ein Ansatz kann darin bestehen, die Anzahl der Spektralkanäle zu verringern, z. B. durch Binning.
Wenn es Spektralbereiche gibt, von denen Sie wissen, dass sie keine Informationen liefern (weder über Analyten noch über Interferenzen), können Sie diese manuell ausschneiden. (Solche externen Informationen sind sehr mächtig, gute externe Kenntnisse können Ihnen eine ganze Menge Proben ersparen.)