Intuition dahinter $x^T A x$

Question

Ich bin auf den Ausdruck gestoßen $x^T A x$ (wo $x$ist ein Vektor und$A$ist eine Matrix ) in vielen Themen der linearen Algebra. Ich verstehe die Essenz jedoch nicht; was passiert hier? Zum Beispiel weiß ich (oder wurde eher gesagt), dass wenn der Ausdruck für alle Vektoren größer als Null ist$x$, dann behaupten wir das $A$ist positiv-definitiv . Ich würde gerne verstehen, warum solche Eigenschaften - und viele andere - wichtig sind, indem ich verstehe, warum wir uns darum kümmern sollten$x^T A x$.

ich verstehe das $x^T x$ist ein Punktprodukt und das$x^T A$ und $A x$sind Vektoren linearer Kombinationen von$x$ definiert durch Spalten und Zeilen von $A$ beziehungsweise.

Answer 1

Es gibt verschiedene Möglichkeiten, Ihre Frage zu beantworten.

1. Eine erste intuitive Antwort ist der Vergleich zwischen Monom ersten Grades $ax$ was sich ziemlich treu widerspiegelt als $AX$;; wenn wir etwas Analoges für ein Monom zweiten Grades wollen$ax^2$können wir nicht schreiben $AXX$weil die Abmessungen nicht übereinstimmen. Es wurde bemerkt, dass$X^TAX$ist aus der Sicht der Dimensionen gültig und auch

a) aus Sicht algebraischer Entwicklungen wie

$$(X_1+X_2)^TA(X_1+X_2)=X_1^TAX_1+2X_1^TAX_2+X_2^TAX_2 \tag{1}$$

(aufgrund der Tatsache, dass $X_1^TAX_2=X_2^TAX_1$ weil eine die Transponierte der anderen ist und die Transponierte einer Zahl die Zahl selbst ist) und (1) in voller Übereinstimmung mit einer der grundlegendsten algebraischen Identitäten ist: $$a(x_1+x_2)^2=ax_1^2+2ax_1x_2+ax_2^2$$

b) Ein zweiter Grund ist, dass wir für Differentialausdrücke ein perfektes Äquivalent der Ableitung von haben $ax^2$ ist $2ax$. In der Tat kann (1) geschrieben werden:

$$\underbrace{(X+H)^TA(X+H)}_{q(X+H)}=\underbrace{X^TAX}_{q(X)}+H^T\underbrace{2AX}_{q'(X)}+H^TAH \tag{2}$$

(denke an $H$ als kleines Vektorinkrement), wo wir eine Taylor-Erweiterung mit der Ableitung an der richtigen Stelle erkennen.

2- Eine zweite Kategorie der intuitiven Erklärung ist, dass diese Notation perfekt an die Beschreibung der konischen Kurven angepasst ist . Zum Beispiel Ellipse mit Gleichung$\dfrac{x^2}{a^2}+\dfrac{y^2}{b^2}=1$ wird geschrieben werden $$X^TAX=\begin{pmatrix}x & y & 1\end{pmatrix}\begin{pmatrix}\dfrac{1}{a^2} &0&0\\0&\dfrac{1}{b^2}&0\\0&0&-1 \end{pmatrix}\begin{pmatrix}x \\ y \\ 1\end{pmatrix}.$$ Aus diesem Ausdruck können viele Informationen extrahiert werden: Seine Eigenwerte, seine inversen, bestimmte Determinanten haben eine geometrische Bedeutung.

3 - Last but not least die Dualität der bilinearen Form:

$$b(X,Y)=X^TAY$$

mit einer verallgemeinerten Orthogonalität

$$b(X,Y)=Y^TAX=0\tag{2}$$

Einführung einer doppelten (assymetrischen ...) Verbindung zwischen einer mit $X$ und ein Punkt $Y$= (x_0, y_0,1) $ [das Zwillingspaar wird Pol-Polar-Paar genannt]. Lassen Sie es uns am Fall der Ellipse für verschiedene Situationen veranschaulichen: Punkte außerhalb und auf der Ellipse (im letzten Fall erhalten wir die Tangente)

Wenn der Pol $ X_0 = \ begin {pmatrix} x_0 \\ y_0 \\ 1 \ end {pmatrix} $ ist , ist die Menge der Vektoren $ Y = \ begin {pmatrix} x \\ y \\ 1 \ end {pmatrix} $ so dass $ Y ^ TAX = 0 $ eine Linie (die Polarlinie von $ X_0 $ ) mit Gleichung ist

$$ xx_0 / a ^ 2 + yy_0 / b ^ 2-1 = 0 $$

In der folgenden Abbildung sind vier dieser Pol-Polar-Paare mit jeweils einer bestimmten Farbe dargestellt. Das grüne zeigt die Tatsache, dass die Pol-Polar-Beziehung den Fall des Punktes der Kurve mit der zugehörigen Tangentenlinie abdeckt (was sonst verallgemeinert).

Answer 2

Hier sind einige Gründe, sich darum zu kümmern $x^tAx$.

1. Lassen $f: \mathbb{R}^n \rightarrow \mathbb{R}$ Sein $C^2$. Dann$f(x+h)=f(x)+\nabla f(x)\cdot h+h^tH_f(\xi)h$ für einige $\xi$ auf dem Segment von $x$ zu $x+h$ (und $H_f(\xi)$ ist der Hessische von $f$ beim $\xi$). Sie können dieses Produkt also als "zweite Ordnung" betrachten, die zur Annäherung beiträgt$f$ beim $x$. Außerdem wenn$H_f(x)$ ist definitiv positiv $f$ hat ein striktes lokales Minimum bei $x$

2. Wenn $A$ ist positiv bestimmt, dann die Funktion $x \rightarrow x^tAx$ ist streng konvex und Sie haben höchstens einen globalen Minimierer.

Answer 3

Für mich die offensichtlichste Verwendung von $x^TAx$ ist, dass es viele quadratische Funktionen darstellen kann.

Zum Beispiel, wenn: $x=\begin{pmatrix} x \\ y \\ \end{pmatrix}$ und $A=\begin{pmatrix} a & b \\ b & c \\ \end{pmatrix}$ Der Ausdruck führt zu: $$x^TAx=ax^2 + byx + cy^2$$

Also durch Auswahl der richtigen Werte für $(a,b,c)$Sie können eine Vielzahl von Quadraten codieren. Ob die Matrix$A$ist positiv-definit wichtig bei Optimierungsproblemen, denn wenn die Matrix positiv-definit ist, ist die resultierende Funktion konvex und hat ein Minimum.

Sie können die Reichweite quadratischer Funktionen verbessern, die Sie darstellen können, indem Sie die Begriffe hinzufügen $x^Tb + c$ wo $b$ist ein n-Vektor und$c$ist eine echte Konstante. Auf diese Weise haben Sie$x^TAx + x^Tb + c$, die jedes Quadrat darstellen können. Und wieder wird es einen minimalen Vektor haben, genau dann, wenn die Matrix$A$ist positiv-definitiv .

Ich hoffe, Sie haben einen Einblick in die Eigenschaften der Matrix erhalten $A$ sind wichtig und warum $x^TAx$ist auch. Gerne beantworte ich alle Zweifel an dem, was ich geschrieben habe.