Einzelwertzerlegung Tutorial
Transkription
3 Koordinaten. Weil wir eine einzige Koordinate erneut mit einem Punkt zu identifizieren, re wir mit Punkten in einem dreidimensionalen Raum, oder -Raum zu tun. Die Position eines an einer beliebigen Stelle in einer Ebene ist mit einem Paar von Koordinaten angegeben; Es dauert drei Koordinatenpunkte in drei Dimensionen zu lokalisieren. Nichts hält uns über Punkte in 3-Raum aus gehen. Die vierte Dimension wird häufig verwendet, Zeit, um anzuzeigen, aber die Dimensionen gewählt werden kann, was Messeinheit ist relevant für die Objekte repräsentieren wir zu beschreiben erneut versuchen. Im Allgemeinen Raum um mehr als drei Dimensionen dargestellt wird hyperspace genannt. Hier finden Sie auch den Begriff n-Raum sehen über Räume unterschiedlicher Dimensionalität (z -Raum, -Raum. N-space) verwendet zu sprechen. Zum Beispiel, wenn ich eine prägnante Art und Weise zu beschreiben, um die Menge an Nahrung, die ich esse in einem bestimmten Tag will, kann ich Punkte in n-Raum nutzen, um so zu tun. Lassen Sie die Dimensionen dieses Raumes folgende Lebensmittel sein: Eier Trauben Bananen Hühner Dosen Thunfisch Es gibt fünf Kategorien, so dass wir wieder mit Punkten in 5-Raum zu tun. Somit wäre die Interpretation des Punktes (3, 8. 5.) drei Eier, achtzehn Trauben, zwei Bananen, halb ein Huhn, eine Dose Thunfisch. 4 Vektoren für die meisten Zwecke, Punkte und Vektoren sind im Wesentlichen dieselbe ist, das heißt, eine Folge von Zahlen, um Messungen entlang unterschiedlichen Dimensionen entsprechen. Vektoren werden in der Regel durch einen Kleinbuchstaben mit einem Pfeil auf der Oberseite bezeichnet, z.B. x. Die Zahlen, die den Vektor enthalten, werden nun Komponenten genannt, und die Anzahl der Komponenten ist gleich der Dimensionalität des Vektors. Wir verwenden einen Index auf den Vektornamen auf die Komponente in dieser Position zu beziehen. In dem Beispiel unten, x ist ein 5-dimensionaler Vektor, x = 8, x, usw. x = Vektoren können äquivalent dargestellt werden, horizontal um Platz zu sparen, z.B. x = 8. 7, 5, 3 ist der gleiche Vektor wie oben. Mehr ein Vektor x mit n-Dimensionen der Regel ist eine Folge von n Zahlen, und die Komponente xi den Wert von x auf der i-ten Dimension darstellt Technisch, glaube ich, ein Vektor ist eine Funktion, die als einen Punkt als Eingabe und gibt nimmt einen Punkt der gleichen Dimensionalität schätzen. 3
5 A = A. a j. ein. a i. a ij. a in a. m. ein mj. a mn eine Mn-Matrix und die Zahlen a ij Elemente von A sind die Zahlenfolge A (i) = (a i a.) die i-te Reihe von A ist, und die Folge von Zahlen A (j) = (a j a. mj) ist die j-te Spalte von A. Ebenso wie die Unterscheidung zwischen den Punkten und Vektoren in der Praxis verschwimmen kann, nimmt auch die Unterscheidung zwischen den Vektoren und Matrizen. Eine Matrix ist im Allgemeinen eine Sammlung von Vektoren. Wir können über Zeilenvektoren oder Spaltenvektoren sprechen. Oder ein Vektor mit n Komponenten kann eine n-Matrix betrachtet werden. Zum Beispiel ist die Matrix unter einer Word-Dokument-Matrix, das die Anzahl wie oft ein bestimmtes Wort in einigen hergerichtete Dokumenten auftritt zeigt. Typische Begleit Beschrei- Doc Doc Doc 3 Abbey 3 5 3 4 Verspinnen Boden betäubt 3 Zorn 4 Tabelle. Word-Dokument-Matrix für einige hergerichtete Dokumente. gen dieser Art von Matrix könnte so etwas wie hoch dimensionalen Vektorraum-Modell sein. Die Abmessungen sind die Worte, wenn wir über die Spaltenvektoren darstellen Dokumente erneut zu sprechen, oder Dokumente, wenn wir über die Zeilenvektoren wieder sprechen, die Worte repräsentieren. Hohe Form bedeutet, dass wir eine Menge von ihnen haben. Somit bedeutet Hyperdokumentendarstellung ein Dokument als ein Vektor, dessen Komponenten entsprechen in gewisser Weise auf die Worte in es dargestellt ist, dazu gibt es eine Menge von Wörtern. Dies ist äquivalent zu einem Dokument als einen Punkt im n-dimensionalen Raum dargestellt wird. 5
6 Vector Terminologie. Die Vektorlänge eines Vektorlänge wird durch Quadrieren jeder Komponente, das Hinzufügen sie alle zusammen, und Ziehen der Quadratwurzel aus der Summe gefunden. Wenn v ein Vektor ist, wird seine Länge von v bezeichnet. Prägnanter, v = n Wenn beispielsweise v = 4. 8. dann. Vektoraddition vi i = v = = 3 = 7,35 Hinzufügen von zwei Vektoren, bedeutet jede Komponente in v zu der Komponente in der entsprechenden Position in v Hinzufügen einen neuen Vektor zu erhalten. Zum Beispiel 3. +. 4 = (3 +), (), (+ 4), (+) = 5. 5, ganz allgemein, wenn A = a, a. a n und B = b, b. b n, dann ist A + B = a + b, a + b. a n + b n..3 Skalarmultiplikation Multiplizieren eines skalaren (reelle Zahl) mal eine Vektor bedeutet jede Komponente von diesem reellen Zahl multipliziert wird um einen neuen Vektor zu erhalten. Zum Beispiel, wenn v = 3 sind 8, 4, then.5 v = .5 3. 8, 4 = 4.5, 9. Allgemeine Skalarmultiplikation d bedeutet, wenn eine reelle Zahl ist, und v ist ein Vektor v ist, v. vn, dann = dv dv, dv. dv n..4 Skalarprodukt Das innere Produkt von zwei Vektoren Vermehrung von Vektoren (auch bezeichnet als das Skalarprodukt oder Skalarprodukt) definiert. Es wird durch Multiplizieren jeder Komponente in v von der Komponente in V in der gleichen Position und Zugabe sie alle zusammen zu ergeben, einen skalaren Wert gefunden. Das innere Produkt ist nur für die Vektoren der gleichen Dimension definiert. Das innere Produkt von zwei Vektoren bezeichnet ist (v, v) oder v v (das Punktprodukt). Somit n (x, y) = x y = x i y i i = Wenn beispielsweise x =. 7, 4 und y = 3. 8, 3, dann ist x = y (3) + () + 7 (8) + 3 (4) = 83
7 .5 Orthogonalität Zwei Vektoren sind zueinander orthogonal, wenn ihr inneres Produkt gleich Null ist. Im zweidimensionalen Raum ist dies gleichbedeutend damit, dass die Vektoren senkrecht sind, oder dass der einzige Winkel zwischen ihnen ist ein 9-Winkel. Zum Beispiel können die Vektoren. 4 und 3. 4, sind orthogonal, da. Normal Vector. 4 3 4 = (3) + () (4) + 4 () = ein Normalenvektor (oder Einheitsvektor) ein Vektor der Länge ist. Jeder Vektor mit einer Anfangslänge> kann durch den Vektor s Länge durch Teilen jeder Komponente in sie normalisiert werden. Wenn beispielsweise v =, 4. dann v = = 5 = 5 dann u = / 5, 4/5, / 5, / 5 ist ein Normalvektor, da u = (/ 5) + (4/5) + ( + / 5) (/ 5) = 5/5 = .7 Orthonormal Vektoren Vektoren mit Einheitslänge, die zueinander orthogonal sind, wird gesagt, daß orthonormal. Zum Beispiel u = / 5, / 5, / 5, 4/5 und ist orthonormal da u = v = 3/5, / 5, 4/5, / 5 (/ 5) + (/ 5) + (/ 5) + (4/5) = v = (3/5) + (/ 5) + (4/5) + (/ 5) = uv = = .8 Gram-Schmidt Orthonormalisierung Verfahren Der Gram-Schmidt Orthonormalisierungsverfahren ist Verfahren zum Erzeugen eines Satzes von Vektoren in einen Satz von orthonormalen Vektoren umwandelt. Es beginnt im Wesentlichen durch den ersten Vektor unter Berücksichtigung normalisieren und iterativ die verbleibenden Vektoren in Bezug auf sich selbst umgeschrieben minus einer 7
8 Multiplikation der bereits normalisierten Vektoren. Um zum Beispiel die Spaltenvektoren von A = 3 in orthonormal Spaltenvektoren zu konvertieren ersten v = normalisieren. Als nächstes wollen wir A = 3 3 3 3 u =. w = v u v = u. 3. 3. =. 3, (9). 3. =. 3, 3. 3, 3 =. Normalisieren w zu erhalten u =, 3. Nun berechnen u 3 in Bezug auf u und u wie folgt. Sei w 3 = v 3 u v 3 u u v 3 u = 4 9, 4. 9 9 und normalisieren w 3 erhalten u 3 = 3 3 3 Allgemeiner gesagt, wenn wir einen orthonormal Satz von Vektoren u haben. u k, dann w k w k als k = v ausgedrückt wird, 8 k i = u i u i Vk
9 7 Matrix Terminology 7. quadratische Matrix Eine Matrix wird gesagt, quadratisch zu sein, wenn es die gleiche Anzahl von Zeilen als Spalten hat. Um die Größe einer quadratischen Matrix mit n Zeilen und Spalten zu bezeichnen, wird n-Quadrat bezeichnet. Zum Beispiel ist die Matrix unter 3-Quadrat. 7. Transponieren A = die Transponierte einer Matrix durch Umwandlung ihrer Zeilen in Spalten erstellt wird; das heißt, Zeile Spalte wird, Zeile Spalte wird usw. Die Transponierte einer Matrix ist mit einem hochgestellte T angedeutet, z.B. die Transponierte der Matrix A ist A T. Wenn beispielsweise A = dann ihre Transponierte A T = Matrix Multiplication ist es möglich, zwei Matrizen nur zu multiplizieren, wenn die zweite Matrix die gleiche Anzahl von Zeilen wie die erste Matrix hat Spalten. Die sich ergebende Matrix hat so viele Zeilen wie die erste Matrix und so viele Spalten wie die zweite Matrix. Mit anderen Worten, wenn A eine m n-Matrix ist und B eine Matrix, s n, dann das Produkt AB ist ein m s-Matrix. Die Koordinaten von AB werden, indem das Skalarprodukt jeder Reihe von A und jede Spalte in B. bestimmt wird, dass heißt, wenn A A m die Zeilenvektoren der Matrix A sind, und B. B s sind die Spaltenvektoren von B, dann ab ik von AB gleich A i B k. Das folgende Beispiel zeigt. A = B = 4 5 3 4 4 9 ab = AB = = = (3) + () + 4 () = 9 9
10 7.4 Identität Matrix ab = 4 ab = 5 ab = = (4) + (4) + 4 () = = (3) + 5 () + () = = () + 5 (4) + () = Die Identitätsmatrix ist eine quadratische Matrix mit Einträgen auf der diagonalen gleich und alle anderen Einträge gleich Null. Die Diagonale ist alle Eingaben a ij, wo i = j, h a, a. a mm. Die n-Quadrat-Einheitsmatrix ist verschiedentlich als I bezeichnet, n n, I n, oder einfach die Identitätsmatrix I. verhält sich wie die Anzahl in gewöhnlicher Multiplikation, die AI = A bedeutet, wie das folgende Beispiel zeigt. A = I = ai = 4 ai = 4 AI 3 = 4 ai = 3 5 AI = = () + (4) + () = = () + 4 () + () = 4 = () + 4 () + () = = () + 3 () + 5 () = =
11 ai = ai 3 5 3 = Orthogonal Matrix = = () + 3 () + 5 () = 3 = () + 3 () + 5 () = eine Matrix A orthogonal ist, wenn AA T = ATA = I. Für ist beispielsweise orthogonal, weil ATA = 7. Diagonalmatrix A = 4/5 3/5 3/5 4/5 3/5 4/5 4/5 3/5 3/5 4/5 4/5 3/5 = A eine Diagonalmatrix ist eine Matrix, in der alle Einträge ai ij sind, wenn i j. = 7,7 Gebender A a: Mit anderen Worten, die einzigen Nicht-Null-Werte entlang des Hauptdialogs von der oberen linken Ecke zur unteren rechten Ecke laufen. a a mm Determinante ist eine Funktion einer quadratischen Matrix, die es auf eine einzige Zahl reduziert. Die Determinante einer Matrix A ist, A oder bezeichnet det (a). Wenn A aus einem Element A besteht, dann A = a; in anderen Worten, wenn A = dann A =. Wenn A eine Matrix ist, dann
12 A = a c b d = ad bc. Zum Beispiel der Determinante ist A = A = 4 4 4 = () () = 7. Das Finden des Determinante einer n-quadratische Matrix für n> kann durch rekursives Löschen von Zeilen und Spalten durchgeführt wird sukzessive kleinere Matrizen, bis sie erstellen Alle Abmessungen sind, und dann die vorherige Definition anzuwenden. Es gibt einige Tricks für diese effizient zu tun, aber die einfachste Technik ist Expansion von Zeile bezeichnet und unten für eine 3-3-Matrix dargestellt. In diesem Fall bauen wir für Reihe, welche Zeile bedeutet, Löschen und sukzessiv Spalten, Spalte Löschen und Spalte 3 drei Matrizen zu erzeugen. Die Determinante jeder kleineren Matrix wird durch den Eintrag multipliziert mit dem Schnittpunkt der gelöschten Zeile und Spalte entspricht. Die Erweiterung fügt abwechselnd und subtrahiert jede aufeinanderfolgende Determinante = () 4 8 (4) (3) 3 = (8 4) 4 (8 4 3) + 3 (3) = 5 = 38 Die Determinante einer 4 4-Matrix wäre durch Expandieren in Zeile gefunden Determinanten abwechselnd zu addieren und subtrahieren, was würde sich eine Reihe von Faktoren zu erzeugen, erweitert werden, die wie oben reduziert werden würde. Dieses Verfahren kann angewandt werden, um die Determinante einer beliebig großen quadratischen Matrix zu finden. 7.8 Eigenvektoren und Eigenwerte ein Eigenvektor ist ein Nicht-Null-Vektor, der die Gleichung A v = v λ erfüllt, wobei A eine quadratische Matrix ist, ist λ ein Skalar ist, und v ist der Eigenvektor. λ ist ein Eigenwert genannt. Eigenwerte und Eigenvektoren werden auch als jeweils charakteristische Wurzeln und charakteristische Vektoren oder latente Wurzeln und latente Vektoren bekannt.
13 Sie können Eigenwerte und Eigenvektoren finden, indem eine Matrix als ein System von linearen Gleichungen zu behandeln und zu lösen für die Werte der Variablen, die die Komponenten des Eigenvektor bilden. Zum Beispiel, das Finden der Eigenwerte und Eigenvektoren der Matrix A entsprechen = bedeutet die obige Formel Anlegen ein v = λ v = x, um für λ, x und x zu lösen, zu erhalten. Diese Aussage ist für das System von Gleichungen äquivalent x = λ xxx + x = & lgr; x, die als x + x = & lgr; x (λ) x + x = x + (λ) x = A notwendige und hinreichende Bedingung für dieses System neu angeordnet werden können, um hat ein von Null verschiedenen Vektor x, x, ist, dass die Determinante der Koeffizientenmatrix (λ) (λ) gleich Null sein. Dementsprechend (λ) (λ) = (λ) (λ) = λ 4λ + 3 = (λ 3) (λ) = Es gibt zwei Werte von λ, die der letzten Gleichung erfüllen; Somit gibt es zwei Eigenwerte der ursprünglichen Matrix A, und diese sind λ = 3, λ =. Wir können Eigenvektoren finden, die diese Eigenwerte λ durch Aufstecken über die Gleichungen zurück und die Lösung für x und x. Um eine entsprechende Eigenvektor zu finden = 3 & lambda; beginnen Sie mit (λ) x + x = 3
16 Abbildung. Regressionslinie entlang der zweiten Dimension erfasst weniger Variation in Originaldaten. Um U zu finden, haben wir mit AA T. Die Transponierung von A zu beginnen ist, so AA T = AT = = Als nächstes müssen wir die Eigenwerte und die entsprechenden Eigenvektoren von AA T. finden Wir wissen, dass Eigenvektoren durch die Gleichung definiert werden A v = λ v und die T AA Anwendung gibt wir uns dies umschreiben als den Satz von Gleichungen xx = λ xxx + x = & lgr; x und neu anordnen bekommen x + x = & lgr; x (λ) x + x =
17 x + (λ) x = für λ lösen, indem die Determinante der Koeffizientenmatrix auf Null gesetzt werden, die als ausarbeitet (λ) (λ) = (λ) (λ) = (λ) (λ) = λ =, λ = geben uns unsere beiden Eigenwerte λ =, λ =. Anstecken λ zurück in den ursprünglichen Gleichungen gibt uns unsere Eigenvektoren. Für λ = erhalten wir () x + x = x = x, die für viele Werte wahr ist, so ll holen wir x = und x = da diese klein sind und leichter zu handhaben. Somit haben wir den Eigenvektor, den Eigenwert λ = entsprechen. Für λ = wir haben () x + x = x = x und aus dem gleichen Grund wie vor nehmen wir ll x = und x =. Nun, für λ = haben wir das Eigenvektor. Diese Eigenvektoren werden Spaltenvektoren in einer Matrix durch die Größe des entsprechenden Eigenwert geordnet. Mit anderen Worten, der Eigenvektor des größten Eigenwerts Spalte gehört, der Eigenvektor des nächstgrößten Eigenwerts ist Spalte zwei und so weiter und so weiter, bis wir den Eigenvektor des kleinsten Eigenwerts als letzte Spalte unserer Matrix haben. In der Matrix Im folgenden wird der Eigenvektor für λ = Spalte eins, und der Eigenvektor für λ = ist Spalte zwei. Schließlich haben wir diese Matrix in eine orthogonale Matrix konvertieren, die wir tun, indem Sie den Gram-Schmidt-Orthonormalisierungsprozess auf die Spaltenvektoren angewendet wird. Beginnen durch v normalisieren. Berechne u = v v. = = =, + W = v u v u = 7
18 =. =. = Und normalisieren u ergeben = w = w, U = die Berechnung von V ähnlich ist. V wird auf ATA basiert, so haben wir ATA = Finden der Eigenwerte von ATA, durch welche repräsentiert das Gleichungssystem 3 3 xxx 3 = = λ 4 4 xxx 3 x + x 3 = & lgr; x x + 4x 3 = & lgr; x, die als dem Umschreiben durch Einstellen x + 4x + x 3 = & lgr; x (λ) x + x 3 = (λ) x + 4x 3 = x + 4x + (λ) x 3 = (λ) (λ) 4 4 (λ) = gelöst 8
19 Dieses arbeitet als (λ) (λ) 4 4 (λ) + (λ) 4 = (λ) (λ) (λ) + (λ) = λ (λ) (λ) =, so λ =, λ =, = λ die Eigenwerte für AT A. substituieren λ zurück in die ursprünglichen Gleichungen Eigenvektoren Ausbeuten für λ = () entspricht, x + x 3 = x + x 3 = x =, x 3 = () x + 4x 3 zu finden, = x + 4x 3 = x = x 3 x = also für λ = v =. Für λ = gilt () x + x 3 = x 3 = x 3 = x + 4x = x = x = x, x = das für λ = bedeutet, v =. Für λ = haben wir x + x 3 = x 3 = 5 x = x = x + 8 = x = die für λ = bedeutet, v 3 =. 5. Ordnung v, v, v und 3 als Spaltenvektoren in einer Matrix entsprechend die Größe des Eigenwerts zu bekommen 5 9
20 und nutzen den Gram-Schmidt Orthonormalisierungsprozess, die zu einer orthonormale Matrix zu konvertieren. u = v = v. All dies uns zu geben, wenn wir seine transponieren wirklich w wollen = v u u v =. u = w = w. 5 5 W 3 = v 3 v u u u 3 v 3 u = 3, 4 3, 3 u 3 = w 3 w 3 = 3 V = V T =. Für S nehmen wir die Quadratwurzeln der Nicht-Null-Eigenwerte und die Diagonale mit ihnen bevölkern, die größte in s setzen, die nächstgrößte in s und so weiter, bis der kleinsten Wert in s mm endet. Die von Null verschiedenen Eigenwerte von U und V sind immer die gleichen, so dass der Grund, warum es t aus, die man nehmen wir sie doesn Rolle. Weil wir vollen SVD tun, anstelle von reduziertem SVD (nächstem Abschnitt), müssen wir einen Null-Spaltenvektor S addieren, so dass sie die richtigen Dimensionen ist die Multiplikation zwischen U und V zu ermöglichen, die Diagonaleinträge in S sind die singuläre Werte von A, werden die Spalten in U linken Singulärvektoren genannt, und die Spalten in V sind rechte Singulärvektoren genannt. S = Jetzt haben wir alle Teile des Puzzles A mn = U mm S mn V T nn = = =
