Deep Learning – Eine kurze Geschichte

Mar 27 2023
Neuronale Netze sind diese Black Boxes, in denen Sie Eingaben machen, diese Eingaben durchlaufen mehrere Funktionen und eine Ausgabe kommt daraus. Sie sind extrem gut darin, Sprache zu erkennen, Text zu beschriften und den nächsten Spielstatus vorherzusagen.

Neuronale Netze sind diese Black Boxes, in denen Sie Eingaben machen, diese Eingaben durchlaufen mehrere Funktionen und eine Ausgabe kommt daraus. Sie sind extrem gut darin, Sprache zu erkennen, Text zu beschriften und den nächsten Spielstatus vorherzusagen.

Bevor wir eintauchen, wollen wir sehen, wie das menschliche Gehirn funktioniert oder noch tiefer geht, „menschliche Kognition“!

Geschichte

„Wenn das menschliche Gehirn so einfach wäre, dass wir es verstehen könnten, wären wir so einfach, dass wir es nicht könnten.“ — Emerson M. Pugh .

Assoziation

Verband

Zurück zu Platon, David Hume zu 2.500 Jahren Theorie für das Modell der menschlichen Kognition ist „Assoziation“.

Was ist Assoziation?

Auf Blitz folgt Donner. „Wir haben gerade einen Donner gehört; Wurde jemand davon getroffen?“

Das ist Assoziation .

„Diese Art von Assoziation wird immer noch beim maschinellen Lernen verwendet, aber wir haben etwas Mathematik hineingesteckt.“

Aber wo werden diese Assoziationen gespeichert? Es ist offensichtlich, dass diese Assoziationen irgendwo gespeichert werden müssen und Rückschlüsse hervorrufen.

Konnektionismus

Mitte 1800: Das Gehirn ist eine Masse miteinander verbundener Neuronen. Das Gehirn ist eine Struktur von Netzwerkzellen. Etwas mit dieser Struktur hat damit zu tun, wie das Gehirn funktioniert. Jedes Neuron ist mit vielen anderen Neuronen verbunden. Dies führte zum Konnektionismus

Neuronen erregen und stimulieren sich gegenseitig. Unterschiedliche Kombinationen von Eingängen führen zu unterschiedlichen Sätzen von Ausgängen. Im angegebenen Beispiel

Wenn a & b hoch sind, wird 'x' ausgelöst,

wenn b & c hoch sind, wird 'y' ausgelöst,

wenn a & c hoch sind, wird 'z' ausgelöst.

Unterschiedliche Eingabemuster führen also zu unterschiedlichen Ausgabemustern. Signale unterschiedlicher Stärke können zu unterschiedlichen Ausgaben führen. Auch ein von Alexander Bain vorgeschlagenes Lernen hängt von der Intensität des Inputs ab.

McClloch und Pitts

Diese beiden Personen versuchten, das erste künstliche Neuron zu modellieren.

Ein Neuron hat grundsätzlich zwei Verbindungen. Neuro feuert, wenn die Gesamtzahl der erregenden Eingaben jeder Verbindung den Schwellenwert überschreitet, es sei denn, es kommt ein hemmendes Signal durch diesen hemmenden Draht.

Frank Rosenblatt

Rosenblatts Perceptron besteht aus drei Einheiten, (i) sensorischen Einheiten, (ii) assoziativen Einheiten, (iii) Reaktionseinheiten.

Rosenblatt-Modell

Die Anzahl der Eingaben wird linear multipliziert mit den jeweiligen Eingaben zugeordneten Gewichtungen kombiniert. Diese affine Funktion wird als Eingabe für die Schwellenfunktion gegeben. Das Neuron wird gefeuert, wenn der Wert den Schwellenwert überschreitet.

Y = { 1 wenn ∑wixi -T ≥ 0; sonst 0

Lernalgorithmus:

W = W+η(d(x)-y(x))

Aktualisieren Sie die Gewichte, wenn die Perceptron-Ausgabe falsch ist. Aktualisieren Sie das Gewicht durch das Produkt aus der Eingabe und dem Fehler zwischen den gewünschten und tatsächlichen Ausgaben.

Ein einzelnes Perzeptron oder ein Netzwerk von Perzeptronen kann beliebige boolesche Funktionen modellieren. Einzelne Elemente des Netzwerks sind jedoch schwache Rechenmodelle. Vernetzte Elemente sind erforderlich.

Lassen Sie uns im nächsten Blog sehen, was ein mehrschichtiges Perzeptron modellieren kann und welche Einschränkungen es hat.