Sztuczna sieć neuronowa - podstawowe pojęcia

Sieci neuronowe to równoległe urządzenia obliczeniowe, które w zasadzie są próbą stworzenia komputerowego modelu mózgu. Głównym celem jest opracowanie systemu do wykonywania różnych zadań obliczeniowych szybciej niż systemy tradycyjne. Zadania te obejmują rozpoznawanie i klasyfikację wzorców, aproksymację, optymalizację i grupowanie danych.

Co to jest sztuczna sieć neuronowa?

Sztuczna sieć neuronowa (ANN) to wydajny system obliczeniowy, którego motyw przewodni został zapożyczony z analogii biologicznych sieci neuronowych. SSN są również nazywane „sztucznymi systemami neuronowymi”, „równoległymi systemami przetwarzania rozproszonego” lub „systemami koneksjonistycznymi”. ANN pozyskuje duży zbiór jednostek, które są ze sobą połączone w pewien sposób, aby umożliwić komunikację między jednostkami. Jednostki te, nazywane również węzłami lub neuronami, to proste procesory działające równolegle.

Każdy neuron jest połączony z innym neuronem za pomocą łącza. Każdemu łączu przypisana jest waga zawierająca informacje o sygnale wejściowym. Jest to najbardziej przydatna informacja dla neuronów do rozwiązania konkretnego problemu, ponieważ ciężar zwykle pobudza lub hamuje przekazywany sygnał. Każdy neuron ma stan wewnętrzny, który nazywany jest sygnałem aktywacji. Sygnały wyjściowe, które powstają po połączeniu sygnałów wejściowych i reguły zadziałania, mogą być wysyłane do innych jednostek.

Krótka historia ANN

Historię SSN można podzielić na następujące trzy epoki -

ANN w latach czterdziestych do sześćdziesiątych XX wieku

Oto niektóre kluczowe wydarzenia z tej epoki -

1943 - Założono, że koncepcja sieci neuronowej zapoczątkowała pracę fizjologa Warrena McCullocha i matematyka Waltera Pittsa, kiedy w 1943 r. Modelowali prostą sieć neuronową za pomocą obwodów elektrycznych, aby opisać, jak mogą działać neurony w mózgu .
1949- W książce Donalda Hebba The Organization of Behavior wysunięto fakt, że wielokrotna aktywacja jednego neuronu przez inny zwiększa jego siłę za każdym razem, gdy są używane.
1956 - Sieć pamięci asocjacyjnej została wprowadzona przez Taylora.
1958 - Metoda uczenia się modelu neuronów McCullocha i Pittsa o nazwie Perceptron została wynaleziona przez Rosenblatta.
1960 - Bernard Widrow i Marcian Hoff opracowali modele nazwane „ADALINE” i „MADALINE”.

ANN w latach 1960-1980

Oto niektóre kluczowe wydarzenia z tej epoki -

1961 - Rosenblatt podjął nieudaną próbę, ale zaproponował schemat „wstecznej propagacji” sieci wielowarstwowych.
1964 - Taylor skonstruował obwód zwycięzca bierze wszystko z zahamowaniami między jednostkami wyjściowymi.
1969 - Perceptron wielowarstwowy (MLP) został wynaleziony przez Minsky'ego i Paperta.
1971 - Kohonen rozwinął wspomnienia asocjacyjne.
1976 - Stephen Grossberg i Gail Carpenter opracowali adaptacyjną teorię rezonansu.

ANN od 1980 do chwili obecnej

Oto niektóre kluczowe wydarzenia z tej epoki -

1982 - Głównym osiągnięciem było podejście Hopfielda do energii.
1985 - Maszyna Boltzmanna została opracowana przez Ackleya, Hintona i Sejnowskiego.
1986 - Rumelhart, Hinton i Williams wprowadzili uogólnioną regułę delta.
1988 - Kosko opracował Binary Associative Memory (BAM), a także przedstawił koncepcję Fuzzy Logic w SSN.

Z przeglądu historycznego wynika, że w tej dziedzinie poczyniono znaczne postępy. Pojawiają się chipy oparte na sieciach neuronowych i opracowywane są aplikacje do rozwiązywania złożonych problemów. Z pewnością dzisiaj jest okres przejściowy dla technologii sieci neuronowych.

Biological Neuron

Komórka nerwowa (neuron) to specjalna komórka biologiczna, która przetwarza informacje. Według szacunków istnieje ogromna liczba neuronów, około 10 ¹¹ z licznymi połączeniami, około 10 ¹⁵ .

Schemat

Działanie neuronu biologicznego

Jak pokazano na powyższym schemacie, typowy neuron składa się z następujących czterech części, za pomocą których możemy wyjaśnić jego działanie -

Dendrites- Są to gałęzie przypominające drzewo, odpowiedzialne za odbieranie informacji od innych neuronów, z którymi jest połączony. W innym sensie możemy powiedzieć, że są jak uszy neuronu.
Soma - Jest to ciało komórkowe neuronu i odpowiada za przetwarzanie informacji, które otrzymały z dendrytów.
Axon - To jest jak kabel, przez który neurony przesyłają informacje.
Synapses - Jest to połączenie między aksonem a innymi dendrytami neuronów.

ANN kontra BNN

Zanim przyjrzymy się różnicom między sztuczną siecią neuronową (ANN) a biologiczną siecią neuronową (BNN), przyjrzyjmy się podobieństwom opartym na terminologii między nimi.

Biologiczna sieć neuronowa (BNN)	Sztuczna sieć neuronowa (ANN)
Soma	Węzeł
Dendryty	Wejście
Synapsa	Wagi lub połączenia międzysystemowe
Axon	Wynik

Poniższa tabela przedstawia porównanie ANN i BNN na podstawie niektórych wymienionych kryteriów.

Kryteria	BNN	ANN
Processing	Masywnie równoległe, powolne, ale lepsze niż ANN	Masywnie równoległe, szybkie, ale gorsze niż BNN
Size	10 ¹¹ neuronów i 10 ¹⁵ połączeń	10 ² do 10 ⁴ węzłów (zależy głównie od typu aplikacji i projektanta sieci)
Learning	Potrafią tolerować dwuznaczność	Aby tolerować niejednoznaczność, wymagane są bardzo precyzyjne, ustrukturyzowane i sformatowane dane
Fault tolerance	Wydajność spada nawet z częściowym uszkodzeniem	Jest zdolny do solidnej wydajności, dlatego może być odporny na uszkodzenia
Storage capacity	Przechowuje informacje w synapsie	Przechowuje informacje w ciągłych lokalizacjach pamięci