Искусственная нейронная сеть - основные понятия
Нейронные сети - это параллельные вычислительные устройства, которые, по сути, представляют собой попытку создать компьютерную модель мозга. Основная цель - разработать систему для выполнения различных вычислительных задач быстрее, чем традиционные системы. Эти задачи включают распознавание и классификацию образов, аппроксимацию, оптимизацию и кластеризацию данных.
Что такое искусственная нейронная сеть?
Искусственная нейронная сеть (ИНС) - это эффективная вычислительная система, центральная тема которой заимствована из аналогии с биологическими нейронными сетями. ИНС также называют «искусственными нейронными системами», «системами параллельной распределенной обработки» или «системами коннекционизма». ИНС получает большой набор модулей, которые связаны между собой по некоторой схеме, чтобы обеспечить связь между модулями. Эти блоки, также называемые узлами или нейронами, представляют собой простые процессоры, которые работают параллельно.
Каждый нейрон связан с другим нейроном посредством связующего звена. Каждому каналу связи соответствует вес, содержащий информацию о входном сигнале. Это наиболее полезная информация для нейронов при решении конкретной проблемы, поскольку вес обычно возбуждает или подавляет передаваемый сигнал. Каждый нейрон имеет внутреннее состояние, которое называется сигналом активации. Выходные сигналы, которые создаются после объединения входных сигналов и правила активации, могут быть отправлены на другие устройства.
Краткая история ИНС
Историю ИНС можно разделить на следующие три эпохи:
ИНС 1940-1960-х гг.
Вот некоторые ключевые события этой эпохи:
1943 - Предполагалось, что концепция нейронной сети началась с работы физиолога Уоррена МакКаллока и математика Уолтера Питтса, когда в 1943 году они смоделировали простую нейронную сеть с использованием электрических цепей, чтобы описать, как могут работать нейроны в мозге. .
1949- В книге Дональда Хебба « Организация поведения» утверждается, что повторная активация одного нейрона другим увеличивает его силу каждый раз, когда они используются.
1956 - Ассоциативная сеть памяти была представлена Тейлором.
1958 - Метод обучения нейронной модели Мак-Каллока и Питтса под названием Perceptron был изобретен Розенблаттом.
1960 - Бернард Видроу и Марсиан Хофф разработали модели под названием «АДАЛИН» и «МАДАЛИН».
ИНС в 1960-1980-х гг.
Вот некоторые ключевые события этой эпохи:
1961 - Розенблатт предпринял неудачную попытку, но предложил схему «обратного распространения» для многоуровневых сетей.
1964 - Тейлор построил схему «победитель получает все» с запретами среди выходных устройств.
1969 - Многослойный перцептрон (MLP) был изобретен Мински и Паперт.
1971 - У Кохонена развилась ассоциативная память.
1976 - Стивен Гроссберг и Гейл Карпентер разработали теорию адаптивного резонанса.
ИНС с 1980-х годов по настоящее время
Вот некоторые ключевые события этой эпохи:
1982 - Основным событием стал энергетический подход Хопфилда.
1985 - Машина Больцмана была разработана Экли, Хинтоном и Сейновски.
1986 - Рамельхарт, Хинтон и Уильямс ввели обобщенное правило дельты.
1988 - Коско разработал двоичную ассоциативную память (BAM), а также дал концепцию нечеткой логики в ИНС.
Исторический обзор показывает, что в этой области достигнут значительный прогресс. Появляются микросхемы на основе нейронных сетей, и разрабатываются приложения для решения сложных задач. Несомненно, сегодня переходный период для нейросетевых технологий.
Биологический нейрон
Нервная клетка (нейрон) - это особая биологическая клетка, обрабатывающая информацию. По оценке, существует огромное количество нейронов, примерно 10 11 с многочисленными взаимосвязями, примерно 10 15 .
Схематическая диаграмма
Работа биологического нейрона
Как показано на приведенной выше диаграмме, типичный нейрон состоит из следующих четырех частей, с помощью которых мы можем объяснить его работу:
Dendrites- Это древовидные ветви, отвечающие за получение информации от других нейронов, с которыми они связаны. В другом смысле можно сказать, что они похожи на уши нейрона.
Soma - Это тело клетки нейрона и отвечает за обработку информации, полученной от дендритов.
Axon - Это как кабель, по которому нейроны отправляют информацию.
Synapses - Это связь между аксоном и дендритами других нейронов.
ANN против BNN
Прежде чем взглянуть на различия между искусственной нейронной сетью (ИНС) и биологической нейронной сетью (BNN), давайте посмотрим на сходства, основанные на терминологии между этими двумя.
| Биологическая нейронная сеть (BNN) | Искусственная нейронная сеть (ИНС) |
|---|---|
| Сома | Узел |
| Дендриты | Ввод |
| Синапс | Вес или соединения |
| Аксон | Выход |
В следующей таблице показано сравнение ИНС и BNN на основе некоторых упомянутых критериев.
| Критерии | BNN | ЭНН |
|---|---|---|
| Processing | Массивно параллельный, медленный, но лучше, чем ИНС | Массивно параллельные, быстрые, но уступающие BNN |
| Size | 10 11 нейронов и 10 15 взаимосвязей | От 10 2 до 10 4 узлов (в основном зависит от типа приложения и разработчика сети) |
| Learning | Они могут терпеть двусмысленность | Требуются очень точные, структурированные и отформатированные данные, чтобы допустить двусмысленность |
| Fault tolerance | Производительность ухудшается даже при частичном повреждении | Он обладает высокой производительностью и, следовательно, может быть отказоустойчивым. |
| Storage capacity | Хранит информацию в синапсе | Сохраняет информацию в постоянных ячейках памяти |
Модель искусственной нейронной сети
На следующей диаграмме представлена общая модель ИНС с последующей ее обработкой.
Для приведенной выше общей модели искусственной нейронной сети чистый вход можно рассчитать следующим образом:
$$ y_ {in} \: = \: x_ {1} .w_ {1} \: + \: x_ {2} .w_ {2} \: + \: x_ {3} .w_ {3} \: \ dotso \: x_ {m} .w_ {m} $$
т.е. чистый ввод $ y_ {in} \: = \: \ sum_i ^ m \: x_ {i} .w_ {i} $
Выход можно рассчитать, применив функцию активации к входу сети.
$$ Y \: = \: F (y_ {in}) $$
Выход = функция (чистый вход рассчитан)