Mạng nơron nhân tạo - Các khái niệm cơ bản

Mạng nơ-ron là các thiết bị tính toán song song, về cơ bản là một nỗ lực để tạo ra một mô hình máy tính của bộ não. Mục tiêu chính là phát triển một hệ thống để thực hiện các tác vụ tính toán khác nhau nhanh hơn các hệ thống truyền thống. Những tác vụ này bao gồm nhận dạng và phân loại mẫu, tính gần đúng, tối ưu hóa và phân cụm dữ liệu.

Mạng thần kinh nhân tạo là gì?

Mạng thần kinh nhân tạo (ANN) là một hệ thống tính toán hiệu quả có chủ đề trung tâm được mượn từ sự tương tự của mạng thần kinh sinh học. ANN cũng được đặt tên là “hệ thống thần kinh nhân tạo” hoặc “hệ thống xử lý phân tán song song” hoặc “hệ thống kết nối”. ANN có được một tập hợp lớn các đơn vị được kết nối với nhau theo một số kiểu để cho phép giao tiếp giữa các đơn vị. Những đơn vị này, còn được gọi là nút hoặc nơ-ron, là những bộ xử lý đơn giản hoạt động song song.

Mọi nơron đều được kết nối với nơron khác thông qua một liên kết kết nối. Mỗi liên kết kết nối được liên kết với một trọng số có thông tin về tín hiệu đầu vào. Đây là thông tin hữu ích nhất cho các tế bào thần kinh để giải quyết một vấn đề cụ thể vì trọng lượng thường kích thích hoặc ức chế tín hiệu được truyền đạt. Mỗi tế bào thần kinh có một trạng thái bên trong, trạng thái này được gọi là tín hiệu kích hoạt. Tín hiệu đầu ra, được tạo ra sau khi kết hợp các tín hiệu đầu vào và quy tắc kích hoạt, có thể được gửi đến các đơn vị khác.

Lược sử ANN

Lịch sử của ANN có thể được chia thành ba thời đại sau:

ANN trong những năm 1940 đến 1960

Một số phát triển chính của thời đại này như sau:

1943 - Người ta cho rằng khái niệm mạng nơron bắt đầu từ công trình của nhà sinh lý học, Warren McCulloch và nhà toán học, Walter Pitts, khi vào năm 1943, họ đã lập mô hình một mạng nơron đơn giản bằng cách sử dụng các mạch điện để mô tả cách các nơron trong não có thể hoạt động. .
1949- Cuốn sách của Donald Hebb, Tổ chức của Hành vi , đưa ra thực tế rằng việc kích hoạt lặp đi lặp lại một nơ-ron này sẽ làm tăng sức mạnh của nó mỗi khi chúng được sử dụng.
1956 - Một mạng bộ nhớ kết hợp đã được giới thiệu bởi Taylor.
1958 - Một phương pháp học tập cho mô hình nơ-ron McCulloch và Pitts tên là Perceptron được phát minh bởi Rosenblatt.
1960 - Bernard Widrow và Marcian Hoff đã phát triển các mô hình được gọi là "ADALINE" và "MADALINE."

ANN trong những năm 1960 đến 1980

Một số phát triển chính của thời đại này như sau:

1961 - Rosenblatt đã cố gắng không thành công nhưng đã đề xuất kế hoạch "nhân giống ngược" cho các mạng nhiều lớp.
1964 - Taylor đã xây dựng một mạch thắng-lấy-tất cả với sự ức chế giữa các đơn vị đầu ra.
1969 - Multilayer perceptron (MLP) được phát minh bởi Minsky và Papert.
1971 - Kohonen phát triển ký ức liên kết.
1976 - Stephen Grossberg và Gail Carpenter đã phát triển lý thuyết cộng hưởng thích ứng.

ANN từ những năm 1980 đến nay

Một số phát triển chính của thời đại này như sau:

1982 - Sự phát triển chính là phương pháp tiếp cận Năng lượng của Hopfield.
1985 - Máy Boltzmann được phát triển bởi Ackley, Hinton và Sejnowski.
1986 - Rumelhart, Hinton và Williams đã giới thiệu Quy tắc Delta Chung.
1988 - Kosko đã phát triển Bộ nhớ liên kết nhị phân (BAM) và cũng đưa ra khái niệm Logic mờ trong ANN.

Đánh giá lịch sử cho thấy rằng lĩnh vực này đã đạt được những tiến bộ đáng kể. Các chip dựa trên mạng thần kinh đang nổi lên và các ứng dụng cho các vấn đề phức tạp đang được phát triển. Chắc chắn, ngày nay là thời kỳ chuyển đổi của công nghệ mạng nơ-ron.

Neuron sinh học

Tế bào thần kinh (neuron) là một tế bào sinh học đặc biệt xử lý thông tin. Theo ước tính, có số lượng tế bào thần kinh khổng lồ, khoảng 10 ¹¹ với nhiều liên kết với nhau, khoảng 10 ¹⁵ .

Sơ đồ

Hoạt động của một nơron sinh học

Như được minh họa trong sơ đồ trên, một nơ-ron điển hình bao gồm bốn phần sau với sự trợ giúp của chúng tôi có thể giải thích hoạt động của nó:

Dendrites- Chúng là những nhánh giống như cây, có nhiệm vụ nhận thông tin từ các tế bào thần kinh khác mà nó được kết nối. Theo nghĩa khác, chúng ta có thể nói rằng chúng giống như tai của nơ-ron.
Soma - Nó là thân tế bào của nơron và có nhiệm vụ xử lý thông tin, chúng nhận được từ đuôi gai.
Axon - Nó giống như một sợi cáp mà qua đó các tế bào thần kinh gửi thông tin.
Synapses - Là phần nối giữa sợi trục và các đuôi gai nơron khác.

ANN so với BNN

Trước khi xem xét sự khác biệt giữa Mạng thần kinh nhân tạo (ANN) và Mạng thần kinh sinh học (BNN), chúng ta hãy xem xét những điểm tương đồng dựa trên thuật ngữ giữa hai mạng này.

Mạng thần kinh sinh học (BNN)	Mạng thần kinh nhân tạo (ANN)
Soma	Nút
Nhánh cây	Đầu vào
Synapse	Trọng lượng hoặc kết nối
Axon	Đầu ra

Bảng sau đây cho thấy sự so sánh giữa ANN và BNN dựa trên một số tiêu chí đã đề cập.

Tiêu chí	BNN	ANN
Processing	Song song ồ ạt, chậm nhưng vượt trội hơn ANN	Song song ồ ạt, nhanh nhưng kém hơn BNN
Size	10 ¹¹ nơron và 10 ¹⁵ kết nối	10 ² đến 10 ⁴ nút (chủ yếu phụ thuộc vào loại ứng dụng và nhà thiết kế mạng)
Learning	Họ có thể chịu đựng sự mơ hồ	Dữ liệu có cấu trúc và định dạng rất chính xác là bắt buộc để chống lại sự mơ hồ
Fault tolerance	Hiệu suất suy giảm với thậm chí hư hỏng một phần	Nó có khả năng hoạt động mạnh mẽ, do đó có khả năng chịu lỗi
Storage capacity	Lưu trữ thông tin trong khớp thần kinh	Lưu trữ thông tin trong các vị trí bộ nhớ liên tục

Mô hình mạng nơ ron nhân tạo

Sơ đồ sau đây đại diện cho mô hình chung của ANN theo sau là quá trình xử lý của nó.

Đối với mô hình chung của mạng nơron nhân tạo ở trên, đầu vào ròng có thể được tính như sau:

$$ y_ {in} \: = \: x_ {1} .w_ {1} \: + \: x_ {2} .w_ {2} \: + \: x_ {3} .w_ {3} \: \ dotso \: x_ {m} .w_ {m} $$

tức là, giá trị nhập ròng $ y_ {in} \: = \: \ sum_i ^ m \: x_ {i} .w_ {i} $

Đầu ra có thể được tính toán bằng cách áp dụng chức năng kích hoạt trên đầu vào ròng.

$$ Y \: = \: F (y_ {in}) $$

Đầu ra = chức năng (đầu vào ròng được tính toán)