PyTorch - Dasar-dasar Jaringan Neural

Prinsip utama jaringan saraf tiruan mencakup kumpulan elemen dasar, yaitu neuron buatan atau perceptron. Ini mencakup beberapa input dasar seperti x1, x2… .. xn yang menghasilkan output biner jika jumlahnya lebih besar dari potensi aktivasi.

Representasi skematis dari sampel neuron disebutkan di bawah ini -

Output yang dihasilkan dapat dianggap sebagai jumlah tertimbang dengan potensi aktivasi atau bias.

$$ Output = \ sum_jw_jx_j + Bias $$

Arsitektur jaringan saraf tipikal dijelaskan di bawah ini -

Lapisan antara masukan dan keluaran disebut sebagai lapisan tersembunyi, dan kepadatan serta jenis koneksi antar lapisan adalah konfigurasinya. Misalnya, konfigurasi yang sepenuhnya terhubung memiliki semua neuron dari lapisan L yang terhubung ke L + 1. Untuk pelokalan yang lebih jelas, kita hanya dapat menghubungkan lingkungan lokal, katakanlah sembilan neuron, ke lapisan berikutnya. Gambar 1-9 mengilustrasikan dua lapisan tersembunyi dengan koneksi yang padat.

Berbagai jenis jaringan saraf adalah sebagai berikut -

Jaringan Neural Feedforward

Jaringan saraf maju mundur mencakup unit dasar keluarga jaringan saraf. Pergerakan data dalam jenis jaringan saraf ini adalah dari lapisan masukan ke lapisan keluaran, melalui lapisan tersembunyi yang ada. Output dari satu lapisan berfungsi sebagai lapisan masukan dengan batasan pada semua jenis loop dalam arsitektur jaringan.

Jaringan Neural Berulang

Jaringan Neural Berulang adalah saat pola data berubah secara konsekuen selama periode tertentu. Di RNN, lapisan yang sama diterapkan untuk menerima parameter masukan dan menampilkan parameter keluaran dalam jaringan saraf tertentu.

Jaringan saraf dapat dibangun menggunakan paket torch.nn.

Ini adalah jaringan umpan-maju sederhana. Ia mengambil masukan, memberinya makan melalui beberapa lapisan satu demi satu, dan akhirnya memberikan keluaran.

Dengan bantuan PyTorch, kita dapat menggunakan langkah-langkah berikut untuk prosedur pelatihan umum untuk jaringan saraf -

Tentukan jaringan saraf yang memiliki beberapa parameter (atau bobot) yang dapat dipelajari.
Iterasi di atas kumpulan data masukan.
Proses input melalui jaringan.
Hitung kerugian (seberapa jauh keluaran dari yang benar).
Sebarkan gradien kembali ke parameter jaringan.
Perbarui bobot jaringan, biasanya menggunakan pembaruan sederhana seperti yang diberikan di bawah ini

rule: weight = weight -learning_rate * gradient