Teknik Optimasi Lainnya

Teknik Penurunan Gradien Berulang

Penurunan gradien, juga dikenal sebagai penurunan paling curam, adalah algoritme pengoptimalan berulang untuk menemukan minimum lokal suatu fungsi. Sambil meminimalkan fungsi, kami prihatin dengan biaya atau kesalahan yang akan diminimalkan (Ingat Masalah Penjual Perjalanan). Ini banyak digunakan dalam pembelajaran mendalam, yang berguna dalam berbagai situasi. Hal yang perlu diingat di sini adalah bahwa kami memperhatikan pengoptimalan lokal dan bukan pengoptimalan global.

Ide Kerja Utama

Kita dapat memahami ide kerja utama penurunan gradien dengan bantuan langkah-langkah berikut -

Pertama, mulailah dengan menebak solusi awal.
Kemudian, ambil gradien fungsi pada titik tersebut.
Kemudian, ulangi proses tersebut dengan melangkah solusi ke arah negatif gradien.

Dengan mengikuti langkah-langkah di atas, algoritme pada akhirnya akan bertemu di mana gradien adalah nol.

Konsep Matematika

Misalkan kita memiliki fungsi f(x)dan kami mencoba mencari nilai minimum dari fungsi ini. Berikut adalah langkah-langkah untuk menemukan nilai minimumf(x).

Pertama, berikan nilai awal $ x_ {0} \: for \: x $
Sekarang ambil fungsi gradien $ \ nabla f $ ⁡of, dengan intuisi bahwa gradien akan memberikan kemiringan kurva pada x dan arahnya akan mengarah ke peningkatan fungsi, untuk mengetahui arah terbaik untuk meminimalkannya.
Sekarang ubah x sebagai berikut -

$$ x_ {n \: + \: 1} \: = \: x_ {n} \: - \: \ theta \ nabla f (x_ {n}) $$

Sini, θ > 0 adalah kecepatan pelatihan (ukuran langkah) yang memaksa algoritme untuk melakukan lompatan kecil.

Memperkirakan Ukuran Langkah

Sebenarnya ukuran langkah salah θmungkin tidak mencapai konvergensi, oleh karena itu pemilihan yang cermat sangat penting. Poin-poin berikut harus diingat saat memilih ukuran langkah

Jangan memilih ukuran anak tangga yang terlalu besar, jika tidak maka akan berdampak negatif, yaitu akan menyimpang daripada menyatu.
Jangan memilih ukuran anak tangga yang terlalu kecil, jika tidak maka akan membutuhkan banyak waktu untuk menyatu.

Beberapa opsi berkaitan dengan memilih ukuran langkah -

Salah satu opsinya adalah memilih ukuran langkah tetap.
Pilihan lainnya adalah memilih ukuran langkah yang berbeda untuk setiap iterasi.

Simulasi Annealing

Konsep dasar Simulated Annealing (SA) dimotivasi oleh anil pada padatan. Dalam proses anil, jika kita memanaskan logam di atas titik lelehnya dan mendinginkannya maka sifat strukturnya akan bergantung pada laju pendinginan. Kita juga dapat mengatakan bahwa SA mensimulasikan proses metalurgi anil.

Gunakan di ANN

SA adalah metode komputasi stokastik, yang terinspirasi oleh analogi anil, untuk mendekati pengoptimalan global dari fungsi tertentu. Kita dapat menggunakan SA untuk melatih jaringan saraf umpan maju.