Diğer Optimizasyon Teknikleri

Yinelenen Gradyan İniş Tekniği

En dik iniş olarak da bilinen gradyan inişi, bir fonksiyonun yerel minimumunu bulmak için yinelemeli bir optimizasyon algoritmasıdır. Fonksiyonu en aza indirirken, en aza indirilmesi gereken maliyet veya hata ile ilgileniyoruz (Seyahat Eden Satışçı Problemini Hatırlayın). Çok çeşitli durumlarda faydalı olan derin öğrenmede yaygın olarak kullanılır. Burada hatırlanması gereken nokta, küresel optimizasyonla değil yerel optimizasyonla ilgilenmemizdir.

Ana Çalışma Fikri

Aşağıdaki adımların yardımıyla gradyan inişinin ana çalışma fikrini anlayabiliriz -

İlk olarak, çözümün ilk tahminiyle başlayın.
Ardından, o noktada fonksiyonun gradyanını alın.
Daha sonra, çözeltiyi gradyanın negatif yönünde adımlayarak işlemi tekrarlayın.

Yukarıdaki adımları izleyerek, algoritma sonunda gradyanın sıfır olduğu yerde birleşecektir.

Matematiksel Kavram

Diyelim ki bir fonksiyonumuz var f(x)ve bu fonksiyonun minimumunu bulmaya çalışıyoruz. Aşağıdakilerden en azını bulmak için adımlar verilmiştir.f(x).

Önce, \: x $ için $ x_ {0} \: için bir başlangıç değeri verin
Şimdi $ \ nabla f $ ⁡f fonksiyonunun gradyanını alın, sezgisel gradyan eğrinin eğimini o noktadaki x ve yönü, onu en aza indirgemek için en iyi yönü bulmak için işlevdeki artışı gösterecektir.
Şimdi x'i aşağıdaki gibi değiştirin -

$$ x_ {n \: + \: 1} \: = \: x_ {n} \: - \: \ theta \ nabla f (x_ {n}) $$

Buraya, θ > 0 algoritmayı küçük sıçramalar yapmaya zorlayan eğitim hızıdır (adım boyutu).

Adım Büyüklüğünü Tahmin Etme

Aslında yanlış bir adım boyutu θyakınsamaya ulaşamayabilir, bu nedenle dikkatli bir şekilde seçilmesi çok önemlidir. Adım boyutunu seçerken aşağıdaki noktaların hatırlanması gerekir

Çok büyük adım boyutu seçmeyin, aksi takdirde olumsuz bir etkisi olacaktır, yani yakınsamak yerine uzaklaşacaktır.
Çok küçük adım boyutu seçmeyin, aksi takdirde yakınsaması çok zaman alır.

Adım boyutunu seçmeyle ilgili bazı seçenekler -

Bir seçenek, sabit bir adım boyutu seçmektir.
Diğer bir seçenek, her yineleme için farklı bir adım boyutu seçmektir.

Benzetimli tavlama

Simüle Tavlamanın (SA) temel konsepti, katılarda tavlama ile motive edilir. Tavlama sürecinde, bir metali erime noktasının üzerinde ısıtır ve soğutursak, yapısal özellikler soğuma hızına bağlı olacaktır. SA'nın metalurji tavlama sürecini simüle ettiğini de söyleyebiliriz.

YSA'da kullanın

SA, belirli bir fonksiyonun küresel optimizasyonuna yaklaşmak için Tavlama benzetmesinden esinlenen stokastik bir hesaplama yöntemidir. SA'yı ileri beslemeli sinir ağlarını eğitmek için kullanabiliriz.