Algılayıcıyı genişletmek için σ işlevi nasıl seçildi?
Algılayıcılar hakkında daha derinlemesine okuyorum ve şimdi Sigmoid Neurons üzerine .
Bazı alıntılar:
Ağdaki herhangi bir algılayıcının ağırlığındaki veya önyargısındaki küçük bir değişiklik bazen o algılayıcının çıktısının tamamen, örneğin 0'dan 1'e dönmesine neden olabilir ..... Bu, ağırlıkların kademeli olarak nasıl değiştirileceğini ve önyargılar, böylece ağ istenen davranışa yaklaşır. Belki de bu sorunu aşmanın akıllıca bir yolu vardır. Ancak öğrenmek için bir algı ağını nasıl elde edebileceğimiz hemen belli değil. Sigmoid nöron adı verilen yeni bir yapay nöron türü ekleyerek bu sorunun üstesinden gelebiliriz. Sigmoid nöronlar algılayıcılara benzer, ancak ağırlıklarında ve önyargılarında küçük değişiklikler çıktılarında yalnızca küçük bir değişikliğe neden olacak şekilde değiştirilmiştir. Sigmoid nöronlardan oluşan bir ağın öğrenmesine izin verecek en önemli gerçek budur.
Tıpkı bir algılayıcı gibi, sigmoid nöronun her giriş için ağırlıkları vardır, $w1,w2,…$ve genel bir önyargı, b. Ancak çıktı 0 veya 1 değil. Bunun yerine$σ(w⋅x+b)$σ, sigmoid işlevi olarak adlandırılır ve şu şekilde tanımlanır: $σ(z)≡\frac{1}{1+e^{−z}}$.
Eğer σ gerçekte bir basamak fonksiyonu olsaydı, sigmoid nöron bir algılayıcı olurdu, çünkü çıktı w⋅x + b'nin pozitif veya negatif olmasına bağlı olarak 1 veya 0 olurdu. Gerçek σ fonksiyonunu kullanarak, yukarıda belirtildiği gibi, yumuşatılmış bir algılayıcı elde ederiz. Σ 'nun düzgünlüğü, ağırlıklardaki küçük Δwj ve sapmadaki Δb değişikliklerinin, nörondan çıktıda küçük bir Δ çıktı değişikliği üreteceği anlamına gelir. Aslında, analiz bize Δçıktının şu şekilde yaklaşık olarak tahmin edildiğini söyler:
$$Δoutput≈∑_j\frac{∂output}{∂w_j}Δw_j+\frac{∂output}{∂b}Δb$$
Kısmi türevlerden memnun değilseniz panik yapmayın!
Δçıktı, değişikliklerin doğrusal bir fonksiyonudur $Δw_j$ ve $Δb$ağırlıklarda ve önyargılarda. Bu doğrusallık, çıktıda istenen herhangi bir küçük değişikliği elde etmek için ağırlıklarda ve önyargılarda küçük değişiklikleri seçmeyi kolaylaştırır. Yani sigmoid nöronlar, algılayıcılarla aynı niteliksel davranışa sahip olsalar da, ağırlıkların ve önyargıların değiştirilmesinin çıktıyı nasıl değiştireceğini anlamayı çok daha kolay hale getiriyorlar.
Aslında, kitabın ilerleyen bölümlerinde zaman zaman başka bir f (⋅) aktivasyon fonksiyonu için çıktının f (w⋅x + b) olduğu nöronları ele alacağız. Farklı bir aktivasyon fonksiyonu kullandığımızda değişen ana şey, Denklem (5) 'teki kısmi türevler için belirli değerlerin değişmesidir. Görünüşe göre bu kısmi türevleri daha sonra hesapladığımızda, σ kullanmak cebiri basitleştirecektir, çünkü üsseller farklılaştırıldığında hoş özelliklere sahiptir. Her durumda, σ, sinir ağları üzerinde çalışırken yaygın olarak kullanılır ve bu kitapta en sık kullanacağımız aktivasyon işlevidir. [SON]
Sorumun ilk kısmı, bu "sigmoid şekilli" işlevi / denklemi ilk başta seçeceklerini nasıl bildiler? Diğer tüm kavisli veya kavisli olmayan fonksiyonların yerine bunu seçeceklerini nasıl bildiler? Bu, Matematik dersinde bu tür problemler için standart bir uygulama mı? Sigmoid işlevinin neden seçildiğini açıklamaya çalışacak olsaydım, "çünkü bu, çıktıda küçük değişikliklere karşılık gelen girdide küçük değişiklikler yapabileceğiniz anlamına gelir" derdim. Ama nasıl? Kısmi türev matematiğini takip etmiyorum ve kısmi türevler konusunda bir geçmişim yok (ve izleyicilerim de öyle). Esigma işlevinin neden ve nasıl seçildiğini bilmek, sinir ağlarının neden çalıştığını anlamaya yardımcı olacaktır.
Maalesef kısmi türevler açıklanmadı (belki başka bir yerde olacaklar).
Sorumun ikinci kısmı, nasıl $Δoutput$bir "doğrusal fonksiyon" mu? Neden sigmoid şekil yerine düz bir eğim olmasın? Neden bu kadar süslü olmak zorunda? "Σ kullanmak cebiri nasıl basitleştirir"? Bunun arkasındaki orijinal düşünce üzerine araştırma makalelerini nerede bulabilirim veya cevabı biliyorsanız, sigma kullanmanın cebiri neden basitleştireceğini nasıl açıklayabilirsiniz? Bu, ilk etapta neden sigma işlevlerini kullandığımıza ilişkin açıklamanın önemli bir parçası gibi görünüyor, bu nedenle bir layman açıklamasına sahip olmak gerçekten yardımcı olacaktır.
Yanıtlar
İlk bölüme cevap
Söz konusu işleve lojistik işlev denir . Bazen buna "sigmoid işlevi" de denir, ancak bazı yazarlar sigmoid'i herhangi bir s-şekilli işlevi ifade etmek için kullanır .
Pratikte sinir ağları, sigmoid ve diğerlerinde kullanılan çok çeşitli aktivasyon fonksiyonları vardır . Lojistik fonksiyon en yaygın olanlardan biridir, çünkü hem lojistik fonksiyon hem de türevi tüm gerçek girdiler için tanımlanmıştır, temel fonksiyonlar açısından kısa ifadeler olarak yazılabilir ve çoğu programlamada standart kütüphane fonksiyonları kullanılarak verimli bir şekilde hesaplanabilir. Diller. (Bu, klasik bir algılayıcı için aktivasyon fonksiyonu olarak kullanılan adım fonksiyonundan farklıdır - adım fonksiyonunun türevi süreksizlikte tanımsızdır.) Bu özelliklere sahip yaygın olarak kullanılan başka bir aktivasyon fonksiyonu ise$\tanh$. Sigmoid nöronları başlangıçta sunarken birini diğerine tercih etmek için gerçekten güçlü bir neden yoktur. Bir Calculus 1 sınıfında nasıl ayırt edileceğini öğrendiğiniz ve asimptotlu sigmoid şekle sahip olan herhangi bir işlevi hemen hemen seçebilirsiniz.$\pm\infty$. Eğitimde biraz farklı performans özelliklerine sahiptirler, ancak bu ilk açıklama için pek alakalı değildir.
Kısmi türevleri anlamadan geri yayılımı açıklamak maalesef çok zordur, çünkü geri yayılım tam anlamıyla gradyanın otomatik farklılaşma ile hesaplandığı gradyan düşüştür . : Ben geri yayılım nasıl çalıştığı hakkında YouTube videolarının 3Blue1Brown mükemmel dizi izlerken öneriyoruz part 1 , bölüm 2 ve özellikle kısmı 3 ve bölüm 4 .
Soruda bir dinleyiciden bahsediyorsunuz. Bu materyali sunacaksanız, en azından referans olarak, izleyicilerinizi yukarıda bağlantılı 4 videoya yönlendirmeyi ciddi olarak düşünürüm. Bir derste verebileceğimden kesinlikle daha iyi bir açıklama sağlıyorlar.
İkinci bölüme cevap
Doğrusal bir işlevi kullanmamanın nedeni, tüm doğrusal etkinleştirme işlevlerine sahip bir sinir ağının doğrusal işlevlerin doğrusal bir kombinasyonu olması ve bu nedenle kendisinin doğrusal bir işlev olmasıdır. Dolayısıyla, doğrusal bir aktivasyon işlevi kullanmak, bir sinir ağını eğitmenin tüm noktasını kaçırır; Verilere doğrusal bir fonksiyonun en küçük kareler sığdırmasını yaparak aynı sonucu daha hızlı elde edebilirsiniz .
Çok az basitleştirmek için: Doğrusal etkinleştirme işlevine sahip bir sinir ağı, Excel'deki "eğilim çizgisine uyma" özelliğidir.
Aksine, yeterince güzel doğrusal olmayan aktivasyon fonksiyonları için yeterli nöron kullanılarak herhangi bir fonksiyona iyi bir şekilde yaklaşılabileceğini söyleyen evrensel bir yaklaşım teoremi vardır .
Evrensel yaklaşım teoremi, sinir ağları ilk icat edildikten sonra yıllarca keşfedilmedi, bu yüzden buluşlarında motive edici bir faktör değildi. Erken sinir ağı araştırmaları temel olarak biyolojik nöronlardan (beyninizdeki tür) ve kontrol teorisinden esinlenmiştir.
Evrensel yaklaşım teoremi, yeterince büyük bir sinir ağının herhangi bir işlevi iyi bir şekilde yaklaştırma potansiyeline sahip olduğunu söylese de, standart sinir ağları eğitim yönteminin (stokastik gradyan iniş geri yayılımı) pratikte bu kadar iyi performans göstermesinin asıl nedeni hala tam olarak anlaşılamamıştır ve aktif araştırma alanı.