EfficientNet fonksiyon bileşimi veya Hadamard
EfficientNet makalesinin 3. sayfasında bir denklem var$$\mathcal{N} = \bigodot_{i=1...s} \mathcal{F}_{i}^{L_i} \big(X_{\langle H_i, W_i, C_i \rangle}\big)$$ nerede $\mathcal{N}$ dönş. net ve her biri $\mathcal{F}_i^{L_i}$ ... $i$uzunluğu olan üçüncü aşama katman operatörü $L_i$.
Anlamadığım şey, bu nedir $\odot$bu denklemde? Yazar Hadamard ürününe mi atıfta bulunuyor yoksa işlev kompozisyonuna mı atıfta bulunuyor? Daha önce bahsetti$\mathcal{N} = \mathcal{F}_k \odot ... \odot \mathcal{F}_1 (X_1)$, burada k ağın derinliğidir. Ben de bunun anlamı olduğunu düşündüm$\odot$sadece işlev bileşimidir. Ancak EfficientNet'in atlama bağlantısı var. Keras uygulamasında kullandığı layers.merge.Multiply()için aynı zamanda giriş verilerinin$X$ dönüştürülmüş ile çarpılır $\mathcal{F}(X)$, ve $\odot$ belki Hadamard ürünü anlamına gelir.
Cevabı bilen var mı? Teşekkürler.
Yanıtlar
Muhtemelen tekrarlanan fonksiyon kompozisyonunu temsil ediyor.
Anahtar nedenler:
- Yazarların bu denklemden önceki ifadeleri: "oluşturulmuş katmanların bir listesi" dir.
- Bir Hadamard ürünü farklı boyutlardaki katmanlara uygulanamazken, elbette işlev bileşimi uygulanabilir.
- Evet, EfficientNet atlama bağlantılarına sahiptir, ancak sanırım işlev bileşimini "katmanlar" ve "aşamalar" arasında bir ayrım yaparak doğrulamaya çalışıyorlar. Diyorlar ki "$F_i^{L_i}$ katmanı gösterir $F_i$ Tekrarlanır $L_i$ sahnedeki zamanlar $i$Ayrıca "her aşamadaki tüm katmanların aynı mimariyi paylaştığını" açıklıyorlar. Bu nedenle, atlama bağlantılarını işlev bileşimi biçiminde koyduklarını düşünüyorum, ancak kafa karıştırıcı. Bence bu, birbirine bağlanmış katmanların (sıklıkla) tekrarlanan mimarisini kompakt bir şekilde ifade etme yolları.