Composition de la fonction EfficientNet ou Hadamard

Question

Dans la page 3 de l'article d' EfficientNet , il y a une équation$$\mathcal{N} = \bigodot_{i=1...s} \mathcal{F}_{i}^{L_i} \big(X_{\langle H_i, W_i, C_i \rangle}\big)$$ où $\mathcal{N}$ est le réseau de convection et chaque $\mathcal{F}_i^{L_i}$ est le $i$opérateur de couche de niveau th qui a une longueur $L_i$.

Ce que je ne comprends pas, c'est qu'est-ce que c'est $\odot$dans cette équation? L'auteur fait-il référence au produit Hadamard ou se réfère-t-il à la composition fonctionnelle? Il a mentionné précédemment que$\mathcal{N} = \mathcal{F}_k \odot ... \odot \mathcal{F}_1 (X_1)$, où k est la profondeur du filet. Alors j'ai pensé que ça voulait dire que$\odot$est juste une composition de fonction. Mais EfficientNet a ignoré la connexion. Dans l'implémentation de keras qu'il utilise layers.merge.Multiply(), cela peut également signifier que les données d'entrée$X$ est multiplié par le transformé $\mathcal{F}(X)$, et $\odot$ signifie peut-être le produit Hadamard.

Quelqu'un connaît-il la réponse? Merci.

Answer 1

Il représente probablement une composition de fonctions répétées.

Principales raisons:

1. Le libellé des auteurs avant cette équation est: "une liste de couches composées".
2. Un produit Hadamard ne peut pas être appliqué sur des couches de tailles différentes, alors que la composition fonctionnelle le peut bien entendu.
3. Oui, EfficientNet a sauter les connexions, mais je pense qu'ils essaient de valider la composition des fonctions via une distinction entre "couches" et "étapes". Ils disent ça "$F_i^{L_i}$ désigne la couche $F_i$ est répété $L_i$ fois en scène $i$". Ils expliquent également que" toutes les couches de chaque étape partagent la même architecture. Par conséquent, je pense qu'ils mettent les connexions par sauts sous forme de composition de fonctions, mais c'est déroutant. Je pense que c'est leur façon d'exprimer de manière compacte l'architecture (souvent) répétée des couches connectées par sauts.