Composizione della funzione EfficientNet o Hadamard

Question

Nella pagina 3 del documento di EfficientNet , c'è un'equazione$$\mathcal{N} = \bigodot_{i=1...s} \mathcal{F}_{i}^{L_i} \big(X_{\langle H_i, W_i, C_i \rangle}\big)$$ dove $\mathcal{N}$ è la rete conv. e ciascuno $\mathcal{F}_i^{L_i}$ è il $i$operatore di livello th-stage che ha lunghezza $L_i$.

Quello che non capisco è cos'è questo $\odot$in questa equazione? L'autore si riferisce al prodotto Hadamard o si riferisce alla composizione della funzione? Lo ha menzionato in precedenza$\mathcal{N} = \mathcal{F}_k \odot ... \odot \mathcal{F}_1 (X_1)$, dove k è la profondità della rete. Quindi ho pensato che significasse questo$\odot$è solo composizione di funzioni. Ma EfficientNet ha la connessione di salto. Nell'implementazione di keras utilizza layers.merge.Multiply()quindi può anche significare che i dati di input$X$ si moltiplica con il trasformato $\mathcal{F}(X)$, e $\odot$ forse significa il prodotto Hadamard.

Qualcuno conosce la risposta? Grazie.

Answer 1

Probabilmente rappresenta la composizione di funzioni ripetute.

Motivi chiave:

1. La formulazione degli autori prima di questa equazione è: "un elenco di strati composti".
2. Un prodotto Hadamard non può essere applicato a strati di dimensioni diverse, mentre la composizione funzionale ovviamente sì.
3. Sì, EfficientNet ha connessioni di salto, ma penso che provino a convalidare la composizione delle funzioni tramite una distinzione tra "livelli" e "fasi". Dicono che "$F_i^{L_i}$ denota strato $F_i$ viene ripetuto $L_i$ volte in scena $i$". Spiegano anche che" tutti i livelli in ogni fase condividono la stessa architettura. Pertanto, penso che inseriscano le connessioni di salto sotto forma di composizione di funzioni, ma è fonte di confusione. Penso che sia il loro modo di esprimere in modo compatto l'architettura (spesso) ripetuta di strati collegati con salto.