Composição da função EfficientNet ou Hadamard

Question

Na página 3 do artigo da EfficientNet , há uma equação$$\mathcal{N} = \bigodot_{i=1...s} \mathcal{F}_{i}^{L_i} \big(X_{\langle H_i, W_i, C_i \rangle}\big)$$ Onde $\mathcal{N}$ é a rede conv e cada $\mathcal{F}_i^{L_i}$ é o $i$operador de camada de estágio que tem comprimento $L_i$.

O que eu não entendo é o que é isso $\odot$nesta equação? O autor se refere ao produto Hadamard ou se refere à composição da função? Ele mencionou anteriormente que$\mathcal{N} = \mathcal{F}_k \odot ... \odot \mathcal{F}_1 (X_1)$, onde k é a profundidade da rede. Então eu pensei que isso significava$\odot$é apenas composição de funções. Mas EfficientNet tem conexão de salto. Na implementação do keras, ele usa layers.merge.Multiply()isso também pode significar que os dados de entrada$X$ é multiplicado pelo transformado $\mathcal{F}(X)$, e $\odot$ talvez signifique o produto Hadamard.

Alguém sabe a resposta? Obrigado.

Answer 1

Provavelmente representa a composição de funções repetidas.

Razões principais:

1. A redação dos autores antes desta equação é: "uma lista de camadas compostas".
2. Um produto Hadamard não poderia ser aplicado a camadas de tamanhos diferentes, ao passo que a composição funcional, é claro, pode.
3. Sim, o EfficientNet tem conexões de salto, mas acho que eles tentam validar a composição da função por meio de uma distinção entre "camadas" e "estágios". Eles disseram aquilo "$F_i^{L_i}$ denota camada $F_i$ é repetido $L_i$ tempos no palco $i$". Eles também explicam que" todas as camadas em cada estágio compartilham a mesma arquitetura. Portanto, eu acho que eles colocam conexões de salto na forma de composição de funções, mas é confuso. Eu acho que é a maneira deles de expressar de forma compacta a arquitetura (frequentemente) repetida de camadas conectadas por salto.