Composición de la función EfficientNet o Hadamard

Question

En la página 3 del artículo de EfficientNet , hay una ecuación$$\mathcal{N} = \bigodot_{i=1...s} \mathcal{F}_{i}^{L_i} \big(X_{\langle H_i, W_i, C_i \rangle}\big)$$ dónde $\mathcal{N}$ es la red de conv y cada $\mathcal{F}_i^{L_i}$ es el $i$operador de capa de th-stage que tiene longitud $L_i$.

Lo que no entiendo es que es esto $\odot$en esta ecuación? ¿El autor se refiere al producto Hadamard o se refiere a la composición de funciones? Anteriormente mencionó que$\mathcal{N} = \mathcal{F}_k \odot ... \odot \mathcal{F}_1 (X_1)$, donde k es la profundidad de la red. Entonces pensé que significaba que$\odot$es solo composición de funciones. Pero EfficientNet tiene conexión de salto. En la implementación de keras que usa, layers.merge.Multiply()por lo que también puede significar que los datos de entrada$X$ se multiplica con el transformado $\mathcal{F}(X)$, y $\odot$ tal vez signifique el producto Hadamard.

¿Alguien sabe la respuesta? Gracias.

Answer 1

Probablemente representa una composición de funciones repetidas.

Razones clave:

1. La redacción de los autores antes de esta ecuación es: "una lista de capas compuestas".
2. Un producto de Hadamard no se podría aplicar a capas de diferentes tamaños, mientras que la composición funcional, por supuesto, sí.
3. Sí, EfficientNet tiene conexiones de salto, pero creo que intentan validar la composición de la función mediante una distinción entre "capas" y "etapas". Ellos dijeron eso "$F_i^{L_i}$ denota capa $F_i$ se repite $L_i$ tiempos en el escenario $i$También explican que "todas las capas de cada etapa comparten la misma arquitectura". Por lo tanto, creo que ponen conexiones de salto en forma de composición de funciones, pero es confuso. Creo que es su forma de expresar de forma compacta la arquitectura (a menudo) repetida de capas conectadas por saltos.