Композиция функций EfficientNet или Адамара

Question

На странице 3 статьи EfficientNet есть уравнение$$\mathcal{N} = \bigodot_{i=1...s} \mathcal{F}_{i}^{L_i} \big(X_{\langle H_i, W_i, C_i \rangle}\big)$$ где $\mathcal{N}$ Конвертер и каждый $\mathcal{F}_i^{L_i}$ это $i$Оператор слоя -го уровня, имеющий длину $L_i$.

Я не понимаю, что это $\odot$в этом уравнении? Ссылается ли автор на произведение Адамара или на композицию функций? Ранее он упоминал, что$\mathcal{N} = \mathcal{F}_k \odot ... \odot \mathcal{F}_1 (X_1)$, где k - глубина сети. Так что я подумал, что это значит, что$\odot$это просто композиция функций. Но EfficientNet пропускает соединение. В реализации keras, которую он использует, layers.merge.Multiply()это также может означать, что входные данные$X$ умножается на преобразованный $\mathcal{F}(X)$, а также $\odot$ возможно, означает произведение Адамара.

Кто-нибудь знает ответ? Спасибо.

Answer 1

Вероятно, он представляет собой повторяющуюся функциональную композицию.

Основные причины:

1. Формулировка авторов перед этим уравнением: «список составных слоев».
2. Продукт Адамара нельзя наносить на слои разного размера, тогда как функциональная композиция, конечно, может.
3. Да, в EfficientNet есть пропускаемые соединения, но я думаю, что они пытаются проверить композицию функций через различие между «слоями» и «стадиями». Они говорят, что "$F_i^{L_i}$ обозначает слой $F_i$ повторяется $L_i$ раз в стадии $i$Они также объясняют, что «все уровни на каждом этапе имеют одинаковую архитектуру. Поэтому я думаю, что они помещают skip-соединения в виде композиции функций, но это сбивает с толку. Я думаю, что это их способ компактно выразить (часто) повторяющуюся архитектуру слоев с пропускаемым подключением.