EfficientNet 함수 구성 또는 Hadamard
Sep 17 2020
EfficientNet 논문 3 페이지 에는 방정식이 있습니다.$$\mathcal{N} = \bigodot_{i=1...s} \mathcal{F}_{i}^{L_i} \big(X_{\langle H_i, W_i, C_i \rangle}\big)$$ 어디 $\mathcal{N}$ 전환 순이며 각각 $\mathcal{F}_i^{L_i}$ 이다 $i$길이가있는 1 단계 계층 연산자 $L_i$.
이해가 안되는 건 뭐야 $\odot$이 방정식에서? 저자가 Hadamard 제품을 언급합니까, 아니면 기능 구성을 언급합니까? 그는 이전에$\mathcal{N} = \mathcal{F}_k \odot ... \odot \mathcal{F}_1 (X_1)$, 여기서 k는 그물의 깊이입니다. 그래서 나는 그것이 의미한다고 생각했습니다.$\odot$기능 구성 일뿐입니다. 그러나 EfficientNet에는 연결 건너 뛰기가 있습니다. keras 구현에서 사용 layers.merge.Multiply()하므로 입력 데이터가$X$ 변형 된 것과 곱해집니다 $\mathcal{F}(X)$, 및 $\odot$ 아마 Hadamard 제품을 의미합니다.
아무도 답을 알고 있습니까? 감사.
답변
BenjiAlbert Sep 17 2020 at 01:57
아마도 반복되는 기능 구성을 나타냅니다.
주요 이유 :
- 이 방정식 앞에있는 저자의 표현은 "구성된 레이어 목록"입니다.
- Hadamard 제품은 다양한 크기의 레이어에 적용 할 수 없지만 기능 구성은 물론 가능합니다.
- 예, EfficientNet은 연결을 건너 뛰지 만 "계층"과 "단계"를 구분하여 기능 구성을 검증하려고합니다. 그들은 "$F_i^{L_i}$ 레이어를 나타냅니다. $F_i$ 반복된다 $L_i$ 무대에서 시간 $i$". 또한"각 단계의 모든 계층이 동일한 아키텍처를 공유합니다. 따라서 함수 구성의 형태로 스킵 커넥션을 넣었다고 생각하는데 혼란 스럽습니다. 나는 그것이 스킵 연결 레이어의 (종종) 반복되는 아키텍처를 간결하게 표현하는 방법이라고 생각합니다.