Thành phần chức năng EfficientNet hoặc Hadamard

Question

Trong trang 3 của bài báo EfficientNet , có một phương trình$$\mathcal{N} = \bigodot_{i=1...s} \mathcal{F}_{i}^{L_i} \big(X_{\langle H_i, W_i, C_i \rangle}\big)$$ Ở đâu $\mathcal{N}$ là mạng chuyển đổi và mỗi $\mathcal{F}_i^{L_i}$ là $i$toán tử lớp thứ-giai đoạn có độ dài $L_i$.

Điều tôi không hiểu là, đây là cái gì $\odot$trong phương trình này? Tác giả đề cập đến sản phẩm Hadamard hay nói đến thành phần chức năng? Trước đây anh ấy đã đề cập rằng$\mathcal{N} = \mathcal{F}_k \odot ... \odot \mathcal{F}_1 (X_1)$, với k là độ sâu của lưới. Vì vậy, tôi nghĩ nó có nghĩa là$\odot$chỉ là thành phần chức năng. Nhưng EfficientNet có kết nối bỏ qua. Trong quá trình triển khai keras, nó sử dụng layers.merge.Multiply()vì vậy nó cũng có thể có nghĩa là dữ liệu đầu vào$X$ được nhân lên với sự biến đổi $\mathcal{F}(X)$, và $\odot$ có thể có nghĩa là sản phẩm Hadamard.

Có ai biết câu trả lời không? Cảm ơn.

Answer 1

Nó có thể đại diện cho thành phần chức năng lặp lại.

Các lý do chính:

1. Từ ngữ của các tác giả trước phương trình này là: "danh sách các lớp được cấu tạo".
2. Một sản phẩm Hadamard không thể được áp dụng cho các lớp có kích thước khác nhau, trong khi thành phần chức năng tất nhiên có thể.
3. Có, EfficientNet có các kết nối bỏ qua, nhưng tôi nghĩ rằng họ cố gắng xác thực thành phần chức năng thông qua sự phân biệt giữa "lớp" và "giai đoạn". Họ nói rằng "$F_i^{L_i}$ biểu thị lớp $F_i$ được lặp lại $L_i$ thời gian trong giai đoạn $i$Họ cũng giải thích rằng "tất cả các lớp trong mỗi giai đoạn đều có chung một kiến ​​trúc. Do đó, tôi nghĩ rằng họ đặt các kết nối bỏ qua dưới dạng thành phần chức năng, nhưng nó gây nhầm lẫn. Tôi nghĩ rằng đó là cách họ thể hiện một cách gọn gàng kiến ​​trúc (thường xuyên) lặp lại của các lớp được kết nối bỏ qua.