ディープオートエンコーダの隠れ層とユニットの数を決定する方法は？

Question

問題にディープオートエンコーダーを使用しています。ただし、隠しレイヤーと隠しレイヤーの隠しユニットの数を選択する方法は、依然として私の感覚に基づいています。

非表示のレイヤーとユニットの数を示すモデルのサイズは、モデルがデータセットから有用な特徴をキャプチャできるように多すぎたり少なすぎたりしないようにする必要があります。

では、どのようにして適切なサイズのディープオートエンコーダモデルを選択すれば十分でしょうか？

Answer 1

あなたが正しいです！

1-隠しレイヤーの数が多すぎないようにしてください！層数が多すぎると最急降下法になるため、最初の層への勾配効果が小さくなりすぎます。これが、Resnetモデルが導入された理由です。

2-隠れ層の数は、優れた特徴を抽出するために少なすぎてはなりません。CNNネットワークでは、最初のレイヤーは線や曲線などの非常に単純な要素を抽出しますが、最後のレイヤーはより複雑な特徴を抽出することが証明されています。

3-隠されたユニットの数はハイパーパラメータであり、通常はテストするか、背景知識に基づいて見つける必要があります。

しかし、あなたは何ができるでしょうか？さまざまなパラメータをテストしてその結果を比較できるため、他にもいくつかのオプションがあります。1つのオプションは、このチュートリアルを確認できるグリッド検索です。https://towardsdatascience.com/grid-search-for-model-tuning-3319b259367e