Softplusを上回るReLU

Question

Softplusの代わりにReLUを使用し、Adamをオプティマイザーとして使用すると、PyTorchモデルのパフォーマンスが大幅に向上することに気付きました。

微分不可能な関数が分析的な関数よりも最適化するのが簡単なのはどうしてですか？それでは、名前以外に勾配の最適化はなく、ある種の組み合わせ論が内部で使用されているというのは本当ですか？

Answer 1

ReLUは一般に、多くのよりスムーズな活性化関数よりも優れていることが知られています。半線形であるため、最適化は簡単です。通常、これを使用する場合の利点は速度です。したがって、より多くの反復を待機したり、異なる学習率、バッチサイズ、またはその他のハイパーパラメータを使用したりすると、同様の結果が得られる場合があります。