딥 자동 인코더의 히든 레이어 수와 단위를 결정하는 방법은 무엇입니까?

Question

내 문제에 대해 깊은 자동 인코더를 사용하고 있습니다. 하지만 히든 레이어에서 히든 레이어와 히든 유닛의 수를 선택하는 방식은 여전히 ​​내 느낌에 따라 달라집니다.

은닉층과 단위의 수를 나타내는 모델의 크기는 모델에 비해 너무 많거나 적 으면 안되므로 데이터 세트에서 유용한 기능을 캡처 할 수 있습니다.

그렇다면 딥 오토 인코더 모델의 올바른 크기를 어떻게 선택하면 좋을까요?

Answer 1

당신이 맞아요!

1- 숨겨진 레이어의 수가 너무 많으면 안됩니다! 레이어 수가 너무 많을 때 경사 하강 법으로 인해 첫 번째 레이어의 그라디언트 효과가 너무 작아집니다! 이것이 Resnet 모델이 도입 된 이유입니다.

2- 히든 레이어의 수가 너무 작아서 좋은 피처를 추출해서는 안됩니다. CNN 네트워크에서 첫 번째 레이어는 선과 곡선과 같은 매우 간단한 요소를 추출하지만 마지막 레이어는 더 복잡한 특징을 추출한다는 것이 입증되었습니다.

3- 은닉 유닛의 수는 하이퍼 파라미터이며 일반적으로 테스트를 통해 또는 배경 지식을 기반으로 찾아야합니다.

그러나 당신은 무엇을 할 수 있습니까? 다른 매개 변수를 테스트하고 그 결과를 비교할 수 있으므로 몇 가지 다른 옵션이 있습니다! 한 가지 옵션은이 튜토리얼을 확인할 수있는 그리드 검색입니다.https://towardsdatascience.com/grid-search-for-model-tuning-3319b259367e