Các vấn đề, khó khăn đối với SGD

Sep 23 2020

Tôi đang thực hiện một số nghiên cứu về các vấn đề mà sự giảm dần độ dốc ngẫu nhiên không hoạt động tốt. Thường thì SGD được đề cập là phương pháp tốt nhất để đào tạo mạng nơ-ron. Tuy nhiên, tôi cũng đã đọc về các phương pháp bậc hai và mặc dù có tốc độ hội tụ tốt hơn, nhưng đôi khi người ta đề cập rằng có vấn đề, đối với các phương pháp bậc hai tốt hơn nhiều so với SGD vì SGD bị mắc kẹt tại một số điểm hoặc hội tụ rất chậm .

Thật không may, tôi không thể tìm thấy nhiều thông tin về điều đó.

Có ai biết ví dụ cho SGD nào có vấn đề? Hoặc bạn có biết các bài báo nói điều gì đó về chủ đề này? Ngoài ra, các bài báo, điều đó chỉ giải thích, tại sao SGD bị mắc kẹt đôi khi sẽ rất tốt.

Trả lời

5 carlo Sep 23 2020 at 13:41

Phương pháp bậc hai sử dụng nhiều thông tin hơn về hàm mất mát (nó tính toán hai bậc đạo hàm thay vì chỉ một), và do đó nó xấp xỉ nó tốt hơn và có sự hội tụ tốt hơn.

Nó không giúp ích nhiều cho việc vượt qua cực tiểu cục bộ, nhưng sẽ cần ít bước hơn để hội tụ.

Lý do mà nó không được sử dụng cho mạng thần kinh là mỗi bước có độ phức tạp $\mathcal O(p^2)$, Ở đâu $p$ là số tham số, đó là lý do tại sao chúng tôi sử dụng nó cho các mô hình tuyến tính (ít tham số), nhưng không sử dụng cho học sâu (nhiều tham số), nó không thực tế khi đánh giá toàn bộ ma trận Hessian và SGD đơn giản nhanh hơn.