SGD에 어려운 문제

Question

확률 적 경사 하강 법이 잘 수행되지 않는 문제에 대한 연구를하고 있습니다. 종종 SGD는 신경망 훈련을위한 최상의 방법으로 언급됩니다. 그러나 2 차 방법에 대해서도 읽었으며, 더 나은 수렴 속도에도 불구하고 SGD가 어느 지점에서 멈춰 있거나 매우 느리게 수렴하기 때문에 2 차 방법이 SGD보다 훨씬 나은 문제가 있다고 언급하는 경우가 있습니다. .

불행히도 나는 그것에 대한 많은 정보를 찾을 수 없었습니다.

SGD에 문제가있는 예를 아는 사람이 있습니까? 아니면이 주제에 대해 설명하는 기사를 알고 있습니까? 또한 SGD가 때때로 멈춘 이유를 설명하는 기사도 좋습니다.

Answer 1

2 차 방법은 손실 함수에 대한 더 많은 정보를 사용하므로 (단지 1 차가 아닌 2 차의 미분을 계산 함), 근사치가 더 좋고 수렴도 더 좋습니다.

국소 최솟값을 극복하는 데는 그다지 도움이되지 않지만 수렴하는 데 필요한 단계는 더 적어야합니다.

신경망에 사용되지 않는 이유는 모든 단계가 다음과 같은 복잡성을 가지고 있기 때문입니다. $\mathcal O(p^2)$, 어디 $p$ 매개 변수의 수이므로 선형 모델 (매개 변수가 적음)에는 사용하지만 딥 러닝 (매개 변수가 많음)에는 사용하지 않고 전체 헤세 행렬을 평가하는 것이 비현실적이며 간단한 SGD가 더 빠릅니다.