기타 최적화 기법
반복 경사 하강 법 기법
가장 가파른 하강이라고도하는 경사 하강 법은 함수의 국소 최솟값을 찾기위한 반복 최적화 알고리즘입니다. 기능을 최소화하면서 최소화해야 할 비용이나 오류를 염려합니다 (여행하는 세일즈맨 문제 기억). 다양한 상황에서 유용한 딥 러닝에 광범위하게 사용됩니다. 여기서 기억해야 할 점은 글로벌 최적화가 아니라 로컬 최적화에 관심이 있다는 것입니다.
주요 작업 아이디어
다음 단계를 통해 경사 하강 법의 주요 작업 아이디어를 이해할 수 있습니다.
먼저 솔루션의 초기 추측으로 시작하십시오.
그런 다음 해당 지점에서 함수의 기울기를 가져옵니다.
나중에 그라디언트의 음의 방향으로 솔루션을 단계적으로 진행하여 프로세스를 반복하십시오.
위의 단계를 따르면 알고리즘은 결국 그라디언트가 0 인 곳에서 수렴합니다.
수학적 개념
함수가 있다고 가정 해 보겠습니다. f(x)이 함수의 최소값을 찾으려고합니다. 다음은 최소값을 찾는 단계입니다.f(x).
먼저 초기 값 $ x_ {0} \ : for \ : x $를 지정합니다.
이제 그라디언트가 곡선의 기울기를 제공한다는 직관으로 $ \ nabla f $ of 함수를 사용합니다. x 그리고 그 방향은 함수의 증가를 가리키고 그것을 최소화하는 최선의 방향을 찾습니다.
이제 다음과 같이 x를 변경하십시오-
$$ x_ {n \ : + \ : 1} \ : = \ : x_ {n} \ :-\ : \ theta \ nabla f (x_ {n}) $$
여기, θ > 0 알고리즘이 작은 점프를 수행하도록하는 훈련 속도 (단계 크기)입니다.
단계 크기 추정
실제로 잘못된 단계 크기 θ수렴에 도달하지 못할 수 있으므로 신중하게 선택하는 것이 매우 중요합니다. 스텝 크기를 선택하는 동안 다음 사항을 기억해야합니다.
너무 큰 스텝 크기를 선택하지 마십시오. 그렇지 않으면 부정적인 영향을 미칩니다. 즉, 수렴하지 않고 발산합니다.
너무 작은 단계 크기를 선택하지 마십시오. 그렇지 않으면 수렴하는 데 많은 시간이 걸립니다.
단계 크기 선택에 관한 몇 가지 옵션-
한 가지 옵션은 고정 된 단계 크기를 선택하는 것입니다.
또 다른 옵션은 모든 반복에 대해 다른 단계 크기를 선택하는 것입니다.
시뮬레이션 된 어닐링
시뮬레이션 어닐링 (SA)의 기본 개념은 고체 어닐링에 의해 동기가 부여됩니다. 어닐링 과정에서 금속을 녹는 점 이상으로 가열하고 냉각하면 구조적 특성은 냉각 속도에 따라 달라집니다. SA가 어닐링의 야금 과정을 시뮬레이션한다고 말할 수도 있습니다.
ANN에서 사용
SA는 주어진 함수의 전역 최적화를 근사화하기 위해 Annealing 비유에서 영감을 얻은 확률 적 계산 방법입니다. SA를 사용하여 피드 포워드 신경망을 훈련시킬 수 있습니다.
연산
Step 1 − 랜덤 솔루션을 생성합니다.
Step 2 − 비용 함수를 사용하여 비용을 계산합니다.
Step 3 − 임의의 이웃 솔루션을 생성합니다.
Step 4 − 동일한 비용 함수로 새 솔루션 비용을 계산합니다.
Step 5 − 다음과 같이 새 솔루션의 비용을 기존 솔루션의 비용과 비교합니다.
만약 CostNew Solution < CostOld Solution 그런 다음 새 솔루션으로 이동하십시오.
Step 6 − 최대 반복 횟수에 도달하거나 허용 가능한 솔루션을 얻을 수있는 중지 조건을 테스트합니다.