MAML에 대한 경사 하강 법 업데이트 공식의 경사 기호 인덱스에 세타가있는 이유는 무엇입니까?

Aug 21 2020

에서는 이 MAML 용지가 기울기 하강 갱신 수식에 따라 동작 (3 페이지, 알고리즘 1 참조) :

$$ \varTheta '\ =\varTheta \ −\ \alpha \nabla _{\varTheta }\mathcal{L}_{\mathcal{T}_{i}}( f_{\varTheta }) $$

내 질문은 그라디언트 (nabla) 후 아래 첨자에 세타를 갖는 이유는 무엇입니까?

특히, 왜 다음과 같지 않습니까?

$$ \displaystyle \varTheta '\ =\varTheta \ −\ \alpha \nabla \mathcal{L}_{\mathcal{T}_{i}}( f_{\varTheta }) \ $$

즉, 손실 함수의 기울기처럼 말하기에는 왜 충분하지 않습니까?

답변

1 gunes Aug 21 2020 at 15:50

그 수단 에 대하여 그라데이션$\theta$. 맥락에서 불확실성은 거의 없으며 아마도 논문을 읽는 사람이라면 누구나 그것이 그라디언트 wrt라는 것을 이해할 수있을 것입니다.$\theta$ 비록 그들이 아래 첨자 표기법을 사용하지 않았더라도, 특히 출판 된 작업에서 정확함에 해를 끼치 지 않습니다.

글 쓰는 것 같아 $\frac{\partial f}{\partial \theta}$, 대신에 $f'$.