MAMLの勾配降下更新式の勾配記号のインデックスにシータがあるのはなぜですか?
Aug 21 2020
このMAML紙、それらは(第3頁、アルゴリズム1を参照)勾配降下更新の次の式を使用します。
$$ \varTheta '\ =\varTheta \ −\ \alpha \nabla _{\varTheta }\mathcal{L}_{\mathcal{T}_{i}}( f_{\varTheta }) $$
私の質問は、グラデーション(nabla)の後に下付き文字にシータがある理由は何ですか?
具体的には、なぜこのようになっていないのですか?
$$ \displaystyle \varTheta '\ =\varTheta \ −\ \alpha \nabla \mathcal{L}_{\mathcal{T}_{i}}( f_{\varTheta }) \ $$
言い換えれば、損失関数の勾配のようにそれを伝えるのに十分ではないのはなぜですか?
回答
1 gunes Aug 21 2020 at 15:50
それはに関する勾配を意味します$\theta$。この文脈では、不確実性はほとんどなく、おそらく論文を読んでいる人なら誰でも、それが勾配であると理解できます。$\theta$ 下付き文字表記を使用していなくても、特に出版された作品では、正確であっても害はありません。
書くようなものです $\frac{\partial f}{\partial \theta}$、 の代わりに $f'$。