Perché c'è theta nell'indice del simbolo del gradiente nella formula di aggiornamento della discesa del gradiente per MAML?
In questo documento MAML, usano la seguente formula di aggiornamento della discesa del gradiente (vedi pagina 3, algoritmo 1):
$$ \varTheta '\ =\varTheta \ −\ \alpha \nabla _{\varTheta }\mathcal{L}_{\mathcal{T}_{i}}( f_{\varTheta }) $$
La mia domanda è: qual è la ragione per avere theta in pedice dopo il gradiente (nabla)?
Nello specifico, perché non è così:
$$ \displaystyle \varTheta '\ =\varTheta \ −\ \alpha \nabla \mathcal{L}_{\mathcal{T}_{i}}( f_{\varTheta }) \ $$
In altre parole perché non è sufficiente raccontarlo come solo gradiente di funzione di perdita?
Risposte
Ciò significa gradiente rispetto a$\theta$. Nel contesto, c'è poca incertezza e probabilmente chiunque legga il documento può capire che si tratta di gradient wrt$\theta$anche se non avessero usato la notazione in pedice, non c'è nulla di male nell'essere precisi, specialmente nei lavori pubblicati.
È come scrivere$\frac{\partial f}{\partial \theta}$, invece di$f'$.