Perché c'è theta nell'indice del simbolo del gradiente nella formula di aggiornamento della discesa del gradiente per MAML?

Aug 21 2020

In questo documento MAML, usano la seguente formula di aggiornamento della discesa del gradiente (vedi pagina 3, algoritmo 1):

$$ \varTheta '\ =\varTheta \ −\ \alpha \nabla _{\varTheta }\mathcal{L}_{\mathcal{T}_{i}}( f_{\varTheta }) $$

La mia domanda è: qual è la ragione per avere theta in pedice dopo il gradiente (nabla)?

Nello specifico, perché non è così:

$$ \displaystyle \varTheta '\ =\varTheta \ −\ \alpha \nabla \mathcal{L}_{\mathcal{T}_{i}}( f_{\varTheta }) \ $$

In altre parole perché non è sufficiente raccontarlo come solo gradiente di funzione di perdita?

Risposte

1 gunes Aug 21 2020 at 15:50

Ciò significa gradiente rispetto a$\theta$. Nel contesto, c'è poca incertezza e probabilmente chiunque legga il documento può capire che si tratta di gradient wrt$\theta$anche se non avessero usato la notazione in pedice, non c'è nulla di male nell'essere precisi, specialmente nei lavori pubblicati.

È come scrivere$\frac{\partial f}{\partial \theta}$, invece di$f'$.