Cosa sono le funzioni di ricompensa proxy?

Question

La comprensione che ho è che in qualche modo aggiustano l'obiettivo per renderlo più facile da raggiungere, senza cambiare la funzione di ricompensa.

... la funzione di ricompensa proxy osservata è la soluzione approssimativa a un problema di progettazione della ricompensa

(fonte: Inverse Reward Design )

Ma ho difficoltà a capire come si adattano all'obiettivo generale della ricompensa e sono stato confuso da alcuni esempi di essi. Avevo l'idea che fossero piccole funzioni di ricompensa (come nel caso della risoluzione di ricompense scarse) che alla fine portavano all'obiettivo principale. Ma l'affermazione qui sotto, da questo post , mi ha fatto dubitare di questo.

Esempi tipici di funzioni di ricompensa per procura includono "credito parziale" per comportamenti che sembrano promettenti; tassi di sconto artificialmente alti e un'attenta definizione della ricompensa; ...

1. Cosa sono e come si potrebbe identificare e integrare i premi proxy in un problema di RL?

2. Negli esempi precedenti, in che modo alti tassi di sconto potrebbero costituire una ricompensa per procura?

Sono anche curioso di sapere come vengono utilizzati come fonte di ricompense multiple

Answer 1

Nel documento che citi, Inverse Reward Design (2017), gli autori definiscono effettivamente cosa intendono per "funzione di ricompensa per procura".

Lo formalizziamo in un modello probabilistico che mette in relazione la ricompensa (progettata) per procura con la ricompensa reale

Quindi, la funzione di ricompensa proxy è la funzione di ricompensa progettata dall'umano, che potrebbe non essere necessariamente la funzione di ricompensa che intendeva (cioè potrebbe essere una funzione di ricompensa specificata in modo errato), dato che l'umano potrebbe aver dimenticato di modellare / incorporare alcuni scenari o situazioni (non previsti dall'uomo) che l'agente potrebbe dover affrontare. Questo uso della parola "proxy" è quindi coerente con l'uso generale della parola in informatica, ovvero una "funzione di ricompensa proxy" è una funzione di ricompensa che viene utilizzata al posto della funzione di ricompensa (ottimale) prevista.