Que sont les fonctions de récompense proxy?

Question

Je comprends qu'ils ajustent en quelque sorte l'objectif pour le rendre plus facile à atteindre, sans changer la fonction de récompense.

... la fonction de récompense proxy observée est la solution approximative à un problème de conception de récompense

(source: conception de récompense inverse )

Mais j'ai du mal à comprendre comment ils correspondent à l'objectif global de récompense et j'ai été confus par certains exemples d'entre eux. J'avais l'idée qu'il s'agissait de petites fonctions de récompense (comme dans le cas de la résolution de récompenses rares) menant finalement à l'objectif principal. Mais la déclaration ci-dessous, à partir de ce post , m'a fait remettre en question cela.

Des exemples typiques de fonctions de récompense par procuration incluent le «crédit partiel» pour les comportements qui semblent prometteurs; taux d'actualisation artificiellement élevés et élaboration minutieuse des récompenses; ...

1. Quels sont-ils et comment procéder pour identifier et intégrer les récompenses proxy dans un problème de RL?

2. Dans les exemples ci-dessus, comment des taux d'actualisation élevés formeraient-ils une récompense par procuration?

Je suis également curieux de savoir comment ils sont utilisés comme source de récompenses multiples

Answer 1

Dans l'article que vous citez, Inverse Reward Design (2017), les auteurs définissent en fait ce qu'ils entendent par «fonction de récompense proxy».

Nous formalisons cela dans un modèle probabiliste qui relie la récompense proxy (conçue) à la vraie récompense

Ainsi, la fonction de récompense proxy est la fonction de récompense conçue par l'humain, qui peut ne pas être nécessairement la fonction de récompense qu'il / elle avait l'intention (c'est-à-dire qu'il peut s'agir d'une fonction de récompense mal spécifiée), étant donné que l'humain peut avoir oublié de modéliser / incorporer certains scénarios ou situations (imprévus par l'humain) auxquels l'agent peut être confronté. Cet usage du mot «proxy» est donc cohérent avec l'usage général du mot en informatique, c'est-à-dire qu'une «fonction de récompense de proxy» est une fonction de récompense qui est utilisée à la place de la fonction de récompense (optimale) prévue.