Was sind Proxy-Belohnungsfunktionen?

Question

Ich habe das Verständnis, dass sie das Ziel irgendwie anpassen, um das Erreichen zu erleichtern, ohne die Belohnungsfunktion zu ändern.

... die beobachtete Proxy-Belohnungsfunktion ist die ungefähre Lösung für ein Belohnungsdesignproblem

(Quelle: Inverse Reward Design )

Aber ich habe Probleme damit, herauszufinden, wie sie zum allgemeinen Belohnungsziel passen, und bin durch einige Beispiele verwirrt. Ich hatte die Idee, dass sie kleine Belohnungsfunktionen sind (wie im Fall des Lösens nach spärlichen Belohnungen), die schließlich zum Hauptziel führen. Aber die folgende Aussage aus diesem Beitrag hat mich dazu gebracht, dies in Frage zu stellen.

Typische Beispiele für Proxy-Belohnungsfunktionen sind „Teilgutschrift“ für Verhaltensweisen, die vielversprechend aussehen. künstlich hohe Abzinsungssätze und sorgfältige Belohnungsgestaltung; ...

1. Was sind sie und wie würde man vorgehen, um Proxy-Belohnungen zu identifizieren und in ein RL-Problem zu integrieren?

2. Wie würden in den obigen Beispielen hohe Abzinsungssätze eine Proxy-Belohnung bilden?

Ich bin auch neugierig, wie sie als Quelle für mehrere Belohnungen verwendet werden

Answer 1

In dem von Ihnen zitierten Artikel Inverse Reward Design (2017) definieren die Autoren tatsächlich, was sie unter "Proxy-Belohnungsfunktion" verstehen.

Wir formalisieren dies in einem Wahrscheinlichkeitsmodell, das die (entworfene) Proxy-Belohnung mit der wahren Belohnung in Beziehung setzt

Die Proxy- Belohnungsfunktion ist also die vom Menschen entworfene Belohnungsfunktion, die möglicherweise nicht unbedingt die von ihm beabsichtigte Belohnungsfunktion ist (dh es kann sich um eine falsch spezifizierte Belohnungsfunktion handeln), da der Mensch möglicherweise vergessen hat, zu modellieren / zu integrieren bestimmte (vom Menschen nicht vorhergesagte) Szenarien oder Situationen, denen sich der Agent möglicherweise gegenübersieht. Diese Verwendung des Wortes "Proxy" steht somit im Einklang mit der allgemeinen Verwendung des Wortes in der Informatik, dh eine "Proxy-Belohnungsfunktion" ist eine Belohnungsfunktion, die anstelle der beabsichtigten (optimalen) Belohnungsfunktion verwendet wird.