¿Qué son las funciones de recompensa de proxy?

Question

Lo que tengo entendido es que de alguna manera ajustan el objetivo para que sea más fácil de cumplir, sin cambiar la función de recompensa.

... la función de recompensa proxy observada es la solución aproximada a un problema de diseño de recompensas

(fuente: Diseño de recompensa inversa )

Pero tengo problemas para entender cómo se ajustan al objetivo general de recompensa y algunos ejemplos me confunden. Tenía la idea de que fueran pequeñas funciones de recompensa (como en el caso de buscar recompensas escasas) que eventualmente conducen al objetivo principal. Pero la declaración a continuación, de esta publicación , me hizo cuestionar eso.

Los ejemplos típicos de funciones de recompensa proxy incluyen "crédito parcial" por comportamientos que parecen prometedores; tasas de descuento artificialmente altas y una cuidadosa configuración de recompensas; ...

1. ¿Cuáles son y cómo se identificaría e integraría las recompensas de proxy en un problema de RL?

2. En los ejemplos anteriores, ¿cómo las altas tasas de descuento constituirían una recompensa indirecta?

También tengo curiosidad por saber cómo se utilizan como fuente de múltiples recompensas.

Answer 1

En el artículo que cita, Inverse Reward Design (2017), los autores definen realmente lo que quieren decir con "función de recompensa proxy".

Formalizamos esto en un modelo probabilístico que relaciona la recompensa proxy (diseñada) con la recompensa verdadera

Entonces, la función de recompensa proxy es la función de recompensa diseñada por el humano, que puede no ser necesariamente la función de recompensa que él / ella pretendía (es decir, puede ser una función de recompensa mal especificada), dado que el humano puede haber olvidado modelar / incorporar ciertos escenarios o situaciones (imprevistas por el ser humano) que el agente puede enfrentar. Este uso de la palabra "proxy" es consecuente con el uso general de la palabra en informática, es decir, una "función de recompensa de proxy" es una función de recompensa que se utiliza en lugar de la función de recompensa prevista (óptima).