O que são funções de recompensa por proxy?
O entendimento que tenho é que eles de alguma forma ajustam o objetivo para torná-lo mais fácil de cumprir, sem alterar a função de recompensa.
... a função de recompensa proxy observada é a solução aproximada para um problema de design de recompensa
(fonte: Inverse Reward Design )
Mas tenho problemas para entender como eles se encaixam no objetivo geral de recompensa e fiquei confuso com alguns exemplos deles. Tive a ideia de que eram pequenas funções de recompensa (como no caso de resolver por recompensas esparsas) levando ao objetivo principal. Mas o depoimento abaixo, desse post , me fez questionar isso.
Exemplos típicos de funções de recompensa por procuração incluem “crédito parcial” para comportamentos que parecem promissores; taxas de desconto artificialmente altas e modelagem cuidadosa de recompensa; ...
O que são e como alguém faria para identificar e integrar recompensas de proxy em um problema de RL?
Nos exemplos acima, como as altas taxas de desconto formariam uma recompensa substituta?
Também estou curioso para saber como eles são usados como fonte de múltiplas recompensas
Respostas
No artigo que você cita, Inverse Reward Design (2017), os autores realmente definem o que eles querem dizer com "função de recompensa proxy".
Formalizamos isso em um modelo probabilístico que relaciona a recompensa proxy (projetada) à verdadeira recompensa
Assim, a função de recompensa proxy é a função de recompensa projetada pelo humano, que pode não ser necessariamente a função de recompensa que ele pretendia (ou seja, pode ser uma função de recompensa mal especificada), dado que o humano pode ter esquecido de modelar / incorporar certos cenários ou situações (imprevisíveis pelo ser humano) que o agente pode enfrentar. Este uso da palavra "proxy" é, portanto, consistente com o uso geral da palavra na ciência da computação, ou seja, uma "função de recompensa por proxy" é uma função de recompensa que é usada em vez da função de recompensa pretendida (ótima).