Apa fungsi hadiah proxy?

Question

Pemahaman yang saya miliki adalah bahwa mereka entah bagaimana menyesuaikan tujuan agar lebih mudah untuk dicapai, tanpa mengubah fungsi penghargaan.

... fungsi penghargaan proxy yang diamati adalah solusi perkiraan untuk masalah desain hadiah

(sumber: Inverse Reward Design )

Tapi saya kesulitan mendapatkan cara mereka menyesuaikan dengan tujuan hadiah secara keseluruhan dan menjadi bingung dengan beberapa contohnya. Saya memiliki gagasan tentang mereka sebagai fungsi hadiah kecil (seperti dalam kasus menyelesaikan hadiah jarang) yang akhirnya mengarah ke tujuan utama. Namun pernyataan di bawah ini, dari postingan ini , membuat saya mempertanyakannya.

Contoh khas dari fungsi penghargaan proxy termasuk "kredit parsial" untuk perilaku yang terlihat menjanjikan; tingkat diskon yang terlalu tinggi dan bentuk hadiah yang cermat; ...

1. Apa itu, dan bagaimana cara mengidentifikasi dan mengintegrasikan penghargaan proxy dalam masalah RL?

2. Dalam contoh di atas, bagaimana tingkat diskon yang tinggi membentuk hadiah proksi?

Saya juga ingin tahu tentang bagaimana mereka digunakan sebagai sumber berbagai hadiah

Answer 1

Dalam makalah yang Anda kutip, Inverse Reward Design (2017), penulis sebenarnya mendefinisikan apa yang mereka maksud dengan "fungsi penghargaan proxy".

Kami memformalkan ini dalam model probabilistik yang menghubungkan pahala (yang dirancang) dengan pahala yang sebenarnya

Jadi, fungsi reward proxy adalah fungsi reward yang dirancang oleh manusia, yang belum tentu merupakan fungsi reward yang diinginkannya (misalnya, fungsi reward yang salah ditentukan), mengingat bahwa manusia mungkin lupa untuk memodelkan / menggabungkannya. skenario atau situasi tertentu (tidak diprediksi oleh manusia) yang mungkin dihadapi agen. Penggunaan kata "proxy" ini dengan demikian konsisten dengan penggunaan umum kata tersebut dalam ilmu komputer, yaitu "fungsi reward proxy" adalah fungsi reward yang digunakan sebagai pengganti fungsi reward yang dimaksudkan (optimal).