Chức năng phần thưởng proxy là gì?

Question

Tôi hiểu rằng bằng cách nào đó họ điều chỉnh mục tiêu để làm cho nó dễ gặp hơn, mà không thay đổi chức năng phần thưởng.

... chức năng phần thưởng proxy được quan sát là giải pháp gần đúng cho vấn đề thiết kế phần thưởng

(nguồn: Inverse Reward Design )

Nhưng tôi gặp khó khăn trong việc tìm cách chúng phù hợp với mục tiêu phần thưởng tổng thể và cảm thấy bối rối trước một số ví dụ về chúng. Tôi đã có ý tưởng về chúng là các chức năng phần thưởng nhỏ (như trong trường hợp giải quyết các phần thưởng thưa thớt) cuối cùng dẫn đến mục tiêu chính. Nhưng tuyên bố dưới đây, từ bài đăng này , đã khiến tôi đặt câu hỏi về điều đó.

Các ví dụ điển hình về chức năng thưởng ủy nhiệm bao gồm "tín dụng một phần" cho các hành vi có vẻ hứa hẹn; tỷ lệ chiết khấu cao giả tạo và định hình phần thưởng cẩn thận; ...

1. Chúng là gì, và làm thế nào để xác định và tích hợp phần thưởng proxy trong một vấn đề RL?

2. Trong các ví dụ trên, tỷ lệ chiết khấu cao sẽ tạo thành phần thưởng ủy nhiệm như thế nào?

Tôi cũng tò mò về cách chúng được sử dụng như một nguồn của nhiều phần thưởng

Answer 1

Trong bài báo mà bạn trích dẫn, Inverse Reward Design (2017), các tác giả thực sự xác định ý nghĩa của họ bằng "chức năng phần thưởng ủy nhiệm".

Chúng tôi chính thức hóa điều này trong một mô hình xác suất liên quan phần thưởng ủy nhiệm (được thiết kế) với phần thưởng thực sự

Vì vậy, chức năng phần thưởng ủy nhiệm là chức năng phần thưởng được thiết kế bởi con người, có thể không nhất thiết phải là chức năng phần thưởng mà anh ta / cô ta dự định (nghĩa là nó có thể là một chức năng phần thưởng không xác định), vì con người có thể đã quên mô hình hóa / kết hợp các tình huống hoặc tình huống nhất định (không được con người bảo vệ) mà tác nhân có thể phải đối mặt. Do đó, cách sử dụng từ "proxy" này phù hợp với cách sử dụng chung của từ này trong khoa học máy tính, tức là "chức năng phần thưởng proxy" là một chức năng phần thưởng được sử dụng thay cho chức năng phần thưởng dự định (tối ưu).