Proxy ödül işlevleri nelerdir?
Sahip olduğum anlayış, ödül işlevini değiştirmeden bir şekilde hedefi ulaşmayı kolaylaştıracak şekilde ayarlamalarıdır.
... gözlemlenen vekil ödül işlevi, bir ödül tasarım probleminin yaklaşık çözümüdür
(kaynak: Ters Ödül Tasarımı )
Ancak genel ödül hedefine nasıl uyduklarını anlamakta güçlük çekiyorum ve bazı örnekleriyle kafam karıştı. Bunların küçük ödül işlevleri olduğu fikrine kapıldım (seyrek ödüller için çözme durumunda olduğu gibi), sonunda ana hedefe götürdü. Ama bu ifade, aşağıda, gelen bu yazı , bana o soru yaptı.
Vekil ödül işlevlerinin tipik örnekleri, ümit verici görünen davranışlar için "kısmi kredi"; yapay olarak yüksek indirim oranları ve dikkatli ödül şekillendirme; ...
Bunlar nedir ve bir RL probleminde vekil ödüllerini belirleme ve entegre etme konusunda nasıl hareket edilir?
Yukarıdaki örneklerde, yüksek iskonto oranları nasıl bir vekil ödülü oluşturur?
Birden çok ödül kaynağı olarak nasıl kullanıldıklarını da merak ediyorum
Yanıtlar
Alıntı yaptığınız makalede, Ters Ödül Tasarımı (2017), yazarlar aslında "vekil ödül işlevi" ile ne kastettiklerini tanımlıyorlar.
Bunu, vekil (tasarlanmış) ödülünü gerçek ödülle ilişkilendiren olasılıklı bir modelde resmileştiriyoruz.
Dolayısıyla, vekil ödül işlevi, insan tarafından tasarlanan ödül işlevidir ve bu, insanın modellemeyi / dahil etmeyi unutmuş olabileceği göz önüne alındığında, amaçladığı ödül işlevi olmayabilir (yani yanlış tanımlanmış bir ödül işlevi olabilir). temsilcinin karşılaşabileceği belirli (insan tarafından önceden tahmin edilmeyen) senaryolar veya durumlar. Dolayısıyla "vekil" kelimesinin bu kullanımı, kelimenin bilgisayar bilimindeki genel kullanımıyla tutarlıdır, yani "vekil ödül fonksiyonu", amaçlanan (optimal) ödül fonksiyonu yerine kullanılan bir ödül fonksiyonudur.