흡수 상태의 일시적인 작업에 대해 우리 둘 다 가질 수없는 이유 $\gamma=1$ 과 $T= \infty$ 반환의 정의에서?

Question

흡수 상태가있는 일시적인 작업의 경우 왜 할 수 없습니까? $\gamma=1$ 과 $T= \infty$?

Sutton과 Barto의 책에서 그들은 흡수 상태가 무한 시퀀스가되는 에피소드 작업의 경우 반환은 다음과 같이 정의된다고 말합니다.

$$G_t=\sum_{k=t+1}^{T}\gamma^{k-t-1}R_k$$

이를 통해 합계가 첫 번째 이상인지 여부와 상관없이 수익률이 동일 할 수 있습니다. $T$ 보상, 어디서 $T$ 종료 시간 또는 전체 무한 시퀀스 이상입니다. $T=\infty$ xor $\gamma=1$.

왜 둘 다 가질 수 없습니까? 둘 다 이러한 매개 변수로 설정하는 방법을 알 수 없습니다. 흡수 상태라면 터미널 이후의 보상은 0이되고 영향을받지 않는 것 같습니다.$\gamma$ 또는 $T$.

다음은 2 판 57 페이지에있는 책의 전체 섹션입니다.

나는 이것의이면에있는 이유가 정책 평가를 위해 왜

$$v_\pi(s)=\sum_a\pi(a|s)\sum_{s',r}p(s',r|s,a)[r+\gamma v_\pi(s')]$$

"만약 존재와 고유성을 보장합니다. $\gamma < 1$ 또는 종료는 $\pi$"(74 페이지)이 부분도 약간 혼란 스럽지만 관련이있는 것 같습니다.

Answer 1

$T = \infty$ 과 $\gamma = 1$방정식 3.11에 정의 된 수익은 계속되는 작업과 일시적인 작업 모두 에 대한 수익 의 통합 된 정의 여야하므로 동시에 사실 일 수 없습니다 . 계속되는 작업의 경우$T = \infty$ 과 $\gamma = 1$ 이 경우 수익이 유한하지 않을 수 있기 때문에 동시에 사실이 될 수 없습니다 (이미 이해했다고 생각합니다).

또한 이 책의 특정 예에서 에이전트가 흡수 상태에 있다고 가정하므로이 특정 합계는$T$ 유한 또는 $\infty$, 일단 흡수 상태에 들어가면 항상 보상을 받게됩니다. $0$. 물론 특정 보상을 할인해도 합계는 한정되어 있습니다. 그러나 일반적으로 흡수 상태에 도달 할 수없는 다른 MDP가있는 경우 (예 : 에피소드가 끝나지 않음) 수익은 유한 할 수 없습니다.