강화 학습에서 시간 지연을 처리하는 방법은 무엇입니까?
강화 학습 (RL)의 시간 지연에 대해 질문이 있습니다.
RL에는 상태, 보상 및 행동이 있습니다. 일반적으로 (내가 이해하는 한) 시스템에서 작업이 실행될 때 상태가 즉시 변경되고 새 상태를 분석하여 (보상에 영향을 줌) 다음 작업을 결정할 수 있다고 가정합니다. 그러나이 과정에서 시간이 지연되면 어떻게 될까요? 예를 들어, 어떤 동작이 시간에 실행될 때$t_1$, 우리는 시스템에만 영향을 미칠 수 있습니다. $t_2$(흐름을 상상할 수 있습니다. 액추에이터는 업스트림 영역에 있고 센서는 다운 스트림 영역에 있으므로 동작과 상태 사이에 시간 지연이 있습니다). RL에서이 시간 지연을 어떻게 처리합니까?
답변
대부분의 RL 알고리즘은 시간의 이산화를 가정합니다 (RL은 연속 시간 문제에도 적용될 수 있음 [ 1]) 즉, 이론적으로 연속 된 시간 단계 사이의 실제 시간은 중요하지 않지만 실제로 보상이나 관찰이 지연 될 수 있으므로 TD 업데이트를 즉시 수행 할 수 없습니다. 문제에 대한 한 가지 자연스러운 해결책은 획득 한 보상과 에이전트가 특정 상태에서 특정 조치를 취한 후 종료 된 다음 상태를 추적 (예 : 버퍼)하거나 일종의 동기화 메커니즘을 사용하는 것입니다. 방금 이러한 솔루션을 생각해 냈으므로 이것이 수행되었는지 여부를 알 수 없습니다. 실제로 이것은 (모든 경우에) 작동하지 않을 수 있습니다. 예를 들어, 현재 상태 또는 보상에 대한 완전한 정보 없이도해야 할 일을 신속하게 결정해야하는 실시간 추론 동안에는 작동하지 않을 수 있습니다.
RL에서 보상은 종종 지연 된다고합니다.
- 행동을 취한 후 여러 시간 단계를 거쳐야만 행동의 결과를 알 수 있습니다 (행동의 결과를 결정하는 것을 학점 할당 문제라고 함 ).
- 에이전트가 목표 / 최종 상태에 도달 한 경우에만 0이 아닌 보상을받을 수 있습니다 (이 마지막 경우에는 이러한 보상을 sparse 라고도합니다 ).
이 두 가지 문제는 RL에서 일반적입니다. 그러나 내가 귀하의 우려 사항을 올바르게 이해했다면 이것은 귀하의 문제와는 약간 다릅니다. 귀하의 문제는 또한 상태의 잠재적 지연 또는 이전 시간 단계에 도달해야했던 보상을 포함하기 때문에 예를 들어 이상하거나 고장난 센서 / 액추에이터. 예를 들어 일반적으로 카메라에서 캡처 한 마지막 프레임을 연결하여 현재 상태의 근사치를 구축하는 DQN 을 사용 하는 경우 프레임의 자연스러운 순서가 변경되는 프레임에 지연이있는 경우 이로 인해 발생할 수 있습니다. 현재 상태의 근사치가 잘못되어 실제로 재앙적인 이벤트가 발생할 수 있습니다. 그렇습니다. 이것은 해결해야 할 중요한 문제입니다.
실제 기존 솔루션에 익숙하지 않다는 점을 감안할 때 몇 주 전에 읽은 실제 강화 학습의 과제 라는 논문을 참조 하겠습니다.이 문제는이 문제를 언급하고 시도한 다른 연구 작업을 알려줍니다. 그것을 해결하십시오. 지연 / 희소 보상에 더 관심이 있다면 이 답변 도 살펴보세요 .