심층 강화 학습-평가 메트릭으로서의 평균 Q
저는 Space Invaders 게임 학습자를 위해 딥 러닝 모델을 조정하고 있습니다 (아래 이미지). 상태는 플레이어와 적 사이의 상대적인 유클리드 거리 + 플레이어와 창 높이로 정규화 된 6 개의 가장 가까운 적 레이저 사이의 상대적 거리로 정의됩니다 (플레이어의 위치가$(x_p,y_p)$ 적의 위치는 $(x_e,y_e)$, 상대 유클리드 거리는 $\frac{\sqrt{(x_p-x_e)^2+(y_p-y_e)^2}}{HEIGHT}$HEIGHT는 창 높이입니다). 따라서 관측 공간 차원은 (10 + 6)이며, 16 단위의 심층 신경망이 입력됩니다.
학습자에 대한 몇 가지 결과는 다음과 같습니다.
답변
주요 문제는 상대 거리를 핵심 기능으로 사용하는 것입니다. 두 가지 주요 약점이 있습니다.
물체까지의 거리는 물체에 대한 방향을 제공하지 않습니다. 최선의 선택은 모두 방향에 따라 결정됩니다. 예를 들어 적의 레이저 볼트 0.1 단위는 플레이어 바로 위에있는 즉시 회피 조치가 필요한 반면 왼쪽 또는 오른쪽 0.1 단위는 위험하지 않으며 게임 창을 떠나려고합니다. 상대 거리의 특징은 이러한 시나리오를 구별하지 않지만 중요한 차이입니다.
약간 덜 중요하지만 원시 거리는 움직임을 포착하지 못합니다. 적들이 차례대로 일관되게 움직이지만 항상 똑같은 방향이나 속도로 움직이는 것은 아니라면 속도도 상태의 일부 여야합니다.
기능을 개선 할 수있는 한 가지 방법은 각 항목에 대해 속도 구성 요소를 추가 하여 플레이어 로부터 얼마나 빨리 접근 하거나 후퇴 하는지 보여주는 것입니다. 이것은 조금 도움이 될 수 있지만 제 생각에는 거리와 속도보다 더 많은 데이터가 필요합니다.
정규화를 사용해야한다고 생각합니다 $x, y$추적되는 각 항목에 대한 기능으로서의 위치 와 정규화 된 속도$dx, dy$ 방향을 변경할 수있는 모든 개체 유형에 대해 (적 레이저가 항상 똑바로 아래로 떨어지면 해당 레이저에 대해 아무것도 필요하지 않을 수 있습니다).
게다가:
창 가장자리가 중요한 경우 적어도 상대적인 $x$에이전트는 화면에서의 절대 위치와 조작해야하는 공간을 알고 있습니다. 이는 플레이어가 왼쪽이나 오른쪽으로 더 이동하지 못하도록 차단되었는지 또는 플레이어가 화면의 다른쪽으로 "둘러싸는지"여부에 관계없이 적용됩니다. 두 가지 유형의 효과는 게임이 화면 가장자리 근처에서 재생되는 방식에 상당한 영향을 미칩니다.
예측값을 추적하려면 플레이어 미사일의 위치를 추적해야합니다. 에이전트가 발사하는 것이 가장 좋은시기를 예측하도록하는 것만으로는 충분하지 않습니다. 가치 함수를 정확하게 추적하려면 몇 단계 전에 발사 한 미사일이 목표물에 맞거나 놓칠 가능성이 있는지 "확인"해야합니다.
적 레이저와 플레이어 미사일 모두에 대해 일부 기준 (예 : 플레이어까지의 거리)에 따라 데이터를 필터링하고 정렬하는 것이 좋습니다. 이것이 일관적인 한 그러한 전처리를하는 데 많은 도움이 될 수 있습니다.