Que représentent les caractéristiques d'état de KukaGymEnv ?

Question

J'essaie d'utiliser DDPG augmenté avec Hindsight Experience Replay (HER) sur KukaGymEnv de pybullet .

Pour formuler le vecteur de caractéristiques pour l'état d'objectif, j'ai besoin de savoir ce que représentent les caractéristiques de l'état de l'environnement. Pour être précis, un vecteur d'état typique de KukaGymEnv est un objet de la numpy.ndarrayclasse avec une forme de (9,).

Que représentent chacun de ces 8 éléments et comment puis-je formuler le vecteur d'état d'objectif pour cet environnement ? J'ai essayé de parcourir le code source du KukaGymEnv, mais je n'ai rien compris d'utile.

Answer 1

Voici une réponse incomplète, mais cela peut aider.

Votre état est lu par la fonction getExtendedObservation(). Cette fonction fait deux choses : elle appelle la fonction getObservation()à partir de ce code source , obtient un état et étend cet état avec trois composants :

position relative x,y et angle euler du bloc dans l'espace de préhension

Mais quels sont les 5 premiers composants renvoyés par getObservation()? D'après ce que j'ai lu, il y a des positions, puis des angles d'euler décrivant l'orientation. Mais cela ferait 6 + 3 = 9 caractéristiques, donc il n'y a que 2 positions ou seulement 2 angles d'Euler. Vous connaissez peut-être kuka mieux que moi et connaissez la réponse de celui-ci :).

Pour résumer :

state = [X, Y, (Z, ) , Alpha, Gamma, (Beta, ), gripX, gripY, gripAlpha]

(Soit Z ou Beta est absent)