DynamoDB - Pipeline de données

Le pipeline de données permet d'exporter et d'importer des données vers / depuis une table, un fichier ou un compartiment S3. Cela s'avère bien sûr utile dans les sauvegardes, les tests et pour des besoins ou des scénarios similaires.

Dans une exportation, vous utilisez la console Data Pipeline, qui crée un nouveau pipeline et lance un cluster Amazon EMR (Elastic MapReduce) pour effectuer l'exportation. Un EMR lit les données de DynamoDB et écrit dans la cible. Nous abordons le DME en détail plus loin dans ce didacticiel.

Dans une opération d'importation, vous utilisez la console Data Pipeline, qui crée un pipeline et lance EMR pour effectuer l'importation. Il lit les données de la source et écrit dans la destination.

Note - Les opérations d'exportation / importation ont un coût compte tenu des services utilisés, notamment EMR et S3.

Utilisation du pipeline de données

Vous devez spécifier les autorisations d'action et de ressource lors de l'utilisation de Data Pipeline. Vous pouvez utiliser un rôle ou une stratégie IAM pour les définir. Les utilisateurs qui effectuent des importations / exportations doivent noter qu'ils auraient besoin d'un ID de clé d'accès actif et d'une clé secrète.

Rôles IAM pour le pipeline de données

Vous avez besoin de deux rôles IAM pour utiliser Data Pipeline -

• DataPipelineDefaultRole - Cela contient toutes les actions que vous autorisez le pipeline à effectuer pour vous.

• DataPipelineDefaultResourceRole - Cela a des ressources que vous autorisez le pipeline à provisionner pour vous.

Si vous êtes nouveau dans Data Pipeline, vous devez générer chaque rôle. Tous les utilisateurs précédents possèdent ces rôles en raison des rôles existants.

Utilisez la console IAM pour créer des rôles IAM pour le pipeline de données et effectuez les quatre étapes suivantes:

Step 1 - Connectez-vous à la console IAM située à https://console.aws.amazon.com/iam/

Step 2 - Sélectionnez Roles depuis le tableau de bord.

Step 3 - Sélectionnez Create New Role. Entrez ensuite DataPipelineDefaultRole dans leRole Name champ et sélectionnez Next Step. dans leAWS Service Roles liste dans le Role Type panneau, accédez à Data Pipeline, et choisissez Select. SélectionnerCreate Role dans le Review panneau.

Step 4 - Sélectionnez Create New Role.