DynamoDB - Datenpipeline

Die Datenpipeline ermöglicht das Exportieren und Importieren von Daten in / aus einer Tabelle, Datei oder einem S3-Bucket. Dies erweist sich natürlich als nützlich bei Backups, Tests und für ähnliche Anforderungen oder Szenarien.

Bei einem Export verwenden Sie die Datenpipeline-Konsole, die eine neue Pipeline erstellt und einen Amazon EMR-Cluster (Elastic MapReduce) startet, um den Export durchzuführen. Ein EMR liest Daten aus DynamoDB und schreibt in das Ziel. Wir werden EMR später in diesem Tutorial ausführlich besprechen.

Bei einem Importvorgang verwenden Sie die Datenpipeline-Konsole, die eine Pipeline erstellt und EMR startet, um den Import durchzuführen. Es liest Daten aus der Quelle und schreibt in das Ziel.

Note - Export- / Importvorgänge verursachen Kosten in Anbetracht der verwendeten Dienste, insbesondere EMR und S3.

Datenpipeline verwenden

Sie müssen Aktions- und Ressourcenberechtigungen angeben, wenn Sie die Datenpipeline verwenden. Sie können eine IAM-Rolle oder -Richtlinie verwenden, um sie zu definieren. Die Benutzer, die Importe / Exporte durchführen, sollten beachten, dass sie eine aktive Zugriffsschlüssel-ID und einen geheimen Schlüssel benötigen würden.

IAM-Rollen für die Datenpipeline

Sie benötigen zwei IAM-Rollen, um Data Pipeline zu verwenden -

• DataPipelineDefaultRole - Hier finden Sie alle Aktionen, die die Pipeline für Sie ausführen darf.

• DataPipelineDefaultResourceRole - Dies verfügt über Ressourcen, die Sie der Pipeline zur Verfügung stellen können.

Wenn Sie mit Data Pipeline noch nicht vertraut sind, müssen Sie jede Rolle erzeugen. Alle vorherigen Benutzer besitzen diese Rollen aufgrund der vorhandenen Rollen.

Verwenden Sie die IAM-Konsole, um IAM-Rollen für die Datenpipeline zu erstellen, und führen Sie die folgenden vier Schritte aus:

Step 1 - Melden Sie sich bei der IAM-Konsole unter an https://console.aws.amazon.com/iam/

Step 2 - Wählen Sie Roles vom Armaturenbrett.

Step 3 - Wählen Sie Create New Role. Geben Sie dann DataPipelineDefaultRole in das Feld einRole Name Feld und wählen Sie Next Step. In demAWS Service Roles Liste in der Role Type Navigieren Sie zu Data Pipeline, und wähle Select. WählenCreate Role in dem Review Panel.

Step 4 - Wählen Sie Create New Role.