DynamoDB - potok danych
Data Pipeline umożliwia eksportowanie i importowanie danych do / z tabeli, pliku lub zasobnika S3. To oczywiście okazuje się przydatne przy tworzeniu kopii zapasowych, testowaniu i przy podobnych potrzebach lub scenariuszach.
Podczas eksportu korzystasz z konsoli Data Pipeline, która tworzy nowy potok i uruchamia klaster Amazon EMR (Elastic MapReduce) w celu wykonania eksportu. EMR odczytuje dane z DynamoDB i zapisuje do celu. Szczegółowo omawiamy EMR w dalszej części tego samouczka.
W operacji importu używasz konsoli Data Pipeline, która tworzy potok i uruchamia EMR w celu wykonania importu. Odczytuje dane ze źródła i zapisuje w miejscu docelowym.
Note - Operacje eksportowe / importowe wiążą się z kosztami, biorąc pod uwagę wykorzystywane usługi, w szczególności EMR i S3.
Korzystanie z potoku danych
Podczas korzystania z potoku danych należy określić uprawnienia do akcji i zasobów. Aby je zdefiniować, możesz użyć roli lub zasad IAM. Użytkownicy dokonujący importu / eksportu powinni zaznaczyć, że będą potrzebować aktywnego identyfikatora klucza dostępu i tajnego klucza.
Role uprawnień dla potoku danych
Aby korzystać z potoku danych, potrzebujesz dwóch ról IAM -
DataPipelineDefaultRole - Zawiera wszystkie czynności, które zezwalasz rurociągowi na wykonanie za Ciebie.
DataPipelineDefaultResourceRole - Zawiera zasoby, na które zezwala rurociąg.
Jeśli jesteś nowy w Data Pipeline, musisz odrodzić każdą rolę. Wszyscy poprzedni użytkownicy posiadają te role ze względu na istniejące role.
Użyj konsoli IAM, aby utworzyć role IAM dla Data Pipeline i wykonaj następujące cztery kroki:
Step 1 - Zaloguj się do konsoli IAM znajdującej się pod adresem https://console.aws.amazon.com/iam/
Step 2 - Wybierz Roles z deski rozdzielczej.
Step 3 - Wybierz Create New Role. Następnie wprowadź DataPipelineDefaultRole wRole Name i wybierz Next Step. wAWS Service Roles lista w Role Type przejdź do Data Pipelinei wybierz Select. WybierzCreate Role w Review płyta.
Step 4 - Wybierz Create New Role.