DynamoDB - Đường ống dữ liệu
Data Pipeline cho phép xuất và nhập dữ liệu vào / từ bảng, tệp hoặc nhóm S3. Tất nhiên, điều này tỏ ra hữu ích trong việc sao lưu, thử nghiệm và cho các nhu cầu hoặc tình huống tương tự.
Trong quá trình xuất, bạn sử dụng bảng điều khiển Đường ống dữ liệu, bảng điều khiển này tạo một đường ống mới và khởi chạy một cụm Amazon EMR (Elastic MapReduce) để thực hiện xuất. EMR đọc dữ liệu từ DynamoDB và ghi vào mục tiêu. Chúng ta sẽ thảo luận chi tiết về EMR ở phần sau trong hướng dẫn này.
Trong thao tác nhập, bạn sử dụng bảng điều khiển Đường ống Dữ liệu, bảng điều khiển này tạo một đường dẫn và khởi chạy EMR để thực hiện nhập. Nó đọc dữ liệu từ nguồn và ghi vào đích.
Note - Hoạt động xuất / nhập chịu một khoản chi phí cho các dịch vụ được sử dụng, cụ thể là EMR và S3.
Sử dụng đường ống dữ liệu
Bạn phải chỉ định quyền hành động và tài nguyên khi sử dụng Data Pipeline. Bạn có thể sử dụng vai trò hoặc chính sách IAM để xác định chúng. Những người dùng đang thực hiện nhập / xuất nên lưu ý rằng họ sẽ yêu cầu ID khóa truy cập hoạt động và khóa bí mật.
IAM Roles cho Data Pipeline
Bạn cần hai vai trò IAM để sử dụng Đường ống dữ liệu -
DataPipelineDefaultRole - Điều này có tất cả các hành động bạn cho phép đường ống thực hiện cho bạn.
DataPipelineDefaultResourceRole - Điều này có các tài nguyên bạn cho phép đường ống cung cấp cho bạn.
Nếu bạn chưa quen với Data Pipeline, bạn phải xuất hiện từng vai trò. Tất cả những người dùng trước đây đều có các vai trò này do các vai trò hiện có.
Sử dụng bảng điều khiển IAM để tạo vai trò IAM cho Đường ống dữ liệu và thực hiện bốn bước sau:
Step 1 - Đăng nhập vào bảng điều khiển IAM có tại https://console.aws.amazon.com/iam/
Step 2 - Chọn Roles từ bảng điều khiển.
Step 3 - Chọn Create New Role. Sau đó nhập DataPipelineDefaultRole vàoRole Name trường và chọn Next Step. bên trongAWS Service Roles danh sách trong Role Type bảng điều khiển, điều hướng đến Data Pipeline, và lựa chọn Select. Lựa chọnCreate Role bên trong Review bảng điều khiển.
Step 4 - Chọn Create New Role.