DynamoDB - ท่อส่งข้อมูล

Data Pipeline ช่วยให้สามารถส่งออกและนำเข้าข้อมูลไปยัง / จากตารางไฟล์หรือที่เก็บข้อมูล S3 แน่นอนว่าสิ่งนี้มีประโยชน์ในการสำรองข้อมูลการทดสอบและสำหรับความต้องการหรือสถานการณ์ที่คล้ายคลึงกัน

ในการส่งออกคุณใช้คอนโซล Data Pipeline ซึ่งสร้างไปป์ไลน์ใหม่และเปิดใช้คลัสเตอร์ Amazon EMR (Elastic MapReduce) เพื่อทำการส่งออก EMR อ่านข้อมูลจาก DynamoDB และเขียนไปยังเป้าหมาย เราจะพูดถึง EMR โดยละเอียดในบทช่วยสอนนี้

ในการดำเนินการนำเข้าให้คุณใช้คอนโซล Data Pipeline ซึ่งสร้างไปป์ไลน์และเรียกใช้ EMR เพื่อดำเนินการนำเข้า มันอ่านข้อมูลจากต้นทางและเขียนไปยังปลายทาง

Note - การดำเนินการส่งออก / นำเข้ามีค่าใช้จ่ายตามบริการที่ใช้โดยเฉพาะ EMR และ S3

การใช้ Data Pipeline

คุณต้องระบุการดำเนินการและการอนุญาตทรัพยากรเมื่อใช้ Data Pipeline คุณสามารถใช้บทบาทหรือนโยบาย IAM เพื่อกำหนดได้ ผู้ใช้ที่กำลังดำเนินการนำเข้า / ส่งออกควรจดบันทึกว่าพวกเขาต้องการรหัสคีย์การเข้าถึงที่ใช้งานอยู่และรหัสลับ

บทบาท IAM สำหรับท่อส่งข้อมูล

คุณต้องมีบทบาท IAM สองบทบาทเพื่อใช้ Data Pipeline -

• DataPipelineDefaultRole - นี่คือการกระทำทั้งหมดที่คุณอนุญาตให้ไปป์ไลน์ดำเนินการให้คุณ

• DataPipelineDefaultResourceRole - มีทรัพยากรที่คุณอนุญาตให้ไปป์ไลน์จัดเตรียมให้คุณ

หากคุณยังใหม่กับ Data Pipeline คุณต้องวางบทบาทแต่ละบทบาท ผู้ใช้ก่อนหน้านี้ทั้งหมดมีบทบาทเหล่านี้เนื่องจากบทบาทที่มีอยู่

ใช้คอนโซล IAM เพื่อสร้างบทบาท IAM สำหรับ Data Pipeline และดำเนินการสี่ขั้นตอนต่อไปนี้ -

Step 1 - เข้าสู่ระบบคอนโซล IAM ที่อยู่ที่ https://console.aws.amazon.com/iam/

Step 2 - เลือก Roles จากแดชบอร์ด

Step 3 - เลือก Create New Role. จากนั้นป้อน DataPipelineDefaultRole ในไฟล์Role Name และเลือก Next Step. ในAWS Service Roles รายการใน Role Type พาเนลไปที่ Data Pipelineและเลือก Select. เลือกCreate Role ใน Review แผงหน้าปัด.

Step 4 - เลือก Create New Role.