Amazon Web Services - ท่อส่งข้อมูล

AWS Data Pipeline เป็นบริการบนเว็บที่ออกแบบมาเพื่อให้ผู้ใช้รวมข้อมูลที่กระจายอยู่ในบริการต่างๆของ AWS ได้ง่ายขึ้นและวิเคราะห์จากที่เดียว

การใช้ AWS Data Pipeline ทำให้สามารถเข้าถึงข้อมูลจากแหล่งที่มาประมวลผลแล้วจึงสามารถโอนผลลัพธ์ไปยังบริการ AWS ที่เกี่ยวข้องได้อย่างมีประสิทธิภาพ

วิธีการตั้งค่าท่อส่งข้อมูล

ต่อไปนี้เป็นขั้นตอนในการตั้งค่าท่อส่งข้อมูล -

Step 1 - สร้างท่อโดยใช้ขั้นตอนต่อไปนี้

  • ลงชื่อเข้าใช้บัญชี AWS

  • ใช้ลิงก์นี้เพื่อเปิดคอนโซล AWS Data Pipeline - https://console.aws.amazon.com/datapipeline/

  • เลือกภูมิภาคในแถบนำทาง

  • คลิกปุ่มสร้างท่อส่งใหม่

  • กรอกรายละเอียดที่จำเป็นในฟิลด์ที่เกี่ยวข้อง

    • ในฟิลด์แหล่งที่มาให้เลือกสร้างโดยใช้เทมเพลตจากนั้นเลือกเทมเพลตนี้ - เริ่มต้นใช้งานโดยใช้ ShellCommandActivity

    • ส่วนพารามิเตอร์จะเปิดขึ้นเมื่อเลือกเทมเพลตเท่านั้น ปล่อยให้โฟลเดอร์อินพุต S3 และคำสั่ง Shell ทำงานด้วยค่าเริ่มต้น คลิกไอคอนโฟลเดอร์ถัดจากโฟลเดอร์เอาต์พุต S3 แล้วเลือกที่เก็บข้อมูล

    • ในกำหนดการปล่อยให้ค่าเป็นค่าเริ่มต้น

    • ในการกำหนดค่าไปป์ไลน์ปล่อยให้การบันทึกเป็นเปิดใช้งาน คลิกไอคอนโฟลเดอร์ภายใต้ตำแหน่ง S3 สำหรับบันทึกและเลือกที่เก็บข้อมูล

    • ในความปลอดภัย / การเข้าถึงปล่อยให้ค่าบทบาท IAM เป็นค่าเริ่มต้น

    • คลิกปุ่มเปิดใช้งาน

จะลบไปป์ไลน์ได้อย่างไร?

การลบไปป์ไลน์จะลบออบเจ็กต์ที่เกี่ยวข้องทั้งหมดด้วย

Step 1 - เลือกท่อจากรายการท่อ

Step 2 - คลิกปุ่มการดำเนินการจากนั้นเลือกลบ

Step 3- หน้าต่างแจ้งการยืนยันจะเปิดขึ้น คลิกลบ

คุณสมบัติของ AWS Data Pipeline

Simple and cost-efficient- คุณสมบัติลากแล้ววางช่วยให้สร้างไปป์ไลน์บนคอนโซลได้ง่าย ผู้สร้างไปป์ไลน์ภาพมีไลบรารีเทมเพลตไปป์ไลน์ เทมเพลตเหล่านี้ทำให้ง่ายต่อการสร้างไปป์ไลน์สำหรับงานต่างๆเช่นการประมวลผลไฟล์บันทึกการจัดเก็บข้อมูลไปยัง Amazon S3 เป็นต้น

Reliable- โครงสร้างพื้นฐานได้รับการออกแบบมาสำหรับกิจกรรมการดำเนินการที่ยอมรับข้อผิดพลาด หากความล้มเหลวเกิดขึ้นในตรรกะกิจกรรมหรือแหล่งข้อมูล AWS Data Pipeline จะลองทำกิจกรรมใหม่โดยอัตโนมัติ หากความล้มเหลวยังคงดำเนินต่อไประบบจะส่งการแจ้งเตือนความล้มเหลว เรายังสามารถกำหนดค่าการแจ้งเตือนสำหรับสถานการณ์เช่นการวิ่งที่ประสบความสำเร็จความล้มเหลวความล่าช้าในกิจกรรม ฯลฯ

Flexible - AWS Data Pipeline มีคุณสมบัติต่างๆเช่นการตั้งเวลาการติดตามการจัดการข้อผิดพลาด ฯลฯ สามารถกำหนดค่าให้ดำเนินการต่างๆเช่นเรียกใช้งาน Amazon EMR ดำเนินการสืบค้น SQL โดยตรงกับฐานข้อมูลดำเนินการแอปพลิเคชันแบบกำหนดเองที่ทำงานบน Amazon EC2 เป็นต้น