Amazon Web Services - ท่อส่งข้อมูล
AWS Data Pipeline เป็นบริการบนเว็บที่ออกแบบมาเพื่อให้ผู้ใช้รวมข้อมูลที่กระจายอยู่ในบริการต่างๆของ AWS ได้ง่ายขึ้นและวิเคราะห์จากที่เดียว
การใช้ AWS Data Pipeline ทำให้สามารถเข้าถึงข้อมูลจากแหล่งที่มาประมวลผลแล้วจึงสามารถโอนผลลัพธ์ไปยังบริการ AWS ที่เกี่ยวข้องได้อย่างมีประสิทธิภาพ
วิธีการตั้งค่าท่อส่งข้อมูล
ต่อไปนี้เป็นขั้นตอนในการตั้งค่าท่อส่งข้อมูล -
Step 1 - สร้างท่อโดยใช้ขั้นตอนต่อไปนี้
ลงชื่อเข้าใช้บัญชี AWS
ใช้ลิงก์นี้เพื่อเปิดคอนโซล AWS Data Pipeline - https://console.aws.amazon.com/datapipeline/
เลือกภูมิภาคในแถบนำทาง
คลิกปุ่มสร้างท่อส่งใหม่
กรอกรายละเอียดที่จำเป็นในฟิลด์ที่เกี่ยวข้อง
ในฟิลด์แหล่งที่มาให้เลือกสร้างโดยใช้เทมเพลตจากนั้นเลือกเทมเพลตนี้ - เริ่มต้นใช้งานโดยใช้ ShellCommandActivity
ส่วนพารามิเตอร์จะเปิดขึ้นเมื่อเลือกเทมเพลตเท่านั้น ปล่อยให้โฟลเดอร์อินพุต S3 และคำสั่ง Shell ทำงานด้วยค่าเริ่มต้น คลิกไอคอนโฟลเดอร์ถัดจากโฟลเดอร์เอาต์พุต S3 แล้วเลือกที่เก็บข้อมูล
ในกำหนดการปล่อยให้ค่าเป็นค่าเริ่มต้น
ในการกำหนดค่าไปป์ไลน์ปล่อยให้การบันทึกเป็นเปิดใช้งาน คลิกไอคอนโฟลเดอร์ภายใต้ตำแหน่ง S3 สำหรับบันทึกและเลือกที่เก็บข้อมูล
ในความปลอดภัย / การเข้าถึงปล่อยให้ค่าบทบาท IAM เป็นค่าเริ่มต้น
คลิกปุ่มเปิดใช้งาน
จะลบไปป์ไลน์ได้อย่างไร?
การลบไปป์ไลน์จะลบออบเจ็กต์ที่เกี่ยวข้องทั้งหมดด้วย
Step 1 - เลือกท่อจากรายการท่อ
Step 2 - คลิกปุ่มการดำเนินการจากนั้นเลือกลบ
Step 3- หน้าต่างแจ้งการยืนยันจะเปิดขึ้น คลิกลบ
คุณสมบัติของ AWS Data Pipeline
Simple and cost-efficient- คุณสมบัติลากแล้ววางช่วยให้สร้างไปป์ไลน์บนคอนโซลได้ง่าย ผู้สร้างไปป์ไลน์ภาพมีไลบรารีเทมเพลตไปป์ไลน์ เทมเพลตเหล่านี้ทำให้ง่ายต่อการสร้างไปป์ไลน์สำหรับงานต่างๆเช่นการประมวลผลไฟล์บันทึกการจัดเก็บข้อมูลไปยัง Amazon S3 เป็นต้น
Reliable- โครงสร้างพื้นฐานได้รับการออกแบบมาสำหรับกิจกรรมการดำเนินการที่ยอมรับข้อผิดพลาด หากความล้มเหลวเกิดขึ้นในตรรกะกิจกรรมหรือแหล่งข้อมูล AWS Data Pipeline จะลองทำกิจกรรมใหม่โดยอัตโนมัติ หากความล้มเหลวยังคงดำเนินต่อไประบบจะส่งการแจ้งเตือนความล้มเหลว เรายังสามารถกำหนดค่าการแจ้งเตือนสำหรับสถานการณ์เช่นการวิ่งที่ประสบความสำเร็จความล้มเหลวความล่าช้าในกิจกรรม ฯลฯ
Flexible - AWS Data Pipeline มีคุณสมบัติต่างๆเช่นการตั้งเวลาการติดตามการจัดการข้อผิดพลาด ฯลฯ สามารถกำหนดค่าให้ดำเนินการต่างๆเช่นเรียกใช้งาน Amazon EMR ดำเนินการสืบค้น SQL โดยตรงกับฐานข้อมูลดำเนินการแอปพลิเคชันแบบกำหนดเองที่ทำงานบน Amazon EC2 เป็นต้น