Dịch vụ Web của Amazon - Đường ống Dữ liệu
AWS Data Pipeline là một dịch vụ web, được thiết kế để giúp người dùng dễ dàng tích hợp dữ liệu trên nhiều dịch vụ AWS và phân tích dữ liệu đó từ một vị trí duy nhất.
Sử dụng Đường ống dữ liệu AWS, dữ liệu có thể được truy cập từ nguồn, được xử lý và sau đó kết quả có thể được chuyển một cách hiệu quả đến các dịch vụ AWS tương ứng.
Làm thế nào để thiết lập đường ống dữ liệu?
Sau đây là các bước để thiết lập đường dẫn dữ liệu -
Step 1 - Tạo Pipeline bằng các bước sau.
Đăng nhập vào tài khoản AWS.
Sử dụng liên kết này để mở bảng điều khiển đường ống dữ liệu AWS - https://console.aws.amazon.com/datapipeline/
Chọn khu vực trong thanh điều hướng.
Nhấp vào nút Tạo đường ống mới.
Điền các chi tiết bắt buộc vào các trường tương ứng.
Trong trường Nguồn, hãy chọn Xây dựng bằng cách sử dụng mẫu và sau đó chọn mẫu này - Bắt đầu sử dụng ShellCommandActivity.
Phần Tham số chỉ mở khi mẫu được chọn. Để thư mục đầu vào S3 và lệnh Shell chạy với các giá trị mặc định của chúng. Nhấp vào biểu tượng thư mục bên cạnh thư mục đầu ra S3 và chọn các nhóm.
Trong Lịch biểu, hãy để các giá trị làm mặc định.
Trong Cấu hình đường ống, hãy để tính năng ghi nhật ký được bật. Nhấp vào biểu tượng thư mục bên dưới vị trí S3 cho các bản ghi và chọn nhóm.
Trong Bảo mật / Truy cập, hãy để giá trị vai trò IAM làm mặc định.
Nhấp vào nút Kích hoạt.
Làm thế nào để xóa một đường ống?
Xóa đường ống cũng sẽ xóa tất cả các đối tượng liên quan.
Step 1 - Chọn đường ống từ danh sách đường ống.
Step 2 - Nhấp vào nút Tác vụ và sau đó chọn Xóa.
Step 3- Một cửa sổ nhắc xác nhận mở ra. Nhấp vào Xóa.
Các tính năng của Đường ống dữ liệu AWS
Simple and cost-efficient- Tính năng kéo và thả của nó giúp bạn dễ dàng tạo đường dẫn trên bảng điều khiển. Trình tạo đường ống trực quan của nó cung cấp một thư viện các mẫu đường ống. Các mẫu này giúp dễ dàng tạo đường ống cho các tác vụ như xử lý tệp nhật ký, lưu trữ dữ liệu vào Amazon S3, v.v.
Reliable- Cơ sở hạ tầng của nó được thiết kế cho các hoạt động thực thi chịu lỗi. Nếu lỗi xảy ra trong logic hoạt động hoặc nguồn dữ liệu, thì Đường ống dữ liệu AWS sẽ tự động thử lại hoạt động. Nếu lỗi vẫn tiếp tục, thì nó sẽ gửi thông báo lỗi. Chúng tôi thậm chí có thể định cấu hình các cảnh báo thông báo này cho các tình huống như chạy thành công, thất bại, chậm trễ trong các hoạt động, v.v.
Flexible - AWS Data Pipeline cung cấp các tính năng khác nhau như lập lịch, theo dõi, xử lý lỗi, v.v. Nó có thể được định cấu hình để thực hiện các hành động như chạy các công việc Amazon EMR, thực thi truy vấn SQL trực tiếp trên cơ sở dữ liệu, thực thi các ứng dụng tùy chỉnh chạy trên Amazon EC2, v.v.