Dịch vụ web của Amazon - Kinesis
Amazon Kinesislà một dịch vụ dựa trên đám mây được quản lý, có thể mở rộng, cho phép xử lý theo thời gian thực đối với việc truyền trực tuyến một lượng lớn dữ liệu mỗi giây. Nó được thiết kế cho các ứng dụng thời gian thực và cho phép các nhà phát triển lấy bất kỳ lượng dữ liệu nào từ nhiều nguồn, mở rộng quy mô lên và xuống để có thể chạy trên các phiên bản EC2.
Nó được sử dụng để thu thập, lưu trữ và xử lý dữ liệu từ các luồng lớn, phân tán như nhật ký sự kiện và nguồn cấp dữ liệu truyền thông xã hội. Sau khi xử lý dữ liệu, Kinesis phân phối nó cho nhiều người tiêu dùng đồng thời.
Cách sử dụng Amazon KCL?
Nó được sử dụng trong các tình huống mà chúng tôi yêu cầu dữ liệu di chuyển nhanh chóng và quá trình xử lý liên tục của nó. Amazon Kinesis có thể được sử dụng trong các trường hợp sau:
Data log and data feed intake- Chúng tôi không cần đợi để gộp dữ liệu theo lô, chúng tôi có thể đẩy dữ liệu lên luồng Amazon Kinesis ngay sau khi dữ liệu được tạo ra. Nó cũng bảo vệ việc mất dữ liệu trong trường hợp nhà sản xuất dữ liệu bị lỗi. Ví dụ: Nhật ký hệ thống và ứng dụng có thể được thêm liên tục vào luồng và có thể khả dụng trong vài giây khi được yêu cầu.
Real-time graphs- Chúng tôi có thể trích xuất đồ thị / số liệu bằng cách sử dụng luồng Amazon Kinesis để tạo kết quả báo cáo. Chúng tôi không cần đợi các lô dữ liệu.
Real-time data analytics - Chúng tôi có thể chạy phân tích dữ liệu phát trực tuyến theo thời gian thực bằng cách sử dụng Amazon Kinesis.
Giới hạn của Amazon Kinesis?
Sau đây là những giới hạn nhất định cần lưu ý khi sử dụng Amazon Kinesis Streams -
Theo mặc định, bản ghi của một luồng có thể được truy cập lên đến 24 giờ và có thể được kéo dài đến 7 ngày bằng cách cho phép lưu giữ dữ liệu kéo dài.
Kích thước tối đa của một khối dữ liệu (trọng tải dữ liệu trước khi mã hóa Base64) trong một bản ghi là 1 megabyte (MB).
Một phân đoạn hỗ trợ lên đến 1000 bản ghi PUT mỗi giây.
Để biết thêm thông tin liên quan đến giới hạn, hãy truy cập liên kết sau: https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html
Cách sử dụng Amazon Kinesis?
Sau đây là các bước để sử dụng Amazon Kinesis:
Step 1 - Thiết lập Kinesis Stream bằng các bước sau:
Đăng nhập vào tài khoản AWS. Chọn Amazon Kinesis từ Bảng điều khiển quản lý Amazon.
Nhấp vào Tạo luồng và điền vào các trường bắt buộc như tên luồng và số lượng phân đoạn. Nhấp vào nút Tạo.
Luồng bây giờ sẽ hiển thị trong Danh sách luồng.
Step 2- Thiết lập người dùng trên luồng Kinesis. Tạo Người dùng Mới và chỉ định chính sách cho từng người dùng. (Chúng ta đã thảo luận về quy trình ở trên để tạo Người dùng và chỉ định chính sách cho họ)
Step 3- Kết nối ứng dụng của bạn với Amazon Kinesis; ở đây chúng tôi đang kết nối Zoomdata với Amazon Kinesis. Sau đây là các bước để kết nối.
Đăng nhập vào Zoomdata với tư cách Quản trị viên và nhấp vào Nguồn trong menu.
Chọn biểu tượng Kinesis và điền các chi tiết cần thiết. Nhấp vào nút Tiếp theo.
Chọn Luồng mong muốn trên tab Luồng.
Trên tab Trường, tạo tên nhãn duy nhất, theo yêu cầu và nhấp vào nút Tiếp theo.
Trên tab Biểu đồ, bật biểu đồ cho dữ liệu. Tùy chỉnh cài đặt theo yêu cầu và sau đó nhấp vào nút Hoàn tất để lưu cài đặt.
Đặc điểm của Amazon Kinesis
Real-time processing - Nó cho phép thu thập và phân tích thông tin theo thời gian thực như giá giao dịch chứng khoán, nếu không chúng ta cần đợi báo cáo xuất dữ liệu.
Easy to use - Sử dụng Amazon Kinesis, chúng tôi có thể tạo một luồng mới, thiết lập các yêu cầu của nó và bắt đầu truyền dữ liệu một cách nhanh chóng.
High throughput, elastic - Nó cho phép thu thập và phân tích thông tin theo thời gian thực như giá giao dịch chứng khoán, nếu không chúng ta cần đợi báo cáo xuất dữ liệu.
Integrate with other Amazon services - Nó có thể được tích hợp với Amazon Redshift, Amazon S3 và Amazon DynamoDB.
Build kinesis applications- Amazon Kinesis cung cấp cho các nhà phát triển thư viện máy khách cho phép thiết kế và vận hành các ứng dụng xử lý dữ liệu thời gian thực. Thêm Thư viện khách hàng Amazon Kinesis vào ứng dụng Java và nó sẽ thông báo khi có dữ liệu mới để xử lý.
Cost-efficient- Amazon Kinesis tiết kiệm chi phí cho khối lượng công việc ở mọi quy mô. Thanh toán khi chúng tôi sử dụng các tài nguyên được sử dụng và trả hàng giờ cho thông lượng cần thiết.