Amazon Web Services-Kinesis
Amazon Kinesis초당 대량의 데이터 스트리밍을 실시간으로 처리 할 수있는 확장 가능한 관리 형 클라우드 기반 서비스입니다. 실시간 애플리케이션 용으로 설계되었으며 개발자가 여러 소스에서 원하는 양의 데이터를 가져와 EC2 인스턴스에서 실행할 수있는 확장 및 축소를 수행 할 수 있습니다.
이벤트 로그 및 소셜 미디어 피드와 같은 대규모 분산 스트림에서 데이터를 캡처, 저장 및 처리하는 데 사용됩니다. 데이터를 처리 한 후 Kinesis는 데이터를 여러 소비자에게 동시에 배포합니다.
Amazon KCL을 사용하는 방법?
빠르게 이동하는 데이터와 지속적인 처리가 필요한 상황에서 사용됩니다. Amazon Kinesis는 다음과 같은 상황에서 사용할 수 있습니다.
Data log and data feed intake− 데이터 배치를 기다릴 필요가 없습니다. 데이터가 생성되는 즉시 Amazon Kinesis 스트림으로 데이터를 푸시 할 수 있습니다. 또한 데이터 생산자가 실패하는 경우 데이터 손실을 보호합니다. 예 : 시스템 및 애플리케이션 로그를 스트림에 지속적으로 추가 할 수 있으며 필요할 때 몇 초 안에 사용할 수 있습니다.
Real-time graphs− Amazon Kinesis 스트림을 사용하여 그래프 / 지표를 추출하여 보고서 결과를 생성 할 수 있습니다. 데이터 배치를 기다릴 필요가 없습니다.
Real-time data analytics − Amazon Kinesis를 사용하여 실시간 스트리밍 데이터 분석을 실행할 수 있습니다.
Amazon Kinesis의 한계?
다음은 Amazon Kinesis Streams를 사용하는 동안 명심해야 할 특정 제한 사항입니다.
스트림 기록은 기본적으로 최대 24 시간까지 액세스 할 수 있으며 데이터 보존을 연장하여 최대 7 일까지 연장 할 수 있습니다.
한 레코드에서 데이터 Blob (Base64 인코딩 이전의 데이터 페이로드)의 최대 크기는 1MB입니다.
하나의 샤드는 초당 최대 1000 개의 PUT 레코드를 지원합니다.
제한과 관련된 자세한 정보는 다음 링크를 참조하십시오. https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html
Amazon Kinesis를 사용하는 방법?
다음은 Amazon Kinesis를 사용하는 단계입니다.
Step 1 − 다음 단계를 사용하여 Kinesis Stream 설정 −
AWS 계정에 로그인합니다. Amazon Management Console에서 Amazon Kinesis를 선택합니다.
스트림 생성을 클릭하고 스트림 이름 및 샤드 수와 같은 필수 필드를 채 웁니다. 만들기 버튼을 클릭합니다.
이제 스트림이 스트림 목록에 표시됩니다.
Step 2− Kinesis 스트림에서 사용자를 설정합니다. 새 사용자 생성 및 각 사용자에게 정책 할당 (위에서 사용자 생성 및 정책 할당 절차를 논의했습니다)
Step 3− 애플리케이션을 Amazon Kinesis에 연결합니다. 여기에서 Zoomdata를 Amazon Kinesis에 연결합니다. 다음은 연결하는 단계입니다.
Zoomdata에 관리자로 로그인하고 메뉴에서 소스를 클릭하십시오.
Kinesis 아이콘을 선택하고 필요한 세부 정보를 입력합니다. 다음 버튼을 클릭하십시오.
스트림 탭에서 원하는 스트림을 선택합니다.
필드 탭에서 필요에 따라 고유 한 레이블 이름을 만들고 다음 버튼을 클릭합니다.
차트 탭에서 데이터에 대한 차트를 활성화합니다. 필요에 따라 설정을 사용자 정의한 다음 마침 버튼을 클릭하여 설정을 저장합니다.
Amazon Kinesis의 기능
Real-time processing − 주식 거래 가격과 같이 실시간으로 정보를 수집하고 분석 할 수 있습니다. 그렇지 않으면 데이터 출력 보고서를 기다려야합니다.
Easy to use − Amazon Kinesis를 사용하여 새 스트림을 생성하고 요구 사항을 설정하고 데이터 스트리밍을 빠르게 시작할 수 있습니다.
High throughput, elastic − 주식 거래 가격과 같이 실시간으로 정보를 수집하고 분석 할 수 있습니다. 그렇지 않으면 데이터 출력 보고서를 기다려야합니다.
Integrate with other Amazon services − Amazon Redshift, Amazon S3 및 Amazon DynamoDB와 통합 할 수 있습니다.
Build kinesis applications− Amazon Kinesis는 개발자에게 실시간 데이터 처리 애플리케이션의 설계 및 운영을 가능하게하는 클라이언트 라이브러리를 제공합니다. Amazon Kinesis Client Library를 Java 애플리케이션에 추가하면 새 데이터를 처리 할 수있을 때 알림이 표시됩니다.
Cost-efficient− Amazon Kinesis는 모든 규모의 워크로드에 대해 비용 효율적입니다. 사용한 리소스에 대해 사용한만큼 지불하고 필요한 처리량에 대해 시간당 지불합니다.