Apache Flink-소개
Apache Flink는 스트리밍 데이터를 처리 할 수있는 실시간 처리 프레임 워크입니다. 확장 가능하고 정확한 고성능 실시간 애플리케이션을위한 오픈 소스 스트림 처리 프레임 워크입니다. 진정한 스트리밍 모델을 가지고 있으며 입력 데이터를 배치 또는 마이크로 배치로 사용하지 않습니다.
Apache Flink는 Data Artisans 회사에 의해 설립되었으며 현재 Apache Flink Community의 Apache 라이선스에 따라 개발되었습니다. 이 커뮤니티에는 지금까지 479 명 이상의 기여자와 15500 개 이상의 커밋이 있습니다.
Apache Flink의 생태계
아래에 주어진 다이어그램은 Apache Flink 생태계의 여러 계층을 보여줍니다.
저장
Apache Flink에는 데이터를 읽고 쓸 수있는 여러 옵션이 있습니다. 아래는 기본 저장 목록입니다.
- HDFS (Hadoop 분산 파일 시스템)
- 로컬 파일 시스템
- S3
- RDBMS (MySQL, Oracle, MS SQL 등)
- MongoDB
- HBase
- Apache Kafka
- Apache Flume
배포
로컬 모드, 클러스터 모드 또는 클라우드에서 Apache Fink를 배포 할 수 있습니다. 클러스터 모드는 독립형, YARN, MESOS 일 수 있습니다.
클라우드에서 Flink는 AWS 또는 GCP에 배포 할 수 있습니다.
핵심
이것은 분산 처리, 내결함성, 안정성, 기본 반복 처리 기능 등을 제공하는 런타임 계층입니다.
API 및 라이브러리
이것은 Apache Flink의 최상위 계층이자 가장 중요한 계층입니다. 일괄 처리를 담당하는 Dataset API와 스트림 처리를 담당하는 Datastream API가 있습니다. Flink ML (기계 학습용), Gelly (그래프 처리 용), SQL 용 테이블과 같은 다른 라이브러리가 있습니다. 이 계층은 Apache Flink에 다양한 기능을 제공합니다.