Apache Flink-Flink 대 Spark 대 Hadoop
다음은 가장 널리 사용되는 세 가지 빅 데이터 프레임 워크 인 Apache Flink, Apache Spark 및 Apache Hadoop 간의 비교를 보여주는 포괄적 인 표입니다.
| Apache Hadoop | Apache Spark | Apache Flink | |
|---|---|---|---|
Year of Origin |
2005 년 | 2009 년 | 2009 년 |
Place of Origin |
MapReduce (Google) Hadoop (Yahoo) | 캘리포니아 대학교 버클리 | 베를린 기술 대학교 |
Data Processing Engine |
일괄 | 일괄 | 흐름 |
Processing Speed |
Spark 및 Flink보다 느림 | Hadoop보다 100 배 더 빠름 | 스파크보다 빠름 |
Programming Languages |
자바, C, C ++, Ruby, Groovy, Perl, Python | Java, Scala, Python 및 R | 자바와 스칼라 |
Programming Model |
MapReduce | 탄력적 인 분산 데이터 세트 (RDD) | 순환 데이터 흐름 |
Data Transfer |
일괄 | 일괄 | 파이프 라인 및 배치 |
Memory Management |
디스크 기반 | JVM 관리 | 활성 관리 |
Latency |
낮은 | 매질 | 낮은 |
Throughput |
매질 | 높은 | 높은 |
Optimization |
설명서 | 설명서 | 자동적 인 |
API |
저수준 | 높은 레벨 | 높은 레벨 |
Streaming Support |
NA | 스파크 스트리밍 | Flink 스트리밍 |
SQL Support |
하이브, 임팔라 | SparkSQL | 테이블 API 및 SQL |
Graph Support |
NA | GraphX | 젤리 |
Machine Learning Support |
NA | SparkML | FlinkML |