ApacheFlink-Flink vs Spark vs Hadoop
これは、Apache Flink、Apache Spark、ApacheHadoopの3つの最も人気のあるビッグデータフレームワークの比較を示す包括的な表です。
| Apache Hadoop | Apache Spark | Apache Flink | |
|---|---|---|---|
Year of Origin |
2005年 | 2009年 | 2009年 |
Place of Origin |
MapReduce（Google）Hadoop（Yahoo） | カリフォルニア大学バークレー校 | ベルリン工科大学 |
Data Processing Engine |
バッチ | バッチ | ストリーム |
Processing Speed |
SparkやFlinkよりも遅い | Hadoopより100倍高速 | スパークよりも速い |
Programming Languages |
Java、C、C ++、Ruby、Groovy、Perl、Python | Java、Scala、python、R | JavaとScala |
Programming Model |
MapReduce | 復元力のある分散データセット（RDD） | 循環データフロー |
Data Transfer |
バッチ | バッチ | パイプラインおよびバッチ |
Memory Management |
ディスクベース | JVM管理 | アクティブマネージド |
Latency |
低 | 中 | 低 |
Throughput |
中 | 高い | 高い |
Optimization |
マニュアル | マニュアル | 自動 |
API |
低レベル | 上級 | 上級 |
Streaming Support |
NA | Sparkストリーミング | フリンクストリーミング |
SQL Support |
ハイブ、インパラ | SparkSQL | テーブルAPIとSQL |
Graph Support |
NA | GraphX | ジェリー |
Machine Learning Support |
NA | SparkML | FlinkML |