Apache Flink - Flink vs Spark vs Hadoop
Oto obszerna tabela, która pokazuje porównanie trzech najpopularniejszych frameworków do dużych zbiorów danych: Apache Flink, Apache Spark i Apache Hadoop.
| Apache Hadoop | Apache Spark | Apache Flink | |
|---|---|---|---|
Year of Origin |
2005 | 2009 | 2009 |
Place of Origin |
MapReduce (Google) Hadoop (Yahoo) | Uniwersytet Kalifornijski w Berkeley | Uniwersytet Techniczny w Berlinie |
Data Processing Engine |
Partia | Partia | Strumień |
Processing Speed |
Wolniej niż Spark i Flink | 100x szybszy niż Hadoop | Szybciej niż iskra |
Programming Languages |
Java, C, C ++, Ruby, Groovy, Perl, Python | Java, Scala, python i R | Java i Scala |
Programming Model |
MapReduce | Odporne rozproszone zbiory danych (RDD) | Cykliczne przepływy danych |
Data Transfer |
Partia | Partia | Rurociągowe i wsadowe |
Memory Management |
Oparte na dyskach | Zarządzana JVM | Aktywne zarządzane |
Latency |
Niska | Średni | Niska |
Throughput |
Średni | Wysoki | Wysoki |
Optimization |
podręcznik | podręcznik | Automatyczny |
API |
Niski poziom | Wysoki poziom | Wysoki poziom |
Streaming Support |
NA | Spark Streaming | Flink Streaming |
SQL Support |
Rój, Impala | SparkSQL | Tabela API i SQL |
Graph Support |
NA | GraphX | Gelly |
Machine Learning Support |
NA | SparkML | FlinkML |