Apache Flink - Flink gegen Spark gegen Hadoop
Hier ist eine umfassende Tabelle, die den Vergleich zwischen drei beliebtesten Big-Data-Frameworks zeigt: Apache Flink, Apache Spark und Apache Hadoop.
| Apache Hadoop | Apache Spark | Apache Flink | |
|---|---|---|---|
Year of Origin |
2005 | 2009 | 2009 |
Place of Origin |
MapReduce (Google) Hadoop (Yahoo) | Universität von Kalifornien, Berkeley | Technische Universität Berlin |
Data Processing Engine |
Stapel | Stapel | Strom |
Processing Speed |
Langsamer als Spark und Flink | 100x schneller als Hadoop | Schneller als Funken |
Programming Languages |
Java, C, C ++, Ruby, Groovy, Perl, Python | Java, Scala, Python und R. | Java und Scala |
Programming Model |
Karte verkleinern | Ausfallsichere verteilte Datensätze (RDD) | Zyklische Datenflüsse |
Data Transfer |
Stapel | Stapel | Pipelined und Batch |
Memory Management |
Festplattenbasiert | JVM verwaltet | Aktiv verwaltet |
Latency |
Niedrig | Mittel | Niedrig |
Throughput |
Mittel | Hoch | Hoch |
Optimization |
Handbuch | Handbuch | Automatisch |
API |
Low-Level | Hohes Level | Hohes Level |
Streaming Support |
N / A | Spark Streaming | Flink-Streaming |
SQL Support |
Bienenstock, Impala | SparkSQL | Tabellen-API und SQL |
Graph Support |
N / A | GraphX | Gelly |
Machine Learning Support |
N / A | SparkML | FlinkML |