Apache Flink - Flink vs Spark vs Hadoop
Ecco una tabella completa, che mostra il confronto tra i tre framework di big data più popolari: Apache Flink, Apache Spark e Apache Hadoop.
| Apache Hadoop | Apache Spark | Apache Flink | |
|---|---|---|---|
Year of Origin |
2005 | 2009 | 2009 |
Place of Origin |
MapReduce (Google) Hadoop (Yahoo) | Università della California, Berkeley | Università Tecnica di Berlino |
Data Processing Engine |
Lotto | Lotto | Stream |
Processing Speed |
Più lento di Spark e Flink | 100 volte più veloce di Hadoop | Più veloce della scintilla |
Programming Languages |
Java, C, C ++, Ruby, Groovy, Perl, Python | Java, Scala, Python e R | Java e Scala |
Programming Model |
Riduci mappa | Set di dati distribuiti resilienti (RDD) | Flussi di dati ciclici |
Data Transfer |
Lotto | Lotto | Pipelined e batch |
Memory Management |
Basato su disco | Gestito da JVM | Gestito attivo |
Latency |
Basso | medio | Basso |
Throughput |
medio | Alto | Alto |
Optimization |
Manuale | Manuale | Automatico |
API |
Basso livello | Alto livello | Alto livello |
Streaming Support |
N / A | Spark Streaming | Flink Streaming |
SQL Support |
Alveare, Impala | SparkSQL | Tabella API e SQL |
Graph Support |
N / A | GraphX | Gelly |
Machine Learning Support |
N / A | SparkML | FlinkML |