Apache Flink - Flink против Spark против Hadoop
Вот исчерпывающая таблица, в которой показано сравнение трех самых популярных платформ больших данных: Apache Flink, Apache Spark и Apache Hadoop.
| Apache Hadoop | Apache Spark | Apache Flink | |
|---|---|---|---|
Year of Origin |
2005 г. | 2009 г. | 2009 г. |
Place of Origin |
MapReduce (Google) Hadoop (Yahoo) | Калифорнийский университет в Беркли | Технический университет Берлина |
Data Processing Engine |
Партия | Партия | Поток |
Processing Speed |
Медленнее, чем Spark and Flink | В 100 раз быстрее, чем Hadoop | Быстрее искры |
Programming Languages |
Java, C, C ++, Ruby, Groovy, Perl, Python | Java, Scala, python и R | Java и Scala |
Programming Model |
Уменьшение карты | Устойчивые распределенные наборы данных (RDD) | Циклические потоки данных |
Data Transfer |
Партия | Партия | Конвейерный и пакетный |
Memory Management |
На основе диска | Управляемая JVM | Активный управляемый |
Latency |
Низкий | Средняя | Низкий |
Throughput |
Средняя | Высоко | Высоко |
Optimization |
Руководство | Руководство | Автоматический |
API |
Низкий уровень | Высокий уровень | Высокий уровень |
Streaming Support |
NA | Spark Streaming | Flink Streaming |
SQL Support |
Улей, Импала | SparkSQL | Табличный API и SQL |
Graph Support |
NA | GraphX | Gelly |
Machine Learning Support |
NA | SparkML | FlinkML |