Apache Flink - Flink против Spark против Hadoop

Вот исчерпывающая таблица, в которой показано сравнение трех самых популярных платформ больших данных: Apache Flink, Apache Spark и Apache Hadoop.

Apache Hadoop Apache Spark Apache Flink

Year of Origin

2005 г. 2009 г. 2009 г.

Place of Origin

MapReduce (Google) Hadoop (Yahoo) Калифорнийский университет в Беркли Технический университет Берлина

Data Processing Engine

Партия Партия Поток

Processing Speed

Медленнее, чем Spark and Flink В 100 раз быстрее, чем Hadoop Быстрее искры

Programming Languages

Java, C, C ++, Ruby, Groovy, Perl, Python Java, Scala, python и R Java и Scala

Programming Model

Уменьшение карты Устойчивые распределенные наборы данных (RDD) Циклические потоки данных

Data Transfer

Партия Партия Конвейерный и пакетный

Memory Management

На основе диска Управляемая JVM Активный управляемый

Latency

Низкий Средняя Низкий

Throughput

Средняя Высоко Высоко

Optimization

Руководство Руководство Автоматический

API

Низкий уровень Высокий уровень Высокий уровень

Streaming Support

NA Spark Streaming Flink Streaming

SQL Support

Улей, Импала SparkSQL Табличный API и SQL

Graph Support

NA GraphX Gelly

Machine Learning Support

NA SparkML FlinkML