Apache Flink - Flink vs Spark vs Hadoop

Berikut adalah tabel komprehensif, yang menunjukkan perbandingan antara tiga framework big data paling populer: Apache Flink, Apache Spark, dan Apache Hadoop.

Apache Hadoop Apache Spark Apache Flink

Year of Origin

2005 2009 2009

Place of Origin

MapReduce (Google) Hadoop (Yahoo) Universitas California, Berkeley Universitas Teknik Berlin

Data Processing Engine

Batch Batch Aliran

Processing Speed

Lebih lambat dari Spark dan Flink 100x Lebih Cepat dari Hadoop Lebih cepat dari percikan

Programming Languages

Java, C, C ++, Ruby, Groovy, Perl, Python Java, Scala, python dan R Java dan Scala

Programming Model

MapReduce Set Data Terdistribusi Tangguh (RDD) Aliran data siklik

Data Transfer

Batch Batch Pipelined dan Batch

Memory Management

Berbasis Disk JVM Dikelola Dikelola Aktif

Latency

Rendah Medium Rendah

Throughput

Medium Tinggi Tinggi

Optimization

Manual Manual Otomatis

API

Level rendah Level tinggi Level tinggi

Streaming Support

NA Spark Streaming Streaming Flink

SQL Support

Sarang, Impala SparkSQL API Tabel dan SQL

Graph Support

NA GraphX Gelly

Machine Learning Support

NA SparkML FlinkML