Apache Flink - Flink vs Spark เทียบกับ Hadoop
นี่คือตารางที่ครอบคลุมซึ่งแสดงการเปรียบเทียบระหว่างกรอบข้อมูลขนาดใหญ่ที่ได้รับความนิยมสูงสุดสามกรอบ ได้แก่ Apache Flink, Apache Spark และ Apache Hadoop
| Apache Hadoop | Apache Spark | Apache Flink | |
|---|---|---|---|
Year of Origin |
พ.ศ. 2548 | 2552 | 2552 |
Place of Origin |
MapReduce (Google) Hadoop (Yahoo) | มหาวิทยาลัยแคลิฟอร์เนียเบิร์กลีย์ | มหาวิทยาลัยเทคนิคแห่งเบอร์ลิน |
Data Processing Engine |
แบทช์ | แบทช์ | กระแส |
Processing Speed |
ช้ากว่า Spark และ Flink | เร็วกว่า Hadoop 100 เท่า | เร็วกว่าประกายไฟ |
Programming Languages |
Java, C, C ++, Ruby, Groovy, Perl, Python | Java, Scala, python และ R | Java และ Scala |
Programming Model |
MapReduce | ชุดข้อมูลแบบกระจายที่ยืดหยุ่น (RDD) | กระแสข้อมูล Cyclic |
Data Transfer |
แบทช์ | แบทช์ | ท่อและแบทช์ |
Memory Management |
ตามดิสก์ | JVM จัดการ | มีการจัดการที่ใช้งานอยู่ |
Latency |
ต่ำ | ปานกลาง | ต่ำ |
Throughput |
ปานกลาง | สูง | สูง |
Optimization |
คู่มือ | คู่มือ | อัตโนมัติ |
API |
ระดับต่ำ | ระดับสูง | ระดับสูง |
Streaming Support |
NA | Spark Streaming | Flink Streaming |
SQL Support |
รังอิมพาลา | SparkSQL | ตาราง API และ SQL |
Graph Support |
NA | GraphX | เกลลี่ |
Machine Learning Support |
NA | SparkML | FlinkML |