Apache Flink-Flink 대 Spark 대 Hadoop

다음은 가장 널리 사용되는 세 가지 빅 데이터 프레임 워크 인 Apache Flink, Apache Spark 및 Apache Hadoop 간의 비교를 보여주는 포괄적 인 표입니다.

Apache Hadoop Apache Spark Apache Flink

Year of Origin

2005 년 2009 년 2009 년

Place of Origin

MapReduce (Google) Hadoop (Yahoo) 캘리포니아 대학교 버클리 베를린 기술 대학교

Data Processing Engine

일괄 일괄 흐름

Processing Speed

Spark 및 Flink보다 느림 Hadoop보다 100 배 더 빠름 스파크보다 빠름

Programming Languages

자바, C, C ++, Ruby, Groovy, Perl, Python Java, Scala, Python 및 R 자바와 스칼라

Programming Model

MapReduce 탄력적 인 분산 데이터 세트 (RDD) 순환 데이터 흐름

Data Transfer

일괄 일괄 파이프 라인 및 배치

Memory Management

디스크 기반 JVM 관리 활성 관리

Latency

낮은 매질 낮은

Throughput

매질 높은 높은

Optimization

설명서 설명서 자동적 인

API

저수준 높은 레벨 높은 레벨

Streaming Support

NA 스파크 스트리밍 Flink 스트리밍

SQL Support

하이브, 임팔라 SparkSQL 테이블 API 및 SQL

Graph Support

NA GraphX 젤리

Machine Learning Support

NA SparkML FlinkML