अपाचे फ्लिंक - फ्लैक बनाम स्पार्क बनाम हडोप
यहां एक व्यापक तालिका है, जो तीन सबसे लोकप्रिय बड़े डेटा फ्रेमवर्क के बीच तुलना को दर्शाती है: अपाचे फ्लिंक, अपाचे स्पार्क और अपाचे हडोप।
| अपाचे होडोप | अपाचे स्पार्क | अपाचे झपकी | |
|---|---|---|---|
Year of Origin |
2005 | 2009 | 2009 |
Place of Origin |
MapReduce (Google) Hadoop (Yahoo) | यूनिवर्सिटी ऑफ कैलिफोर्निया, बर्केले | बर्लिन के तकनीकी विश्वविद्यालय |
Data Processing Engine |
जत्था | जत्था | धारा |
Processing Speed |
स्पार्क और फ्लिंक की तुलना में धीमी | Hadoop की तुलना में 100x तेज़ | चिंगारी से भी तेज |
Programming Languages |
जावा, सी, सी ++, रूबी, ग्रूवी, पर्ल, पायथन | जावा, स्काला, अजगर और आर | जावा और स्काला |
Programming Model |
मानचित्र छोटा करना | लचीला वितरित डेटासेट (RDD) | चक्रीय डेटाफ्लो |
Data Transfer |
जत्था | जत्था | पाइपलाइन और बैच |
Memory Management |
डिस्क आधारित | जेवीएम प्रबंधित | सक्रिय प्रबंधित |
Latency |
कम | मध्यम | कम |
Throughput |
मध्यम | उच्च | उच्च |
Optimization |
गाइड | गाइड | स्वचालित |
API |
निम्न स्तर | ऊँचा स्तर | ऊँचा स्तर |
Streaming Support |
ना | स्पार्क स्ट्रीमिंग | झपकी स्ट्रीमिंग |
SQL Support |
हाइव, इम्पाला | SparkSQL | टेबल एपीआई और एसक्यूएल |
Graph Support |
ना | GraphX | Gelly |
Machine Learning Support |
ना | SparkML | FlinkML |