PySpark - Pendahuluan

Di bab ini, kita akan mengenal apa itu Apache Spark dan bagaimana PySpark dikembangkan.

Spark - Gambaran Umum

Apache Spark adalah kerangka kerja pemrosesan waktu nyata secepat kilat. Itu melakukan komputasi dalam memori untuk menganalisis data secara real-time. Itu muncul sebagai gambarApache Hadoop MapReducehanya melakukan pemrosesan batch dan tidak memiliki fitur pemrosesan waktu nyata. Karenanya, Apache Spark diperkenalkan karena dapat melakukan pemrosesan aliran secara real-time dan juga dapat menangani pemrosesan batch.

Terlepas dari pemrosesan waktu nyata dan batch, Apache Spark mendukung kueri interaktif dan juga algoritme iteratif. Apache Spark memiliki manajer klasternya sendiri, di mana ia dapat menghosting aplikasinya. Ini memanfaatkan Apache Hadoop untuk penyimpanan dan pemrosesan. Itu menggunakanHDFS (Sistem File Terdistribusi Hadoop) untuk penyimpanan dan dapat menjalankan aplikasi Spark YARN demikian juga.

PySpark - Ikhtisar

Apache Spark ditulis Scala programming language. Untuk mendukung Python dengan Spark, Apache Spark Community merilis alat, PySpark. Menggunakan PySpark, Anda dapat bekerja denganRDDsdalam bahasa pemrograman Python juga. Itu karena sebuah perpustakaan bernamaPy4j bahwa mereka mampu mencapai ini.

PySpark menawarkan PySpark Shellyang menautkan Python API ke inti percikan dan menginisialisasi konteks Spark. Mayoritas ilmuwan data dan pakar analitik saat ini menggunakan Python karena kumpulan pustaka yang kaya. Mengintegrasikan Python dengan Spark adalah keuntungan bagi mereka.