การแยกคุณสมบัติด้วย PySpark

ในบทนี้เราจะเรียนรู้เกี่ยวกับการประยุกต์ใช้คุณสมบัติการแยกด้วย PySpark ใน Agile Data Science

ภาพรวมของ Spark

Apache Spark สามารถกำหนดให้เป็นกรอบการประมวลผลแบบเรียลไทม์ที่รวดเร็ว ทำการคำนวณเพื่อวิเคราะห์ข้อมูลแบบเรียลไทม์ Apache Spark ถูกนำมาใช้เป็นระบบประมวลผลสตรีมแบบเรียลไทม์และยังสามารถดูแลการประมวลผลแบบแบทช์ Apache Spark รองรับการสอบถามแบบโต้ตอบและอัลกอริทึมซ้ำ ๆ

Spark เขียนด้วย "ภาษาโปรแกรม Scala"

PySpark ถือได้ว่าเป็นการรวมกันระหว่าง Python กับ Spark PySpark มี PySpark shell ซึ่งเชื่อมโยง Python API กับ Spark core และเริ่มต้นบริบท Spark นักวิทยาศาสตร์ข้อมูลส่วนใหญ่ใช้ PySpark เพื่อติดตามคุณสมบัติตามที่กล่าวไว้ในบทก่อนหน้า

ในตัวอย่างนี้เราจะเน้นไปที่การแปลงเพื่อสร้างชุดข้อมูลที่เรียกว่า counts และบันทึกลงในไฟล์เฉพาะ

text_file = sc.textFile("hdfs://...")
counts = text_file.flatMap(lambda line: line.split(" ")) \
   .map(lambda word: (word, 1)) \
   .reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("hdfs://...")

การใช้ PySpark ผู้ใช้สามารถทำงานกับ RDD ในภาษาโปรแกรมไพ ธ อน ไลบรารี inbuilt ซึ่งครอบคลุมพื้นฐานของเอกสารและส่วนประกอบที่ขับเคลื่อนด้วยข้อมูลช่วยในเรื่องนี้