PySpark ile unsurları çıkarma

Bu bölümde, Agile Veri Biliminde PySpark ile ayıklama özelliklerinin uygulamasını öğreneceğiz.

Spark'a Genel Bakış

Apache Spark, hızlı bir gerçek zamanlı işleme çerçevesi olarak tanımlanabilir. Verileri gerçek zamanlı olarak analiz etmek için hesaplamalar yapar. Apache Spark, gerçek zamanlı olarak akış işleme sistemi olarak tanıtıldı ve ayrıca toplu işlemeyi de halledebilir. Apache Spark, etkileşimli sorguları ve yinelemeli algoritmaları destekler.

Spark, "Scala programlama dili" ile yazılmıştır.

PySpark, Python ile Spark'ın bir kombinasyonu olarak düşünülebilir. PySpark, Python API'yi Spark çekirdeğine bağlayan ve Spark bağlamını başlatan PySpark kabuğu sunar. Veri bilimcilerin çoğu, önceki bölümde tartışıldığı gibi izleme özellikleri için PySpark'ı kullanıyor.

Bu örnekte, counts adlı bir veri kümesi oluşturmak ve onu belirli bir dosyaya kaydetmek için dönüşümlere odaklanacağız.

text_file = sc.textFile("hdfs://...")
counts = text_file.flatMap(lambda line: line.split(" ")) \
   .map(lambda word: (word, 1)) \
   .reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("hdfs://...")

PySpark'ı kullanarak, bir kullanıcı RDD'lerle python programlama dilinde çalışabilir. Veriye Dayalı belgelerin ve bileşenlerin temellerini kapsayan dahili kitaplık buna yardımcı olur.