Extrahieren von Funktionen mit PySpark

In diesem Kapitel erfahren Sie mehr über die Anwendung der Extraktionsfunktionen mit PySpark in Agile Data Science.

Übersicht über Spark

Apache Spark kann als schnelles Echtzeit-Verarbeitungsframework definiert werden. Es führt Berechnungen durch, um Daten in Echtzeit zu analysieren. Apache Spark wird als Stream-Verarbeitungssystem in Echtzeit eingeführt und kann sich auch um die Stapelverarbeitung kümmern. Apache Spark unterstützt interaktive Abfragen und iterative Algorithmen.

Spark ist in der Programmiersprache Scala geschrieben.

PySpark kann als Kombination von Python mit Spark betrachtet werden. PySpark bietet die PySpark-Shell, die die Python-API mit dem Spark-Kern verknüpft und den Spark-Kontext initialisiert. Die meisten Datenwissenschaftler verwenden PySpark zum Verfolgen von Funktionen, wie im vorherigen Kapitel erläutert.

In diesem Beispiel konzentrieren wir uns auf die Transformationen, um ein Dataset namens count zu erstellen und es in einer bestimmten Datei zu speichern.

text_file = sc.textFile("hdfs://...")
counts = text_file.flatMap(lambda line: line.split(" ")) \
   .map(lambda word: (word, 1)) \
   .reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("hdfs://...")

Mit PySpark kann ein Benutzer mit RDDs in der Programmiersprache Python arbeiten. Die eingebaute Bibliothek, die die Grundlagen datengesteuerter Dokumente und Komponenten abdeckt, hilft dabei.