Funken - Installation

Spark ist das Teilprojekt von Hadoop. Daher ist es besser, Spark auf einem Linux-basierten System zu installieren. Die folgenden Schritte zeigen, wie Sie Apache Spark installieren.

Schritt 1: Überprüfen der Java-Installation

Die Java-Installation ist eines der obligatorischen Dinge bei der Installation von Spark. Versuchen Sie den folgenden Befehl, um die JAVA-Version zu überprüfen.

$java -version

Wenn Java bereits auf Ihrem System installiert ist, wird die folgende Antwort angezeigt:

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

Wenn auf Ihrem System kein Java installiert ist, installieren Sie Java, bevor Sie mit dem nächsten Schritt fortfahren.

Schritt 2: Überprüfen der Scala-Installation

Sie sollten die Scala-Sprache verwenden, um Spark zu implementieren. Lassen Sie uns die Scala-Installation mit dem folgenden Befehl überprüfen.

$scala -version

Wenn Scala bereits auf Ihrem System installiert ist, wird die folgende Antwort angezeigt:

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Wenn Sie Scala nicht auf Ihrem System installiert haben, fahren Sie mit dem nächsten Schritt für die Scala-Installation fort.

Schritt 3: Scala herunterladen

Laden Sie die neueste Version von Scala herunter, indem Sie den folgenden Link herunterladen: Scala herunterladen . Für dieses Tutorial verwenden wir die Version scala-2.11.6. Nach dem Download finden Sie die Scala-TAR-Datei im Download-Ordner.

Schritt 4: Scala installieren

Befolgen Sie die unten angegebenen Schritte zur Installation von Scala.

Extrahieren Sie die Scala-TAR-Datei

Geben Sie den folgenden Befehl zum Extrahieren der Scala-TAR-Datei ein.

$ tar xvf scala-2.11.6.tgz

Verschieben Sie Scala-Softwaredateien

Verwenden Sie die folgenden Befehle, um die Scala-Softwaredateien in das entsprechende Verzeichnis zu verschieben (/usr/local/scala).

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv scala-2.11.6 /usr/local/scala
# exit

Stellen Sie PATH für Scala ein

Verwenden Sie den folgenden Befehl, um PATH für Scala festzulegen.

$ export PATH = $PATH:/usr/local/scala/bin

Überprüfen der Scala-Installation

Nach der Installation ist es besser, dies zu überprüfen. Verwenden Sie den folgenden Befehl, um die Scala-Installation zu überprüfen.

$scala -version

Wenn Scala bereits auf Ihrem System installiert ist, wird die folgende Antwort angezeigt:

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Schritt 5: Herunterladen von Apache Spark

Laden Sie die neueste Version von Spark herunter, indem Sie den folgenden Link herunterladen: Spark herunterladen . Für dieses Tutorial verwenden wirspark-1.3.1-bin-hadoop2.6Ausführung. Nach dem Herunterladen finden Sie die Spark-Tar-Datei im Download-Ordner.

Schritt 6: Spark installieren

Führen Sie die folgenden Schritte aus, um Spark zu installieren.

Funken-Teer extrahieren

Der folgende Befehl zum Extrahieren der Spark-Tar-Datei.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Verschieben von Spark-Softwaredateien

Die folgenden Befehle zum Verschieben der Spark-Softwaredateien in das entsprechende Verzeichnis (/usr/local/spark).

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark
# exit

Einrichten der Umgebung für Spark

Fügen Sie die folgende Zeile zu ~ hinzu/.bashrcDatei. Dies bedeutet, dass der PATH-Variablen der Speicherort hinzugefügt wird, an dem sich die Spark-Softwaredatei befindet.

export PATH = $PATH:/usr/local/spark/bin

Verwenden Sie den folgenden Befehl, um die Datei ~ / .bashrc zu beziehen.

$ source ~/.bashrc

Schritt 7: Überprüfen der Spark-Installation

Schreiben Sie den folgenden Befehl zum Öffnen der Spark-Shell.

$spark-shell

Wenn der Funke erfolgreich installiert wurde, finden Sie die folgende Ausgabe.

Spark assembly has been built with Hive, including Datanucleus jars on classpath
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.
Welcome to
    ____             __
   / __/__ ___ _____/ /__
   _\ \/ _ \/ _ `/ __/ '_/
   /___/ .__/\_,_/_/ /_/\_\ version 1.4.0
      /_/
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)
Type in expressions to have them evaluated.
Spark context available as sc
scala>