Apache Spark - instalacja

Spark to podprojekt Hadoop. Dlatego lepiej jest zainstalować Sparka w systemie opartym na systemie Linux. Poniższe kroki pokazują, jak zainstalować Apache Spark.

Krok 1: weryfikacja instalacji Java

Instalacja Java jest jedną z obowiązkowych rzeczy podczas instalacji Sparka. Wypróbuj następujące polecenie, aby sprawdzić wersję JAVA.

$java -version

Jeśli Java jest już zainstalowana w twoim systemie, zobaczysz następującą odpowiedź -

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

Jeśli nie masz zainstalowanej Java w swoim systemie, zainstaluj Javę przed przejściem do następnego kroku.

Krok 2: Weryfikacja instalacji Scala

Aby zaimplementować Spark, powinieneś użyć języka Scala. Sprawdźmy więc instalację Scali za pomocą następującego polecenia.

$scala -version

Jeśli Scala jest już zainstalowana w twoim systemie, zobaczysz następującą odpowiedź -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Jeśli nie masz zainstalowanej Scali w swoim systemie, przejdź do następnego kroku instalacji Scala.

Krok 3: Pobieranie Scali

Pobierz najnowszą wersję Scala, odwiedzając poniższy link Pobierz Scala . W tym samouczku używamy wersji scala-2.11.6. Po pobraniu znajdziesz plik tar Scala w folderze pobierania.

Krok 4: Instalacja Scali

Wykonaj poniższe kroki, aby zainstalować Scala.

Rozpakuj plik tar Scala

Wpisz następujące polecenie, aby wyodrębnić plik tar Scala.

$ tar xvf scala-2.11.6.tgz

Przenieś pliki oprogramowania Scala

Użyj następujących poleceń, aby przenieść pliki oprogramowania Scala do odpowiedniego katalogu (/usr/local/scala).

$ su – 
Password: 
# cd /home/Hadoop/Downloads/ 
# mv scala-2.11.6 /usr/local/scala 
# exit

Ustaw PATH dla Scala

Użyj następującego polecenia, aby ustawić PATH dla Scala.

$ export PATH = $PATH:/usr/local/scala/bin

Weryfikacja instalacji Scali

Po instalacji lepiej to zweryfikować. Użyj następującego polecenia, aby zweryfikować instalację programu Scala.

$scala -version

Jeśli Scala jest już zainstalowana w twoim systemie, zobaczysz następującą odpowiedź -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Krok 5: Pobieranie Apache Spark

Pobierz najnowszą wersję Spark, odwiedzając poniższe łącze Pobierz Spark . W tym samouczku używamyspark-1.3.1-bin-hadoop2.6wersja. Po pobraniu plik tar Spark znajdziesz w folderze pobierania.

Krok 6: Instalacja Sparka

Wykonaj poniższe czynności, aby zainstalować Sparka.

Wydobywanie smoły Spark

Następujące polecenie do wyodrębnienia pliku Spark tar.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Przenoszenie plików oprogramowania Spark

Następujące polecenia do przenoszenia plików oprogramowania Spark do odpowiedniego katalogu (/usr/local/spark).

$ su – 
Password:  

# cd /home/Hadoop/Downloads/ 
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark 
# exit

Konfigurowanie środowiska dla Spark

Dodaj następujący wiersz do ~/.bashrcplik. Oznacza to dodanie lokalizacji, w której znajduje się plik oprogramowania Spark, do zmiennej PATH.

export PATH=$PATH:/usr/local/spark/bin

Użyj następującego polecenia, aby pozyskać plik ~ / .bashrc.

$ source ~/.bashrc

Krok 7: Weryfikacja instalacji Spark

Napisz następujące polecenie, aby otworzyć powłokę Spark.

$spark-shell

Jeśli Spark zostanie pomyślnie zainstalowany, znajdziesz następujący wynik.

Spark assembly has been built with Hive, including Datanucleus jars on classpath 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. 
Welcome to 
      ____              __ 
     / __/__  ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/  '_/ 
   /___/ .__/\_,_/_/ /_/\_\   version 1.4.0 
      /_/  
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) 
Type in expressions to have them evaluated. 
Spark context available as sc  
scala>