Apache Spark - Kurulum

Spark, Hadoop'un alt projesidir. Bu nedenle, Spark'ı Linux tabanlı bir sisteme kurmak daha iyidir. Aşağıdaki adımlar Apache Spark'ın nasıl kurulacağını gösterir.

Adım 1: Java Kurulumunu Doğrulama

Java yüklemesi, Spark'ı kurarken zorunlu olan şeylerden biridir. JAVA sürümünü doğrulamak için aşağıdaki komutu deneyin.

$java -version

Java sisteminizde zaten yüklüyse, aşağıdaki yanıtı görürsünüz -

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

Sisteminizde Java yüklü değilse, sonraki adıma geçmeden önce Java'yı yükleyin.

2. Adım: Scala kurulumunu doğrulama

Spark'ı uygulamak için Scala dilini kullanmalısınız. Öyleyse aşağıdaki komutu kullanarak Scala kurulumunu doğrulayalım.

$scala -version

Scala sisteminize zaten yüklüyse, aşağıdaki yanıtı görürsünüz -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Sisteminizde Scala kurulu değilse, Scala kurulumu için bir sonraki adıma geçin.

3. Adım: Scala'yı İndirme

Scala İndir bağlantısını ziyaret ederek en son Scala sürümünü indirin . Bu eğitim için scala-2.11.6 sürümünü kullanıyoruz. İndirdikten sonra, Scala tar dosyasını indirme klasöründe bulacaksınız.

Adım 4: Scala'yı Kurma

Scala'yı kurmak için aşağıda verilen adımları izleyin.

Scala tar dosyasını çıkarın

Scala tar dosyasını çıkarmak için aşağıdaki komutu yazın.

$ tar xvf scala-2.11.6.tgz

Scala yazılım dosyalarını taşıyın

Scala yazılım dosyalarını ilgili dizine taşımak için aşağıdaki komutları kullanın (/usr/local/scala).

$ su – 
Password: 
# cd /home/Hadoop/Downloads/ 
# mv scala-2.11.6 /usr/local/scala 
# exit

Scala için PATH ayarla

Scala için PATH ayarlamak için aşağıdaki komutu kullanın.

$ export PATH = $PATH:/usr/local/scala/bin

Scala Kurulumunu Doğrulama

Kurulumdan sonra doğrulamak daha iyidir. Scala kurulumunu doğrulamak için aşağıdaki komutu kullanın.

$scala -version

Scala sisteminize zaten yüklüyse, aşağıdaki yanıtı görürsünüz -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Adım 5: Apache Spark'ı İndirme

Aşağıdaki Spark'ı İndir bağlantısını ziyaret ederek Spark'ın en son sürümünü indirin . Bu eğitim için kullanıyoruzspark-1.3.1-bin-hadoop2.6versiyon. İndirdikten sonra, Spark tar dosyasını indirme klasöründe bulacaksınız.

Adım 6: Spark'ı Yükleme

Spark'ı kurmak için aşağıda verilen adımları izleyin.

Kıvılcım katranının çıkarılması

Spark tar dosyasını çıkarmak için aşağıdaki komut.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Spark yazılım dosyalarını taşıma

Spark yazılım dosyalarını ilgili dizine taşımak için aşağıdaki komutlar (/usr/local/spark).

$ su – 
Password:  

# cd /home/Hadoop/Downloads/ 
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark 
# exit

Spark için ortamı kurma

Aşağıdaki satırı ~ 'a ekleyin/.bashrcdosya. PATH değişkenine spark yazılım dosyasının bulunduğu konumu eklemek anlamına gelir.

export PATH=$PATH:/usr/local/spark/bin

~ / .Bashrc dosyasını kaynak bulmak için aşağıdaki komutu kullanın.

$ source ~/.bashrc

7. Adım: Spark Kurulumunu Doğrulama

Spark kabuğunu açmak için aşağıdaki komutu yazın.

$spark-shell

Kıvılcım başarıyla takılırsa, aşağıdaki çıktıyı bulacaksınız.

Spark assembly has been built with Hive, including Datanucleus jars on classpath 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. 
Welcome to 
      ____              __ 
     / __/__  ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/  '_/ 
   /___/ .__/\_,_/_/ /_/\_\   version 1.4.0 
      /_/  
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) 
Type in expressions to have them evaluated. 
Spark context available as sc  
scala>