Spark - Kurulum

Spark, Hadoop'un alt projesidir. Bu nedenle, Spark'ı Linux tabanlı bir sisteme kurmak daha iyidir. Aşağıdaki adımlar Apache Spark'ın nasıl kurulacağını gösterir.

Adım 1: Java Kurulumunu Doğrulama

Java yüklemesi, Spark'ı kurarken zorunlu olan şeylerden biridir. JAVA sürümünü doğrulamak için aşağıdaki komutu deneyin.

$java -version

Java sisteminizde zaten yüklüyse, aşağıdaki yanıtı görürsünüz -

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

Sisteminizde Java yüklü değilse, sonraki adıma geçmeden önce Java'yı yükleyin.

Adım 2: Scala Kurulumunu Doğrulama

Spark'ı uygulamak için Scala dilini kullanmalısınız. Öyleyse aşağıdaki komutu kullanarak Scala kurulumunu doğrulayalım.

$scala -version

Scala zaten sisteminize yüklüyse, aşağıdaki yanıtı görürsünüz -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Sisteminizde Scala kurulu değilse, Scala kurulumu için bir sonraki adıma geçin.

3. Adım: Scala'yı İndirmek

Scala'nın son sürümünü aşağıdaki bağlantıyı ziyaret ederek indirin Scala'yı indirin . Bu eğitim için scala-2.11.6 sürümünü kullanıyoruz. İndirdikten sonra, Scala tar dosyasını indirme klasöründe bulacaksınız.

Adım4: Scala'yı Yükleme

Scala'yı kurmak için aşağıda verilen adımları izleyin.

Scala tar dosyasını çıkarın

Scala tar dosyasını çıkarmak için aşağıdaki komutu yazın.

$ tar xvf scala-2.11.6.tgz

Scala yazılım dosyalarını taşıyın

Scala yazılım dosyalarını ilgili dizine taşımak için aşağıdaki komutları kullanın (/usr/local/scala).

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv scala-2.11.6 /usr/local/scala
# exit

Scala için PATH ayarla

Scala için PATH ayarlamak için aşağıdaki komutu kullanın.

$ export PATH = $PATH:/usr/local/scala/bin

Scala Kurulumunu Doğrulama

Kurulumdan sonra doğrulamak daha iyidir. Scala kurulumunu doğrulamak için aşağıdaki komutu kullanın.

$scala -version

Scala zaten sisteminize yüklüyse, aşağıdaki yanıtı görürsünüz -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

5. Adım: Apache Spark'ı İndirme

Aşağıdaki Spark'ı İndir bağlantısını ziyaret ederek Spark'ın en son sürümünü indirin . Bu eğitim için kullanıyoruzspark-1.3.1-bin-hadoop2.6versiyon. İndirdikten sonra, Spark tar dosyasını indirme klasöründe bulacaksınız.

Adım 6: Spark'ı Yükleme

Spark'ı kurmak için aşağıda verilen adımları izleyin.

Kıvılcım katranının çıkarılması

Spark tar dosyasını çıkarmak için aşağıdaki komut.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Spark yazılım dosyalarını taşıma

Spark yazılım dosyalarını ilgili dizine taşımak için aşağıdaki komutlar (/usr/local/spark).

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark
# exit

Spark için ortamı kurma

Aşağıdaki satırı şuraya ekleyin:/.bashrcdosya. PATH değişkenine spark yazılım dosyasının bulunduğu konumu eklemek anlamına gelir.

export PATH = $PATH:/usr/local/spark/bin

~ / .Bashrc dosyasını kaynak olarak kullanmak için aşağıdaki komutu kullanın.

$ source ~/.bashrc

7. Adım: Spark Kurulumunu Doğrulama

Spark kabuğunu açmak için aşağıdaki komutu yazın.

$spark-shell

Kıvılcım başarıyla takılırsa, aşağıdaki çıktıyı bulacaksınız.

Spark assembly has been built with Hive, including Datanucleus jars on classpath
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.
Welcome to
    ____             __
   / __/__ ___ _____/ /__
   _\ \/ _ \/ _ `/ __/ '_/
   /___/ .__/\_,_/_/ /_/\_\ version 1.4.0
      /_/
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)
Type in expressions to have them evaluated.
Spark context available as sc
scala>