Spark - Instalasi

Spark adalah sub-proyek Hadoop. Oleh karena itu, lebih baik menginstal Spark ke dalam sistem berbasis Linux. Langkah-langkah berikut menunjukkan cara menginstal Apache Spark.

Langkah 1: Memverifikasi Instalasi Java

Instalasi Java merupakan salah satu hal wajib dalam menginstal Spark. Coba perintah berikut untuk memverifikasi versi JAVA.

$java -version

Jika Java sudah terinstal di sistem Anda, Anda akan melihat respons berikut -

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

Jika Anda belum menginstal Java di sistem Anda, Instal Java sebelum melanjutkan ke langkah berikutnya.

Langkah2: Memverifikasi Instalasi Scala

Anda harus bahasa Scala untuk mengimplementasikan Spark. Jadi mari kita verifikasi instalasi Scala menggunakan perintah berikut.

$scala -version

Jika Scala sudah diinstal pada sistem Anda, Anda akan melihat respons berikut -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Jika Anda belum menginstal Scala di sistem Anda, lanjutkan ke langkah berikutnya untuk penginstalan Scala.

Langkah3: Mengunduh Scala

Unduh Scala versi terbaru dengan mengunjungi tautan berikut Unduh Scala . Untuk tutorial ini, kami menggunakan versi scala-2.11.6. Setelah mengunduh, Anda akan menemukan file tar Scala di folder unduhan.

Step4: Menginstal Scala

Ikuti langkah-langkah yang diberikan di bawah ini untuk menginstal Scala.

Ekstrak file Scala tar

Ketik perintah berikut untuk mengekstrak file tar Scala.

$ tar xvf scala-2.11.6.tgz

Pindahkan file perangkat lunak Scala

Gunakan perintah berikut untuk memindahkan file perangkat lunak Scala, ke direktori masing-masing (/usr/local/scala).

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv scala-2.11.6 /usr/local/scala
# exit

Atur PATH untuk Scala

Gunakan perintah berikut untuk mengatur PATH untuk Scala.

$ export PATH = $PATH:/usr/local/scala/bin

Memverifikasi Instalasi Scala

Setelah instalasi, lebih baik untuk memverifikasinya. Gunakan perintah berikut untuk memverifikasi instalasi Scala.

$scala -version

Jika Scala sudah diinstal pada sistem Anda, Anda akan melihat respons berikut -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Langkah5: Mengunduh Apache Spark

Unduh versi terbaru Spark dengan mengunjungi tautan berikut Unduh Spark . Untuk tutorial ini, kami menggunakanspark-1.3.1-bin-hadoop2.6Versi: kapan. Setelah mengunduhnya, Anda akan menemukan file tar Spark di folder unduhan.

Langkah6: Menginstal Spark

Ikuti langkah-langkah yang diberikan di bawah ini untuk menginstal Spark.

Mengekstrak Spark tar

Perintah berikut untuk mengekstrak file spark tar.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Memindahkan file perangkat lunak Spark

Perintah berikut untuk memindahkan file perangkat lunak Spark ke direktori masing-masing (/usr/local/spark).

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark
# exit

Menyiapkan lingkungan untuk Spark

Tambahkan baris berikut ke ~/.bashrcmengajukan. Ini berarti menambahkan lokasi, di mana file perangkat lunak percikan berada ke variabel PATH.

export PATH = $PATH:/usr/local/spark/bin

Gunakan perintah berikut untuk mencari file ~ / .bashrc.

$ source ~/.bashrc

Step7: Memverifikasi Instalasi Spark

Tulis perintah berikut untuk membuka shell Spark.

$spark-shell

Jika percikan berhasil dipasang maka Anda akan menemukan output berikut.

Spark assembly has been built with Hive, including Datanucleus jars on classpath
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.
Welcome to
    ____             __
   / __/__ ___ _____/ /__
   _\ \/ _ \/ _ `/ __/ '_/
   /___/ .__/\_,_/_/ /_/\_\ version 1.4.0
      /_/
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)
Type in expressions to have them evaluated.
Spark context available as sc
scala>