Apache Spark - Instalasi

Spark adalah sub-proyek Hadoop. Oleh karena itu, lebih baik menginstal Spark ke dalam sistem berbasis Linux. Langkah-langkah berikut menunjukkan cara menginstal Apache Spark.

Langkah 1: Memverifikasi Instalasi Java

Instalasi Java merupakan salah satu hal wajib dalam menginstal Spark. Coba perintah berikut untuk memverifikasi versi JAVA.

$java -version

Jika Java sudah terinstal di sistem Anda, Anda akan melihat respons berikut -

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

Jika Anda belum menginstal Java di sistem Anda, Instal Java sebelum melanjutkan ke langkah berikutnya.

Langkah 2: Memverifikasi instalasi Scala

Anda harus bahasa Scala untuk mengimplementasikan Spark. Jadi mari kita verifikasi instalasi Scala menggunakan perintah berikut.

$scala -version

Jika Scala sudah diinstal di sistem Anda, Anda akan melihat respons berikut -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Jika Anda belum menginstal Scala di sistem Anda, lanjutkan ke langkah berikutnya untuk penginstalan Scala.

Langkah 3: Mendownload Scala

Unduh Scala versi terbaru dengan mengunjungi tautan berikut Unduh Scala . Untuk tutorial ini, kami menggunakan versi scala-2.11.6. Setelah mengunduh, Anda akan menemukan file tar Scala di folder unduhan.

Langkah 4: Menginstal Scala

Ikuti langkah-langkah yang diberikan di bawah ini untuk menginstal Scala.

Ekstrak file Scala tar

Ketik perintah berikut untuk mengekstrak file tar Scala.

$ tar xvf scala-2.11.6.tgz

Pindahkan file perangkat lunak Scala

Gunakan perintah berikut untuk memindahkan file perangkat lunak Scala, ke direktori masing-masing (/usr/local/scala).

$ su – 
Password: 
# cd /home/Hadoop/Downloads/ 
# mv scala-2.11.6 /usr/local/scala 
# exit

Atur PATH untuk Scala

Gunakan perintah berikut untuk mengatur PATH untuk Scala.

$ export PATH = $PATH:/usr/local/scala/bin

Memverifikasi Instalasi Scala

Setelah instalasi, lebih baik untuk memverifikasinya. Gunakan perintah berikut untuk memverifikasi instalasi Scala.

$scala -version

Jika Scala sudah diinstal di sistem Anda, Anda akan melihat respons berikut -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Langkah 5: Mengunduh Apache Spark

Unduh versi terbaru Spark dengan mengunjungi tautan berikut Unduh Spark . Untuk tutorial ini, kami menggunakanspark-1.3.1-bin-hadoop2.6Versi: kapan. Setelah mengunduhnya, Anda akan menemukan file tar Spark di folder unduhan.

Langkah 6: Menginstal Spark

Ikuti langkah-langkah yang diberikan di bawah ini untuk menginstal Spark.

Mengekstrak Spark tar

Perintah berikut untuk mengekstrak file spark tar.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Memindahkan file perangkat lunak Spark

Perintah berikut untuk memindahkan file perangkat lunak Spark ke direktori masing-masing (/usr/local/spark).

$ su – 
Password:  

# cd /home/Hadoop/Downloads/ 
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark 
# exit

Menyiapkan lingkungan untuk Spark

Tambahkan baris berikut ke ~/.bashrcmengajukan. Ini berarti menambahkan lokasi, di mana file perangkat lunak percikan berada ke variabel PATH.

export PATH=$PATH:/usr/local/spark/bin

Gunakan perintah berikut untuk mencari file ~ / .bashrc.

$ source ~/.bashrc

Langkah 7: Memverifikasi Instalasi Spark

Tulis perintah berikut untuk membuka shell Spark.

$spark-shell

Jika percikan berhasil dipasang maka Anda akan menemukan output berikut.

Spark assembly has been built with Hive, including Datanucleus jars on classpath 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. 
Welcome to 
      ____              __ 
     / __/__  ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/  '_/ 
   /___/ .__/\_,_/_/ /_/\_\   version 1.4.0 
      /_/  
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) 
Type in expressions to have them evaluated. 
Spark context available as sc  
scala>