Apache Spark - การติดตั้ง

Spark เป็นโครงการย่อยของ Hadoop ดังนั้นจึงควรติดตั้ง Spark ลงในระบบที่ใช้ Linux ขั้นตอนต่อไปนี้แสดงวิธีการติดตั้ง Apache Spark

ขั้นตอนที่ 1: ตรวจสอบการติดตั้ง Java

การติดตั้ง Java เป็นสิ่งที่จำเป็นอย่างหนึ่งในการติดตั้ง Spark ลองใช้คำสั่งต่อไปนี้เพื่อตรวจสอบเวอร์ชัน JAVA

$java -version

หากมีการติดตั้ง Java ไว้แล้วในระบบของคุณคุณจะเห็นคำตอบต่อไปนี้ -

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

ในกรณีที่คุณไม่ได้ติดตั้ง Java บนระบบของคุณให้ติดตั้ง Java ก่อนดำเนินการขั้นตอนถัดไป

ขั้นตอนที่ 2: ตรวจสอบการติดตั้ง Scala

คุณควรใช้ภาษาสกาล่าเพื่อใช้งาน Spark ดังนั้นให้เราตรวจสอบการติดตั้ง Scala โดยใช้คำสั่งต่อไปนี้

$scala -version

หากติดตั้ง Scala ในระบบของคุณแล้วคุณจะเห็นคำตอบต่อไปนี้ -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

ในกรณีที่คุณไม่ได้ติดตั้ง Scala ในระบบของคุณให้ทำตามขั้นตอนต่อไปสำหรับการติดตั้ง Scala

ขั้นตอนที่ 3: ดาวน์โหลด Scala

ดาวน์โหลดรุ่นล่าสุดของสกาล่าโดยการเยี่ยมชมลิงค์ต่อไปนี้ดาวน์โหลดสกาล่า สำหรับบทช่วยสอนนี้เรากำลังใช้เวอร์ชัน scala-2.11.6 หลังจากดาวน์โหลดคุณจะพบไฟล์ Scala tar ในโฟลเดอร์ดาวน์โหลด

ขั้นตอนที่ 4: การติดตั้ง Scala

ทำตามขั้นตอนด้านล่างสำหรับการติดตั้ง Scala

แตกไฟล์ Scala tar

พิมพ์คำสั่งต่อไปนี้สำหรับการแตกไฟล์ Scala tar

$ tar xvf scala-2.11.6.tgz

ย้ายไฟล์ซอฟต์แวร์ Scala

ใช้คำสั่งต่อไปนี้เพื่อย้ายไฟล์ซอฟต์แวร์ Scala ไปยังไดเร็กทอรีที่เกี่ยวข้อง (/usr/local/scala).

$ su – 
Password: 
# cd /home/Hadoop/Downloads/ 
# mv scala-2.11.6 /usr/local/scala 
# exit

ตั้งค่า PATH สำหรับ Scala

ใช้คำสั่งต่อไปนี้สำหรับการตั้งค่า PATH สำหรับ Scala

$ export PATH = $PATH:/usr/local/scala/bin

กำลังตรวจสอบการติดตั้ง Scala

หลังจากการติดตั้งจะเป็นการดีกว่าที่จะตรวจสอบ ใช้คำสั่งต่อไปนี้เพื่อตรวจสอบการติดตั้ง Scala

$scala -version

หากติดตั้ง Scala ในระบบของคุณแล้วคุณจะเห็นคำตอบต่อไปนี้ -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

ขั้นตอนที่ 5: ดาวน์โหลด Apache Spark

ดาวน์โหลดรุ่นล่าสุดของ Spark โดยไปที่การเชื่อมโยงต่อไปนี้ดาวน์โหลด Spark สำหรับบทช่วยสอนนี้เรากำลังใช้spark-1.3.1-bin-hadoop2.6รุ่น. หลังจากดาวน์โหลดแล้วคุณจะพบไฟล์ Spark tar ในโฟลเดอร์ดาวน์โหลด

ขั้นตอนที่ 6: การติดตั้ง Spark

ทำตามขั้นตอนด้านล่างเพื่อติดตั้ง Spark

สกัดน้ำมัน Spark

คำสั่งต่อไปนี้สำหรับการแตกไฟล์ spark tar

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

การย้ายไฟล์ซอฟต์แวร์ Spark

คำสั่งต่อไปนี้สำหรับการย้ายไฟล์ซอฟต์แวร์ Spark ไปยังไดเร็กทอรีที่เกี่ยวข้อง (/usr/local/spark).

$ su – 
Password:  

# cd /home/Hadoop/Downloads/ 
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark 
# exit

การตั้งค่าสภาพแวดล้อมสำหรับ Spark

เพิ่มบรรทัดต่อไปนี้ใน ~/.bashrcไฟล์. หมายถึงการเพิ่มตำแหน่งที่ไฟล์ซอฟต์แวร์ spark อยู่ในตัวแปร PATH

export PATH=$PATH:/usr/local/spark/bin

ใช้คำสั่งต่อไปนี้เพื่อจัดหาไฟล์ ~ / .bashrc

$ source ~/.bashrc

ขั้นตอนที่ 7: ตรวจสอบการติดตั้ง Spark

เขียนคำสั่งต่อไปนี้เพื่อเปิด Spark shell

$spark-shell

หากติดตั้ง spark สำเร็จคุณจะพบผลลัพธ์ต่อไปนี้

Spark assembly has been built with Hive, including Datanucleus jars on classpath 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. 
Welcome to 
      ____              __ 
     / __/__  ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/  '_/ 
   /___/ .__/\_,_/_/ /_/\_\   version 1.4.0 
      /_/  
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) 
Type in expressions to have them evaluated. 
Spark context available as sc  
scala>