Apache Spark - Cài đặt

Spark là dự án con của Hadoop. Do đó, tốt hơn là cài đặt Spark vào một hệ thống dựa trên Linux. Các bước sau đây hướng dẫn cách cài đặt Apache Spark.

Bước 1: Xác minh cài đặt Java

Cài đặt Java là một trong những điều bắt buộc trong quá trình cài đặt Spark. Hãy thử lệnh sau để xác minh phiên bản JAVA.

$java -version

Nếu Java đã được cài đặt trên hệ thống của bạn, bạn sẽ thấy phản hồi sau:

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

Trong trường hợp bạn chưa cài đặt Java trên hệ thống của mình, hãy Cài đặt Java trước khi chuyển sang bước tiếp theo.

Bước 2: Xác minh cài đặt Scala

Bạn nên dùng ngôn ngữ Scala để triển khai Spark. Vì vậy, hãy để chúng tôi xác minh cài đặt Scala bằng lệnh sau.

$scala -version

Nếu Scala đã được cài đặt trên hệ thống của bạn, bạn sẽ thấy phản hồi sau:

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Trong trường hợp bạn chưa cài đặt Scala trên hệ thống của mình, hãy chuyển sang bước tiếp theo để cài đặt Scala.

Bước 3: Tải xuống Scala

Tải xuống phiên bản mới nhất của Scala bằng cách truy cập liên kết sau Tải xuống Scala . Đối với hướng dẫn này, chúng tôi đang sử dụng phiên bản scala-2.11.6. Sau khi tải xuống, bạn sẽ tìm thấy tệp tar Scala trong thư mục tải xuống.

Bước 4: Cài đặt Scala

Làm theo các bước dưới đây để cài đặt Scala.

Giải nén tệp tar Scala

Gõ lệnh sau để giải nén tệp tar Scala.

$ tar xvf scala-2.11.6.tgz

Di chuyển tệp phần mềm Scala

Sử dụng các lệnh sau để di chuyển các tệp phần mềm Scala, vào thư mục tương ứng (/usr/local/scala).

$ su – 
Password: 
# cd /home/Hadoop/Downloads/ 
# mv scala-2.11.6 /usr/local/scala 
# exit

Đặt PATH cho Scala

Sử dụng lệnh sau để thiết lập PATH cho Scala.

$ export PATH = $PATH:/usr/local/scala/bin

Xác minh cài đặt Scala

Sau khi cài đặt, tốt hơn là xác minh nó. Sử dụng lệnh sau để xác minh cài đặt Scala.

$scala -version

Nếu Scala đã được cài đặt trên hệ thống của bạn, bạn sẽ thấy phản hồi sau:

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Bước 5: Tải xuống Apache Spark

Tải xuống phiên bản mới nhất của Spark bằng cách truy cập liên kết sau Tải xuống Spark . Đối với hướng dẫn này, chúng tôi đang sử dụngspark-1.3.1-bin-hadoop2.6phiên bản. Sau khi tải xuống, bạn sẽ tìm thấy tệp Spark tar trong thư mục tải xuống.

Bước 6: Cài đặt Spark

Làm theo các bước dưới đây để cài đặt Spark.

Giải nén nhựa đường Spark

Lệnh sau để giải nén tệp spark tar.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Di chuyển tệp phần mềm Spark

Các lệnh sau để di chuyển các tệp phần mềm Spark vào thư mục tương ứng (/usr/local/spark).

$ su – 
Password:  

# cd /home/Hadoop/Downloads/ 
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark 
# exit

Thiết lập môi trường cho Spark

Thêm dòng sau vào ~/.bashrctập tin. Nó có nghĩa là thêm vị trí, nơi đặt tệp phần mềm tia lửa vào biến PATH.

export PATH=$PATH:/usr/local/spark/bin

Sử dụng lệnh sau để tìm nguồn cung cấp tệp ~ / .bashrc.

$ source ~/.bashrc

Bước 7: Xác minh cài đặt Spark

Viết lệnh sau để mở Spark shell.

$spark-shell

Nếu spark được cài đặt thành công thì bạn sẽ tìm thấy kết quả sau.

Spark assembly has been built with Hive, including Datanucleus jars on classpath 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. 
Welcome to 
      ____              __ 
     / __/__  ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/  '_/ 
   /___/ .__/\_,_/_/ /_/\_\   version 1.4.0 
      /_/  
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) 
Type in expressions to have them evaluated. 
Spark context available as sc  
scala>