Apache Spark-설치

Spark는 Hadoop의 하위 프로젝트입니다. 따라서 Linux 기반 시스템에 Spark를 설치하는 것이 좋습니다. 다음 단계는 Apache Spark를 설치하는 방법을 보여줍니다.

1 단계 : Java 설치 확인

Java 설치는 Spark 설치의 필수 사항 중 하나입니다. JAVA 버전을 확인하려면 다음 명령을 시도하십시오.

$java -version

Java가 이미 시스템에 설치되어 있으면 다음과 같은 응답을 볼 수 있습니다.

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

시스템에 Java가 설치되어 있지 않은 경우 다음 단계로 진행하기 전에 Java를 설치하십시오.

2 단계 : Scala 설치 확인

Spark를 구현하려면 Scala 언어를 사용해야합니다. 따라서 다음 명령을 사용하여 Scala 설치를 확인하겠습니다.

$scala -version

Scala가 이미 시스템에 설치되어 있으면 다음과 같은 응답을 볼 수 있습니다.

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

시스템에 Scala가 설치되어 있지 않은 경우 Scala 설치를 위해 다음 단계로 진행하십시오.

3 단계 : Scala 다운로드

Scala 다운로드 링크를 방문하여 최신 버전의 Scala를 다운로드 하십시오 . 이 튜토리얼에서는 scala-2.11.6 버전을 사용합니다. 다운로드 후 다운로드 폴더에서 Scala tar 파일을 찾을 수 있습니다.

4 단계 : Scala 설치

Scala를 설치하려면 아래 단계를 따르십시오.

Scala tar 파일 추출

Scala tar 파일을 추출하려면 다음 명령을 입력하십시오.

$ tar xvf scala-2.11.6.tgz

Scala 소프트웨어 파일 이동

Scala 소프트웨어 파일을 각 디렉토리로 이동하려면 다음 명령을 사용하십시오. (/usr/local/scala).

$ su – 
Password: 
# cd /home/Hadoop/Downloads/ 
# mv scala-2.11.6 /usr/local/scala 
# exit

Scala에 대한 PATH 설정

Scala에 대한 PATH를 설정하려면 다음 명령을 사용하십시오.

$ export PATH = $PATH:/usr/local/scala/bin

Scala 설치 확인

설치 후 확인하는 것이 좋습니다. Scala 설치를 확인하려면 다음 명령을 사용하십시오.

$scala -version

Scala가 이미 시스템에 설치되어 있으면 다음과 같은 응답을 볼 수 있습니다.

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

5 단계 : Apache Spark 다운로드

다음 링크를 방문하여 최신 버전의 Spark를 다운로드하십시오 . 이 튜토리얼에서는spark-1.3.1-bin-hadoop2.6버전. 다운로드 후 다운로드 폴더에서 Spark tar 파일을 찾을 수 있습니다.

6 단계 : Spark 설치

Spark를 설치하려면 아래 단계를 따르십시오.

Spark tar 추출

다음은 Spark tar 파일을 추출하는 명령입니다.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Spark 소프트웨어 파일 이동

Spark 소프트웨어 파일을 각 디렉터리로 이동하기위한 다음 명령 (/usr/local/spark).

$ su – 
Password:  

# cd /home/Hadoop/Downloads/ 
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark 
# exit

Spark를위한 환경 설정

~에 다음 줄을 추가하십시오./.bashrc파일. 이는 스파크 소프트웨어 파일이있는 위치를 PATH 변수에 추가하는 것을 의미합니다.

export PATH=$PATH:/usr/local/spark/bin

~ / .bashrc 파일을 소싱하려면 다음 명령을 사용하십시오.

$ source ~/.bashrc

7 단계 : Spark 설치 확인

Spark 셸을 열기 위해 다음 명령을 작성합니다.

$spark-shell

스파크가 성공적으로 설치되면 다음 출력을 찾을 수 있습니다.

Spark assembly has been built with Hive, including Datanucleus jars on classpath 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. 
Welcome to 
      ____              __ 
     / __/__  ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/  '_/ 
   /___/ .__/\_,_/_/ /_/\_\   version 1.4.0 
      /_/  
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) 
Type in expressions to have them evaluated. 
Spark context available as sc  
scala>