Spark - Установка

Spark - это подпроект Hadoop. Поэтому лучше установить Spark в систему на базе Linux. Следующие шаги показывают, как установить Apache Spark.

Шаг 1. Проверка установки Java

Установка Java - одно из обязательных при установке Spark. Попробуйте выполнить следующую команду, чтобы проверить версию JAVA.

$java -version

Если Java уже установлена ​​в вашей системе, вы увидите следующий ответ -

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

Если в вашей системе не установлена ​​Java, установите Java, прежде чем переходить к следующему шагу.

Шаг 2. Проверка установки Scala

Для реализации Spark вам нужен язык Scala. Итак, давайте проверим установку Scala, используя следующую команду.

$scala -version

Если Scala уже установлен в вашей системе, вы увидите следующий ответ:

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Если в вашей системе не установлен Scala, переходите к следующему шагу по установке Scala.

Шаг 3: загрузка Scala

Загрузите последнюю версию Scala, перейдя по следующей ссылке Загрузить Scala . В этом руководстве мы используем версию scala-2.11.6. После загрузки вы найдете tar-файл Scala в папке загрузки.

Шаг 4: установка Scala

Следуйте приведенным ниже инструкциям по установке Scala.

Распакуйте tar-файл Scala

Введите следующую команду для извлечения tar-файла Scala.

$ tar xvf scala-2.11.6.tgz

Перемещение файлов программного обеспечения Scala

Используйте следующие команды для перемещения файлов программного обеспечения Scala в соответствующий каталог (/usr/local/scala).

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv scala-2.11.6 /usr/local/scala
# exit

Установить PATH для Scala

Используйте следующую команду для установки PATH для Scala.

$ export PATH = $PATH:/usr/local/scala/bin

Проверка установки Scala

После установки лучше проверить. Используйте следующую команду для проверки установки Scala.

$scala -version

Если Scala уже установлен в вашей системе, вы увидите следующий ответ:

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Шаг 5: загрузка Apache Spark

Загрузите последнюю версию Spark, перейдя по следующей ссылке Загрузить Spark . Для этого урока мы используемspark-1.3.1-bin-hadoop2.6версия. После загрузки вы найдете tar-файл Spark в папке загрузки.

Шаг 6. Установка Spark

Следуйте инструкциям ниже для установки Spark.

Извлечение Spark tar

Следующая команда для извлечения искрового tar-файла.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Перемещение файлов программного обеспечения Spark

Следующие команды для перемещения файлов программного обеспечения Spark в соответствующий каталог (/usr/local/spark).

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark
# exit

Настройка среды для Spark

Добавьте следующую строку в ~/.bashrcфайл. Это означает добавление места, где находится файл программного обеспечения Spark, в переменную PATH.

export PATH = $PATH:/usr/local/spark/bin

Используйте следующую команду для получения файла ~ / .bashrc.

$ source ~/.bashrc

Шаг 7. Проверка установки Spark

Напишите следующую команду для открытия оболочки Spark.

$spark-shell

Если искра установлена ​​успешно, вы увидите следующий результат.

Spark assembly has been built with Hive, including Datanucleus jars on classpath
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.
Welcome to
    ____             __
   / __/__ ___ _____/ /__
   _\ \/ _ \/ _ `/ __/ '_/
   /___/ .__/\_,_/_/ /_/\_\ version 1.4.0
      /_/
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)
Type in expressions to have them evaluated.
Spark context available as sc
scala>