Apache Storm - Установка

Давайте теперь посмотрим, как установить инфраструктуру Apache Storm на ваш компьютер. Здесь есть три основных шага -

• Установите Java в свою систему, если у вас ее еще нет.
• Установите фреймворк ZooKeeper.
• Установите фреймворк Apache Storm.

Шаг 1. Проверка установки Java

Используйте следующую команду, чтобы проверить, установлена ​​ли в вашей системе Java.

$ java -version

Если Java уже существует, вы увидите номер ее версии. В противном случае загрузите последнюю версию JDK.

Шаг 1.1 - Загрузите JDK

Загрузите последнюю версию JDK по следующей ссылке - www.oracle.com

Последняя версия - JDK 8u 60, а файл “jdk-8u60-linux-x64.tar.gz”. Загрузите файл на свой компьютер.

Шаг 1.2 - Извлечение файлов

Обычно файлы загружаются на downloadsпапка. Извлеките установку tar, используя следующие команды.

$ cd /go/to/download/path
$ tar -zxf jdk-8u60-linux-x64.gz

Шаг 1.3 - Перейти в каталог opt

Чтобы сделать Java доступной для всех пользователей, переместите извлеченное содержимое Java в папку «/ usr / local / java».

$ su
password: (type password of root user)
$ mkdir /opt/jdk
$ mv jdk-1.8.0_60 /opt/jdk/

Шаг 1.4 - Установите путь

Чтобы установить путь и переменные JAVA_HOME, добавьте следующие команды в файл ~ / .bashrc.

export JAVA_HOME =/usr/jdk/jdk-1.8.0_60
export PATH=$PATH:$JAVA_HOME/bin

Теперь примените все изменения к текущей работающей системе.

$ source ~/.bashrc

Шаг 1.5 - Альтернативы Java

Используйте следующую команду, чтобы изменить альтернативы Java.

update-alternatives --install /usr/bin/java java /opt/jdk/jdk1.8.0_60/bin/java 100

Шаг 1.6

Теперь проверьте установку Java с помощью команды проверки (java -version) объяснено на шаге 1.

Шаг 2 - Установка ZooKeeper Framework

Шаг 2.1 - Загрузите ZooKeeper

Чтобы установить ZooKeeper framework на свой компьютер, перейдите по следующей ссылке и загрузите последнюю версию ZooKeeper http://zookeeper.apache.org/releases.html

На данный момент последняя версия ZooKeeper - 3.4.6 (ZooKeeper-3.4.6.tar.gz).

Шаг 2.2 - Извлечение tar-файла

Извлеките tar-файл, используя следующие команды -

$ cd opt/
$ tar -zxf zookeeper-3.4.6.tar.gz
$ cd zookeeper-3.4.6
$ mkdir data

Шаг 2.3 - Создайте файл конфигурации

Откройте файл конфигурации с именем «conf / zoo.cfg», используя команду «vi conf / zoo.cfg» и задав все следующие параметры в качестве отправной точки.

$ vi conf/zoo.cfg
tickTime=2000
dataDir=/path/to/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2

После успешного сохранения файла конфигурации вы можете запустить сервер ZooKeeper.

Шаг 2.4 - Запустите сервер ZooKeeper

Используйте следующую команду, чтобы запустить сервер ZooKeeper.

$ bin/zkServer.sh start

После выполнения этой команды вы получите следующий ответ:

$ JMX enabled by default
$ Using config: /Users/../zookeeper-3.4.6/bin/../conf/zoo.cfg
$ Starting zookeeper ... STARTED

Шаг 2.5 - Запустите CLI

Используйте следующую команду, чтобы запустить CLI.

$ bin/zkCli.sh

После выполнения указанной выше команды вы будете подключены к серверу ZooKeeper и получите следующий ответ.

Connecting to localhost:2181
................
................
................
Welcome to ZooKeeper!
................
................
WATCHER::
WatchedEvent state:SyncConnected type: None path:null
[zk: localhost:2181(CONNECTED) 0]

Шаг 2.6 - Остановите сервер ZooKeeper

После подключения сервера и выполнения всех операций вы можете остановить сервер ZooKeeper, используя следующую команду.

bin/zkServer.sh stop

Вы успешно установили Java и ZooKeeper на свой компьютер. Давайте теперь посмотрим, как установить Apache Storm framework.

Шаг 3 - Установка Apache Storm Framework

Шаг 3.1 Загрузите Storm

Чтобы установить Storm framework на свой компьютер, перейдите по следующей ссылке и загрузите последнюю версию Storm http://storm.apache.org/downloads.html

На данный момент последняя версия Storm - «apache-storm-0.9.5.tar.gz».

Шаг 3.2 - Извлечь файл tar

Извлеките tar-файл, используя следующие команды -

$ cd opt/
$ tar -zxf apache-storm-0.9.5.tar.gz
$ cd apache-storm-0.9.5
$ mkdir data

Шаг 3.3 - Откройте файл конфигурации

Текущая версия Storm содержит файл «conf / storm.yaml», который настраивает демонов Storm. Добавьте в этот файл следующую информацию.

$ vi conf/storm.yaml
storm.zookeeper.servers:
 - "localhost"
storm.local.dir: “/path/to/storm/data(any path)”
nimbus.host: "localhost"
supervisor.slots.ports:
 - 6700
 - 6701
 - 6702
 - 6703

После применения всех изменений сохраните и вернитесь в терминал.

Шаг 3.4 - Запуск Nimbus

$ bin/storm nimbus

Шаг 3.5 - Запуск супервизора

$ bin/storm supervisor

Шаг 3.6. Запуск пользовательского интерфейса.

$ bin/storm ui

После запуска приложения пользовательского интерфейса Storm введите URL-адрес http://localhost:8080в вашем любимом браузере, и вы сможете увидеть информацию о кластере Storm и его работающую топологию. Страница должна выглядеть примерно так, как показано на следующем снимке экрана.