HCatalog-설치
Hive, Pig 및 HBase와 같은 모든 Hadoop 하위 프로젝트는 Linux 운영 체제를 지원합니다. 따라서 시스템에 Linux 특징을 설치해야합니다. HCatalog는 2013 년 3 월 26 일에 Hive 설치와 병합되었습니다. 버전 Hive-0.11.0부터 HCatalog는 Hive 설치와 함께 제공됩니다. 따라서 아래 단계에 따라 Hive를 설치하면 시스템에 HCatalog가 자동으로 설치됩니다.
1 단계 : JAVA 설치 확인
Hive를 설치하기 전에 시스템에 Java를 설치해야합니다. 다음 명령을 사용하여 시스템에 Java가 이미 설치되어 있는지 확인할 수 있습니다.
$ java –version
Java가 이미 시스템에 설치되어있는 경우 다음 응답이 표시됩니다.
java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
시스템에 Java가 설치되어 있지 않은 경우 아래 단계를 따라야합니다.
2 단계 : Java 설치
다음 링크를 방문하여 Java (JDK <최신 버전>-X64.tar.gz)를 다운로드하십시오. http://www.oracle.com/
그때 jdk-7u71-linux-x64.tar.gz 시스템에 다운로드됩니다.
일반적으로 다운로드 폴더에서 다운로드 한 Java 파일을 찾을 수 있습니다. 그것을 확인하고 추출jdk-7u71-linux-x64.gz 다음 명령을 사용하여 파일.
$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz
$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz
모든 사용자가 Java를 사용할 수 있도록하려면 "/ usr / local /"위치로 이동해야합니다. 루트를 열고 다음 명령을 입력하십시오.
$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit
설정 용 PATH 과 JAVA_HOME 변수에 다음 명령을 추가하십시오. ~/.bashrc 파일.
export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin
이제 명령을 사용하여 설치를 확인하십시오. java -version 위에서 설명한대로 터미널에서.
3 단계 : Hadoop 설치 확인
Hive를 설치하기 전에 시스템에 Hadoop을 설치해야합니다. 다음 명령을 사용하여 Hadoop 설치를 확인하겠습니다.
$ hadoop version
Hadoop이 이미 시스템에 설치되어있는 경우 다음 응답을 받게됩니다.
Hadoop 2.4.1
Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768
Compiled by hortonmu on 2013-10-07T06:28Z
Compiled with protoc 2.5.0
From source with checksum 79e53ce7994d1628b240f09af91e1af4
시스템에 Hadoop이 설치되어 있지 않으면 다음 단계를 진행하십시오.
4 단계 : Hadoop 다운로드
다음 명령을 사용하여 Apache Software Foundation에서 Hadoop 2.4.1을 다운로드하고 추출합니다.
$ su
password:
# cd /usr/local
# wget http://apache.claz.org/hadoop/common/hadoop-2.4.1/
hadoop-2.4.1.tar.gz
# tar xzf hadoop-2.4.1.tar.gz
# mv hadoop-2.4.1/* to hadoop/
# exit
5 단계 : 의사 분산 모드에서 Hadoop 설치
다음 단계는 설치에 사용됩니다. Hadoop 2.4.1 의사 분산 모드에서.
Hadoop 설정
다음 명령을 추가하여 Hadoop 환경 변수를 설정할 수 있습니다. ~/.bashrc 파일.
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
이제 모든 변경 사항을 현재 실행중인 시스템에 적용합니다.
$ source ~/.bashrc
Hadoop 구성
"$ HADOOP_HOME / etc / hadoop"위치에서 모든 Hadoop 구성 파일을 찾을 수 있습니다. Hadoop 인프라에 따라 해당 구성 파일을 적절하게 변경해야합니다.
$ cd $HADOOP_HOME/etc/hadoop
Java를 사용하여 Hadoop 프로그램을 개발하려면 다음에서 Java 환경 변수를 재설정해야합니다. hadoop-env.sh 대체하여 파일 JAVA_HOME 시스템의 Java 위치와 함께 값.
export JAVA_HOME=/usr/local/jdk1.7.0_71
다음은 Hadoop을 구성하기 위해 편집해야하는 파일 목록입니다.
core-site.xml
그만큼 core-site.xml 파일에는 Hadoop 인스턴스에 사용되는 포트 번호, 파일 시스템에 할당 된 메모리, 데이터 저장을위한 메모리 제한 및 읽기 / 쓰기 버퍼 크기와 같은 정보가 포함됩니다.
core-site.xml을 열고 <configuration> 및 </ configuration> 태그 사이에 다음 속성을 추가합니다.
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml
그만큼 hdfs-site.xml파일에는 복제 데이터 값, 이름 노드 경로 및 로컬 파일 시스템의 데이터 노드 경로와 같은 정보가 포함됩니다. Hadoop 인프라를 저장하려는 장소를 의미합니다.
다음 데이터를 가정 해 보겠습니다.
dfs.replication (data replication value) = 1
(In the following path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)
namenode path = //home/hadoop/hadoopinfra/hdfs/namenode
(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode
이 파일을 열고이 파일의 <configuration>, </ configuration> 태그 사이에 다음 속성을 추가합니다.
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hadoopinfra/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hadoopinfra/hdfs/datanode</value>
</property>
</configuration>
Note − 위 파일에서 모든 속성 값은 사용자가 정의하고 Hadoop 인프라에 따라 변경할 수 있습니다.
yarn-site.xml
이 파일은 yarn을 Hadoop으로 구성하는 데 사용됩니다. yarn-site.xml 파일을 열고이 파일의 <configuration>, </ configuration> 태그 사이에 다음 특성을 추가하십시오.
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
mapred-site.xml
이 파일은 우리가 사용하는 MapReduce 프레임 워크를 지정하는 데 사용됩니다. 기본적으로 Hadoop에는 yarn-site.xml의 템플릿이 포함되어 있습니다. 우선, 파일을 복사해야합니다.mapred-site,xml.template ...에 mapred-site.xml 다음 명령을 사용하여 파일.
$ cp mapred-site.xml.template mapred-site.xml
mapred-site.xml 파일을 열고이 파일의 <configuration>, </ configuration> 태그 사이에 다음 속성을 추가합니다.
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6 단계 : Hadoop 설치 확인
다음 단계는 Hadoop 설치를 확인하는 데 사용됩니다.
네임 노드 설정
다음과 같이 "hdfs namenode -format"명령을 사용하여 namenode를 설정하십시오.
$ cd ~
$ hdfs namenode -format
예상 결과는 다음과 같습니다.
10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost/192.168.1.11
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 2.4.1
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted.
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to retain 1
images with txid >= 0 10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
************************************************************/
Hadoop DFS 확인
다음 명령은 DFS를 시작하는 데 사용됩니다. 이 명령을 실행하면 Hadoop 파일 시스템이 시작됩니다.
$ start-dfs.sh
예상 출력은 다음과 같습니다.
10/24/14 21:37:56 Starting namenodes on [localhost]
localhost: starting namenode, logging to
/home/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-namenode-localhost.out localhost:
starting datanode, logging to
/home/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]
원사 스크립트 확인
다음 명령은 Yarn 스크립트를 시작하는 데 사용됩니다. 이 명령을 실행하면 Yarn 데몬이 시작됩니다.
$ start-yarn.sh
예상 출력은 다음과 같습니다.
starting yarn daemons
starting resourcemanager, logging to /home/hadoop/hadoop-2.4.1/logs/
yarn-hadoop-resourcemanager-localhost.out
localhost: starting nodemanager, logging to
/home/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-localhost.out
브라우저에서 Hadoop에 액세스
Hadoop에 액세스하기위한 기본 포트 번호는 50070입니다. 다음 URL을 사용하여 브라우저에서 Hadoop 서비스를 가져옵니다.
http://localhost:50070/
클러스터에 대한 모든 애플리케이션 확인
클러스터의 모든 애플리케이션에 액세스하기위한 기본 포트 번호는 8088입니다.이 서비스를 방문하려면 다음 URL을 사용하십시오.
http://localhost:8088/
Hadoop 설치가 완료되면 다음 단계로 진행하여 시스템에 Hive를 설치합니다.
7 단계 : Hive 다운로드
이 자습서에서는 hive-0.14.0을 사용합니다. 다음 링크를 방문하여 다운로드 할 수 있습니다.http://apache.petsads.us/hive/hive-0.14.0/. 이 파일이/Downloads예배 규칙서. 여기에서“apache-hive-0.14.0-bin.tar.gz”을 참조하십시오. 다음 명령은 다운로드를 확인하는 데 사용됩니다-
$ cd Downloads
$ ls
성공적으로 다운로드하면 다음과 같은 응답이 표시됩니다.
apache-hive-0.14.0-bin.tar.gz
8 단계 : Hive 설치
시스템에 Hive를 설치하려면 다음 단계가 필요합니다. Hive 아카이브가/Downloads 예배 규칙서.
Hive 아카이브 추출 및 확인
다음 명령은 다운로드를 확인하고 Hive 아카이브를 추출하는 데 사용됩니다.
$ tar zxvf apache-hive-0.14.0-bin.tar.gz
$ ls
성공적으로 다운로드하면 다음과 같은 응답이 표시됩니다.
apache-hive-0.14.0-bin apache-hive-0.14.0-bin.tar.gz
/ usr / local / hive 디렉토리에 파일 복사
수퍼 유저 "su-"의 파일을 복사해야합니다. 다음 명령을 사용하여 압축을 푼 디렉토리의 파일을/usr/local/hive”디렉토리.
$ su -
passwd:
# cd /home/user/Download
# mv apache-hive-0.14.0-bin /usr/local/hive
# exit
Hive 용 환경 설정
다음 줄을 추가하여 Hive 환경을 설정할 수 있습니다. ~/.bashrc 파일-
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:/usr/local/Hadoop/lib/*:.
export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.
~ / .bashrc 파일을 실행하려면 다음 명령을 사용합니다.
$ source ~/.bashrc
9 단계 : Hive 구성
Hadoop으로 Hive를 구성하려면 다음을 편집해야합니다. hive-env.sh 파일은 $HIVE_HOME/conf예배 규칙서. 다음 명령은 Hive로 리디렉션됩니다.config 폴더 및 템플릿 파일 복사-
$ cd $HIVE_HOME/conf
$ cp hive-env.sh.template hive-env.sh
편집 hive-env.sh 다음 줄을 추가하여 파일-
export HADOOP_HOME=/usr/local/hadoop
이것으로 Hive 설치가 완료됩니다. 이제 Metastore를 구성하려면 외부 데이터베이스 서버가 필요합니다. Apache Derby 데이터베이스를 사용합니다.
10 단계 : Apache Derby 다운로드 및 설치
Apache Derby를 다운로드하고 설치하려면 아래 단계를 따르십시오.
Apache Derby 다운로드
다음 명령은 Apache Derby를 다운로드하는 데 사용됩니다. 다운로드하는 데 시간이 걸립니다.
$ cd ~
$ wget http://archive.apache.org/dist/db/derby/db-derby-10.4.2.0/db-derby-10.4.2.0-bin.tar.gz
다음 명령은 다운로드를 확인하는 데 사용됩니다-
$ ls
성공적으로 다운로드하면 다음과 같은 응답이 표시됩니다.
db-derby-10.4.2.0-bin.tar.gz
Derby 아카이브 추출 및 확인
다음 명령은 Derby 아카이브를 추출하고 확인하는 데 사용됩니다-
$ tar zxvf db-derby-10.4.2.0-bin.tar.gz
$ ls
성공적으로 다운로드하면 다음과 같은 응답이 표시됩니다.
db-derby-10.4.2.0-bin db-derby-10.4.2.0-bin.tar.gz
/ usr / local / derby 디렉토리에 파일 복사
수퍼 유저 "su-"에서 복사해야합니다. 다음 명령을 사용하여 압축을 푼 디렉토리의 파일을/usr/local/derby 디렉토리-
$ su -
passwd:
# cd /home/user
# mv db-derby-10.4.2.0-bin /usr/local/derby
# exit
Derby를위한 환경 설정
다음 행을 추가하여 Derby 환경을 설정할 수 있습니다. ~/.bashrc 파일-
export DERBY_HOME=/usr/local/derby
export PATH=$PATH:$DERBY_HOME/bin
export CLASSPATH=$CLASSPATH:$DERBY_HOME/lib/derby.jar:$DERBY_HOME/lib/derbytools.jar
다음 명령을 사용하여 ~/.bashrc file −
$ source ~/.bashrc
메타 스토어 용 디렉토리 생성
이름이 data $ DERBY_HOME 디렉토리에서 Metastore 데이터를 저장합니다.
$ mkdir $DERBY_HOME/data
이제 Derby 설치 및 환경 설정이 완료되었습니다.
11 단계 : Hive 메타 스토어 구성
Metastore를 구성한다는 것은 데이터베이스가 저장되는 Hive를 지정하는 것을 의미합니다. 이 작업은hive-site.xml 파일에 있습니다. $HIVE_HOME/conf예배 규칙서. 먼저 다음 명령을 사용하여 템플릿 파일을 복사하십시오.
$ cd $HIVE_HOME/conf
$ cp hive-default.xml.template hive-site.xml
편집하다 hive-site.xml 그리고 <configuration>과 </ configuration> 태그 사이에 다음 줄을 추가하십시오-
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby://localhost:1527/metastore_db;create = true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
다음과 같은 파일을 만듭니다. jpox.properties 다음 줄을 추가하십시오-
javax.jdo.PersistenceManagerFactoryClass = org.jpox.PersistenceManagerFactoryImpl
org.jpox.autoCreateSchema = false
org.jpox.validateTables = false
org.jpox.validateColumns = false
org.jpox.validateConstraints = false
org.jpox.storeManagerType = rdbms
org.jpox.autoCreateSchema = true
org.jpox.autoStartMechanismMode = checked
org.jpox.transactionIsolation = read_committed
javax.jdo.option.DetachAllOnCommit = true
javax.jdo.option.NontransactionalRead = true
javax.jdo.option.ConnectionDriverName = org.apache.derby.jdbc.ClientDriver
javax.jdo.option.ConnectionURL = jdbc:derby://hadoop1:1527/metastore_db;create = true
javax.jdo.option.ConnectionUserName = APP
javax.jdo.option.ConnectionPassword = mine
12 단계 : Hive 설치 확인
Hive를 실행하기 전에 /tmp폴더 및 HDFS의 별도 Hive 폴더. 여기에서 우리는/user/hive/warehouse폴더. 아래와 같이 새로 생성 된 폴더에 대한 쓰기 권한을 설정해야합니다.
chmod g+w
이제 Hive를 확인하기 전에 HDFS에서 설정하십시오. 다음 명령을 사용하십시오-
$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp
$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse
다음 명령은 Hive 설치를 확인하는 데 사용됩니다.
$ cd $HIVE_HOME
$ bin/hive
Hive를 성공적으로 설치하면 다음과 같은 응답이 표시됩니다.
Logging initialized using configuration in
jar:file:/home/hadoop/hive-0.9.0/lib/hive-common-0.9.0.jar!/
hive-log4j.properties Hive history
=/tmp/hadoop/hive_job_log_hadoop_201312121621_1494929084.txt
………………….
hive>
다음 샘플 명령을 실행하여 모든 테이블을 표시 할 수 있습니다.
hive> show tables;
OK Time taken: 2.798 seconds
hive>
13 단계 : HCatalog 설치 확인
다음 명령을 사용하여 시스템 변수를 설정합니다. HCAT_HOME HCatalog 홈.
export HCAT_HOME = $HiVE_HOME/HCatalog
다음 명령을 사용하여 HCatalog 설치를 확인하십시오.
cd $HCAT_HOME/bin
./hcat
설치에 성공하면 다음과 같은 출력이 표시됩니다.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
usage: hcat { -e "<query>" | -f "<filepath>" }
[ -g "<group>" ] [ -p "<perms>" ]
[ -D"<name> = <value>" ]
-D <property = value> use hadoop value for given property
-e <exec> hcat command given from command line
-f <file> hcat commands in file
-g <group> group for the db/table specified in CREATE statement
-h,--help Print help information
-p <perms> permissions for the db/table specified in CREATE statement