Apache Pig-설치

이 장에서는 다운로드, 설치 및 설정 방법에 대해 설명합니다. Apache Pig 시스템에서.

전제 조건

Apache Pig를 사용하기 전에 시스템에 Hadoop 및 Java가 설치되어 있어야합니다. 따라서 Apache Pig를 설치하기 전에 다음 링크에 제공된 단계에 따라 Hadoop 및 Java를 설치하십시오.

http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm

Apache Pig 다운로드

우선, 다음 웹 사이트에서 최신 버전의 Apache Pig를 다운로드하십시오. https://pig.apache.org/

1 단계

Apache Pig 웹 사이트의 홈페이지를 엽니 다. 섹션 아래News, 링크를 클릭 release page 다음 스냅 샷에 표시된대로.

2 단계

지정된 링크를 클릭하면 다음으로 리디렉션됩니다. Apache Pig Releases페이지. 이 페이지의Download 섹션에는 두 개의 링크가 있습니다. Pig 0.8 and later 과 Pig 0.7 and before. 링크를 클릭하십시오Pig 0.8 and later, 그러면 미러 세트가있는 페이지로 리디렉션됩니다.

3 단계

아래 표시된 것처럼 이러한 미러 중 하나를 선택하고 클릭합니다.

4 단계

이 거울은 당신을 Pig Releases페이지. 이 페이지에는 다양한 버전의 Apache Pig가 포함되어 있습니다. 그중 최신 버전을 클릭하십시오.

5 단계

이 폴더에는 다양한 배포판에 Apache Pig의 소스 및 바이너리 파일이 있습니다. Apache Pig 0.15의 소스 및 바이너리 파일의 tar 파일을 다운로드합니다.pig0.15.0-src.tar.gz 과 pig-0.15.0.tar.gz.

Apache Pig 설치

Apache Pig 소프트웨어를 다운로드 한 후 아래 단계에 따라 Linux 환경에 설치하십시오.

1 단계

설치 디렉토리가있는 동일한 디렉토리에 Pig라는 이름의 디렉토리를 만듭니다. Hadoop, Java,및 기타 소프트웨어가 설치되었습니다. (이 자습서에서는 Hadoop이라는 사용자에 Pig 디렉터리를 만들었습니다.)

$ mkdir Pig

2 단계

아래와 같이 다운로드 한 tar 파일을 추출합니다.

$ cd Downloads/ 
$ tar zxvf pig-0.15.0-src.tar.gz 
$ tar zxvf pig-0.15.0.tar.gz

3 단계

내용 이동 pig-0.15.0-src.tar.gz 파일에 Pig 아래와 같이 이전에 생성 된 디렉토리.

$ mv pig-0.15.0-src.tar.gz/* /home/Hadoop/Pig/

Apache Pig 구성

Apache Pig를 설치 한 후 구성해야합니다. 구성하려면 두 개의 파일을 편집해야합니다.bashrc and pig.properties.

.bashrc 파일

에서 .bashrc 파일에서 다음 변수를 설정하십시오-

• PIG_HOME Apache Pig의 설치 폴더에 폴더,

• PATH bin 폴더에 대한 환경 변수 및

• PIG_CLASSPATH 환경 변수를 Hadoop 설치의 etc (구성) 폴더 (core-site.xml, hdfs-site.xml 및 mapred-site.xml 파일이 포함 된 디렉토리)에 추가합니다.

export PIG_HOME = /home/Hadoop/Pig
export PATH  = $PATH:/home/Hadoop/pig/bin
export PIG_CLASSPATH = $HADOOP_HOME/conf

pig.properties 파일

에서 conf Pig 폴더에는 pig.properties. pig.properties 파일에서 아래와 같이 다양한 매개 변수를 설정할 수 있습니다.

pig -h properties

다음 속성이 지원됩니다-

Logging: verbose = true|false; default is false. This property is the same as -v
       switch brief=true|false; default is false. This property is the same 
       as -b switch debug=OFF|ERROR|WARN|INFO|DEBUG; default is INFO.             
       This property is the same as -d switch aggregate.warning = true|false; default is true. 
       If true, prints count of warnings of each type rather than logging each warning.		 
		 
Performance tuning: pig.cachedbag.memusage=<mem fraction>; default is 0.2 (20% of all memory).
       Note that this memory is shared across all large bags used by the application.         
       pig.skewedjoin.reduce.memusagea=<mem fraction>; default is 0.3 (30% of all memory).
       Specifies the fraction of heap available for the reducer to perform the join.
       pig.exec.nocombiner = true|false; default is false.
           Only disable combiner as a temporary workaround for problems.         
       opt.multiquery = true|false; multiquery is on by default.
           Only disable multiquery as a temporary workaround for problems.
       opt.fetch=true|false; fetch is on by default.
           Scripts containing Filter, Foreach, Limit, Stream, and Union can be dumped without MR jobs.         
       pig.tmpfilecompression = true|false; compression is off by default.             
           Determines whether output of intermediate jobs is compressed.         
       pig.tmpfilecompression.codec = lzo|gzip; default is gzip.
           Used in conjunction with pig.tmpfilecompression. Defines compression type.         
       pig.noSplitCombination = true|false. Split combination is on by default.
           Determines if multiple small files are combined into a single map.         
			  
       pig.exec.mapPartAgg = true|false. Default is false.             
           Determines if partial aggregation is done within map phase, before records are sent to combiner.         
       pig.exec.mapPartAgg.minReduction=<min aggregation factor>. Default is 10.             
           If the in-map partial aggregation does not reduce the output num records by this factor, it gets disabled.
			  
Miscellaneous: exectype = mapreduce|tez|local; default is mapreduce. This property is the same as -x switch
       pig.additional.jars.uris=<comma seperated list of jars>. Used in place of register command.
       udf.import.list=<comma seperated list of imports>. Used to avoid package names in UDF.
       stop.on.failure = true|false; default is false. Set to true to terminate on the first error.         
       pig.datetime.default.tz=<UTC time offset>. e.g. +08:00. Default is the default timezone of the host.
           Determines the timezone used to handle datetime datatype and UDFs.
Additionally, any Hadoop property can be specified.

설치 확인

version 명령을 입력하여 Apache Pig 설치를 확인합니다. 설치에 성공하면 아래와 같은 Apache Pig 버전이 표시됩니다.

$ pig –version 
 
Apache Pig version 0.15.0 (r1682971)  
compiled Jun 01 2015, 11:44:35