Apache Pig - Kurulum

Bu bölüm nasıl indirileceğini, kurulacağını ve kurulacağını açıklar Apache Pig sisteminizde.

Önkoşullar

Apache Pig'e gitmeden önce sisteminizde Hadoop ve Java'nın kurulu olması önemlidir. Bu nedenle, Apache Pig'i yüklemeden önce, aşağıdaki bağlantıda verilen adımları izleyerek Hadoop ve Java'yı yükleyin -

http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm

Apache Pig'i indirin

Öncelikle, aşağıdaki web sitesinden Apache Pig'in en son sürümünü indirin - https://pig.apache.org/

Aşama 1

Apache Pig web sitesinin ana sayfasını açın. Bölümün altındaNews, linki tıkla release page aşağıdaki anlık görüntüde gösterildiği gibi.

Adım 2

Belirtilen bağlantıya tıkladığınızda, şuraya yönlendirileceksiniz: Apache Pig Releasessayfa. Bu sayfada, altındaDownload bölümünde, iki bağlantınız olacak, yani Pig 0.8 and later ve Pig 0.7 and before. Linki tıklaPig 0.8 and later, ardından bir dizi aynanın bulunduğu sayfaya yönlendirileceksiniz.

Aşama 3

Aşağıda gösterildiği gibi bu aynalardan herhangi birini seçin ve tıklayın.

4. adım

Bu aynalar sizi Pig Releasessayfa. Bu sayfa, Apache Pig'in çeşitli sürümlerini içerir. Aralarında en son sürüme tıklayın.

Adım 5

Bu klasörler içinde, çeşitli dağıtımlarda Apache Pig'in kaynak ve ikili dosyalarına sahip olacaksınız. Apache Pig 0.15'in kaynak ve ikili dosyalarının tar dosyalarını indirin,pig0.15.0-src.tar.gz ve pig-0.15.0.tar.gz.

Apache Pig'i yükleyin

Apache Pig yazılımını indirdikten sonra, aşağıda verilen adımları takip ederek Linux ortamınıza kurun.

Aşama 1

Kurulum dizinlerinin bulunduğu dizinde Pig adıyla bir dizin oluşturun. Hadoop, Java,ve diğer yazılımlar yüklendi. (Eğitimimizde, Hadoop adlı kullanıcıda Pig dizinini oluşturduk).

$ mkdir Pig

Adım 2

İndirilen tar dosyalarını aşağıda gösterildiği gibi çıkarın.

$ cd Downloads/ 
$ tar zxvf pig-0.15.0-src.tar.gz 
$ tar zxvf pig-0.15.0.tar.gz

Aşama 3

İçeriğini taşı pig-0.15.0-src.tar.gz dosyaya Pig aşağıda gösterildiği gibi daha önce oluşturulmuş dizin.

$ mv pig-0.15.0-src.tar.gz/* /home/Hadoop/Pig/

Apache Pig'i yapılandırın

Apache Pig'i kurduktan sonra, onu yapılandırmamız gerekiyor. Yapılandırmak için iki dosyayı düzenlememiz gerekiyor -bashrc and pig.properties.

.bashrc dosyası

İçinde .bashrc dosya, aşağıdaki değişkenleri ayarlayın -

PIG_HOME Apache Pig kurulum klasörüne klasör,
PATH bin klasörüne ortam değişkeni ve
PIG_CLASSPATH Hadoop kurulumlarınızın etc (konfigürasyon) klasörüne (core-site.xml, hdfs-site.xml ve mapred-site.xml dosyalarını içeren dizin) ortam değişkeni.

export PIG_HOME = /home/Hadoop/Pig
export PATH  = $PATH:/home/Hadoop/pig/bin
export PIG_CLASSPATH = $HADOOP_HOME/conf

pig.properties dosyası

İçinde conf Pig klasörü, adında bir dosyamız var pig.properties. Pig.properties dosyasında, aşağıda verildiği gibi çeşitli parametreleri ayarlayabilirsiniz.

pig -h properties

Aşağıdaki özellikler desteklenmektedir -

Logging: verbose = true|false; default is false. This property is the same as -v
       switch brief=true|false; default is false. This property is the same 
       as -b switch debug=OFF|ERROR|WARN|INFO|DEBUG; default is INFO.             
       This property is the same as -d switch aggregate.warning = true|false; default is true. 
       If true, prints count of warnings of each type rather than logging each warning.		 
		 
Performance tuning: pig.cachedbag.memusage=<mem fraction>; default is 0.2 (20% of all memory).
       Note that this memory is shared across all large bags used by the application.         
       pig.skewedjoin.reduce.memusagea=<mem fraction>; default is 0.3 (30% of all memory).
       Specifies the fraction of heap available for the reducer to perform the join.
       pig.exec.nocombiner = true|false; default is false.
           Only disable combiner as a temporary workaround for problems.         
       opt.multiquery = true|false; multiquery is on by default.
           Only disable multiquery as a temporary workaround for problems.
       opt.fetch=true|false; fetch is on by default.
           Scripts containing Filter, Foreach, Limit, Stream, and Union can be dumped without MR jobs.         
       pig.tmpfilecompression = true|false; compression is off by default.             
           Determines whether output of intermediate jobs is compressed.         
       pig.tmpfilecompression.codec = lzo|gzip; default is gzip.
           Used in conjunction with pig.tmpfilecompression. Defines compression type.         
       pig.noSplitCombination = true|false. Split combination is on by default.
           Determines if multiple small files are combined into a single map.         
			  
       pig.exec.mapPartAgg = true|false. Default is false.             
           Determines if partial aggregation is done within map phase, before records are sent to combiner.         
       pig.exec.mapPartAgg.minReduction=<min aggregation factor>. Default is 10.             
           If the in-map partial aggregation does not reduce the output num records by this factor, it gets disabled.
			  
Miscellaneous: exectype = mapreduce|tez|local; default is mapreduce. This property is the same as -x switch
       pig.additional.jars.uris=<comma seperated list of jars>. Used in place of register command.
       udf.import.list=<comma seperated list of imports>. Used to avoid package names in UDF.
       stop.on.failure = true|false; default is false. Set to true to terminate on the first error.         
       pig.datetime.default.tz=<UTC time offset>. e.g. +08:00. Default is the default timezone of the host.
           Determines the timezone used to handle datetime datatype and UDFs.
Additionally, any Hadoop property can be specified.

Kurulumu Doğrulama

Version komutunu yazarak Apache Pig kurulumunu doğrulayın. Kurulum başarılı olursa, aşağıda gösterildiği gibi Apache Pig sürümünü alacaksınız.

$ pig –version 
 
Apache Pig version 0.15.0 (r1682971)  
compiled Jun 01 2015, 11:44:35