Apache Pig - Exécution de scripts
Ici, dans ce chapitre, nous verrons comment exécuter des scripts Apache Pig en mode batch.
Commentaires dans Pig Script
Lors de l'écriture d'un script dans un fichier, nous pouvons y inclure des commentaires comme indiqué ci-dessous.
Commentaires sur plusieurs lignes
Nous allons commencer les commentaires sur plusieurs lignes par '/ *', les terminer par '* /'.
/* These are the multi-line comments
In the pig script */Commentaires sur une seule ligne
Nous commencerons les commentaires sur une seule ligne par «-».
--we can write single line comments like this.Exécution du script Pig en mode batch
Lors de l'exécution des instructions Apache Pig en mode batch, suivez les étapes ci-dessous.
Étape 1
Écrivez toutes les instructions Pig Latin requises dans un seul fichier. Nous pouvons écrire toutes les instructions et commandes Pig Latin dans un seul fichier et l'enregistrer sous.pig fichier.
Étape 2
Exécutez le script Apache Pig. Vous pouvez exécuter le script Pig à partir du shell (Linux) comme indiqué ci-dessous.
| Mode local | Mode MapReduce |
|---|---|
| $ cochon -x local Sample_script.pig | $ cochon -x mapreduce Sample_script.pig |
Vous pouvez également l'exécuter à partir du shell Grunt en utilisant la commande exec comme indiqué ci-dessous.
grunt> exec /sample_script.pigExécution d'un script Pig depuis HDFS
Nous pouvons également exécuter un script Pig qui réside dans le HDFS. Supposons qu'il existe un script Pig avec le nomSample_script.pig dans le répertoire HDFS nommé /pig_data/. Nous pouvons l'exécuter comme indiqué ci-dessous.
$ pig -x mapreduce hdfs://localhost:9000/pig_data/Sample_script.pigExemple
Supposons que nous ayons un fichier student_details.txt en HDFS avec le contenu suivant.
student_details.txt
001,Rajiv,Reddy,21,9848022337,Hyderabad
002,siddarth,Battacharya,22,9848022338,Kolkata
003,Rajesh,Khanna,22,9848022339,Delhi
004,Preethi,Agarwal,21,9848022330,Pune
005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar
006,Archana,Mishra,23,9848022335,Chennai
007,Komal,Nayak,24,9848022334,trivendram
008,Bharathi,Nambiayar,24,9848022333,ChennaiNous avons également un exemple de script avec le nom sample_script.pig, dans le même répertoire HDFS. Ce fichier contient des instructions effectuant des opérations et des transformations sur lestudent relation, comme indiqué ci-dessous.
student = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',')
as (id:int, firstname:chararray, lastname:chararray, phone:chararray, city:chararray);
student_order = ORDER student BY age DESC;
student_limit = LIMIT student_order 4;
Dump student_limit;La première instruction du script chargera les données dans le fichier nommé student_details.txt comme une relation nommée student.
La deuxième instruction du script organisera les tuples de la relation dans l'ordre décroissant, en fonction de l'âge, et le stockera comme student_order.
La troisième instruction du script stockera les 4 premiers tuples de student_order comme student_limit.
Enfin, la quatrième instruction videra le contenu de la relation student_limit.
Exécutons maintenant le sample_script.pig comme indiqué ci-dessous.
$./pig -x mapreduce hdfs://localhost:9000/pig_data/sample_script.pigApache Pig est exécuté et vous donne la sortie avec le contenu suivant.
(7,Komal,Nayak,24,9848022334,trivendram)
(8,Bharathi,Nambiayar,24,9848022333,Chennai)
(5,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar)
(6,Archana,Mishra,23,9848022335,Chennai)
2015-10-19 10:31:27,446 [main] INFO org.apache.pig.Main - Pig script completed in 12
minutes, 32 seconds and 751 milliseconds (752751 ms)