Apache Pig - Toán tử chẩn đoán

Các loadcâu lệnh sẽ chỉ cần tải dữ liệu vào quan hệ được chỉ định trong Apache Pig. Để xác minh việc thực hiệnLoad tuyên bố, bạn phải sử dụng Diagnostic Operators. Pig Latin cung cấp bốn loại toán tử chẩn đoán khác nhau -

Nhà điều hành bán phá giá
Mô tả toán tử
Toán tử giải thích
Toán tử minh họa

Trong chương này, chúng ta sẽ thảo luận về các toán tử Dump của Pig Latin.

Nhà điều hành Dump

Các Dumpđược sử dụng để chạy các câu lệnh Pig Latin và hiển thị kết quả trên màn hình. Nó thường được sử dụng để gỡ lỗi Mục đích.

Cú pháp

Dưới đây là cú pháp của Dump nhà điều hành.

grunt> Dump Relation_Name

Thí dụ

Giả sử chúng ta có một tệp student_data.txt trong HDFS với nội dung sau.

001,Rajiv,Reddy,9848022337,Hyderabad
002,siddarth,Battacharya,9848022338,Kolkata
003,Rajesh,Khanna,9848022339,Delhi
004,Preethi,Agarwal,9848022330,Pune
005,Trupthi,Mohanthy,9848022336,Bhuwaneshwar
006,Archana,Mishra,9848022335,Chennai.

Và chúng tôi đã đọc nó thành một mối quan hệ student sử dụng toán tử LOAD như hình dưới đây.

grunt> student = LOAD 'hdfs://localhost:9000/pig_data/student_data.txt' 
   USING PigStorage(',')
   as ( id:int, firstname:chararray, lastname:chararray, phone:chararray, 
   city:chararray );

Bây giờ, chúng ta hãy in nội dung của quan hệ bằng cách sử dụng Dump operator như hình bên dưới.

grunt> Dump student

Khi bạn thực hiện những điều trên Pig Latin, nó sẽ bắt đầu công việc MapReduce để đọc dữ liệu từ HDFS. Nó sẽ tạo ra kết quả sau.

2015-10-01 15:05:27,642 [main]
INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 
100% complete
2015-10-01 15:05:27,652 [main]
INFO  org.apache.pig.tools.pigstats.mapreduce.SimplePigStats - Script Statistics:   
HadoopVersion  PigVersion  UserId    StartedAt             FinishedAt       Features             
2.6.0          0.15.0      Hadoop  2015-10-01 15:03:11  2015-10-01 05:27     UNKNOWN
                                                
Success!  
Job Stats (time in seconds):
  
JobId           job_14459_0004
Maps                 1  
Reduces              0  
MaxMapTime          n/a    
MinMapTime          n/a
AvgMapTime          n/a 
MedianMapTime       n/a
MaxReduceTime        0
MinReduceTime        0  
AvgReduceTime        0
MedianReducetime     0
Alias             student 
Feature           MAP_ONLY        
Outputs           hdfs://localhost:9000/tmp/temp580182027/tmp757878456,

Input(s): Successfully read 0 records from: "hdfs://localhost:9000/pig_data/
student_data.txt"
  
Output(s): Successfully stored 0 records in: "hdfs://localhost:9000/tmp/temp580182027/
tmp757878456"  

Counters: Total records written : 0 Total bytes written : 0 Spillable Memory Manager 
spill count : 0Total bags proactively spilled: 0 Total records proactively spilled: 0  

Job DAG: job_1443519499159_0004
  
2015-10-01 15:06:28,403 [main]
INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLau ncher - Success!
2015-10-01 15:06:28,441 [main] INFO  org.apache.pig.data.SchemaTupleBackend - 
Key [pig.schematuple] was not set... will not generate code.
2015-10-01 15:06:28,485 [main]
INFO  org.apache.hadoop.mapreduce.lib.input.FileInputFormat - Total input paths 
to process : 1
2015-10-01 15:06:28,485 [main]
INFO  org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil - Total input paths
to process : 1

(1,Rajiv,Reddy,9848022337,Hyderabad) (2,siddarth,Battacharya,9848022338,Kolkata) (3,Rajesh,Khanna,9848022339,Delhi) (4,Preethi,Agarwal,9848022330,Pune) (5,Trupthi,Mohanthy,9848022336,Bhuwaneshwar) (6,Archana,Mishra,9848022335,Chennai)