Apache Pig-데이터 저장

이전 장에서 Apache Pig에 데이터를로드하는 방법을 배웠습니다. 로드 된 데이터를 파일 시스템에 저장할 수 있습니다.store운영자. 이 장에서는 다음을 사용하여 Apache Pig에 데이터를 저장하는 방법을 설명합니다.Store 운영자.

통사론

다음은 Store 문의 구문입니다.

STORE Relation_name INTO ' required_directory_path ' [USING function];

예

파일이 있다고 가정합니다. student_data.txt 다음 내용으로 HDFS에서.

001,Rajiv,Reddy,9848022337,Hyderabad
002,siddarth,Battacharya,9848022338,Kolkata
003,Rajesh,Khanna,9848022339,Delhi
004,Preethi,Agarwal,9848022330,Pune
005,Trupthi,Mohanthy,9848022336,Bhuwaneshwar
006,Archana,Mishra,9848022335,Chennai.

그리고 우리는 그것을 관계로 읽었습니다. student 아래와 같이 LOAD 연산자를 사용합니다.

grunt> student = LOAD 'hdfs://localhost:9000/pig_data/student_data.txt' 
   USING PigStorage(',')
   as ( id:int, firstname:chararray, lastname:chararray, phone:chararray, 
   city:chararray );

이제 관계를 HDFS 디렉토리에 저장하겠습니다. “/pig_Output/” 아래 그림과 같이.

grunt> STORE student INTO ' hdfs://localhost:9000/pig_Output/ ' USING PigStorage (',');

산출

실행 후 store성명을 입력하면 다음 출력이 표시됩니다. 지정된 이름으로 디렉토리가 생성되고 데이터가 여기에 저장됩니다.

2015-10-05 13:05:05,429 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.
MapReduceLau ncher - 100% complete
2015-10-05 13:05:05,429 [main] INFO  org.apache.pig.tools.pigstats.mapreduce.SimplePigStats - 
Script Statistics:
   
HadoopVersion    PigVersion    UserId    StartedAt             FinishedAt             Features 
2.6.0            0.15.0        Hadoop    2015-10-0 13:03:03    2015-10-05 13:05:05    UNKNOWN  
Success!  
Job Stats (time in seconds): 
JobId          Maps    Reduces    MaxMapTime    MinMapTime    AvgMapTime    MedianMapTime    
job_14459_06    1        0           n/a           n/a           n/a           n/a
MaxReduceTime    MinReduceTime    AvgReduceTime    MedianReducetime    Alias    Feature   
     0                 0                0                0             student  MAP_ONLY 
OutPut folder
hdfs://localhost:9000/pig_Output/ 
 
Input(s): Successfully read 0 records from: "hdfs://localhost:9000/pig_data/student_data.txt"  
Output(s): Successfully stored 0 records in: "hdfs://localhost:9000/pig_Output"  
Counters:
Total records written : 0
Total bytes written : 0
Spillable Memory Manager spill count : 0 
Total bags proactively spilled: 0
Total records proactively spilled: 0
  
Job DAG: job_1443519499159_0006
  
2015-10-05 13:06:06,192 [main] INFO  org.apache.pig.backend.hadoop.executionengine
.mapReduceLayer.MapReduceLau ncher - Success!

확인

아래와 같이 저장된 데이터를 확인할 수 있습니다.

1 단계

우선, 디렉토리에있는 파일을 나열하십시오. pig_output 사용 ls 아래와 같이 명령.

hdfs dfs -ls 'hdfs://localhost:9000/pig_Output/'
Found 2 items
rw-r--r-   1 Hadoop supergroup          0 2015-10-05 13:03 hdfs://localhost:9000/pig_Output/_SUCCESS
rw-r--r-   1 Hadoop supergroup        224 2015-10-05 13:03 hdfs://localhost:9000/pig_Output/part-m-00000

실행 후 두 파일이 생성 된 것을 볼 수 있습니다. store 성명서.

2 단계

사용 cat 명령, 이름이 지정된 파일의 내용 나열 part-m-00000 아래 그림과 같이.

$ hdfs dfs -cat 'hdfs://localhost:9000/pig_Output/part-m-00000' 
1,Rajiv,Reddy,9848022337,Hyderabad
2,siddarth,Battacharya,9848022338,Kolkata
3,Rajesh,Khanna,9848022339,Delhi
4,Preethi,Agarwal,9848022330,Pune
5,Trupthi,Mohanthy,9848022336,Bhuwaneshwar
6,Archana,Mishra,9848022335,Chennai