ApachePig-共同グループオペレーター

ザ・ COGROUP演算子は、GROUP演算子とほぼ同じように機能します。2つの演算子の唯一の違いは、group 演算子は通常1つの関係で使用されますが、 cogroup 演算子は、2つ以上の関係を含むステートメントで使用されます。

Cogroupを使用して2つの関係をグループ化する

つまり、2つのファイルがあると仮定します。 student_details.txt そして employee_details.txt HDFSディレクトリ内 /pig_data/ 以下に示すように。

student_details.txt

001,Rajiv,Reddy,21,9848022337,Hyderabad
002,siddarth,Battacharya,22,9848022338,Kolkata
003,Rajesh,Khanna,22,9848022339,Delhi
004,Preethi,Agarwal,21,9848022330,Pune
005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar
006,Archana,Mishra,23,9848022335,Chennai
007,Komal,Nayak,24,9848022334,trivendram
008,Bharathi,Nambiayar,24,9848022333,Chennai

employee_details.txt

001,Robin,22,newyork 
002,BOB,23,Kolkata 
003,Maya,23,Tokyo 
004,Sara,25,London 
005,David,23,Bhuwaneshwar 
006,Maggy,22,Chennai

そして、これらのファイルをリレーション名でPigにロードしました student_details そして employee_details それぞれ、以下に示すように。

grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray); 
  
grunt> employee_details = LOAD 'hdfs://localhost:9000/pig_data/employee_details.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, city:chararray);

それでは、関係のレコード/タプルをグループ化しましょう student_details そして employee_details 以下に示すように、キー年齢で。

grunt> cogroup_data = COGROUP student_details by age, employee_details by age;

検証

関係を確認する cogroup_data を使用して DUMP 以下に示す演算子。

grunt> Dump cogroup_data;

出力

次の出力が生成され、という名前のリレーションの内容が表示されます。 cogroup_data 以下に示すように。

(21,{(4,Preethi,Agarwal,21,9848022330,Pune), (1,Rajiv,Reddy,21,9848022337,Hyderabad)}, 
   {    })  
(22,{ (3,Rajesh,Khanna,22,9848022339,Delhi), (2,siddarth,Battacharya,22,9848022338,Kolkata) },  
   { (6,Maggy,22,Chennai),(1,Robin,22,newyork) })  
(23,{(6,Archana,Mishra,23,9848022335,Chennai),(5,Trupthi,Mohanthy,23,9848022336 ,Bhuwaneshwar)}, 
   {(5,David,23,Bhuwaneshwar),(3,Maya,23,Tokyo),(2,BOB,23,Kolkata)}) 
(24,{(8,Bharathi,Nambiayar,24,9848022333,Chennai),(7,Komal,Nayak,24,9848022334, trivendram)}, 
   { })  
(25,{   }, 
   {(4,Sara,25,London)})

ザ・ cogroup 演算子は、各関係のタプルを年齢に従ってグループ化します。各グループは特定の年齢値を示します。

たとえば、結果の最初のタプルを検討すると、21歳でグループ化されます。2つのバッグが含まれています-

最初のバッグは、最初の関係からのすべてのタプルを保持します（student_details この場合）21歳で、
2番目のバッグには、2番目の関係からのすべてのタプルが含まれています（employee_details この場合）21歳です。

リレーションに年齢値21のタプルがない場合は、空のバッグを返します。