ApachePig-オペレーターに参加

ザ・ JOIN演算子は、2つ以上のリレーションからのレコードを結合するために使用されます。結合操作の実行中に、各リレーションから1つ（またはグループ）のタプルをキーとして宣言します。これらのキーが一致すると、2つの特定のタプルが一致します。一致しない場合、レコードは削除されます。結合には次のタイプがあります-

• Self-join
• Inner-join
• 外部結合-左結合、右結合、および完全結合

この章では、PigLatinで結合演算子を使用する方法を例を挙げて説明します。つまり、2つのファイルがあると仮定します。customers.txt そして orders.txt の中に /pig_data/ 以下に示すHDFSのディレクトリ。

customers.txt

1,Ramesh,32,Ahmedabad,2000.00
2,Khilan,25,Delhi,1500.00
3,kaushik,23,Kota,2000.00
4,Chaitali,25,Mumbai,6500.00 
5,Hardik,27,Bhopal,8500.00
6,Komal,22,MP,4500.00
7,Muffy,24,Indore,10000.00

orders.txt

102,2009-10-08 00:00:00,3,3000
100,2009-10-08 00:00:00,3,1500
101,2009-11-20 00:00:00,2,1560
103,2008-05-20 00:00:00,4,2060

そして、これら2つのファイルをPigにロードしました。 customers そして orders 以下に示すように。

grunt> customers = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> orders = LOAD 'hdfs://localhost:9000/pig_data/orders.txt' USING PigStorage(',')
   as (oid:int, date:chararray, customer_id:int, amount:int);

ここで、これら2つの関係に対してさまざまな結合操作を実行してみましょう。

自己参加

Self-join テーブルが2つのリレーションであるかのようにテーブルをそれ自体と結合するために使用され、少なくとも1つのリレーションの名前を一時的に変更します。

通常、Apache Pigでは、自己結合を実行するために、同じデータを異なるエイリアス（名前）で複数回ロードします。したがって、ファイルの内容をロードしましょうcustomers.txt 以下に示すように2つのテーブルとして。

grunt> customers1 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> customers2 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);

構文

以下に示すのは、実行の構文です。 self-join を使用した操作 JOIN オペレーター。

grunt> Relation3_name = JOIN Relation1_name BY key, Relation2_name BY key ;

例

実行しましょう self-join 関係の操作 customers、2つの関係を結合することによって customers1 そして customers2 以下に示すように。

grunt> customers3 = JOIN customers1 BY id, customers2 BY id;

検証

関係を確認する customers3 を使用して DUMP 以下に示す演算子。

grunt> Dump customers3;

出力

リレーションの内容を表示して、次の出力を生成します customers。

(1,Ramesh,32,Ahmedabad,2000,1,Ramesh,32,Ahmedabad,2000)
(2,Khilan,25,Delhi,1500,2,Khilan,25,Delhi,1500)
(3,kaushik,23,Kota,2000,3,kaushik,23,Kota,2000)
(4,Chaitali,25,Mumbai,6500,4,Chaitali,25,Mumbai,6500)
(5,Hardik,27,Bhopal,8500,5,Hardik,27,Bhopal,8500)
(6,Komal,22,MP,4500,6,Komal,22,MP,4500)
(7,Muffy,24,Indore,10000,7,Muffy,24,Indore,10000)

内部結合

Inner Join非常に頻繁に使用されます。とも呼ばれますequijoin。内部結合は、両方のテーブルに一致する場合に行を返します。

結合述語に基づいて2つのリレーション（たとえばAとB）の列値を組み合わせることにより、新しいリレーションを作成します。クエリは、Aの各行をBの各行と比較して、結合述語を満たす行のすべてのペアを見つけます。結合述語が満たされると、AとBの一致した行の各ペアの列値が結合されて結果行になります。

構文

これが実行の構文です inner join を使用した操作 JOIN オペレーター。

grunt> result = JOIN relation1 BY columnname, relation2 BY columnname;

例

実行しましょう inner join 2つの関係の操作 customers そして orders 以下に示すように。

grunt> coustomer_orders = JOIN customers BY id, orders BY customer_id;

検証

関係を確認する coustomer_orders を使用して DUMP 以下に示す演算子。

grunt> Dump coustomer_orders;

出力

次の名前のリレーションの内容を出力します。 coustomer_orders。

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

Note −

外部結合：内部結合とは異なり、outer join少なくとも1つのリレーションからすべての行を返します。外部結合操作は、次の3つの方法で実行されます。

• 左外部結合
• 右外部結合
• 完全外部結合

左外部結合

ザ・ left outer Join 操作は、正しい関係に一致するものがない場合でも、左側のテーブルからすべての行を返します。

構文

以下に示すのは、実行の構文です。 left outer join を使用した操作 JOIN オペレーター。

grunt> Relation3_name = JOIN Relation1_name BY id LEFT OUTER, Relation2_name BY customer_id;

例

以下に示すように、2つのリレーションの顧客と注文に対して左外部結合操作を実行してみましょう。

grunt> outer_left = JOIN customers BY id LEFT OUTER, orders BY customer_id;

検証

関係を確認する outer_left を使用して DUMP 以下に示す演算子。

grunt> Dump outer_left;

出力

リレーションの内容を表示して、次の出力を生成します outer_left。

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)

右外部結合

ザ・ right outer join 操作は、左側のテーブルに一致するものがない場合でも、右側のテーブルからすべての行を返します。

構文

以下に示すのは、実行の構文です。 right outer join を使用した操作 JOIN オペレーター。

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

例

実行しましょう right outer join 2つの関係の操作 customers そして orders 以下に示すように。

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

検証

関係を確認する outer_right を使用して DUMP 以下に示す演算子。

grunt> Dump outer_right

出力

リレーションの内容を表示して、次の出力を生成します outer_right。

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

完全外部結合

ザ・ full outer join リレーションの1つに一致するものがある場合、操作は行を返します。

構文

以下に示すのは、実行の構文です。 full outer join を使用して JOIN オペレーター。

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

例

実行しましょう full outer join 2つの関係の操作 customers そして orders 以下に示すように。

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

検証

関係を確認する outer_full を使用して DUMP 以下に示す演算子。

grun> Dump outer_full;

出力

リレーションの内容を表示して、次の出力を生成します outer_full。

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)

複数のキーの使用

複数のキーを使用してJOIN操作を実行できます。

構文

複数のキーを使用して2つのテーブルでJOIN操作を実行する方法は次のとおりです。

grunt> Relation3_name = JOIN Relation2_name BY (key1, key2), Relation3_name BY (key1, key2);

つまり、2つのファイルがあると仮定します。 employee.txt そして employee_contact.txt の中に /pig_data/ 以下に示すHDFSのディレクトリ。

employee.txt

001,Rajiv,Reddy,21,programmer,003
002,siddarth,Battacharya,22,programmer,003
003,Rajesh,Khanna,22,programmer,003
004,Preethi,Agarwal,21,programmer,003
005,Trupthi,Mohanthy,23,programmer,003
006,Archana,Mishra,23,programmer,003
007,Komal,Nayak,24,teamlead,002
008,Bharathi,Nambiayar,24,manager,001

employee_contact.txt

001,9848022337,[email protected],Hyderabad,003
002,9848022338,[email protected],Kolkata,003
003,9848022339,[email protected],Delhi,003
004,9848022330,[email protected],Pune,003
005,9848022336,[email protected],Bhuwaneshwar,003
006,9848022335,[email protected],Chennai,003
007,9848022334,[email protected],trivendram,002
008,9848022333,[email protected],Chennai,001

そして、これら2つのファイルをPigにリレーション付きでロードしました employee そして employee_contact 以下に示すように。

grunt> employee = LOAD 'hdfs://localhost:9000/pig_data/employee.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, lastname:chararray, age:int, designation:chararray, jobid:int);
  
grunt> employee_contact = LOAD 'hdfs://localhost:9000/pig_data/employee_contact.txt' USING PigStorage(',') 
   as (id:int, phone:chararray, email:chararray, city:chararray, jobid:int);

それでは、これら2つの関係の内容を JOIN 以下に示す演算子。

grunt> emp = JOIN employee BY (id,jobid), employee_contact BY (id,jobid);

検証

関係を確認する emp を使用して DUMP 以下に示す演算子。

grunt> Dump emp;

出力

次の出力が生成され、という名前のリレーションの内容が表示されます。 emp 以下に示すように。

(1,Rajiv,Reddy,21,programmer,113,1,9848022337,[email protected],Hyderabad,113)
(2,siddarth,Battacharya,22,programmer,113,2,9848022338,[email protected],Kolka ta,113)  
(3,Rajesh,Khanna,22,programmer,113,3,9848022339,[email protected],Delhi,113)  
(4,Preethi,Agarwal,21,programmer,113,4,9848022330,[email protected],Pune,113)  
(5,Trupthi,Mohanthy,23,programmer,113,5,9848022336,[email protected],Bhuwaneshw ar,113)  
(6,Archana,Mishra,23,programmer,113,6,9848022335,[email protected],Chennai,113)  
(7,Komal,Nayak,24,teamlead,112,7,9848022334,[email protected],trivendram,112)  
(8,Bharathi,Nambiayar,24,manager,111,8,9848022333,[email protected],Chennai,111)