Apache Pig - เข้าร่วม Operator

JOINตัวดำเนินการใช้เพื่อรวมเร็กคอร์ดจากสองความสัมพันธ์ขึ้นไป ในขณะที่ดำเนินการเข้าร่วมเราประกาศทูเพิลหนึ่ง (หรือกลุ่ม) จากแต่ละรีเลชันเป็นคีย์ เมื่อคีย์เหล่านี้ตรงกันทูเปิลสองตัวจะตรงกันมิฉะนั้นเร็กคอร์ดจะถูกทิ้ง การเข้าร่วมสามารถเป็นประเภทต่อไปนี้ -

Self-join
Inner-join
การเข้าร่วมภายนอก - การเข้าร่วมทางซ้ายการเข้าร่วมทางขวาและการเข้าร่วมแบบเต็ม

บทนี้อธิบายด้วยตัวอย่างวิธีใช้ตัวดำเนินการเข้าร่วมใน Pig Latin สมมติว่าเรามีสองไฟล์คือcustomers.txt และ orders.txt ใน /pig_data/ ไดเรกทอรีของ HDFS ดังแสดงด้านล่าง

customers.txt

1,Ramesh,32,Ahmedabad,2000.00
2,Khilan,25,Delhi,1500.00
3,kaushik,23,Kota,2000.00
4,Chaitali,25,Mumbai,6500.00 
5,Hardik,27,Bhopal,8500.00
6,Komal,22,MP,4500.00
7,Muffy,24,Indore,10000.00

orders.txt

102,2009-10-08 00:00:00,3,3000
100,2009-10-08 00:00:00,3,1500
101,2009-11-20 00:00:00,2,1560
103,2008-05-20 00:00:00,4,2060

และเราได้โหลดไฟล์ทั้งสองนี้ลงใน Pig ด้วยความสัมพันธ์ customers และ orders ดังแสดงด้านล่าง

grunt> customers = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> orders = LOAD 'hdfs://localhost:9000/pig_data/orders.txt' USING PigStorage(',')
   as (oid:int, date:chararray, customer_id:int, amount:int);

ตอนนี้ให้เราดำเนินการเข้าร่วมต่างๆในความสัมพันธ์ทั้งสองนี้

เข้าร่วมด้วยตนเอง

Self-join ใช้เพื่อเข้าร่วมตารางกับตัวเองราวกับว่าตารางเป็นสองความสัมพันธ์โดยเปลี่ยนชื่ออย่างน้อยหนึ่งความสัมพันธ์ชั่วคราว

โดยทั่วไปใน Apache Pig ในการเข้าร่วมด้วยตนเองเราจะโหลดข้อมูลเดียวกันหลายครั้งภายใต้นามแฝง (ชื่อ) ที่แตกต่างกัน ดังนั้นให้เราโหลดเนื้อหาของไฟล์customers.txt เป็นสองตารางดังที่แสดงด้านล่าง

grunt> customers1 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> customers2 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);

ไวยากรณ์

ด้านล่างนี้คือไวยากรณ์ของการแสดง self-join การดำเนินการโดยใช้ JOIN ตัวดำเนินการ

grunt> Relation3_name = JOIN Relation1_name BY key, Relation2_name BY key ;

ตัวอย่าง

ให้เราดำเนินการ self-join การดำเนินการเกี่ยวกับความสัมพันธ์ customersโดยการเข้าร่วมความสัมพันธ์ทั้งสอง customers1 และ customers2 ดังแสดงด้านล่าง

grunt> customers3 = JOIN customers1 BY id, customers2 BY id;

การยืนยัน

ตรวจสอบความสัมพันธ์ customers3 ใช้ DUMP ตัวดำเนินการดังที่แสดงด้านล่าง

grunt> Dump customers3;

เอาต์พุต

มันจะสร้างผลลัพธ์ต่อไปนี้โดยแสดงเนื้อหาของความสัมพันธ์ customers.

(1,Ramesh,32,Ahmedabad,2000,1,Ramesh,32,Ahmedabad,2000)
(2,Khilan,25,Delhi,1500,2,Khilan,25,Delhi,1500)
(3,kaushik,23,Kota,2000,3,kaushik,23,Kota,2000)
(4,Chaitali,25,Mumbai,6500,4,Chaitali,25,Mumbai,6500)
(5,Hardik,27,Bhopal,8500,5,Hardik,27,Bhopal,8500)
(6,Komal,22,MP,4500,6,Komal,22,MP,4500)
(7,Muffy,24,Indore,10000,7,Muffy,24,Indore,10000)

การเข้าร่วมภายใน

Inner Joinถูกใช้ค่อนข้างบ่อย เรียกอีกอย่างว่าequijoin. การรวมภายในจะส่งคืนแถวเมื่อมีการจับคู่ในทั้งสองตาราง

สร้างความสัมพันธ์ใหม่โดยการรวมค่าคอลัมน์ของสองความสัมพันธ์ (พูดว่า A และ B) ตามคำกริยาเข้าร่วม แบบสอบถามเปรียบเทียบแต่ละแถวของ A กับแต่ละแถวของ B เพื่อค้นหาคู่ของแถวทั้งหมดที่ตรงกับคำกริยาเข้าร่วม เมื่อเข้าร่วมเพรดิเคตเป็นที่พอใจแล้วค่าของคอลัมน์สำหรับแถว A และ B ที่ตรงกันแต่ละคู่จะรวมกันเป็นแถวผลลัพธ์

ไวยากรณ์

นี่คือไวยากรณ์ของการแสดง inner join การดำเนินการโดยใช้ JOIN ตัวดำเนินการ

grunt> result = JOIN relation1 BY columnname, relation2 BY columnname;

ตัวอย่าง

ให้เราดำเนินการ inner join การดำเนินการกับสองความสัมพันธ์ customers และ orders ดังแสดงด้านล่าง

grunt> coustomer_orders = JOIN customers BY id, orders BY customer_id;

การยืนยัน

ตรวจสอบความสัมพันธ์ coustomer_orders ใช้ DUMP ตัวดำเนินการดังที่แสดงด้านล่าง

grunt> Dump coustomer_orders;

เอาต์พุต

คุณจะได้รับผลลัพธ์ต่อไปนี้ซึ่งจะเป็นเนื้อหาของความสัมพันธ์ที่มีชื่อว่า coustomer_orders.

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

Note -

การเข้าร่วมภายนอก : ไม่เหมือนกับการเข้าร่วมภายในouter joinส่งคืนแถวทั้งหมดจากความสัมพันธ์อย่างน้อยหนึ่งความสัมพันธ์ การรวมภายนอกดำเนินการได้สามวิธี -

การรวมภายนอกด้านซ้าย
การรวมภายนอกด้านขวา
การเข้าร่วมภายนอกเต็มรูปแบบ

เข้าร่วมด้านนอกซ้าย

left outer Join การดำเนินการส่งคืนแถวทั้งหมดจากตารางด้านซ้ายแม้ว่าจะไม่มีการจับคู่ในความสัมพันธ์ด้านขวาก็ตาม

ไวยากรณ์

ด้านล่างนี้คือไวยากรณ์ของการแสดง left outer join การดำเนินการโดยใช้ JOIN ตัวดำเนินการ

grunt> Relation3_name = JOIN Relation1_name BY id LEFT OUTER, Relation2_name BY customer_id;

ตัวอย่าง

ให้เราดำเนินการเข้าร่วมภายนอกด้านซ้ายกับลูกค้าสัมพันธ์สองรายและคำสั่งซื้อดังที่แสดงด้านล่าง

grunt> outer_left = JOIN customers BY id LEFT OUTER, orders BY customer_id;

การยืนยัน

ตรวจสอบความสัมพันธ์ outer_left ใช้ DUMP ตัวดำเนินการดังที่แสดงด้านล่าง

grunt> Dump outer_left;

เอาต์พุต

มันจะสร้างผลลัพธ์ต่อไปนี้โดยแสดงเนื้อหาของความสัมพันธ์ outer_left.

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)

เข้าร่วมภายนอกขวา

right outer join การดำเนินการส่งคืนแถวทั้งหมดจากตารางด้านขวาแม้ว่าจะไม่มีรายการที่ตรงกันในตารางด้านซ้าย

ไวยากรณ์

ด้านล่างนี้คือไวยากรณ์ของการแสดง right outer join การดำเนินการโดยใช้ JOIN ตัวดำเนินการ

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

ตัวอย่าง

ให้เราดำเนินการ right outer join การดำเนินการกับสองความสัมพันธ์ customers และ orders ดังแสดงด้านล่าง

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

การยืนยัน

ตรวจสอบความสัมพันธ์ outer_right ใช้ DUMP ตัวดำเนินการดังที่แสดงด้านล่าง

grunt> Dump outer_right

เอาต์พุต

มันจะสร้างผลลัพธ์ต่อไปนี้โดยแสดงเนื้อหาของความสัมพันธ์ outer_right.

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

เข้าร่วมภายนอกเต็มรูปแบบ

full outer join การดำเนินการส่งคืนแถวเมื่อมีการจับคู่ในความสัมพันธ์อย่างใดอย่างหนึ่ง

ไวยากรณ์

ด้านล่างนี้คือไวยากรณ์ของการแสดง full outer join ใช้ JOIN ตัวดำเนินการ

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

ตัวอย่าง

ให้เราดำเนินการ full outer join การดำเนินการกับสองความสัมพันธ์ customers และ orders ดังแสดงด้านล่าง

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

การยืนยัน

ตรวจสอบความสัมพันธ์ outer_full ใช้ DUMP ตัวดำเนินการดังที่แสดงด้านล่าง

grun> Dump outer_full;

เอาต์พุต

มันจะสร้างผลลัพธ์ต่อไปนี้โดยแสดงเนื้อหาของความสัมพันธ์ outer_full.

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)

การใช้ปุ่มหลายปุ่ม

เราสามารถทำการ JOIN โดยใช้ปุ่มหลายปุ่ม

ไวยากรณ์

นี่คือวิธีที่คุณสามารถดำเนินการ JOIN บนสองตารางโดยใช้หลายปุ่ม

grunt> Relation3_name = JOIN Relation2_name BY (key1, key2), Relation3_name BY (key1, key2);

สมมติว่าเรามีสองไฟล์คือ employee.txt และ employee_contact.txt ใน /pig_data/ ไดเรกทอรีของ HDFS ดังแสดงด้านล่าง

employee.txt

001,Rajiv,Reddy,21,programmer,003
002,siddarth,Battacharya,22,programmer,003
003,Rajesh,Khanna,22,programmer,003
004,Preethi,Agarwal,21,programmer,003
005,Trupthi,Mohanthy,23,programmer,003
006,Archana,Mishra,23,programmer,003
007,Komal,Nayak,24,teamlead,002
008,Bharathi,Nambiayar,24,manager,001

employee_contact.txt

001,9848022337,[email protected],Hyderabad,003
002,9848022338,[email protected],Kolkata,003
003,9848022339,[email protected],Delhi,003
004,9848022330,[email protected],Pune,003
005,9848022336,[email protected],Bhuwaneshwar,003
006,9848022335,[email protected],Chennai,003
007,9848022334,[email protected],trivendram,002
008,9848022333,[email protected],Chennai,001

และเราได้โหลดไฟล์ทั้งสองนี้ลงใน Pig ด้วยความสัมพันธ์ employee และ employee_contact ดังแสดงด้านล่าง

grunt> employee = LOAD 'hdfs://localhost:9000/pig_data/employee.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, lastname:chararray, age:int, designation:chararray, jobid:int);
  
grunt> employee_contact = LOAD 'hdfs://localhost:9000/pig_data/employee_contact.txt' USING PigStorage(',') 
   as (id:int, phone:chararray, email:chararray, city:chararray, jobid:int);

ตอนนี้ให้เราเข้าร่วมเนื้อหาของความสัมพันธ์ทั้งสองนี้โดยใช้ไฟล์ JOIN ตัวดำเนินการดังที่แสดงด้านล่าง

grunt> emp = JOIN employee BY (id,jobid), employee_contact BY (id,jobid);

การยืนยัน

ตรวจสอบความสัมพันธ์ emp ใช้ DUMP ตัวดำเนินการดังที่แสดงด้านล่าง

grunt> Dump emp;

เอาต์พุต

มันจะสร้างผลลัพธ์ต่อไปนี้โดยแสดงเนื้อหาของความสัมพันธ์ที่ชื่อ emp ดังแสดงด้านล่าง

(1,Rajiv,Reddy,21,programmer,113,1,9848022337,[email protected],Hyderabad,113)
(2,siddarth,Battacharya,22,programmer,113,2,9848022338,[email protected],Kolka ta,113)  
(3,Rajesh,Khanna,22,programmer,113,3,9848022339,[email protected],Delhi,113)  
(4,Preethi,Agarwal,21,programmer,113,4,9848022330,[email protected],Pune,113)  
(5,Trupthi,Mohanthy,23,programmer,113,5,9848022336,[email protected],Bhuwaneshw ar,113)  
(6,Archana,Mishra,23,programmer,113,6,9848022335,[email protected],Chennai,113)  
(7,Komal,Nayak,24,teamlead,112,7,9848022334,[email protected],trivendram,112)  
(8,Bharathi,Nambiayar,24,manager,111,8,9848022333,[email protected],Chennai,111)