Apache Pig - dołącz do operatora

Plik JOINoperator służy do łączenia rekordów z dwóch lub więcej relacji. Podczas wykonywania operacji łączenia deklarujemy jedną (lub grupę) krotek z każdej relacji jako klucze. Kiedy te klucze pasują, dwie konkretne krotki są dopasowywane, w przeciwnym razie rekordy są usuwane. Połączenia mogą być następujących typów -

• Self-join
• Inner-join
• Łączenie zewnętrzne - łączenie lewe, łączenie prawe i łączenie pełne

W tym rozdziale wyjaśniono na przykładach, jak używać operatora sprzężenia w języku Pig Latin. Załóżmy, że mamy dwa pliki, a mianowiciecustomers.txt i orders.txt w /pig_data/ katalog HDFS, jak pokazano poniżej.

customers.txt

1,Ramesh,32,Ahmedabad,2000.00
2,Khilan,25,Delhi,1500.00
3,kaushik,23,Kota,2000.00
4,Chaitali,25,Mumbai,6500.00 
5,Hardik,27,Bhopal,8500.00
6,Komal,22,MP,4500.00
7,Muffy,24,Indore,10000.00

orders.txt

102,2009-10-08 00:00:00,3,3000
100,2009-10-08 00:00:00,3,1500
101,2009-11-20 00:00:00,2,1560
103,2008-05-20 00:00:00,4,2060

Załadowaliśmy te dwa pliki do Pig z relacjami customers i orders jak pokazano niżej.

grunt> customers = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> orders = LOAD 'hdfs://localhost:9000/pig_data/orders.txt' USING PigStorage(',')
   as (oid:int, date:chararray, customer_id:int, amount:int);

Wykonajmy teraz różne operacje Join na tych dwóch relacjach.

Dołącz do siebie

Self-join służy do łączenia tabeli ze sobą, tak jakby była to dwie relacje, tymczasowo zmieniając nazwę co najmniej jednej relacji.

Ogólnie rzecz biorąc, w Apache Pig, aby wykonać samosprzężenie, będziemy ładować te same dane wiele razy, pod różnymi aliasami (nazwami). Dlatego załadujmy zawartość plikucustomers.txt jako dwie tabele, jak pokazano poniżej.

grunt> customers1 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> customers2 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);

Składnia

Poniżej podano składnię wykonywania self-join operacja za pomocą JOIN operator.

grunt> Relation3_name = JOIN Relation1_name BY key, Relation2_name BY key ;

Przykład

Pozwól nam występować self-join operacja na relacji customers, łącząc te dwie relacje customers1 i customers2 jak pokazano niżej.

grunt> customers3 = JOIN customers1 BY id, customers2 BY id;

Weryfikacja

Sprawdź relację customers3 używając DUMP operator, jak pokazano poniżej.

grunt> Dump customers3;

Wynik

Spowoduje to wyświetlenie następującego wyniku, wyświetlając zawartość relacji customers.

(1,Ramesh,32,Ahmedabad,2000,1,Ramesh,32,Ahmedabad,2000)
(2,Khilan,25,Delhi,1500,2,Khilan,25,Delhi,1500)
(3,kaushik,23,Kota,2000,3,kaushik,23,Kota,2000)
(4,Chaitali,25,Mumbai,6500,4,Chaitali,25,Mumbai,6500)
(5,Hardik,27,Bhopal,8500,5,Hardik,27,Bhopal,8500)
(6,Komal,22,MP,4500,6,Komal,22,MP,4500)
(7,Muffy,24,Indore,10000,7,Muffy,24,Indore,10000)

Połączenie wewnętrzne

Inner Joinjest używany dość często; jest również określany jakoequijoin. Sprzężenie wewnętrzne zwraca wiersze, gdy istnieje dopasowanie w obu tabelach.

Tworzy nową relację, łącząc wartości kolumn dwóch relacji (powiedzmy A i B) w oparciu o predykat łączenia. Zapytanie porównuje każdy wiersz A z każdym wierszem B, aby znaleźć wszystkie pary wierszy, które spełniają predykat łączenia. Gdy predykat łączenia jest spełniony, wartości kolumn dla każdej dopasowanej pary wierszy A i B są łączone w wiersz wynikowy.

Składnia

Oto składnia wykonywania inner join operacja za pomocą JOIN operator.

grunt> result = JOIN relation1 BY columnname, relation2 BY columnname;

Przykład

Pozwól nam występować inner join operacja na dwóch relacjach customers i orders jak pokazano niżej.

grunt> coustomer_orders = JOIN customers BY id, orders BY customer_id;

Weryfikacja

Sprawdź relację coustomer_orders używając DUMP operator, jak pokazano poniżej.

grunt> Dump coustomer_orders;

Wynik

Otrzymasz następujące dane wyjściowe, które będą zawierać zawartość relacji o nazwie coustomer_orders.

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

Note -

Połączenie zewnętrzne : w przeciwieństwie do połączenia wewnętrznego,outer joinzwraca wszystkie wiersze z co najmniej jednej relacji. Operacja łączenia zewnętrznego jest wykonywana na trzy sposoby -

• Lewe połączenie zewnętrzne
• Prawe połączenie zewnętrzne
• Pełne połączenie zewnętrzne

Lewe połączenie zewnętrzne

Plik left outer Join operacja zwraca wszystkie wiersze z lewej tabeli, nawet jeśli nie ma żadnych dopasowań w prawej relacji.

Składnia

Poniżej podano składnię wykonywania left outer join operacja za pomocą JOIN operator.

grunt> Relation3_name = JOIN Relation1_name BY id LEFT OUTER, Relation2_name BY customer_id;

Przykład

Wykonajmy operację lewostronnego sprzężenia zewnętrznego na dwóch klientach relacji i zamówieniach, jak pokazano poniżej.

grunt> outer_left = JOIN customers BY id LEFT OUTER, orders BY customer_id;

Weryfikacja

Sprawdź relację outer_left używając DUMP operator, jak pokazano poniżej.

grunt> Dump outer_left;

Wynik

Spowoduje to wyświetlenie następującego wyniku, wyświetlając zawartość relacji outer_left.

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)

Prawe połączenie zewnętrzne

Plik right outer join operacja zwraca wszystkie wiersze z prawej tabeli, nawet jeśli nie ma żadnych dopasowań w lewej tabeli.

Składnia

Poniżej podano składnię wykonywania right outer join operacja za pomocą JOIN operator.

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

Przykład

Pozwól nam występować right outer join operacja na dwóch relacjach customers i orders jak pokazano niżej.

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

Weryfikacja

Sprawdź relację outer_right używając DUMP operator, jak pokazano poniżej.

grunt> Dump outer_right

Wynik

Spowoduje to wyświetlenie następującego wyniku, wyświetlając zawartość relacji outer_right.

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

Pełne połączenie zewnętrzne

Plik full outer join operacja zwraca wiersze, gdy istnieje zgodność w jednej z relacji.

Składnia

Poniżej podano składnię wykonywania full outer join używając JOIN operator.

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

Przykład

Pozwól nam występować full outer join operacja na dwóch relacjach customers i orders jak pokazano niżej.

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

Weryfikacja

Sprawdź relację outer_full używając DUMP operator, jak pokazano poniżej.

grun> Dump outer_full;

Wynik

Spowoduje to wyświetlenie następującego wyniku, wyświetlając zawartość relacji outer_full.

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)

Korzystanie z wielu kluczy

Operację JOIN możemy wykonać za pomocą wielu kluczy.

Składnia

Oto jak można wykonać operację JOIN na dwóch tabelach przy użyciu wielu klawiszy.

grunt> Relation3_name = JOIN Relation2_name BY (key1, key2), Relation3_name BY (key1, key2);

Załóżmy, że mamy dwa pliki, a mianowicie employee.txt i employee_contact.txt w /pig_data/ katalog HDFS, jak pokazano poniżej.

employee.txt

001,Rajiv,Reddy,21,programmer,003
002,siddarth,Battacharya,22,programmer,003
003,Rajesh,Khanna,22,programmer,003
004,Preethi,Agarwal,21,programmer,003
005,Trupthi,Mohanthy,23,programmer,003
006,Archana,Mishra,23,programmer,003
007,Komal,Nayak,24,teamlead,002
008,Bharathi,Nambiayar,24,manager,001

employee_contact.txt

001,9848022337,[email protected],Hyderabad,003
002,9848022338,[email protected],Kolkata,003
003,9848022339,[email protected],Delhi,003
004,9848022330,[email protected],Pune,003
005,9848022336,[email protected],Bhuwaneshwar,003
006,9848022335,[email protected],Chennai,003
007,9848022334,[email protected],trivendram,002
008,9848022333,[email protected],Chennai,001

Załadowaliśmy te dwa pliki do Pig z relacjami employee i employee_contact jak pokazano niżej.

grunt> employee = LOAD 'hdfs://localhost:9000/pig_data/employee.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, lastname:chararray, age:int, designation:chararray, jobid:int);
  
grunt> employee_contact = LOAD 'hdfs://localhost:9000/pig_data/employee_contact.txt' USING PigStorage(',') 
   as (id:int, phone:chararray, email:chararray, city:chararray, jobid:int);

Teraz połączmy zawartość tych dwóch relacji za pomocą JOIN operator, jak pokazano poniżej.

grunt> emp = JOIN employee BY (id,jobid), employee_contact BY (id,jobid);

Weryfikacja

Sprawdź relację emp używając DUMP operator, jak pokazano poniżej.

grunt> Dump emp;

Wynik

Spowoduje to wyświetlenie następującego wyniku, wyświetlając zawartość nazwanej relacji emp jak pokazano niżej.

(1,Rajiv,Reddy,21,programmer,113,1,9848022337,[email protected],Hyderabad,113)
(2,siddarth,Battacharya,22,programmer,113,2,9848022338,[email protected],Kolka ta,113)  
(3,Rajesh,Khanna,22,programmer,113,3,9848022339,[email protected],Delhi,113)  
(4,Preethi,Agarwal,21,programmer,113,4,9848022330,[email protected],Pune,113)  
(5,Trupthi,Mohanthy,23,programmer,113,5,9848022336,[email protected],Bhuwaneshw ar,113)  
(6,Archana,Mishra,23,programmer,113,6,9848022335,[email protected],Chennai,113)  
(7,Komal,Nayak,24,teamlead,112,7,9848022334,[email protected],trivendram,112)  
(8,Bharathi,Nambiayar,24,manager,111,8,9848022333,[email protected],Chennai,111)