Apache Pig - оператор соединения

В JOINОператор используется для объединения записей из двух или более отношений. При выполнении операции соединения мы объявляем один (или группу) кортежей из каждого отношения в качестве ключей. Когда эти ключи совпадают, совпадают два конкретных кортежа, иначе записи удаляются. Соединения могут быть следующих типов -

Self-join
Inner-join
Внешнее соединение - левое соединение, правое соединение и полное соединение

В этой главе на примерах объясняется, как использовать оператор соединения в Pig Latin. Предположим, что у нас есть два файла, а именноcustomers.txt а также orders.txt в /pig_data/ каталог HDFS, как показано ниже.

customers.txt

1,Ramesh,32,Ahmedabad,2000.00
2,Khilan,25,Delhi,1500.00
3,kaushik,23,Kota,2000.00
4,Chaitali,25,Mumbai,6500.00 
5,Hardik,27,Bhopal,8500.00
6,Komal,22,MP,4500.00
7,Muffy,24,Indore,10000.00

orders.txt

102,2009-10-08 00:00:00,3,3000
100,2009-10-08 00:00:00,3,1500
101,2009-11-20 00:00:00,2,1560
103,2008-05-20 00:00:00,4,2060

И мы загрузили эти два файла в Pig с отношениями customers а также orders как показано ниже.

grunt> customers = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> orders = LOAD 'hdfs://localhost:9000/pig_data/orders.txt' USING PigStorage(',')
   as (oid:int, date:chararray, customer_id:int, amount:int);

Давайте теперь выполним различные операции соединения с этими двумя отношениями.

Самостоятельно - присоединиться

Self-join используется для соединения таблицы с самой собой, как если бы таблица была двумя отношениями, временно переименовывая хотя бы одно отношение.

Обычно в Apache Pig для выполнения самоподключения мы загружаем одни и те же данные несколько раз под разными псевдонимами (именами). Поэтому загрузим содержимое файлаcustomers.txt в виде двух таблиц, как показано ниже.

grunt> customers1 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);
  
grunt> customers2 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, address:chararray, salary:int);

Синтаксис

Ниже приводится синтаксис выполнения self-join операция с использованием JOIN оператор.

grunt> Relation3_name = JOIN Relation1_name BY key, Relation2_name BY key ;

пример

Давайте выполним self-join операция по отношению customers, объединив два отношения customers1 а также customers2 как показано ниже.

grunt> customers3 = JOIN customers1 BY id, customers2 BY id;

Проверка

Проверить связь customers3 с использованием DUMP оператор, как показано ниже.

grunt> Dump customers3;

Выход

Он выдаст следующий результат, отображающий содержимое отношения customers.

(1,Ramesh,32,Ahmedabad,2000,1,Ramesh,32,Ahmedabad,2000)
(2,Khilan,25,Delhi,1500,2,Khilan,25,Delhi,1500)
(3,kaushik,23,Kota,2000,3,kaushik,23,Kota,2000)
(4,Chaitali,25,Mumbai,6500,4,Chaitali,25,Mumbai,6500)
(5,Hardik,27,Bhopal,8500,5,Hardik,27,Bhopal,8500)
(6,Komal,22,MP,4500,6,Komal,22,MP,4500)
(7,Muffy,24,Indore,10000,7,Muffy,24,Indore,10000)

Внутреннее соединение

Inner Joinиспользуется довольно часто; это также упоминается какequijoin. Внутреннее соединение возвращает строки, если в обеих таблицах есть совпадения.

Он создает новое отношение, комбинируя значения столбцов двух отношений (скажем, A и B) на основе предиката соединения. Запрос сравнивает каждую строку A с каждой строкой B, чтобы найти все пары строк, которые удовлетворяют предикату соединения. Когда предикат соединения удовлетворяется, значения столбцов для каждой совпавшей пары строк A и B объединяются в строку результата.

Синтаксис

Вот синтаксис выполнения inner join операция с использованием JOIN оператор.

grunt> result = JOIN relation1 BY columnname, relation2 BY columnname;

пример

Давайте выполним inner join операция над двумя отношениями customers а также orders как показано ниже.

grunt> coustomer_orders = JOIN customers BY id, orders BY customer_id;

Проверка

Проверить связь coustomer_orders с использованием DUMP оператор, как показано ниже.

grunt> Dump coustomer_orders;

Выход

Вы получите следующий вывод, который будет содержать содержание отношения с именем coustomer_orders.

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

Note -

Внешнее соединение : в отличие от внутреннего соединения,outer joinвозвращает все строки хотя бы из одного отношения. Операция внешнего соединения выполняется тремя способами:

Левое внешнее соединение
Правое внешнее соединение
Полное внешнее соединение

Левое внешнее соединение

В left outer Join операция возвращает все строки из левой таблицы, даже если в правом отношении нет совпадений.

Синтаксис

Ниже приводится синтаксис выполнения left outer join операция с использованием JOIN оператор.

grunt> Relation3_name = JOIN Relation1_name BY id LEFT OUTER, Relation2_name BY customer_id;

пример

Давайте выполним операцию левого внешнего соединения для двух отношений клиентов и заказов, как показано ниже.

grunt> outer_left = JOIN customers BY id LEFT OUTER, orders BY customer_id;

Проверка

Проверить связь outer_left с использованием DUMP оператор, как показано ниже.

grunt> Dump outer_left;

Выход

Он выдаст следующий результат, отображающий содержимое отношения outer_left.

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)

Правое внешнее соединение

В right outer join операция возвращает все строки из правой таблицы, даже если в левой таблице нет совпадений.

Синтаксис

Ниже приводится синтаксис выполнения right outer join операция с использованием JOIN оператор.

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

пример

Давайте выполним right outer join операция над двумя отношениями customers а также orders как показано ниже.

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

Проверка

Проверить связь outer_right с использованием DUMP оператор, как показано ниже.

grunt> Dump outer_right

Выход

Он выдаст следующий результат, отображающий содержимое отношения outer_right.

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

Полное внешнее соединение

В full outer join операция возвращает строки, когда есть совпадение в одном из отношений.

Синтаксис

Ниже приводится синтаксис выполнения full outer join с использованием JOIN оператор.

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

пример

Давайте выполним full outer join операция над двумя отношениями customers а также orders как показано ниже.

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

Проверка

Проверить связь outer_full с использованием DUMP оператор, как показано ниже.

grun> Dump outer_full;

Выход

Он выдаст следующий результат, отображающий содержимое отношения outer_full.

(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)

Использование нескольких ключей

Мы можем выполнить операцию JOIN, используя несколько ключей.

Синтаксис

Вот как вы можете выполнить операцию JOIN для двух таблиц, используя несколько ключей.

grunt> Relation3_name = JOIN Relation2_name BY (key1, key2), Relation3_name BY (key1, key2);

Предположим, что у нас есть два файла, а именно employee.txt а также employee_contact.txt в /pig_data/ каталог HDFS, как показано ниже.

employee.txt

001,Rajiv,Reddy,21,programmer,003
002,siddarth,Battacharya,22,programmer,003
003,Rajesh,Khanna,22,programmer,003
004,Preethi,Agarwal,21,programmer,003
005,Trupthi,Mohanthy,23,programmer,003
006,Archana,Mishra,23,programmer,003
007,Komal,Nayak,24,teamlead,002
008,Bharathi,Nambiayar,24,manager,001

employee_contact.txt

001,9848022337,[email protected],Hyderabad,003
002,9848022338,[email protected],Kolkata,003
003,9848022339,[email protected],Delhi,003
004,9848022330,[email protected],Pune,003
005,9848022336,[email protected],Bhuwaneshwar,003
006,9848022335,[email protected],Chennai,003
007,9848022334,[email protected],trivendram,002
008,9848022333,[email protected],Chennai,001

И мы загрузили эти два файла в Pig с отношениями employee а также employee_contact как показано ниже.

grunt> employee = LOAD 'hdfs://localhost:9000/pig_data/employee.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, lastname:chararray, age:int, designation:chararray, jobid:int);
  
grunt> employee_contact = LOAD 'hdfs://localhost:9000/pig_data/employee_contact.txt' USING PigStorage(',') 
   as (id:int, phone:chararray, email:chararray, city:chararray, jobid:int);

Теперь давайте объединим содержимое этих двух отношений, используя JOIN оператор, как показано ниже.

grunt> emp = JOIN employee BY (id,jobid), employee_contact BY (id,jobid);

Проверка

Проверить связь emp с использованием DUMP оператор, как показано ниже.

grunt> Dump emp;

Выход

Он выдаст следующий результат, отображающий содержимое отношения с именем emp как показано ниже.

(1,Rajiv,Reddy,21,programmer,113,1,9848022337,[email protected],Hyderabad,113)
(2,siddarth,Battacharya,22,programmer,113,2,9848022338,[email protected],Kolka ta,113)  
(3,Rajesh,Khanna,22,programmer,113,3,9848022339,[email protected],Delhi,113)  
(4,Preethi,Agarwal,21,programmer,113,4,9848022330,[email protected],Pune,113)  
(5,Trupthi,Mohanthy,23,programmer,113,5,9848022336,[email protected],Bhuwaneshw ar,113)  
(6,Archana,Mishra,23,programmer,113,6,9848022335,[email protected],Chennai,113)  
(7,Komal,Nayak,24,teamlead,112,7,9848022334,[email protected],trivendram,112)  
(8,Bharathi,Nambiayar,24,manager,111,8,9848022333,[email protected],Chennai,111)