Talend-Pig 작업
이 장에서는 Talend에서 Pig 작업으로 작업하는 방법을 알아 보겠습니다.
Talend Pig 작업 생성
이 섹션에서는 Talend에서 Pig 작업을 실행하는 방법을 알아 보겠습니다. 여기서는 NYSE 데이터를 처리하여 IBM의 평균 재고량을 알아 봅니다.
이를 위해 작업 디자인을 마우스 오른쪽 버튼으로 클릭하고 새 작업 인 pigjob을 만듭니다. 작업의 세부 사항을 언급하고 완료를 클릭하십시오.
Pig 작업에 구성 요소 추가
Pig 작업에 구성 요소를 추가하려면 팔레트에서 디자이너 창으로 tPigLoad, tPigFilterRow, tPigAggregate, tPigStoreResult의 네 가지 Talend 구성 요소를 끌어서 놓습니다.
그런 다음 tPigLoad를 마우스 오른쪽 버튼으로 클릭하고 tPigFilterRow에 Pig Combine 라인을 생성합니다. 다음으로 tPigFilterRow를 마우스 오른쪽 버튼으로 클릭하고 tPigAggregate에 Pig Combine 라인을 생성합니다. tPigAggregate를 마우스 오른쪽 버튼으로 클릭하고 tPigStoreResult에 Pig 결합 라인을 생성합니다.
구성 요소 및 변환 구성
tPigLoad에서 배포를 cloudera 및 cloudera 버전으로 언급합니다. Namenode URI는 "hdfs : //quickstart.cloudera : 8020"이고 Resource Manager는 "quickstart.cloudera : 8020"이어야합니다. 또한 사용자 이름은 "cloudera"여야합니다.
입력 파일 URI에서 pig 작업에 대한 NYSE 입력 파일의 경로를 제공합니다. 이 입력 파일은 HDFS에 있어야합니다.
스키마 수정을 클릭하고 아래와 같이 열과 유형을 추가합니다.
tPigFilterRow에서 "고급 필터 사용"옵션을 선택하고 필터 옵션에 "stock_symbol = = 'IBM'"을 입력합니다.
tAggregateRow에서 스키마 편집을 클릭하고 아래와 같이 출력에 avg_stock_volume 열을 추가합니다.
이제 옵션 별 그룹에 stock_exchange 열을 입력합니다. count 함수 및 stock_exchange를 입력 열로 사용하여 작업 필드에 avg_stock_volume 열을 추가합니다.
tPigStoreResult에서 Pig 작업의 결과를 저장할 결과 폴더 URI에 출력 경로를 제공합니다. 저장 기능을 PigStorage로 선택하고 필드 구분 기호 (필수 아님)를 "\ t"로 선택합니다.
Pig 작업 실행
이제 실행을 클릭하여 Pig 작업을 실행하십시오. (경고 무시)
작업이 완료되면 돼지 작업 결과를 저장하기 위해 언급 한 HDFS 경로에서 출력을 확인하십시오. IBM의 평균 재고량은 500입니다.