Talend - Pig ile Çalışmak

Bu bölümde, Talend'de bir Pig işi ile nasıl çalışılacağını öğrenelim.

Talend Domuz İşi Oluşturmak

Bu bölümde, Talend'de nasıl Pig işi yapacağımızı öğrenelim. Burada, IBM'in ortalama stok hacmini bulmak için NYSE verilerini işleyeceğiz.

Bunun için İş Tasarımına sağ tıklayın ve yeni bir iş oluşturun - domuz işi. İşin ayrıntılarından bahsedin ve Bitir'i tıklayın.

Pig Job'a Bileşen Ekleme

Pig işine bileşenler eklemek için, dört Talend bileşenini paletten tasarımcı penceresine sürükleyip bırakın: tPigLoad, tPigFilterRow, tPigAggregate, tPigStoreResult.

Ardından, tPigLoad'a sağ tıklayın ve tPigFilterRow'a Pig Combine hattı oluşturun. Ardından, tPigFilterRow'a sağ tıklayın ve tPigAggregate'e Pig Combine hattı oluşturun. TPigAggregate'e sağ tıklayın ve tPigStoreResult'a Pig birleştirme hattı oluşturun.

Bileşenleri ve Dönüşümleri Yapılandırma

TPigLoad'da, dağılımı cloudera ve cloudera versiyonundan bahsedin. Namenode URI'nin "hdfs: //quickstart.cloudera: 8020" ve Kaynak Yöneticisinin "quickstart.cloudera: 8020" olması gerektiğini unutmayın. Ayrıca kullanıcı adı "cloudera" olmalıdır.

Girdi dosyası URI'sinde, NYSE girdi dosyanızın yolunu pig işine verin. Bu girdi dosyasının HDFS'de bulunması gerektiğini unutmayın.

Şemayı düzenle'yi tıklayın, sütunları ve türünü aşağıda gösterildiği gibi ekleyin.

TPigFilterRow'da, "Gelişmiş filtre kullan" seçeneğini seçin ve Filtre seçeneğine "stock_symbol = = 'IBM" yazın.

TAggregateRow'da, şemayı düzenle'yi tıklayın ve aşağıda gösterildiği gibi çıktıya avg_stock_volume sütununu ekleyin.

Şimdi, stock_exchange sütununu Grup seçeneğine göre girin. Giriş Sütunu olarak count İşlevi ve stock_exchange ile İşlemler alanına avg_stock_volume sütununu ekleyin.

TPigStoreResult'da, Pig işinin sonucunu depolamak istediğiniz Sonuç Klasörü URI'sindeki çıktı yolunu verin. Depolama işlevini PigStorage olarak ve alan ayırıcıyı (zorunlu değildir) "\ t" olarak seçin.