Talend - Kovan
Bu bölümde, Talend'de Hive işi ile nasıl çalışılacağını anlayalım.
Talend Hive Job Oluşturma
Örnek olarak, NYSE verilerini bir kovan tablosuna yükleyeceğiz ve temel bir kovan sorgusu çalıştıracağız. İş Tasarımına sağ tıklayın ve yeni bir iş oluşturun - hivejob. İşin ayrıntılarından bahsedin ve Bitir'e tıklayın.
Hive Job'a Bileşen Ekleme
Bileşenleri bir Hive işine yerleştirmek için beş talend bileşenini - tHiveConnection, tHiveCreateTable, tHiveLoad, tHiveInput ve tLogRow'u paletten tasarımcı penceresine sürükleyip bırakın. Ardından, tHiveConnection'a sağ tıklayın ve tHiveCreateTable için OnSubjobOk tetikleyicisi oluşturun. Şimdi, tHiveCreateTable'a sağ tıklayın ve tHiveLoad için OnSubjobOk tetikleyicisi oluşturun. THiveLoad'a sağ tıklayın ve tHiveInput'ta yineleme tetikleyicisi oluşturun. Son olarak, tHiveInput'a sağ tıklayın ve tLogRow'a bir ana satır oluşturun.
Bileşenleri ve Dönüşümleri Yapılandırma
THiveConnection'da, cloudera ve kullandığınız sürümü olarak dağıtımı seçin. Bağlantı modunun bağımsız olacağını ve Hive Service'in Hive 2 olacağını unutmayın. Ayrıca aşağıdaki parametrelerin uygun şekilde ayarlanıp ayarlanmadığını kontrol edin -
- Ana bilgisayar: "quickstart.cloudera"
- Bağlantı noktası: "10000"
- Veritabanı: "varsayılan"
- Kullanıcı adı: "hive"
Parolanın otomatik olarak doldurulacağını unutmayın, onu düzenlemeniz gerekmez. Ayrıca diğer Hadoop özellikleri de önceden ayarlanacak ve varsayılan olarak ayarlanacaktır.
THiveCreateTable'da, Varolan bir bağlantıyı kullan'ı seçin ve Bileşen listesine tHiveConnection'ı koyun. Varsayılan veritabanında oluşturmak istediğiniz Tablo Adını verin. Diğer parametreleri aşağıda gösterildiği gibi tutun.
THiveLoad'da, "Mevcut bir bağlantıyı kullan" ı seçin ve tHiveConnection'ı bileşen listesine koyun. Yükle eyleminde YÜKLE'yi seçin. Dosya Yolunda, NYSE girdi dosyanızın HDFS yolunu verin. Girişi yüklemek istediğiniz Tablo Adı'nda tablodan bahsedin. Diğer parametreleri aşağıda gösterildiği gibi tutun.
THiveInput'ta, Varolan bir bağlantıyı kullan'ı seçin ve Bileşen listesine tHiveConnection'ı koyun. Şemayı düzenle'yi tıklayın, aşağıdaki şema anlık görüntüsünde gösterildiği gibi sütunları ve türünü ekleyin. Şimdi tHiveCreateTable'da oluşturduğunuz tablo adını verin.
Sorgunuzu Hive tablosunda çalıştırmak istediğiniz sorgu seçeneğine yerleştirin. Burada test kovanı tablosundaki ilk 10 satırın tüm sütunlarını yazdırıyoruz.
TLogRow'da, sütunları eşitle'ye tıklayın ve çıktıyı göstermek için Tablo modunu seçin.
Hive İşini Yürütme
Yürütmeyi başlatmak için Çalıştır'a tıklayın. Tüm bağlantı ve parametreler doğru ayarlanmışsa, sorgunuzun çıktısını aşağıda gösterildiği gibi göreceksiniz.
