Talend - Harita Azaltma
Önceki bölümde Talend'in Büyük Veri ile nasıl çalıştığını gördük. Bu bölümde, Map Reduce'un Talend ile nasıl kullanılacağını anlayalım.
Talend Haritası Oluşturma İşi Azalt
Talend'de bir MapReduce işini nasıl çalıştıracağımızı öğrenelim. Burada bir MapReduce kelime sayısı örneği çalıştıracağız.
Bu amaçla, İş Tasarımına sağ tıklayın ve yeni bir iş oluşturun - MapreduceJob. İşin ayrıntılarından bahsedin ve Bitir'i tıklayın.
MapReduce Job'a Bileşenler Ekleme
Bir MapReduce işine bileşenler eklemek için, Talend'in beş bileşenini - tHDFSInput, tNormalize, tAggregateRow, tMap, tOutput paletten tasarımcı penceresine sürükleyip bırakın. THDFSInput'a sağ tıklayın ve tNormalize için ana bağlantı oluşturun.
TNormalize'a sağ tıklayın ve tAggregateRow'a ana bağlantı oluşturun. Ardından, tAggregateRow'a sağ tıklayın ve tMap'e ana bağlantı oluşturun. Şimdi, tMap'e sağ tıklayın ve tHDFSOutput'a ana bağlantı oluşturun.
Bileşenleri ve Dönüşümleri Yapılandırma
THDFSInput'ta, dağıtım cloudera'yı ve sürümünü seçin. Namenode URI'nin "hdfs: //quickstart.cloudera: 8020" ve kullanıcı adının "cloudera" olması gerektiğini unutmayın. Dosya adı seçeneğinde, girdi dosyanızın MapReduce işine yolunu verin. Bu giriş dosyasının HDFS'de mevcut olduğundan emin olun.
Şimdi, girdi dosyanıza göre dosya türü, satır ayırıcı, dosya ayırıcı ve başlık seçin.
Şemayı düzenle'ye tıklayın ve "satır" alanını dize türü olarak ekleyin.
TNomalize'de, normalleştirilecek sütun satır olacak ve Öğe ayırıcı beyaz boşluk -> "" olacaktır. Şimdi, şemayı düzenle'yi tıklayın. tNormalize aşağıda gösterildiği gibi satır sütununa ve tAggregateRow'da 2 sütun word ve wordcount olacaktır.
TAggregateRow'da, kelimeyi seçeneğe göre Gruplandır'a çıktı sütunu olarak koyun. İşlemlerde wordcount'u çıktı sütunu, sayı işlevi ve Girdi sütunu konumu satır olarak koyun.
Şimdi harita düzenleyicisine girmek ve girişi gerekli çıktıyla eşleştirmek için tMap bileşenine çift tıklayın. Bu örnekte, kelime word ile, wordcount ise wordcount ile eşleştirilmiştir. İfade sütununda, ifade oluşturucuya girmek için […] üzerine tıklayın.
Şimdi kategori listesinden ve UPCASE işlevinden StringHandling'i seçin. İfadeyi “StringHandling.UPCASE (row3.word)” olarak düzenleyin ve Tamam'ı tıklayın. Row3.wordcount'u aşağıda gösterildiği gibi wordcount'a karşılık gelen ifade sütununda tutun.
THDFSOutput'ta, depo olarak özellik türünden oluşturduğumuz Hadoop kümesine bağlanın. Alanların otomatik olarak doldurulacağını gözlemleyin. Dosya adı alanında, çıktıyı depolamak istediğiniz çıktı yolunu belirtin. Eylemi, satır ayırıcıyı ve alan ayırıcıyı aşağıda gösterildiği gibi tutun.
MapReduce Job'u Yürütme
Yapılandırmanız başarıyla tamamlandığında Çalıştır'a tıklayın ve MapReduce işinizi yürütün.
HDFS yolunuza gidin ve çıktıyı kontrol edin. Tüm kelimelerin kelime sayılarıyla birlikte büyük harfle yazılacağını unutmayın.