Talend - คู่มือฉบับย่อ

Talend เป็นแพลตฟอร์มการรวมซอฟต์แวร์ที่ให้บริการโซลูชั่นสำหรับการรวมข้อมูลคุณภาพของข้อมูลการจัดการข้อมูลการเตรียมข้อมูลและข้อมูลขนาดใหญ่ ความต้องการผู้เชี่ยวชาญด้าน ETL ที่มีความรู้เกี่ยวกับ Talend นั้นสูง นอกจากนี้ยังเป็นเครื่องมือ ETL เพียงตัวเดียวที่มีปลั๊กอินทั้งหมดเพื่อรวมเข้ากับระบบนิเวศ Big Data ได้อย่างง่ายดาย

ตามรายงานของ Gartner Talend อยู่ในกลุ่มผู้นำด้านเครื่องมือการผสานรวมข้อมูล

Talend นำเสนอผลิตภัณฑ์เชิงพาณิชย์ต่างๆตามรายการด้านล่าง -

  • คุณภาพข้อมูล Talend
  • การรวมข้อมูล Talend
  • การเตรียมข้อมูล Talend
  • Talend Cloud
  • ปฏิทินข้อมูลขนาดใหญ่
  • แพลตฟอร์ม Talend MDM (การจัดการข้อมูลหลัก)
  • แพลตฟอร์มบริการข้อมูล Talend
  • ตัวจัดการข้อมูลเมตาของ Talend
  • Talend Data Fabric

Talend ยังมี Open Studio ซึ่งเป็นเครื่องมือฟรีโอเพ่นซอร์สที่ใช้กันอย่างแพร่หลายสำหรับการรวมข้อมูลและข้อมูลขนาดใหญ่

ต่อไปนี้เป็นข้อกำหนดของระบบในการดาวน์โหลดและทำงานบน Talend Open Studio -

ระบบปฏิบัติการที่แนะนำ

  • Microsoft Windows 10
  • Ubuntu 16.04 LTS
  • Apple macOS 10.13 / High Sierra

ความต้องการหน่วยความจำ

  • หน่วยความจำ - ขั้นต่ำ 4 GB แนะนำ 8 GB
  • พื้นที่จัดเก็บ - 30 GB

นอกจากนี้คุณยังต้องมีคลัสเตอร์ Hadoop ที่พร้อมใช้งาน (ควรใช้ Cloudera

Note - ต้องใช้ Java 8 พร้อมกับตัวแปรสภาพแวดล้อมที่กำหนดไว้แล้ว

หากต้องการดาวน์โหลด Talend Open Studio สำหรับ Big Data และการรวมข้อมูลโปรดทำตามขั้นตอนด้านล่าง -

Step 1 - ไปที่หน้า: https://www.talend.com/products/big-data/big-data-open-studio/แล้วคลิกปุ่มดาวน์โหลด คุณจะเห็นว่าไฟล์ TOS_BD_xxxxxxx.zip เริ่มดาวน์โหลด

Step 2 - หลังจากการดาวน์โหลดเสร็จสิ้นให้แตกเนื้อหาของไฟล์ zip มันจะสร้างโฟลเดอร์ที่มีไฟล์ Talend ทั้งหมดอยู่ในนั้น

Step 3- เปิดโฟลเดอร์ Talend แล้วดับเบิลคลิกที่ไฟล์ปฏิบัติการ: TOS_BD-win-x86_64.exe ยอมรับข้อตกลงใบอนุญาตผู้ใช้

Step 4 - สร้างโครงการใหม่แล้วคลิกเสร็จสิ้น

Step 5 - คลิกอนุญาตการเข้าถึงในกรณีที่คุณได้รับ Windows Security Alert

Step 6 - ตอนนี้หน้าต้อนรับ Talend Open Studio จะเปิดขึ้น

Step 7 - คลิกเสร็จสิ้นเพื่อติดตั้งไลบรารีของบุคคลที่สามที่จำเป็น

Step 8 - ยอมรับเงื่อนไขและคลิกที่ Finish

Step 9 - คลิกใช่

ตอนนี้ Talend Open Studio ของคุณพร้อมกับไลบรารีที่จำเป็นแล้ว

Talend Open Studio เป็นเครื่องมือ ETL แบบโอเพนซอร์สฟรีสำหรับการรวมข้อมูลและข้อมูลขนาดใหญ่ เป็นเครื่องมือสำหรับนักพัฒนาและผู้ออกแบบงานตาม Eclipse คุณเพียงแค่ต้องลากและวางส่วนประกอบและเชื่อมต่อเพื่อสร้างและเรียกใช้งาน ETL หรือ ETL เครื่องมือจะสร้างโค้ด Java สำหรับงานโดยอัตโนมัติและคุณไม่จำเป็นต้องเขียนโค้ดแม้แต่บรรทัดเดียว

มีตัวเลือกมากมายในการเชื่อมต่อกับแหล่งข้อมูลเช่น RDBMS, Excel, SaaS Big Data Ecosystem ตลอดจนแอพและเทคโนโลยีเช่น SAP, CRM, Dropbox และอื่น ๆ อีกมากมาย

ประโยชน์ที่สำคัญบางประการที่ Talend Open Studio นำเสนอมีดังต่อไปนี้ -

  • ให้คุณสมบัติทั้งหมดที่จำเป็นสำหรับการรวมและการซิงโครไนซ์ข้อมูลกับส่วนประกอบ 900 ตัวตัวเชื่อมต่อในตัวการแปลงงานเป็นรหัส Java โดยอัตโนมัติและอื่น ๆ อีกมากมาย

  • เครื่องมือนี้ไม่มีค่าใช้จ่ายใด ๆ ดังนั้นจึงประหยัดค่าใช้จ่ายได้มาก

  • ในช่วง 12 ปีที่ผ่านมาองค์กรขนาดใหญ่หลายแห่งได้นำ TOS สำหรับการรวมข้อมูลมาใช้ซึ่งแสดงให้เห็นถึงปัจจัยความไว้วางใจที่สูงมากในเครื่องมือนี้

  • ชุมชน Talend สำหรับการรวมข้อมูลมีการใช้งานมาก

  • Talend ยังคงเพิ่มคุณสมบัติให้กับเครื่องมือเหล่านี้และเอกสารประกอบก็มีโครงสร้างที่ดีและง่ายต่อการติดตาม

องค์กรส่วนใหญ่ได้รับข้อมูลจากหลายแห่งและจัดเก็บแยกกัน ตอนนี้หากองค์กรต้องทำการตัดสินใจจะต้องใช้ข้อมูลจากแหล่งต่างๆนำมารวมไว้ในมุมมองที่เป็นหนึ่งเดียวแล้ววิเคราะห์เพื่อให้ได้ผลลัพธ์ กระบวนการนี้เรียกว่าการรวมข้อมูล

สิทธิประโยชน์

การรวมข้อมูลมีประโยชน์มากมายตามที่อธิบายไว้ด้านล่าง -

  • ปรับปรุงการทำงานร่วมกันระหว่างทีมต่างๆในองค์กรที่พยายามเข้าถึงข้อมูลขององค์กร

  • ประหยัดเวลาและง่ายต่อการวิเคราะห์ข้อมูลเนื่องจากข้อมูลถูกรวมเข้าด้วยกันอย่างมีประสิทธิภาพ

  • กระบวนการรวมข้อมูลอัตโนมัติจะซิงโครไนซ์ข้อมูลและลดการรายงานแบบเรียลไทม์และเป็นระยะซึ่งมิฉะนั้นจะเสียเวลาหากดำเนินการด้วยตนเอง

  • ข้อมูลที่รวมเข้าด้วยกันจากหลายแหล่งมีการเติบโตและปรับปรุงเมื่อเวลาผ่านไปซึ่งจะช่วยให้คุณภาพข้อมูลดีขึ้น

การทำงานกับโครงการ

ในส่วนนี้ให้เราเข้าใจวิธีการทำงานในโครงการ Talend -

การสร้างโครงการ

ดับเบิลคลิกที่ไฟล์ปฏิบัติการ TOS Big Data หน้าต่างที่แสดงด้านล่างจะเปิดขึ้น

เลือกสร้างตัวเลือกโครงการใหม่ระบุชื่อโครงการและคลิกที่สร้าง

เลือกโครงการที่คุณสร้างแล้วคลิกเสร็จสิ้น

การนำเข้าโครงการ

ดับเบิลคลิกที่ไฟล์ปฏิบัติการ TOS Big Data คุณจะเห็นหน้าต่างดังที่แสดงด้านล่าง เลือกตัวเลือกนำเข้าโครงการสาธิตแล้วคลิกเลือก

คุณสามารถเลือกจากตัวเลือกที่แสดงด้านล่าง ที่นี่เรากำลังเลือกการสาธิตการรวมข้อมูล ตอนนี้คลิกเสร็จสิ้น

ตอนนี้ให้ชื่อโครงการและคำอธิบาย คลิกเสร็จสิ้น

คุณสามารถดูโครงการที่นำเข้าของคุณภายใต้รายการโครงการที่มีอยู่

ตอนนี้ให้เราเข้าใจวิธีการนำเข้าโครงการ Talend ที่มีอยู่

เลือกนำเข้าตัวเลือกโครงการที่มีอยู่แล้วคลิกที่เลือก

ตั้งชื่อโครงการและเลือกตัวเลือก“ เลือกไดเรกทอรีราก”

เรียกดูโฮมไดเร็กทอรีของโครงการ Talend ที่มีอยู่แล้วคลิกเสร็จสิ้น

โครงการ Talend ที่คุณมีอยู่จะถูกนำเข้า

การเปิดโครงการ

เลือกโปรเจ็กต์จากโปรเจ็กต์ที่มีอยู่แล้วคลิกเสร็จสิ้น เพื่อเปิดโปรเจ็กต์ Talend นั้น

การลบโครงการ

ในการลบโปรเจ็กต์คลิกจัดการการเชื่อมต่อ

คลิกลบโครงการที่มีอยู่

เลือกโปรเจ็กต์ที่คุณต้องการลบแล้วคลิกตกลง

คลิกตกลงอีกครั้ง

การส่งออกโครงการ

คลิกตัวเลือกส่งออกโปรเจ็กต์

เลือกโปรเจ็กต์ที่คุณต้องการส่งออกและระบุเส้นทางไปยังตำแหน่งที่ควรส่งออก คลิกที่ Finish

Business Model คือการแสดงภาพกราฟิกของโครงการการรวมข้อมูล เป็นการแสดงขั้นตอนการทำงานของธุรกิจที่ไม่ใช่ทางเทคนิค

ทำไมคุณต้องมี Business Model?

โมเดลธุรกิจถูกสร้างขึ้นเพื่อแสดงให้ผู้บริหารระดับสูงเห็นว่าคุณกำลังทำอะไรอยู่และยังทำให้ทีมของคุณเข้าใจว่าคุณกำลังพยายามทำอะไรอยู่ การออกแบบโมเดลธุรกิจถือเป็นแนวทางปฏิบัติที่ดีที่สุดวิธีหนึ่งที่องค์กรนำมาใช้ในช่วงเริ่มต้นของโครงการบูรณาการข้อมูล นอกจากนี้ยังช่วยลดต้นทุนค้นหาและแก้ไขปัญหาคอขวดในโครงการของคุณ แบบจำลองสามารถแก้ไขได้ระหว่างและหลังการดำเนินโครงการหากจำเป็น

การสร้างโมเดลธุรกิจใน Talend Open Studio

Talend open studio มีรูปทรงและตัวเชื่อมต่อหลายแบบเพื่อสร้างและออกแบบโมเดลธุรกิจ แต่ละโมดูลในโมเดลธุรกิจสามารถมีเอกสารแนบมาด้วยตัวเอง

Talend Open Studio มีรูปร่างและตัวเลือกการเชื่อมต่อต่อไปนี้สำหรับการสร้างโมเดลธุรกิจ -

  • Decision - ทรงนี้ใช้สำหรับใส่ if condition ในโมเดล

  • Action - รูปร่างนี้ใช้เพื่อแสดงการเปลี่ยนแปลงการแปลหรือการจัดรูปแบบ

  • Terminal - รูปร่างนี้แสดงประเภทขั้วเอาต์พุต

  • Data - รูปร่างนี้ใช้แสดงชนิดข้อมูล

  • Document - รูปร่างนี้ใช้สำหรับใส่วัตถุเอกสารซึ่งสามารถใช้สำหรับอินพุต / เอาต์พุตของข้อมูลที่ประมวลผล

  • Input - รูปร่างนี้ใช้สำหรับการแทรกวัตถุอินพุตโดยผู้ใช้สามารถส่งผ่านข้อมูลด้วยตนเอง

  • List - รูปร่างนี้มีข้อมูลที่แยกออกมาและสามารถกำหนดให้เก็บเฉพาะข้อมูลบางประเภทในรายการ

  • Database - รูปทรงนี้ใช้สำหรับเก็บข้อมูลอินพุต / เอาต์พุต

  • Actor - รูปทรงนี้เป็นสัญลักษณ์ของบุคคลที่เกี่ยวข้องกับการตัดสินใจและกระบวนการทางเทคนิค

  • Ellipse - แทรกรูปวงรี

    Gear - รูปร่างนี้แสดงโปรแกรมแบบแมนนวลที่ต้องถูกแทนที่ด้วยงาน Talend

การดำเนินการทั้งหมดใน Talend ดำเนินการโดยตัวเชื่อมต่อและส่วนประกอบ Talend มีตัวเชื่อมต่อและส่วนประกอบมากกว่า 800 รายการเพื่อดำเนินการหลายอย่าง ส่วนประกอบเหล่านี้มีอยู่ในจานสีและมี 21 หมวดหมู่หลักที่เป็นส่วนประกอบ คุณสามารถเลือกตัวเชื่อมต่อและเพียงลากและวางในบานหน้าต่างนักออกแบบมันจะสร้างรหัส java โดยอัตโนมัติซึ่งจะรวบรวมเมื่อคุณบันทึกรหัส Talend

หมวดหมู่หลักที่มีส่วนประกอบแสดงอยู่ด้านล่าง -

ต่อไปนี้เป็นรายการตัวเชื่อมต่อและส่วนประกอบที่ใช้กันอย่างแพร่หลายสำหรับการรวมข้อมูลใน Talend Open Studio -

  • tMysqlConnection - เชื่อมต่อกับฐานข้อมูล MySQL ที่กำหนดไว้ในส่วนประกอบ

  • tMysqlInput - เรียกใช้แบบสอบถามฐานข้อมูลเพื่ออ่านฐานข้อมูลและแยกเขตข้อมูล (ตารางมุมมอง ฯลฯ ) ขึ้นอยู่กับแบบสอบถาม

  • tMysqlOutput - ใช้ในการเขียนปรับปรุงแก้ไขข้อมูลในฐานข้อมูล MySQL

  • tFileInputDelimited - อ่านแถวไฟล์ที่คั่นด้วยแถวและแบ่งออกเป็นฟิลด์แยกจากกันและส่งต่อไปยังส่วนประกอบถัดไป

  • tFileInputExcel - อ่านไฟล์ excel ทีละแถวและแบ่งออกเป็นฟิลด์แยกจากกันและส่งต่อไปยังส่วนประกอบถัดไป

  • tFileList - รับไฟล์และไดเรกทอรีทั้งหมดจากรูปแบบมาสก์ไฟล์ที่กำหนด

  • tFileArchive - บีบอัดชุดไฟล์หรือโฟลเดอร์เป็นไฟล์ zip, gzip หรือ tar.gz

  • tRowGenerator - จัดเตรียมเครื่องมือแก้ไขที่คุณสามารถเขียนฟังก์ชันหรือเลือกนิพจน์เพื่อสร้างข้อมูลตัวอย่างของคุณ

  • tMsgBox - ส่งคืนกล่องโต้ตอบพร้อมข้อความที่ระบุและปุ่มตกลง

  • tLogRow- ตรวจสอบการประมวลผลข้อมูล แสดงข้อมูล / เอาต์พุตในรันคอนโซล

  • tPreJob - กำหนดงานย่อยที่จะทำงานก่อนเริ่มงานจริงของคุณ

  • tMap- ทำหน้าที่เป็นปลั๊กอินในสตูดิโอ Talend รับข้อมูลจากแหล่งที่มาหนึ่งแหล่งขึ้นไปแปลงข้อมูลจากนั้นส่งข้อมูลที่แปลงแล้วไปยังปลายทางอย่างน้อยหนึ่งแห่ง

  • tJoin - เข้าร่วม 2 ตารางโดยดำเนินการรวมภายในและภายนอกระหว่างโฟลว์หลักและโฟลว์การค้นหา

  • tJava - ช่วยให้คุณใช้รหัส java ส่วนบุคคลในโปรแกรม Talend

  • tRunJob - จัดการระบบงานที่ซับซ้อนโดยเรียกใช้งาน Talend ทีละงาน

นี่คือการนำไปใช้ทางเทคนิค / การนำเสนอแบบกราฟิกของโมเดลธุรกิจ ในการออกแบบนี้จะมีการเชื่อมต่อคอมโพเนนต์อย่างน้อยหนึ่งรายการเพื่อเรียกใช้กระบวนการรวมข้อมูล ดังนั้นเมื่อคุณลากและวางส่วนประกอบในบานหน้าต่างออกแบบและเชื่อมต่อกับตัวเชื่อมต่อการออกแบบงานจะแปลงทุกอย่างเป็นโค้ดและสร้างโปรแกรมที่รันได้โดยสมบูรณ์ซึ่งจะสร้างโฟลว์ข้อมูล

การสร้างงาน

ในหน้าต่างที่เก็บคลิกขวาที่การออกแบบงานแล้วคลิกสร้างงาน

ระบุชื่อวัตถุประสงค์และรายละเอียดของงานแล้วคลิกเสร็จสิ้น

คุณสามารถดูงานของคุณได้ถูกสร้างขึ้นภายใต้การออกแบบงาน

ตอนนี้ให้เราใช้งานนี้เพื่อเพิ่มส่วนประกอบเชื่อมต่อและกำหนดค่า ที่นี่เราจะใช้ไฟล์ excel เป็นอินพุตและสร้างไฟล์ excel เป็นเอาต์พุตที่มีข้อมูลเดียวกัน

การเพิ่มส่วนประกอบให้กับงาน

มีส่วนประกอบหลายอย่างในจานสีให้เลือก นอกจากนี้ยังมีตัวเลือกการค้นหาซึ่งคุณสามารถป้อนชื่อของส่วนประกอบเพื่อเลือกได้

เนื่องจากที่นี่เราใช้ไฟล์ excel เป็นอินพุตเราจะลากและวางคอมโพเนนต์ tFileInputExcel จากจานสีไปยังหน้าต่าง Designer

ตอนนี้ถ้าคุณคลิกที่ใดก็ได้บนหน้าต่างนักออกแบบช่องค้นหาจะปรากฏขึ้น ค้นหา tLogRow และเลือกเพื่อนำมาในหน้าต่างนักออกแบบ

สุดท้ายเลือกคอมโพเนนต์ tFileOutputExcel จากจานสีและลากวางในหน้าต่างนักออกแบบ

ตอนนี้การเพิ่มส่วนประกอบเสร็จสิ้น

การเชื่อมต่อส่วนประกอบ

หลังจากเพิ่มส่วนประกอบแล้วคุณต้องเชื่อมต่อ คลิกขวาที่ส่วนประกอบแรก tFileInputExcel และลากเส้น Main ไปที่ tLogRow ดังที่แสดงด้านล่าง

ในทำนองเดียวกันให้คลิกขวาที่ tLogRow และลากเส้น Main บน tFileOutputExcel ตอนนี้ส่วนประกอบของคุณเชื่อมต่อแล้ว

การกำหนดค่าส่วนประกอบ

หลังจากเพิ่มและเชื่อมต่อส่วนประกอบในงานแล้วคุณต้องกำหนดค่าเหล่านั้น สำหรับสิ่งนี้ให้ดับเบิลคลิกที่ส่วนประกอบแรก tFileInputExcel เพื่อกำหนดค่า กำหนดเส้นทางของไฟล์อินพุตของคุณในชื่อไฟล์ / สตรีมดังที่แสดงด้านล่าง

หากคุณ 1 เซนต์แถวใน Excel จะมีชื่อคอลัมน์ใส่ 1 ในตัวเลือกที่ส่วนหัว

คลิกแก้ไขสคีมาและเพิ่มคอลัมน์และประเภทตามไฟล์ excel ที่คุณป้อน คลิกตกลงหลังจากเพิ่มสคีมา

คลิกใช่

ในคอมโพเนนต์ tLogRow คลิกที่คอลัมน์การซิงค์และเลือกโหมดที่คุณต้องการสร้างแถวจากข้อมูลที่คุณป้อน ที่นี่เราได้เลือกโหมดพื้นฐานโดยมี“,” เป็นตัวคั่นฟิลด์

สุดท้ายในคอมโพเนนต์ tFileOutputExcel ให้ระบุพา ธ ของชื่อไฟล์ที่คุณต้องการจัดเก็บ

ไฟล์ excel ผลลัพธ์ของคุณพร้อมชื่อแผ่นงาน Click on sync columns.

การดำเนินงาน

เมื่อคุณเพิ่มเชื่อมต่อและกำหนดค่าคอมโพเนนต์ของคุณเสร็จแล้วคุณก็พร้อมที่จะดำเนินงาน Talend ของคุณ คลิกปุ่ม Run เพื่อเริ่มการดำเนินการ

คุณจะเห็นผลลัพธ์ในโหมดพื้นฐานพร้อมตัวคั่น“,”

คุณยังสามารถดูได้ว่าเอาต์พุตของคุณถูกบันทึกเป็น excel ที่เส้นทางเอาต์พุตที่คุณกล่าวถึง

ข้อมูลเมตาโดยทั่วไปหมายถึงข้อมูลเกี่ยวกับข้อมูล มันบอกเกี่ยวกับอะไรเมื่อไหร่ทำไมใครที่ไหนและอย่างไรของข้อมูล ใน Talend ข้อมูลเมตามีข้อมูลทั้งหมดเกี่ยวกับข้อมูลที่มีอยู่ใน Talend studio ตัวเลือกเมทาดาทามีอยู่ภายในบานหน้าต่างที่เก็บของ Talend Open Studio

แหล่งที่มาต่างๆเช่นการเชื่อมต่อ DB ไฟล์ประเภทต่างๆ LDAP, Azure, Salesforce, Web Services FTP, Hadoop Cluster และตัวเลือกอื่น ๆ อีกมากมายมีอยู่ใน Talend Metadata

การใช้ข้อมูลเมตาหลักใน Talend Open Studio คือคุณสามารถใช้แหล่งข้อมูลเหล่านี้ในงานต่างๆได้เพียงแค่ลากและวางจากแผงข้อมูลเมตาในที่เก็บ

ตัวแปรบริบทคือตัวแปรที่สามารถมีค่าแตกต่างกันในสภาพแวดล้อมที่แตกต่างกัน คุณสามารถสร้างกลุ่มบริบทซึ่งสามารถเก็บตัวแปรบริบทได้หลายตัว คุณไม่จำเป็นต้องเพิ่มตัวแปรบริบททีละรายการในงานคุณสามารถเพิ่มกลุ่มบริบทลงในงานได้

ตัวแปรเหล่านี้ใช้เพื่อทำให้การผลิตโค้ดพร้อมใช้งาน วิธีการโดยใช้ตัวแปรบริบทคุณสามารถย้ายรหัสในสภาพแวดล้อมการพัฒนาทดสอบหรือการใช้งานจริงมันจะทำงานในทุกสภาพแวดล้อม

ในงานใด ๆ คุณสามารถไปที่แท็บบริบทดังที่แสดงด้านล่างและเพิ่มตัวแปรบริบท

ในบทนี้ให้เราพิจารณาการจัดการงานและฟังก์ชันที่เกี่ยวข้องซึ่งรวมอยู่ใน Talend

การเปิดใช้งาน / การปิดใช้งานส่วนประกอบ

การเปิดใช้งาน / การปิดใช้งานส่วนประกอบนั้นง่ายมาก คุณเพียงแค่ต้องเลือกส่วนประกอบคลิกขวาที่มันแล้วเลือกตัวเลือกปิดใช้งานหรือเปิดใช้งานส่วนประกอบนั้น

การนำเข้า / ส่งออกรายการและงานอาคาร

ในการส่งออกรายการจากงานให้คลิกขวาที่งานในการออกแบบงานแล้วคลิกส่งออกรายการ

ป้อนเส้นทางที่คุณต้องการส่งออกรายการแล้วคลิกเสร็จสิ้น

ในการนำเข้ารายการจากงานให้คลิกขวาที่งานใน Job Designs แล้วคลิกที่นำเข้ารายการ

เรียกดูไดเร็กทอรีรากจากตำแหน่งที่คุณต้องการนำเข้ารายการ

เลือกช่องทำเครื่องหมายทั้งหมดแล้วคลิกเสร็จสิ้น

ในบทนี้ให้เราเข้าใจการจัดการการดำเนินการงานใน Talend

ในการสร้างงานให้คลิกขวาที่งานแล้วเลือกตัวเลือกสร้างงาน

พูดถึงเส้นทางที่คุณต้องการเก็บถาวรงานเลือกเวอร์ชันงานและประเภทงานสร้างจากนั้นคลิกเสร็จสิ้น

วิธีเรียกใช้งานในโหมดปกติ

ในการรันงานในโหนดปกติคุณต้องเลือก“ Basic Run” และคลิกปุ่ม Run เพื่อเริ่มการทำงาน

วิธีเรียกใช้งานในโหมดดีบัก

ในการรันงานในโหมดดีบักให้เพิ่มเบรกพอยต์ในคอมโพเนนต์ที่คุณต้องการดีบัก

จากนั้นเลือกและคลิกขวาที่ส่วนประกอบคลิกเพิ่มตัวเลือกเบรกพอยต์ สังเกตว่าที่นี่เราได้เพิ่มเบรกพอยต์ให้กับคอมโพเนนต์ tFileInputExcel และ tLogRow จากนั้นไปที่ Debug Run และคลิกปุ่ม Java Debug

คุณสามารถสังเกตได้จากภาพหน้าจอต่อไปนี้ว่าตอนนี้งานจะดำเนินการในโหมดดีบักและตามจุดพักที่เราได้กล่าวถึง

ตั้งค่าขั้นสูง

ในการตั้งค่าขั้นสูงคุณสามารถเลือกจากสถิติเวลาทำงานบันทึกงานก่อนดำเนินการล้างก่อนเรียกใช้และการตั้งค่า JVM แต่ละตัวเลือกนี้มีฟังก์ชันการทำงานตามที่อธิบายไว้ที่นี่ -

  • Statistics - แสดงอัตราประสิทธิภาพของการประมวลผล

  • Exec Time - เวลาที่ใช้ในการดำเนินงาน

  • Save Job before Execution - บันทึกงานโดยอัตโนมัติก่อนที่การดำเนินการจะเริ่มขึ้น

  • Clear before Run - ลบทุกอย่างออกจากคอนโซลเอาต์พุต

  • JVM Settings - ช่วยให้เรากำหนดค่าอาร์กิวเมนต์ Java ของตัวเอง

แท็กไลน์สำหรับ Open Studio ที่มี Big data คือ "Simplify ETL และ ELT ด้วยเครื่องมือ ETL แบบโอเพนซอร์สชั้นนำสำหรับข้อมูลขนาดใหญ่" ในบทนี้ให้เราพิจารณาการใช้ Talend เป็นเครื่องมือในการประมวลผลข้อมูลบนสภาพแวดล้อมข้อมูลขนาดใหญ่

บทนำ

Talend Open Studio - Big Data เป็นเครื่องมือฟรีและโอเพ่นซอร์สสำหรับการประมวลผลข้อมูลของคุณได้อย่างง่ายดายบนสภาพแวดล้อมข้อมูลขนาดใหญ่ คุณมีส่วนประกอบข้อมูลขนาดใหญ่มากมายใน Talend Open Studio ซึ่งช่วยให้คุณสร้างและเรียกใช้งาน Hadoop ได้เพียงแค่ลากและวางส่วนประกอบ Hadoop เพียงไม่กี่ชิ้น

นอกจากนี้เราไม่จำเป็นต้องเขียนโค้ด MapReduce บรรทัดใหญ่ Talend Open Studio Big data ช่วยให้คุณทำสิ่งนี้กับส่วนประกอบที่มีอยู่ในนั้น มันสร้างรหัส MapReduce ให้คุณโดยอัตโนมัติคุณเพียงแค่ลากและวางส่วนประกอบและกำหนดค่าพารามิเตอร์บางอย่าง

นอกจากนี้ยังให้คุณมีตัวเลือกในการเชื่อมต่อกับการกระจายข้อมูลขนาดใหญ่หลายอย่างเช่น Cloudera, HortonWorks, MapR, Amazon EMR และแม้แต่ Apache

ส่วนประกอบของปฏิทินสำหรับข้อมูลขนาดใหญ่

รายชื่อหมวดหมู่ที่มีส่วนประกอบในการเรียกใช้งานในสภาพแวดล้อม Big Data ที่รวมอยู่ใน Big Data แสดงอยู่ด้านล่าง -

รายการตัวเชื่อมต่อและส่วนประกอบ Big Data ใน Talend Open Studio แสดงอยู่ด้านล่าง -

  • tHDFSConnection - ใช้สำหรับเชื่อมต่อกับ HDFS (Hadoop Distributed File System)

  • tHDFSInput - อ่านข้อมูลจากพา ธ hdfs ที่กำหนดใส่ลงในสคีมา talend แล้วส่งต่อไปยังส่วนประกอบถัดไปในงาน

  • tHDFSList - ดึงไฟล์และโฟลเดอร์ทั้งหมดในเส้นทาง hdfs ที่กำหนด

  • tHDFSPut - คัดลอกไฟล์ / โฟลเดอร์จากระบบไฟล์ในเครื่อง (ผู้ใช้กำหนด) ไปยัง hdfs ตามเส้นทางที่กำหนด

  • tHDFSGet - คัดลอกไฟล์ / โฟลเดอร์จาก hdfs ไปยังระบบไฟล์ภายใน (ผู้ใช้กำหนด) ตามเส้นทางที่กำหนด

  • tHDFSDelete - ลบไฟล์จาก HDFS

  • tHDFSExist - ตรวจสอบว่ามีไฟล์อยู่บน HDFS หรือไม่

  • tHDFSOutput - เขียนกระแสข้อมูลบน HDFS

  • tCassandraConnection - เปิดการเชื่อมต่อกับเซิร์ฟเวอร์ Cassandra

  • tCassandraRow - รันคิวรี CQL (Cassandra query language) บนฐานข้อมูลที่ระบุ

  • tHBaseConnection - เปิดการเชื่อมต่อกับฐานข้อมูล HBase

  • tHBaseInput - อ่านข้อมูลจากฐานข้อมูล HBase

  • tHiveConnection - เปิดการเชื่อมต่อกับฐานข้อมูล Hive

  • tHiveCreateTable - สร้างตารางภายในฐานข้อมูลรัง

  • tHiveInput - อ่านข้อมูลจากฐานข้อมูลรัง

  • tHiveLoad - เขียนข้อมูลลงในตารางไฮฟ์หรือไดเร็กทอรีที่ระบุ

  • tHiveRow - เรียกใช้การสืบค้น HiveQL บนฐานข้อมูลที่ระบุ

  • tPigLoad - โหลดข้อมูลอินพุตไปยังเอาต์พุตสตรีม

  • tPigMap - ใช้สำหรับการแปลงและกำหนดเส้นทางข้อมูลในกระบวนการสุกร

  • tPigJoin - ดำเนินการเข้าร่วม 2 ไฟล์ตามคีย์การเข้าร่วม

  • tPigCoGroup - จัดกลุ่มและรวบรวมข้อมูลที่มาจากอินพุตหลาย ๆ

  • tPigSort - จัดเรียงข้อมูลที่กำหนดตามคีย์การจัดเรียงที่กำหนดไว้อย่างน้อยหนึ่งคีย์

  • tPigStoreResult - จัดเก็บผลลัพธ์จากการทำงานของสุกรในพื้นที่จัดเก็บที่กำหนด

  • tPigFilterRow - กรองคอลัมน์ที่ระบุเพื่อแยกข้อมูลตามเงื่อนไขที่กำหนด

  • tPigDistinct - ลบสิ่งที่ซ้ำกันออกจากความสัมพันธ์

  • tSqoopImport - ถ่ายโอนข้อมูลจากฐานข้อมูลเชิงสัมพันธ์เช่น MySQL, Oracle DB ไปยัง HDFS

  • tSqoopExport - ถ่ายโอนข้อมูลจาก HDFS ไปยังฐานข้อมูลเชิงสัมพันธ์เช่น MySQL, Oracle DB

ในบทนี้ให้เราเรียนรู้โดยละเอียดเกี่ยวกับการทำงานของ Talend กับระบบไฟล์แบบกระจาย Hadoop

การตั้งค่าและข้อกำหนดเบื้องต้น

ก่อนที่เราจะดำเนินการต่อใน Talend ด้วย HDFS เราควรเรียนรู้เกี่ยวกับการตั้งค่าและข้อกำหนดเบื้องต้นที่ควรเป็นไปตามวัตถุประสงค์นี้

ที่นี่เรากำลังเรียกใช้ Cloudera quickstart 5.10 VM บน virtual box ต้องใช้เครือข่ายโฮสต์เท่านั้นใน VM นี้

IP เฉพาะเครือข่ายโฮสต์: 192.168.56.101

คุณต้องมีโฮสต์เดียวกันที่ทำงานบน cloudera manager ด้วย

ตอนนี้บนระบบ windows ของคุณไปที่ c: \ Windows \ System32 \ Drivers \ etc \ hosts และแก้ไขไฟล์นี้โดยใช้ Notepad ดังที่แสดงด้านล่าง

ในทำนองเดียวกันบน VM ของ cloudera quickstart ให้แก้ไขไฟล์ / etc / hosts ตามที่แสดงด้านล่าง

sudo gedit /etc/hosts

การตั้งค่าการเชื่อมต่อ Hadoop

ในแผงที่เก็บไปที่ข้อมูลเมตา คลิกขวาที่ Hadoop Cluster และสร้างคลัสเตอร์ใหม่ ตั้งชื่อวัตถุประสงค์และคำอธิบายสำหรับการเชื่อมต่อคลัสเตอร์ Hadoop นี้

คลิกถัดไป

เลือกการกระจายเป็น cloudera และเลือกเวอร์ชันที่คุณใช้ เลือกตัวเลือกการดึงข้อมูลการกำหนดค่าแล้วคลิกถัดไป

ป้อนข้อมูลรับรองผู้จัดการ (URI พร้อมพอร์ตชื่อผู้ใช้รหัสผ่าน) ดังที่แสดงด้านล่างแล้วคลิกเชื่อมต่อ หากรายละเอียดถูกต้องคุณจะได้รับ Cloudera QuickStart ภายใต้คลัสเตอร์ที่ค้นพบ

คลิกดึงข้อมูล สิ่งนี้จะดึงการเชื่อมต่อและการกำหนดค่าทั้งหมดสำหรับ HDFS, YARN, HBASE, HIVE

เลือกทั้งหมดแล้วคลิกเสร็จสิ้น

โปรดทราบว่าพารามิเตอร์การเชื่อมต่อทั้งหมดจะถูกเติมอัตโนมัติ พูดถึง cloudera ในชื่อผู้ใช้แล้วคลิก Finish

ด้วยวิธีนี้คุณได้เชื่อมต่อกับ Hadoop Cluster เรียบร้อยแล้ว

กำลังเชื่อมต่อกับ HDFS

ในงานนี้เราจะแสดงรายการไดเรกทอรีและไฟล์ทั้งหมดที่มีอยู่ใน HDFS

ประการแรกเราจะสร้างงานจากนั้นเพิ่มส่วนประกอบ HDFS เข้าไป คลิกขวาที่ Job Design และสร้างงานใหม่ - hadoopjob

ตอนนี้เพิ่ม 2 ส่วนประกอบจากจานสี - tHDFSConnection และ tHDFSList คลิกขวาที่ tHDFSConnection และเชื่อมต่อ 2 องค์ประกอบนี้โดยใช้ทริกเกอร์ 'OnSubJobOk'

ตอนนี้กำหนดค่าทั้งส่วนประกอบ hdfs ของ talend

ใน tHDFSConnection ให้เลือก Repository เป็น Property Type และเลือกคลัสเตอร์ Hadoop cloudera ที่คุณสร้างไว้ก่อนหน้านี้ โดยอัตโนมัติจะกรอกรายละเอียดที่จำเป็นทั้งหมดที่จำเป็นสำหรับส่วนประกอบนี้

ใน tHDFSList ให้เลือก“ ใช้การเชื่อมต่อที่มีอยู่” และในรายการส่วนประกอบให้เลือก tHDFSConnection ที่คุณกำหนดค่าไว้

ให้ตัวเลือกโฮมพา ธ ของ HDFS ใน HDFS Directory แล้วคลิกปุ่มเรียกดูทางด้านขวา

หากคุณสร้างการเชื่อมต่ออย่างถูกต้องด้วยการกำหนดค่าดังกล่าวข้างต้นคุณจะเห็นหน้าต่างดังที่แสดงด้านล่าง มันจะแสดงรายการไดเรกทอรีและไฟล์ทั้งหมดที่มีอยู่ในบ้าน HDFS

คุณสามารถตรวจสอบได้โดยตรวจสอบ HDFS ของคุณบน cloudera

กำลังอ่านไฟล์จาก HDFS

ในส่วนนี้ให้เราเข้าใจวิธีอ่านไฟล์จาก HDFS ใน Talend คุณสามารถสร้างงานใหม่เพื่อจุดประสงค์นี้อย่างไรก็ตามเรากำลังใช้งานที่มีอยู่ที่นี่

ลากและวางองค์ประกอบ 3 - tHDFSConnection, tHDFSInput และ tLogRow จากจานสีไปยังหน้าต่างนักออกแบบ

คลิกขวาที่ tHDFSConnection และเชื่อมต่อคอมโพเนนต์ tHDFSInput โดยใช้ทริกเกอร์ 'OnSubJobOk'

คลิกขวาที่ tHDFSInput และลากลิงค์หลักไปที่ tLogRow

โปรดทราบว่า tHDFSConnection จะมีการกำหนดค่าที่คล้ายกับก่อนหน้านี้ ใน tHDFSInput เลือก“ ใช้การเชื่อมต่อที่มีอยู่” และจากรายการส่วนประกอบเลือก tHDFSConnection

ในชื่อไฟล์ให้ระบุพา ธ HDFS ของไฟล์ที่คุณต้องการอ่าน ที่นี่เรากำลังอ่านไฟล์ข้อความธรรมดาดังนั้นประเภทไฟล์ของเราคือไฟล์ข้อความ ในทำนองเดียวกันขึ้นอยู่กับข้อมูลที่คุณป้อนให้กรอกตัวคั่นแถวตัวคั่นฟิลด์และรายละเอียดส่วนหัวตามที่ระบุไว้ด้านล่าง สุดท้ายคลิกปุ่มแก้ไขสคีมา

เนื่องจากไฟล์ของเรามีเพียงข้อความธรรมดาเราจึงเพิ่มประเภท String เพียงคอลัมน์เดียว ตอนนี้คลิกตกลง

Note - เมื่อข้อมูลที่คุณป้อนมีหลายคอลัมน์ประเภทต่างๆคุณต้องพูดถึงสคีมาที่นี่ตามนั้น

ในคอมโพเนนต์ tLogRow คลิกซิงค์คอลัมน์ในแก้ไขสคีมา

เลือกโหมดที่คุณต้องการให้พิมพ์ผลงานของคุณ

สุดท้ายคลิกเรียกใช้เพื่อดำเนินการงาน

เมื่อคุณอ่านไฟล์ HDFS สำเร็จแล้วคุณจะเห็นผลลัพธ์ต่อไปนี้

การเขียนไฟล์เป็น HDFS

มาดูวิธีการเขียนไฟล์จาก HDFS ใน Talend ลากและวางองค์ประกอบ 3 - tHDFSConnection, tFileInputDelimited และ tHDFSOutput จากหน้าต่างจานสีไปยังตัวออกแบบ

คลิกขวาที่ tHDFSConnection และเชื่อมต่อคอมโพเนนต์ tFileInputDelimited โดยใช้ทริกเกอร์ 'OnSubJobOk'

คลิกขวาที่ tFileInputDelimited แล้วลากลิงค์หลักไปที่ tHDFSOutput

โปรดทราบว่า tHDFSConnection จะมีการกำหนดค่าที่คล้ายกับก่อนหน้านี้

ตอนนี้ใน tFileInputDelimited ให้เส้นทางของไฟล์อินพุตในตัวเลือกชื่อไฟล์ / สตรีม ที่นี่เรากำลังใช้ไฟล์ csv เป็นอินพุตดังนั้นตัวคั่นฟิลด์คือ“,”

เลือกส่วนหัวส่วนท้าย จำกัด ตามไฟล์อินพุตของคุณ โปรดทราบว่าที่นี่ส่วนหัวของเราคือ 1 เนื่องจาก 1 แถวมีชื่อคอลัมน์และขีด จำกัด คือ 3 เนื่องจากเราเขียนเฉพาะ 3 แถวแรกไปยัง HDFS

ตอนนี้คลิกแก้ไขสคีมา

ตอนนี้ตามไฟล์อินพุตของเรากำหนดสคีมา ไฟล์อินพุตของเรามี 3 คอลัมน์ตามที่ระบุไว้ด้านล่าง

ในคอมโพเนนต์ tHDFSOutput คลิกซิงค์คอลัมน์ จากนั้นเลือก tHDFSConnection ในใช้การเชื่อมต่อที่มีอยู่ นอกจากนี้ในชื่อไฟล์ให้ระบุเส้นทาง HDFS ที่คุณต้องการเขียนไฟล์ของคุณ

โปรดทราบว่าประเภทไฟล์จะเป็นไฟล์ข้อความการดำเนินการจะเป็น "สร้าง" ตัวคั่นแถวจะเป็น "\ n" และตัวคั่นช่องคือ ";"

สุดท้ายคลิกเรียกใช้เพื่อดำเนินการงานของคุณ เมื่องานดำเนินการสำเร็จแล้วให้ตรวจสอบว่าไฟล์ของคุณอยู่ใน HDFS หรือไม่

รันคำสั่ง hdfs ต่อไปนี้ด้วยพา ธ เอาต์พุตที่คุณกล่าวถึงในงานของคุณ

hdfs dfs -cat /input/talendwrite

คุณจะเห็นผลลัพธ์ต่อไปนี้หากคุณประสบความสำเร็จในการเขียนบน HDFS

ในบทที่แล้วเราได้เห็นวิธีการทำงานของ Talend กับ Big Data ในบทนี้ให้เราเข้าใจวิธีการใช้แผนที่ลดกับ Talend

การสร้างงาน Talend MapReduce

ให้เราเรียนรู้วิธีเรียกใช้งาน MapReduce บน Talend ที่นี่เราจะเรียกใช้ตัวอย่างการนับคำ MapReduce

เพื่อจุดประสงค์นี้ให้คลิกขวาที่ Job Design และสร้างงานใหม่ - MapreduceJob พูดถึงรายละเอียดของงานแล้วคลิกเสร็จสิ้น

การเพิ่มส่วนประกอบให้กับงาน MapReduce

ในการเพิ่มส่วนประกอบให้กับงาน MapReduce ให้ลากและวางองค์ประกอบห้าส่วนของ Talend - tHDFSInput, tNormalize, tAggregateRow, tMap, tOutput จากพาเลทไปยังหน้าต่างนักออกแบบ คลิกขวาที่ tHDFSInput และสร้างลิงค์หลักเพื่อ tNormalize

คลิกขวาที่ tNormalize และสร้างลิงค์หลักไปยัง tAggregateRow จากนั้นคลิกขวาที่ tAggregateRow และสร้างลิงค์หลักไปยัง tMap ตอนนี้คลิกขวาที่ tMap และสร้างลิงค์หลักไปยัง tHDFSOutput

การกำหนดค่าส่วนประกอบและการแปลง

ใน tHDFSInput เลือก cloudera การแจกจ่ายและเวอร์ชัน โปรดทราบว่า Namenode URI ควรเป็น“ hdfs: //quickstart.cloudera: 8020” และชื่อผู้ใช้ควรเป็น“ cloudera” ในตัวเลือกชื่อไฟล์ให้เส้นทางของไฟล์อินพุตของคุณไปยังงาน MapReduce ตรวจสอบให้แน่ใจว่าไฟล์อินพุตนี้มีอยู่ใน HDFS

ตอนนี้เลือกประเภทไฟล์ตัวคั่นแถวตัวคั่นไฟล์และส่วนหัวตามไฟล์อินพุตของคุณ

คลิกแก้ไขสคีมาและเพิ่มช่อง "บรรทัด" เป็นประเภทสตริง

ใน tNomalize คอลัมน์ที่จะทำให้เป็นมาตรฐานจะเป็นบรรทัดและตัวคั่นรายการจะเป็นช่องว่าง ->““ ตอนนี้คลิกแก้ไขสคีมา tNormalize จะมี line column และ tAggregateRow จะมี word และ wordcount 2 คอลัมน์ตามรูปด้านล่าง

ใน tAggregateRow ให้ใส่ word เป็นคอลัมน์ผลลัพธ์ใน Group by option ในการดำเนินการให้ใส่ wordcount เป็นคอลัมน์เอาต์พุตฟังก์ชันนับและตำแหน่งคอลัมน์อินพุตเป็นบรรทัด

ตอนนี้ดับเบิลคลิกที่ส่วนประกอบ tMap เพื่อเข้าสู่โปรแกรมแก้ไขแผนที่และแมปอินพุตกับเอาต์พุตที่ต้องการ ในตัวอย่างนี้คำจะถูกแมปด้วยคำและจำนวนคำถูกแมปด้วยจำนวนคำ ในคอลัมน์นิพจน์คลิกที่ […] เพื่อเข้าสู่ตัวสร้างนิพจน์

ตอนนี้เลือก StringHandling จากรายการหมวดหมู่และฟังก์ชัน UPCASE แก้ไขนิพจน์เป็น“ StringHandling.UPCASE (row3.word)” แล้วคลิกตกลง เก็บ row3.wordcount ไว้ในคอลัมน์นิพจน์ที่สอดคล้องกับ wordcount ดังที่แสดงด้านล่าง

ใน tHDFSOutput เชื่อมต่อกับคลัสเตอร์ Hadoop ที่เราสร้างจากชนิดคุณสมบัติเป็นที่เก็บ สังเกตว่าช่องต่างๆจะได้รับการเติมข้อมูลอัตโนมัติ ในชื่อไฟล์ระบุพา ธ เอาต์พุตที่คุณต้องการจัดเก็บเอาต์พุต เก็บการดำเนินการตัวคั่นแถวและตัวคั่นฟิลด์ตามที่แสดงด้านล่าง

การดำเนินงาน MapReduce

เมื่อการกำหนดค่าของคุณเสร็จสมบูรณ์ให้คลิกเรียกใช้และดำเนินการงาน MapReduce ของคุณ

ไปที่เส้นทาง HDFS ของคุณและตรวจสอบผลลัพธ์ โปรดทราบว่าคำทั้งหมดจะเป็นตัวพิมพ์ใหญ่พร้อมกับจำนวนคำ

ในบทนี้ให้เราเรียนรู้วิธีการทำงานกับงานหมูใน Talend

การสร้างงาน Talend Pig

ในส่วนนี้ให้เราเรียนรู้วิธีเรียกใช้งาน Pig บน Talend ที่นี่เราจะประมวลผลข้อมูล NYSE เพื่อหาปริมาณสต็อกเฉลี่ยของ IBM

สำหรับสิ่งนี้ให้คลิกขวาที่ Job Design และสร้างงานใหม่ - pigjob พูดถึงรายละเอียดของงานแล้วคลิกเสร็จสิ้น

การเพิ่มส่วนประกอบให้กับ Pig Job

ในการเพิ่มส่วนประกอบในงาน Pig ให้ลากและวางส่วนประกอบของ Talend สี่รายการ: tPigLoad, tPigFilterRow, tPigAggregate, tPigStoreResult จากพาเลทไปยังหน้าต่างนักออกแบบ

จากนั้นคลิกขวาที่ tPigLoad และสร้าง Pig Combine line ไปที่ tPigFilterRow จากนั้นคลิกขวาที่ tPigFilterRow และสร้าง Pig Combine line ไปที่ tPigAggregate คลิกขวาที่ tPigAggregate และสร้าง Pig combination line ไปที่ tPigStoreResult

การกำหนดค่าส่วนประกอบและการแปลง

ใน tPigLoad กล่าวถึงการกระจายเป็น cloudera และเวอร์ชันของ cloudera โปรดทราบว่า Namenode URI ควรเป็น“ hdfs: //quickstart.cloudera: 8020” และ Resource Manager ควรเป็น“ quickstart.cloudera: 8020” นอกจากนี้ชื่อผู้ใช้ควรเป็น "cloudera"

ใน URI ไฟล์อินพุตให้เส้นทางของไฟล์อินพุต NYSE ของคุณไปยังงานหมู โปรดทราบว่าไฟล์อินพุตนี้ควรอยู่ใน HDFS

คลิกแก้ไขสคีมาเพิ่มคอลัมน์และประเภทตามที่แสดงด้านล่าง

ใน tPigFilterRow ให้เลือกตัวเลือก“ ใช้ตัวกรองขั้นสูง” และใส่“ stock_symbol = = 'IBM'” ในตัวเลือกตัวกรอง

ใน tAggregateRow คลิกแก้ไขสคีมาและเพิ่มคอลัมน์ avg_stock_volume ในเอาต์พุตดังที่แสดงด้านล่าง

ตอนนี้ใส่คอลัมน์ stock_exchange ในกลุ่มตามตัวเลือก เพิ่มคอลัมน์ avg_stock_volume ในช่องการดำเนินงานพร้อมด้วย count Function และ stock_exchange เป็น Input Column

ใน tPigStoreResult ให้กำหนดพา ธ เอาต์พุตใน Result Folder URI ที่คุณต้องการเก็บผลลัพธ์ของ Pig job เลือกฟังก์ชันการจัดเก็บเป็น PigStorage และตัวคั่นฟิลด์ (ไม่บังคับ) เป็น“ \ t”

ดำเนินการงานหมู

ตอนนี้คลิกที่ Run เพื่อดำเนินการงาน Pig ของคุณ (ละเว้นคำเตือน)

เมื่องานเสร็จสิ้นให้ไปตรวจสอบผลลัพธ์ของคุณที่เส้นทาง HDFS ที่คุณกล่าวถึงเพื่อจัดเก็บผลงานหมู ปริมาณสต็อกเฉลี่ยของ IBM คือ 500

ในบทนี้ให้เราเข้าใจวิธีการทำงานกับ Hive job บน Talend

การสร้างงาน Talend Hive

ตัวอย่างเช่นเราจะโหลดข้อมูล NYSE ไปยังตารางไฮฟ์และเรียกใช้แบบสอบถามกลุ่มพื้นฐาน คลิกขวาที่ Job Design และสร้างงานใหม่ - hivejob พูดถึงรายละเอียดของงานและคลิกที่ Finish

การเพิ่มส่วนประกอบใน Hive Job

ในการแยกส่วนประกอบไปยังงาน Hive ให้ลากและวางองค์ประกอบปฏิทินห้ารายการ - tHiveConnection, tHiveCreateTable, tHiveLoad, tHiveInput และ tLogRow จากพาเลทไปยังหน้าต่างนักออกแบบ จากนั้นคลิกขวาที่ tHiveConnection และสร้าง OnSubjobOk ทริกเกอร์เพื่อ tHiveCreateTable ตอนนี้คลิกขวาที่ tHiveCreateTable และสร้าง OnSubjobOk ทริกเกอร์เพื่อ tHiveLoad คลิกขวาที่ tHiveLoad และสร้างทริกเกอร์ซ้ำบน tHiveInput สุดท้ายคลิกขวาที่ tHiveInput และสร้างบรรทัดหลักเพื่อ tLogRow

การกำหนดค่าส่วนประกอบและการแปลง

ใน tHiveConnection ให้เลือกการแจกจ่ายเป็น cloudera และเวอร์ชันที่คุณใช้ โปรดทราบว่าโหมดการเชื่อมต่อจะเป็นแบบสแตนด์อโลนและ Hive Service จะเป็น Hive 2 และตรวจสอบว่าได้ตั้งค่าพารามิเตอร์ต่อไปนี้ตามนั้นหรือไม่

  • โฮสต์:“ quickstart.cloudera”
  • พอร์ต:“ 10000”
  • ฐานข้อมูล:“ ค่าเริ่มต้น”
  • ชื่อผู้ใช้:“ hive”

โปรดทราบว่ารหัสผ่านจะถูกกรอกโดยอัตโนมัติคุณไม่จำเป็นต้องแก้ไข คุณสมบัติอื่น ๆ ของ Hadoop จะถูกตั้งค่าล่วงหน้าและตั้งค่าตามค่าเริ่มต้น

ใน tHiveCreateTable เลือกใช้การเชื่อมต่อที่มีอยู่แล้วใส่ tHiveConnection ในรายการคอมโพเนนต์ ตั้งชื่อตารางที่คุณต้องการสร้างในฐานข้อมูลเริ่มต้น เก็บพารามิเตอร์อื่น ๆ ตามที่แสดงด้านล่าง

ใน tHiveLoad ให้เลือก“ ใช้การเชื่อมต่อที่มีอยู่” และใส่ tHiveConnection ในรายการส่วนประกอบ เลือก LOAD ในการดำเนินการโหลด ใน File Path ให้เส้นทาง HDFS ของไฟล์อินพุต NYSE ของคุณ พูดถึงตารางในชื่อตารางที่คุณต้องการโหลดอินพุต เก็บพารามิเตอร์อื่น ๆ ตามที่แสดงด้านล่าง

ใน tHiveInput เลือกใช้การเชื่อมต่อที่มีอยู่และใส่ tHiveConnection ในรายการคอมโพเนนต์ คลิกแก้ไขสคีมาเพิ่มคอลัมน์และประเภทตามที่แสดงในสคีมาสคีมาด้านล่าง ตอนนี้ให้ชื่อตารางที่คุณสร้างใน tHiveCreateTable

ใส่แบบสอบถามของคุณในตัวเลือกแบบสอบถามที่คุณต้องการเรียกใช้บนตารางไฮฟ์ ที่นี่เรากำลังพิมพ์คอลัมน์ทั้งหมดของ 10 แถวแรกในตารางกลุ่มทดสอบ

ใน tLogRow ให้คลิกคอลัมน์ซิงค์และเลือกโหมดตารางเพื่อแสดงผลลัพธ์

การดำเนินการ Hive Job

คลิกที่ Run เพื่อเริ่มการดำเนินการ หากการเชื่อมต่อและพารามิเตอร์ทั้งหมดถูกตั้งค่าอย่างถูกต้องคุณจะเห็นผลลัพธ์ของแบบสอบถามของคุณดังที่แสดงด้านล่าง