Zookeeper - การใช้งาน

Zookeeper จัดเตรียมโครงสร้างพื้นฐานการประสานงานที่ยืดหยุ่นสำหรับสภาพแวดล้อมแบบกระจาย กรอบ ZooKeeper รองรับแอพพลิเคชั่นอุตสาหกรรมที่ดีที่สุดในปัจจุบันมากมาย เราจะพูดถึงแอพพลิเคชั่นที่โดดเด่นที่สุดของ ZooKeeper ในบทนี้

Yahoo!

เฟรมเวิร์ก ZooKeeper เดิมสร้างขึ้นที่“ Yahoo!” แอปพลิเคชันแบบกระจายที่ออกแบบมาอย่างดีจะต้องเป็นไปตามข้อกำหนดต่างๆเช่นความโปร่งใสของข้อมูลประสิทธิภาพที่ดีขึ้นความทนทานการกำหนดค่าจากส่วนกลางและการประสานงาน ดังนั้นพวกเขาจึงออกแบบกรอบ ZooKeeper เพื่อตอบสนองความต้องการเหล่านี้

Apache Hadoop

Apache Hadoop เป็นแรงผลักดันที่อยู่เบื้องหลังการเติบโตของอุตสาหกรรม Big Data Hadoop อาศัย ZooKeeper สำหรับการจัดการการกำหนดค่าและการประสานงาน ให้เราใช้สถานการณ์เพื่อทำความเข้าใจบทบาทของ ZooKeeper ใน Hadoop

สมมติว่าก Hadoop cluster สะพาน 100 or more commodity servers. ดังนั้นจึงจำเป็นต้องมีบริการประสานงานและตั้งชื่อ เนื่องจากมีการคำนวณโหนดจำนวนมากแต่ละโหนดจำเป็นต้องซิงโครไนซ์ซึ่งกันและกันทราบตำแหน่งที่จะเข้าถึงบริการและทราบว่าควรกำหนดค่าอย่างไร ณ เวลานี้คลัสเตอร์ Hadoop ต้องการบริการข้ามโหนด ZooKeeper จัดเตรียมสิ่งอำนวยความสะดวกสำหรับcross-node synchronization และทำให้มั่นใจได้ว่างานในโครงการ Hadoop จะถูกทำให้เป็นอนุกรมและซิงโครไนซ์

เซิร์ฟเวอร์ ZooKeeper หลายเครื่องรองรับคลัสเตอร์ Hadoop ขนาดใหญ่ เครื่องไคลเอนต์แต่ละเครื่องจะสื่อสารกับเซิร์ฟเวอร์ ZooKeeper เครื่องใดเครื่องหนึ่งเพื่อดึงข้อมูลและอัปเดตข้อมูลการซิงโครไนซ์ ตัวอย่างแบบเรียลไทม์บางส่วน ได้แก่ -

• Human Genome Project- โครงการจีโนมมนุษย์มีข้อมูลจำนวนเทราไบต์ Hadoop MapReduce framework สามารถใช้ในการวิเคราะห์ชุดข้อมูลและค้นหาข้อเท็จจริงที่น่าสนใจสำหรับการพัฒนามนุษย์

• Healthcare - โรงพยาบาลสามารถจัดเก็บค้นคืนและวิเคราะห์เวชระเบียนผู้ป่วยจำนวนมากซึ่งโดยปกติจะมีหน่วยเป็นเทราไบต์

Apache HBase

Apache HBase เป็นฐานข้อมูล NoSQL แบบโอเพนซอร์สแบบกระจายที่ใช้สำหรับการเข้าถึงแบบอ่าน / เขียนแบบเรียลไทม์ของชุดข้อมูลขนาดใหญ่และทำงานที่ด้านบนของ HDFS HBase ดังต่อไปนี้master-slave architectureโดยที่ HBase Master ควบคุมทาสทั้งหมด ทาสเรียกว่าRegion servers.

การติดตั้งแอปพลิเคชันแบบกระจาย HBase ขึ้นอยู่กับคลัสเตอร์ ZooKeeper ที่รันอยู่ Apache HBase ใช้ ZooKeeper เพื่อติดตามสถานะของข้อมูลที่กระจายไปทั่วทั้งเซิร์ฟเวอร์หลักและภูมิภาคด้วยความช่วยเหลือของcentralized configuration management และ distributed mutexกลไก นี่คือบางส่วนของกรณีการใช้งานของ HBase -

• Telecom- อุตสาหกรรมโทรคมนาคมจัดเก็บบันทึกการโทรมือถือหลายพันล้านรายการ (ประมาณ 30TB / เดือน) และการเข้าถึงบันทึกการโทรเหล่านี้แบบเรียลไทม์กลายเป็นงานใหญ่ HBase สามารถใช้เพื่อประมวลผลบันทึกทั้งหมดแบบเรียลไทม์ได้อย่างง่ายดายและมีประสิทธิภาพ

• Social network- เช่นเดียวกับอุตสาหกรรมโทรคมนาคมไซต์เช่น Twitter, LinkedIn และ Facebook ได้รับข้อมูลจำนวนมากผ่านโพสต์ที่สร้างโดยผู้ใช้ HBase สามารถใช้เพื่อค้นหาแนวโน้มล่าสุดและข้อเท็จจริงที่น่าสนใจอื่น ๆ

Apache Solr

Apache Solr เป็นแพลตฟอร์มการค้นหาโอเพ่นซอร์สที่รวดเร็วซึ่งเขียนด้วย Java เป็นเครื่องมือค้นหาแบบกระจายที่รวดเร็วและผิดพลาดอย่างเห็นได้ชัด สร้างขึ้นด้านบนของLuceneเป็นเครื่องมือค้นหาข้อความที่มีคุณสมบัติครบถ้วนประสิทธิภาพสูง

Solr ใช้ทุกคุณสมบัติของ ZooKeeper อย่างกว้างขวางเช่นการจัดการการกำหนดค่าการเลือกตั้งผู้นำการจัดการโหนดการล็อกและการซิงโครไนซ์ข้อมูล

Solr มีสองส่วนที่แตกต่างกัน indexing และ searching. การจัดทำดัชนีเป็นกระบวนการจัดเก็บข้อมูลในรูปแบบที่เหมาะสมเพื่อให้สามารถสืบค้นได้ในภายหลัง Solr ใช้ ZooKeeper สำหรับทั้งการสร้างดัชนีข้อมูลในหลายโหนดและค้นหาจากหลายโหนด ZooKeeper มีคุณสมบัติดังต่อไปนี้ -

• เพิ่ม / ลบโหนดตามและเมื่อจำเป็น

• การจำลองข้อมูลระหว่างโหนดและลดการสูญหายของข้อมูลในภายหลัง

• การแบ่งปันข้อมูลระหว่างหลายโหนดและค้นหาจากหลายโหนดในภายหลังเพื่อให้ได้ผลการค้นหาที่เร็วขึ้น

Apache Solr บางกรณีการใช้งาน ได้แก่ อีคอมเมิร์ซการหางาน ฯลฯ