Zookeeper - Uygulamalar
Zookeeper, dağıtılmış ortam için esnek bir koordinasyon altyapısı sağlar. ZooKeeper çerçevesi, günümüzün en iyi endüstriyel uygulamalarının çoğunu destekler. Bu bölümde ZooKeeper'ın en dikkate değer uygulamalarının bazılarını tartışacağız.
Yahoo!
ZooKeeper çerçevesi başlangıçta "Yahoo!" adresinde oluşturulmuştur. İyi tasarlanmış dağıtılmış bir uygulamanın veri şeffaflığı, daha iyi performans, sağlamlık, merkezi konfigürasyon ve koordinasyon gibi gereksinimleri karşılaması gerekir. Bu nedenle, ZooKeeper çerçevesini bu gereksinimleri karşılayacak şekilde tasarladılar.
Apache Hadoop
Apache Hadoop, Büyük Veri endüstrisinin büyümesinin arkasındaki itici güçtür. Hadoop, yapılandırma yönetimi ve koordinasyon için ZooKeeper'a güvenir. ZooKeeper'ın Hadoop'taki rolünü anlamak için bir senaryo alalım.
Varsayalım ki bir Hadoop cluster köprüler 100 or more commodity servers. Bu nedenle, koordinasyon ve isimlendirme hizmetlerine ihtiyaç vardır. Çok sayıda düğümün hesaplanması söz konusu olduğundan, her düğümün birbiriyle senkronize olması, hizmetlere nereden erişeceğini ve nasıl yapılandırılacağını bilmesi gerekir. Bu noktada, Hadoop kümeleri düğümler arası hizmetler gerektirir. ZooKeeper aşağıdaki olanakları sağlar:cross-node synchronization ve Hadoop projelerindeki görevlerin serileştirilmesini ve senkronize edilmesini sağlar.
Birden çok ZooKeeper sunucusu, büyük Hadoop kümelerini destekler. Her bir istemci makine, senkronizasyon bilgilerini almak ve güncellemek için ZooKeeper sunucularından biriyle iletişim kurar. Gerçek zamanlı örneklerden bazıları -
Human Genome Project- İnsan Genom Projesi terabaytlarca veri içerir. Hadoop MapReduce çerçevesi, veri setini analiz etmek ve insan gelişimi için ilginç gerçekleri bulmak için kullanılabilir.
Healthcare - Hastaneler, normalde terabayt cinsinden olan büyük hasta tıbbi kayıt kümelerini depolayabilir, alabilir ve analiz edebilir.
Apache HBase
Apache HBase, büyük veri kümelerine gerçek zamanlı okuma / yazma erişimi için kullanılan açık kaynaklı, dağıtılmış, NoSQL veritabanıdır ve HDFS'nin üzerinde çalışır. HBase izlermaster-slave architectureHBase Master'ın tüm köleleri yönettiği yer. Köleler şu şekilde anılır:Region servers.
HBase dağıtılmış uygulama kurulumu, çalışan bir ZooKeeper kümesine bağlıdır. Apache HBase, ana ve bölge sunucularındaki dağıtılmış verilerin durumunu izlemek için ZooKeeper'ı kullanır.centralized configuration management ve distributed mutexmekanizmalar. İşte HBase'nin bazı kullanım durumları -
Telecom- Telekom endüstrisi milyarlarca mobil arama kaydını (yaklaşık 30 TB / ay) depolar ve bu arama kayıtlarına gerçek zamanlı olarak erişmek büyük bir görev haline gelir. HBase, tüm kayıtları gerçek zamanlı, kolay ve verimli bir şekilde işlemek için kullanılabilir.
Social network- Telekom endüstrisine benzer şekilde, Twitter, LinkedIn ve Facebook gibi siteler, kullanıcılar tarafından oluşturulan gönderiler aracılığıyla büyük miktarda veri alır. HBase, son trendleri ve diğer ilginç gerçekleri bulmak için kullanılabilir.
Apache Solr
Apache Solr, Java ile yazılmış hızlı, açık kaynaklı bir arama platformudur. Çok hızlı, hata toleranslı dağıtılmış bir arama motorudur. Üzerine inşa edilmiştirLucene, yüksek performanslı, tam özellikli bir metin arama motorudur.
Solr, ZooKeeper'ın Yapılandırma yönetimi, Lider seçimi, düğüm yönetimi, verilerin kilitlenmesi ve senkronizasyonu gibi tüm özelliklerini kapsamlı bir şekilde kullanır.
Solr'un iki ayrı bölümü vardır, indexing ve searching. İndeksleme, verilerin daha sonra aranabilmesi için uygun bir formatta saklanması işlemidir. Solr, hem verileri birden çok düğümde indekslemek hem de birden çok düğümden aramak için ZooKeeper'ı kullanır. ZooKeeper aşağıdaki özelliklere katkıda bulunur -
Gerektiğinde düğüm ekleyin / kaldırın
Verilerin düğümler arasında çoğaltılması ve ardından veri kaybının en aza indirilmesi
Verilerin birden çok düğüm arasında paylaşılması ve ardından daha hızlı arama sonuçları için birden çok düğümden arama yapılması
Apache Solr'un bazı kullanım durumları arasında e-ticaret, iş arama vb. Yer alır.