Zookeeper - Приложения
Zookeeper предоставляет гибкую инфраструктуру координации для распределенной среды. Фреймворк ZooKeeper поддерживает многие из лучших на сегодняшний день промышленных приложений. В этой главе мы обсудим некоторые из наиболее заметных приложений ZooKeeper.
Yahoo!
Фреймворк ZooKeeper изначально был создан на Yahoo! Хорошо спроектированное распределенное приложение должно отвечать таким требованиям, как прозрачность данных, лучшая производительность, надежность, централизованная конфигурация и координация. Итак, они разработали фреймворк ZooKeeper для удовлетворения этих требований.
Apache Hadoop
Apache Hadoop - движущая сила роста индустрии больших данных. Hadoop полагается на ZooKeeper для управления конфигурацией и координации. Давайте рассмотрим сценарий, чтобы понять роль ZooKeeper в Hadoop.
Предположим, что a Hadoop cluster мосты 100 or more commodity servers. Следовательно, необходимы услуги по координации и именованию. Поскольку задействованы вычисления большого количества узлов, каждый узел должен синхронизироваться друг с другом, знать, где получить доступ к службам, и знать, как они должны быть настроены. На данный момент кластерам Hadoop требуются межузловые сервисы. ZooKeeper предоставляет возможности дляcross-node synchronization и обеспечивает сериализацию и синхронизацию задач в проектах Hadoop.
Несколько серверов ZooKeeper поддерживают большие кластеры Hadoop. Каждый клиентский компьютер связывается с одним из серверов ZooKeeper для получения и обновления информации о синхронизации. Некоторые из примеров в реальном времени -
Human Genome Project- Проект "Геном человека" содержит терабайты данных. Каркас Hadoop MapReduce можно использовать для анализа набора данных и поиска интересных фактов для человеческого развития.
Healthcare - Больницы могут хранить, извлекать и анализировать огромные наборы медицинских карт пациентов, обычно в терабайтах.
Apache HBase
Apache HBase - это распределенная база данных NoSQL с открытым исходным кодом, используемая для доступа на чтение / запись в реальном времени к большим наборам данных и работающая поверх HDFS. HBase следуетmaster-slave architectureгде HBase Master управляет всеми подчиненными. Рабы упоминаются какRegion servers.
Установка распределенного приложения HBase зависит от работающего кластера ZooKeeper. Apache HBase использует ZooKeeper для отслеживания состояния распределенных данных на главном и региональном серверах с помощьюcentralized configuration management и distributed mutexмеханизмы. Вот некоторые из вариантов использования HBase -
Telecom- В телекоммуникационной отрасли хранятся миллиарды записей мобильных вызовов (около 30 ТБ / месяц), и доступ к этим записям вызовов в режиме реального времени становится огромной задачей. HBase можно использовать для простой и эффективной обработки всех записей в реальном времени.
Social network- Подобно телекоммуникационной отрасли, такие сайты, как Twitter, LinkedIn и Facebook, получают огромные объемы данных через сообщения, созданные пользователями. HBase можно использовать для поиска последних тенденций и других интересных фактов.
Apache Solr
Apache Solr - это быстрая поисковая платформа с открытым исходным кодом, написанная на Java. Это невероятно быстрая и отказоустойчивая распределенная поисковая система. Построен на вершинеLucene, это высокопроизводительная полнофункциональная система текстового поиска.
Solr широко использует все функции ZooKeeper, такие как управление конфигурацией, выборы лидера, управление узлами, блокировка и синхронизация данных.
Solr состоит из двух частей: indexing и searching. Индексирование - это процесс сохранения данных в надлежащем формате, чтобы их можно было искать позже. Solr использует ZooKeeper как для индексации данных на нескольких узлах, так и для поиска на нескольких узлах. ZooKeeper предоставляет следующие функции -
Добавляйте / удаляйте узлы по мере необходимости
Репликация данных между узлами с последующим минимизацией потери данных
Обмен данными между несколькими узлами и последующий поиск на нескольких узлах для более быстрых результатов поиска
Некоторые варианты использования Apache Solr включают электронную коммерцию, поиск работы и т. Д.