Zookeeper - Aplicativos
Zookeeper fornece uma infraestrutura de coordenação flexível para ambiente distribuído. A estrutura do ZooKeeper oferece suporte a muitos dos melhores aplicativos industriais da atualidade. Discutiremos algumas das aplicações mais notáveis do ZooKeeper neste capítulo.
Yahoo!
A estrutura ZooKeeper foi construída originalmente no “Yahoo!”. Um aplicativo distribuído bem projetado precisa atender a requisitos como transparência de dados, melhor desempenho, robustez, configuração centralizada e coordenação. Portanto, eles projetaram a estrutura do ZooKeeper para atender a esses requisitos.
Apache Hadoop
Apache Hadoop é a força motriz por trás do crescimento da indústria de Big Data. O Hadoop depende do ZooKeeper para gerenciamento e coordenação de configuração. Vejamos um cenário para entender a função do ZooKeeper no Hadoop.
Suponha que um Hadoop cluster pontes 100 or more commodity servers. Portanto, há uma necessidade de coordenação e serviços de nomenclatura. Como a computação de um grande número de nós está envolvida, cada nó precisa ser sincronizado entre si, saber onde acessar os serviços e como eles devem ser configurados. Neste ponto, os clusters do Hadoop requerem serviços entre nós. ZooKeeper fornece as instalações paracross-node synchronization e garante que as tarefas nos projetos Hadoop sejam serializadas e sincronizadas.
Vários servidores ZooKeeper oferecem suporte a grandes clusters Hadoop. Cada máquina cliente se comunica com um dos servidores ZooKeeper para recuperar e atualizar suas informações de sincronização. Alguns dos exemplos em tempo real são -
Human Genome Project- O Projeto Genoma Humano contém terabytes de dados. A estrutura Hadoop MapReduce pode ser usada para analisar o conjunto de dados e encontrar fatos interessantes para o desenvolvimento humano.
Healthcare - Os hospitais podem armazenar, recuperar e analisar grandes conjuntos de registros médicos de pacientes, normalmente em terabytes.
Apache HBase
O Apache HBase é um banco de dados NoSQL de código aberto, distribuído, usado para acesso de leitura / gravação em tempo real de grandes conjuntos de dados e é executado no HDFS. HBase seguemaster-slave architectureonde o mestre HBase governa todos os escravos. Escravos são chamados deRegion servers.
A instalação do aplicativo distribuído HBase depende de um cluster ZooKeeper em execução. O Apache HBase usa o ZooKeeper para rastrear o status dos dados distribuídos nos servidores principais e regionais com a ajuda decentralized configuration management e distributed mutexmecanismos. Aqui estão alguns dos casos de uso do HBase -
Telecom- A indústria de telecomunicações armazena bilhões de registros de chamadas móveis (cerca de 30 TB / mês) e acessar esses registros de chamadas em tempo real se torna uma tarefa enorme. O HBase pode ser usado para processar todos os registros em tempo real, de forma fácil e eficiente.
Social network- Semelhante ao setor de telecomunicações, sites como Twitter, LinkedIn e Facebook recebem grandes volumes de dados por meio de postagens criadas pelos usuários. O HBase pode ser usado para encontrar tendências recentes e outros fatos interessantes.
Apache Solr
Apache Solr é uma plataforma de pesquisa rápida e de código aberto escrita em Java. É um motor de busca distribuído extremamente rápido e tolerante a falhas. Construído em cima deLucene, é um mecanismo de pesquisa de texto completo e de alto desempenho.
Solr usa extensivamente todos os recursos do ZooKeeper, como gerenciamento de configuração, eleição de líder, gerenciamento de nó, bloqueio e sincronização de dados.
Solr tem duas partes distintas, indexing e searching. A indexação é um processo de armazenar os dados em um formato adequado para que possam ser pesquisados posteriormente. Solr usa ZooKeeper para indexar os dados em vários nós e pesquisar em vários nós. O ZooKeeper contribui com os seguintes recursos -
Adicionar / remover nós como e quando necessário
Replicação de dados entre nós e consequentemente minimizando a perda de dados
Compartilhamento de dados entre vários nós e subsequentemente pesquisa de vários nós para resultados de pesquisa mais rápidos
Alguns dos casos de uso do Apache Solr incluem comércio eletrônico, pesquisa de empregos, etc.