Kibana - agregação e métricas
Os dois termos que você encontra com frequência durante o aprendizado de Kibana são Bucket e Metrics Aggregation. Este capítulo discute o papel que eles desempenham no Kibana e mais detalhes sobre eles.
O que é agregação Kibana?
A agregação refere-se à coleção de documentos ou a um conjunto de documentos obtidos de uma consulta de pesquisa ou filtro específico. A agregação constitui o conceito principal para construir a visualização desejada no Kibana.
Sempre que você realiza qualquer visualização, você precisa decidir os critérios, o que significa de que forma você deseja agrupar os dados para realizar a métrica sobre eles.
Nesta seção, discutiremos dois tipos de agregação -
- Agregação de balde
- Agregação métrica
Agregação de balde
Um balde consiste principalmente em uma chave e um documento. Quando a agregação é executada, os documentos são colocados no respectivo depósito. Portanto, no final, você deve ter uma lista de baldes, cada um com uma lista de documentos. A lista de Bucket Aggregation que você verá ao criar a visualização no Kibana é mostrada abaixo -
Agregação de intervalo tem a seguinte lista -
- Histograma de data
- Intervalo de datas
- Filters
- Histogram
- Intervalo IPv4
- Range
- Termos Significativos
- Terms
Ao criar, você precisa decidir um deles para Agregação de Bucket, ou seja, agrupar os documentos dentro dos buckets.
Como exemplo, para análise, considere os dados dos países que carregamos no início deste tutorial. Os campos disponíveis no índice de países são nome do país, área, população, região. Nos dados dos países, temos o nome do país junto com sua população, região e área.
Vamos supor que queremos dados regionais. Então, os países disponíveis em cada região passam a ser nossa consulta de pesquisa, portanto, neste caso, a região formará nossos baldes. O diagrama de blocos abaixo mostra que R1, R2, R3, R4, R5 e R6 são os depósitos que obtivemos e c1, c2 ..c25 são a lista de documentos que fazem parte dos depósitos R1 a R6.
Podemos ver que existem alguns círculos em cada um dos baldes. Eles são conjuntos de documentos com base nos critérios de pesquisa e considerados como pertencentes a cada um dos baldes. No intervalo R1, temos os documentos c1, c8 e c15. Esses documentos são os países que se enquadram naquela região, o mesmo para outros. Portanto, se contarmos os países no intervalo R1, é 3, 6 para R2, 6 para R3, 2 para R4, 5 para R5 e 4 para R6.
Portanto, por meio da agregação de buckets, podemos agregar o documento em buckets e ter uma lista de documentos nesses buckets, conforme mostrado acima.
A lista de Bucket Aggregation que temos até agora é -
- Histograma de data
- Intervalo de datas
- Filters
- Histogram
- Intervalo IPv4
- Range
- Termos Significativos
- Terms
Vamos agora discutir como formar esses baldes um por um em detalhes.
Histograma de data
A agregação de histograma de data é usada em um campo de data. Portanto, o índice que você usa para visualizar, se você tiver campo de data nesse índice, então apenas este tipo de agregação pode ser usado. Esta é uma agregação de vários baldes, o que significa que você pode ter alguns dos documentos como parte de mais de 1 balde. Há um intervalo a ser usado para esta agregação e os detalhes são mostrados abaixo -
Quando você seleciona Agregação de Buckets como Histograma de Data, será exibida a opção Campo, que fornecerá apenas os campos relacionados à data. Depois de selecionar seu campo, você precisa selecionar o intervalo que contém os seguintes detalhes -
Assim, os documentos do índice escolhido e com base no campo e intervalo escolhidos irão categorizar os documentos em buckets. Por exemplo, se você escolheu o intervalo como mensal, os documentos baseados na data serão convertidos em baldes e com base no mês, ou seja, Jan-Dez, os documentos serão colocados nos baldes. Aqui, janeiro, fevereiro, dezembro ... serão os baldes.
Intervalo de datas
Você precisa de um campo de data para usar este tipo de agregação. Aqui teremos um intervalo de datas, ou seja, a partir da data e a data a ser fornecida. Os baldes terão seus documentos baseados no formulário e na data fornecidos.
Filtros
Com agregação do tipo Filtros, os intervalos serão formados com base no filtro. Aqui você obterá um balde múltiplo formado com base nos critérios de filtro, um documento pode existir em um ou mais baldes.
Usando filtros, os usuários podem escrever suas consultas na opção de filtro, conforme mostrado abaixo -
Você pode adicionar vários filtros de sua escolha usando o botão Adicionar filtro.
Histograma
Este tipo de agregação é aplicado em um campo numérico e agrupará os documentos em um bucket com base no intervalo aplicado. Por exemplo, 0-50,50-100,100-150 etc.
Intervalo IPv4
Este tipo de agregação é usado e principalmente usado para endereços IP.
O índice que temos que é o contriesdata-28.12.2018 não possui campo do tipo IP por isso exibe uma mensagem conforme mostrado acima. Se acontecer de você ter o campo IP, você pode especificar os valores De e Para nele, conforme mostrado acima.
Alcance
Este tipo de agregação precisa que os campos sejam do tipo número. Você precisa especificar o intervalo e os documentos serão listados nos baldes que caem no intervalo.
Você pode adicionar mais intervalo, se necessário, clicando no botão Adicionar intervalo.
Termos Significativos
Este tipo de agregação é usado principalmente nos campos de string.
Termos
Este tipo de agregação é usado em todos os campos disponíveis a saber, número, string, data, booleano, endereço IP, carimbo de data / hora, etc. Observe que esta é a agregação que vamos usar em todas as nossas visualizações que vamos trabalhar neste tutorial.
Temos uma ordem de opções pela qual agruparemos os dados com base na métrica que selecionarmos. O tamanho se refere ao número de intervalos que você deseja exibir na visualização.
A seguir, vamos falar sobre agregação métrica.
Agregação métrica
A agregação métrica refere-se principalmente ao cálculo matemático feito nos documentos presentes no balde. Por exemplo, se você escolher um campo de número, o cálculo da métrica que você pode fazer nele é COUNT, SUM, MIN, MAX, AVERAGE etc.
Uma lista de agregação de métricas que discutiremos é fornecida aqui -
Nesta seção, vamos discutir os importantes que vamos usar com frequência -
- Average
- Count
- Max
- Min
- Sum
A métrica será aplicada na agregação de intervalo individual que já discutimos acima.
A seguir, vamos discutir a lista de agregação de métricas aqui -
Média
Isso dará a média dos valores dos documentos presentes nos baldes. Por exemplo -
R1 a R6 são os baldes. Em R1, temos c1, c8 e c15. Considere que o valor de c1 é 300, c8 é 500 e c15 é 700. Agora, para obter o valor médio do intervalo R1
R1 = valor de c1 + valor de c8 + valor de c15 / 3 = 300 + 500 + 700/3 = 500.
A média é 500 para o intervalo R1. Aqui, o valor do documento pode ser qualquer coisa como, se você considerar os dados dos países, pode ser a área do país naquela região.
Contagem
Isso dará a contagem de documentos presentes no Balde. Suponha que você queira a contagem dos países presentes na região, será o total de documentos presentes nos baldes. Por exemplo, R1 será 3, R2 = 6, R3 = 5, R4 = 2, R5 = 5 e R6 = 4.
Max
Isso fornecerá o valor máximo do documento presente no balde. Considerando o exemplo acima, se tivermos dados de países da área sábia no intervalo de região. O máximo para cada região será o país com a área máxima. Portanto, terá um país de cada região, ou seja, R1 a R6.
dentro
Isso fornecerá o valor mínimo do documento presente no balde. Considerando o exemplo acima, se tivermos dados de países da área inteligente no intervalo da região. O mínimo para cada região será o país com a área mínima. Portanto, terá um país de cada região, ou seja, R1 a R6.
Soma
Isso dará a soma dos valores do documento presente no balde. Por exemplo, se você considerar o exemplo acima se quisermos a área total ou países da região, será a soma dos documentos presentes na região.
Por exemplo, para saber o total de países na região R1, será 3, R2 = 6, R3 = 5, R4 = 2, R5 = 5 e R6 = 4.
Caso tenhamos documentos com área na região então R1 a R6 terão a área do país somada para a região.