Splunk - Оптимизация поиска

Splunk уже включает в себя функции оптимизации, анализирует и обрабатывает ваши запросы для максимальной эффективности. Эта эффективность в основном достигается за счет следующих двух целей оптимизации:

• Early Filtering- Эти оптимизации фильтруют результаты очень рано, так что объем обрабатываемых данных сокращается как можно раньше в процессе поиска. Этот ранний фильтр позволяет избежать ненужных вычислений поиска и оценки событий, которые не являются частью окончательных результатов поиска.

• Parallel Processing - Встроенная оптимизация может изменить порядок обработки поиска, чтобы как можно больше команд выполнялись параллельно на индексаторах перед отправкой результатов поиска в головку поиска для окончательной обработки.

Анализ поисковых оптимизаций

Splunk предоставил нам инструменты для анализа работы поисковой оптимизации. Эти инструменты помогают нам понять, как используются условия фильтрации и какова последовательность этих шагов оптимизации. Он также дает нам информацию о стоимости различных этапов поисковых операций.

пример

Рассмотрим операцию поиска, чтобы найти события, содержащие слова: сбой, сбой или пароль. Когда мы помещаем этот поисковый запрос в поле поиска, встроенные оптимизаторы автоматически определяют путь поиска. Мы можем проверить, сколько времени потребовалось поиску, чтобы вернуть определенное количество результатов поиска, и, при необходимости, можем продолжить проверку каждого шага оптимизации, а также связанных с этим затрат.

Мы идем по пути Search → Job → Inspect Job чтобы получить эти данные, как показано ниже -

На следующем экране представлены сведения об оптимизации, выполненной для указанного выше запроса. Здесь нам нужно отметить количество событий и время, необходимое для возврата результата.

Отключение оптимизации

Мы также можем отключить встроенную оптимизацию и заметить разницу во времени, затраченном на результат поиска. Результат может быть лучше встроенного поиска, а может и не быть. Если это лучше, мы всегда можем выбрать эту опцию, чтобы отключить оптимизацию только для этого конкретного поиска.

На диаграмме ниже мы используем команду без оптимизации, представленную как noop в поисковом запросе.

Следующий экран дает нам результат без использования оптимизации. Для данного запроса результаты приходят быстрее без использования встроенных оптимизаций.