Splunk - Ingestion de données

L'ingestion de données dans Splunk s'effectue via le Add Datafonctionnalité qui fait partie de l'application de recherche et de création de rapports. Après la connexion, l'écran d'accueil de l'interface Splunk affiche leAdd Data comme indiqué ci-dessous.

En cliquant sur ce bouton, l'écran nous montre pour sélectionner la source et le format des données que nous prévoyons de pousser vers Splunk pour analyse.

Rassembler les données

Nous pouvons obtenir les données pour analyse sur le site officiel de Splunk. Enregistrez ce fichier et décompressez-le dans votre lecteur local. En ouvrant le dossier, vous pouvez trouver trois fichiers qui ont des formats différents. Ce sont les données de journal générées par certaines applications Web. Nous pouvons également collecter un autre ensemble de données fournies par Splunk qui est disponible à partir de la page Web officielle de Splunk.

Nous utiliserons les données de ces deux ensembles pour comprendre le fonctionnement des différentes fonctionnalités de Splunk.

Téléchargement de données

Ensuite, nous choisissons le fichier, secure.log du dossier, mailsvque nous avons conservés dans notre système local comme mentionné dans le paragraphe précédent. Après avoir sélectionné le fichier, nous passons à l'étape suivante en utilisant le bouton suivant de couleur verte dans le coin supérieur droit.

Sélection du type de source

Splunk a une fonction intégrée pour détecter le type de données ingérées. Il donne également à l'utilisateur la possibilité de choisir un type de données différent de celui choisi par Splunk. En cliquant sur la liste déroulante du type de source, nous pouvons voir différents types de données que Splunk peut ingérer et activer pour la recherche.

Dans l'exemple actuel donné ci-dessous, nous choisissons le type de source par défaut.

Paramètres d'entrée

Dans cette étape d'ingestion de données, nous configurons le nom d'hôte à partir duquel les données sont ingérées. Voici les options à choisir, pour le nom d'hôte -

Valeur constante

Il s'agit du nom d'hôte complet où résident les données source.

regex sur le chemin

Lorsque vous souhaitez extraire le nom d'hôte avec une expression régulière. Entrez ensuite l'expression régulière de l'hôte que vous souhaitez extraire dans le champ Expression régulière.

segment dans le chemin

Lorsque vous souhaitez extraire le nom d'hôte d'un segment dans le chemin de votre source de données, saisissez le numéro de segment dans le champ Numéro de segment. Par exemple, si le chemin d'accès à la source est / var / log / et que vous souhaitez que le troisième segment (le nom du serveur hôte) soit la valeur d'hôte, entrez "3".

Ensuite, nous choisissons le type d'index à créer sur les données d'entrée pour la recherche. Nous choisissons la stratégie d'indexation par défaut. L'index de résumé crée uniquement un résumé des données par agrégation et crée un index sur celui-ci tandis que l'index d'historique sert à stocker l'historique de recherche. Il est clairement représenté dans l'image ci-dessous -

Vérifier les paramètres

Après avoir cliqué sur le bouton suivant, nous voyons un résumé des paramètres que nous avons choisis. Nous l'examinons et choisissons Suivant pour terminer le téléchargement des données.

Une fois le chargement terminé, l'écran ci-dessous apparaît, indiquant la réussite de l'ingestion des données et d'autres actions possibles que nous pouvons entreprendre sur les données.