Rend les données disponibles plus rapidement, plus efficacement et sans sacrifier la précision des données.

Par l'équipe DevOps de Siddharth Pal , Randonnée

Les informations issues des données sont l'une des parties les plus importantes de tout produit, mais lorsque vous créez une application de jeu, il est encore plus important d'extraire les modifications de données de la base de données source et de les mettre dans l'entrepôt de données en temps quasi réel.

CDC est plus efficace et plus rapide que l'ingestion de données par lots, ce qui en fait la solution idéale pour les équipes de données et de BI qui ont besoin d'introduire des données dans le système et de les analyser rapidement.

Nous avons eu un cas d'utilisation intéressant où nous avons même commencé à penser au CDC pour tous nos ensembles de données primaires en août 21 et l'avons mis en œuvre. Nous travaillons sur le pipeline CDC depuis plus d'un an avec toutes les dernières modifications logicielles et la migration des données sources, que je suis heureux de partager avec vous dans ce blog. Pendant ce temps, nous avons ajouté un certain nombre de bases de données et sommes passés au partage de base de données pour les applications métier plus critiques.

Pourquoi avons-nous décidé d'adopter CDC ?

Des cas d'utilisation tels que l'état d'un dépôt ou d'un retrait, l'état d'une session de jeu pour un certain jeu, la détection d'anomalies, des campagnes en temps réel, des modèles d'apprentissage automatique, des analyses opérationnelles, etc. nécessitent des données en temps quasi réel et doivent également enregistrer chaque changement dans les données.

Configuration du pipeline CDC

Alors, par où commencer si vous souhaitez mettre en place un pipeline CDC ?

1. Lancez le cluster kafka à 3 nœuds minimum.
2. Téléchargez un connecteur debezium stable compatible avec votre version de base de données et installez-le sur vos serveurs de courtier ou nœuds dédiés.
3. Établir la connectivité réseau entre l'infra provisionnée.
4. Créez un utilisateur en lecture seule dans la base de données source.
5. MongoDB :

6. MySQL :


• MySQL :



Qu'avons-nous réalisé ?

Passer de l'ETL traditionnel au steaming résout pour nous ces deux gros problèmes :

1. Pics de charge périodiques : les requêtes volumineuses ont un impact sur la latence et, en fin de compte, sur l'expérience utilisateur, c'est pourquoi nous avons mis en place un serveur secondaire supplémentaire pour planifier les tâches par lots.
2. Décisions commerciales retardées : les décisions commerciales basées sur les données sont retardées par notre fréquence d'interrogation.

Exécutez l'appel curl pour surveiller l'état du connecteur dans votre outil de surveillance.



Prochaines étapes

CDC s'est avéré être une plateforme efficace pour nous, et nous savions que nous pouvions en faire plus.

Dans une prochaine étape, nous travaillons sur d'autres moyens vers ce qui suit :

1. CDC peut servir d'outil pour sauvegarder les données afin d'éviter toute perte.
2. Enquête plus approfondie à l'aide d'outils de BI ou en tant que processus d'entrée dans un pipeline d'IA/apprentissage automatique.