Hace que los datos estén disponibles de forma más rápida, más eficiente y sin sacrificar la precisión de los datos.

Por Siddharth Pal Equipo DevOps, Caminata

La información de los datos es una de las partes más importantes de cualquier producto, pero cuando está creando una aplicación de juegos, es aún más importante extraer los cambios de datos de la base de datos de origen y colocarlos en el almacén de datos casi en tiempo real.

CDC es más eficiente y rápido que la ingestión de datos por lotes, lo que lo convierte en la solución de acceso para los equipos de datos y BI que necesitan ingresar datos al sistema y analizarlos rápidamente.

Tuvimos un caso de uso interesante en el que comenzamos a pensar en CDC para todos nuestros conjuntos de datos primarios en agosto del 21 y lo implementamos. Hemos estado trabajando en la canalización de CDC durante más de un año con los últimos cambios de software y migración de datos de origen, que me complace compartir con ustedes en este blog. Durante este tiempo, agregamos varias bases de datos y cambiamos a fragmentación de bases de datos para aplicaciones comerciales más críticas.

¿Por qué decidimos adoptar CDC?

Casos de uso como el estado de un depósito o retiro, el estado de una sesión de juego para un juego determinado, detección de anomalías, campañas en tiempo real, modelos de aprendizaje automático, análisis operativo y más necesitan datos casi en tiempo real y también necesitan registrar cada cambio en los datos.

Configuración de canalización de CDC

Entonces, ¿dónde comienza si desea configurar una canalización de CDC?

1. Inicie el clúster kafka de 3 nodos como mínimo.
2. Descargue un conector debezium estable compatible con la versión de su base de datos e instálelo en sus servidores de intermediario o nodos dedicados.
3. Establecer conectividad de red entre la infraestructura aprovisionada.
4. Cree un usuario de solo lectura en la base de datos de origen.
5. MongoDB:

6. mysql:


• mysql:



¿Qué hemos logrado?

Pasar de ETL tradicional a steaming resuelve estos dos grandes problemas para nosotros:

1. Picos periódicos en la carga : las consultas grandes afectan la latencia y, en última instancia, la experiencia del usuario, razón por la cual configuramos un servidor secundario adicional para programar trabajos por lotes.
2. Decisiones comerciales retrasadas : las decisiones comerciales basadas en los datos se retrasan debido a nuestra frecuencia de sondeo.

Ejecute la llamada curl para monitorear el estado del conector en su herramienta de monitoreo.



Próximos pasos

CDC demostró ser una plataforma eficaz para nosotros y sabíamos que podíamos hacer más con ella.

Como siguiente paso, estamos trabajando en más formas de lograr lo siguiente:

1. CDC puede servir como una herramienta para hacer una copia de seguridad de los datos para evitar pérdidas.
2. Investigación adicional utilizando herramientas de BI, o como un proceso de entrada a una canalización de IA/aprendizaje automático.