Membuat data tersedia lebih cepat, lebih efisien, dan tanpa mengorbankan akurasi data.

Oleh Tim DevOps Siddharth Pal , Hike

Wawasan dari data adalah salah satu bagian terpenting dari produk apa pun, tetapi saat Anda membuat aplikasi game, menarik perubahan data dari database sumber dan memasukkannya ke gudang data hampir secara real-time jauh lebih penting.

CDC lebih efisien dan lebih cepat daripada penyerapan data batch, menjadikannya solusi masuk untuk tim data dan BI yang perlu memasukkan data ke dalam sistem dan menganalisisnya dengan cepat.

Kami memiliki kasus penggunaan yang menarik di mana kami bahkan mulai memikirkan CDC untuk semua kumpulan data utama kami pada Agustus '21 dan menerapkannya. Kami telah mengerjakan pipa CDC selama lebih dari setahun dengan semua perubahan perangkat lunak terbaru dan migrasi data sumber, yang dengan senang hati saya bagikan dengan Anda di blog ini. Selama ini, kami telah menambahkan sejumlah database dan beralih ke sharding database untuk aplikasi bisnis yang lebih penting.

Mengapa kami memutuskan untuk mengadopsi CDC?

Kasus penggunaan seperti status setoran atau penarikan, status sesi permainan untuk permainan tertentu, menemukan anomali, kampanye waktu nyata, model pembelajaran mesin, analitik operasional, dan lebih banyak lagi membutuhkan data dalam waktu hampir nyata dan juga perlu mencatat setiap perubahan data.

Pengaturan Pipa CDC

Jadi, dari mana Anda memulai jika Anda ingin menyiapkan pipeline CDC?

1. Luncurkan kluster kafka minimal 3 node.
2. Unduh konektor debezium stabil yang kompatibel dengan versi basis data Anda dan instal di server broker atau node khusus Anda.
3. Membangun konektivitas jaringan antara infra yang disediakan.
4. Buat pengguna hanya-baca di database sumber.
5. MongoDB:

6. MySQL:


• MySQL:



Apa yang telah kita capai?

Beralih dari ETL tradisional ke steaming memecahkan dua masalah besar ini bagi kami:

1. Lonjakan beban berkala : Kueri besar berdampak pada latensi dan pada akhirnya pengalaman pengguna, itulah sebabnya kami menyiapkan server sekunder tambahan untuk menjadwalkan tugas batch.
2. Keputusan bisnis yang tertunda : Keputusan bisnis berdasarkan data ditunda oleh frekuensi polling kami.

Jalankan panggilan curl untuk memantau status konektor di alat pemantauan Anda.



Langkah selanjutnya

CDC terbukti menjadi platform yang efektif bagi kami, dan kami tahu kami dapat berbuat lebih banyak dengannya.

Sebagai langkah selanjutnya, kami sedang mengerjakan lebih banyak cara menuju hal-hal berikut:

1. CDC dapat berfungsi sebagai alat untuk membackup data agar tidak hilang.
2. Investigasi lebih lanjut menggunakan alat BI, atau sebagai proses input ke saluran AI/pembelajaran mesin.