Data Warehousing - Data Marting

Mengapa Kita Membutuhkan Data Mart?

Di bawah ini adalah alasan untuk membuat data mart -

• Untuk mempartisi data untuk memaksakan access control strategies.

• Untuk mempercepat kueri dengan mengurangi volume data yang akan dipindai.

• Untuk membagi data ke dalam platform perangkat keras yang berbeda.

• Untuk menyusun data dalam bentuk yang sesuai untuk alat akses pengguna.

Note- Jangan data mart karena alasan lain karena biaya operasi data marting bisa sangat tinggi. Sebelum data marting, pastikan bahwa strategi data marting sesuai dengan solusi khusus Anda.

Data Marting yang hemat biaya

Ikuti langkah-langkah yang diberikan di bawah ini untuk membuat data marting hemat biaya -

• Identifikasi Pemisahan Fungsional
• Identifikasi Persyaratan Alat Akses Pengguna
• Identifikasi Masalah Kontrol Akses

Identifikasi Pemisahan Fungsional

Pada langkah ini, kami menentukan apakah organisasi memiliki pemisahan fungsional alami. Kami mencari pemisahan departemen, dan kami menentukan apakah cara departemen menggunakan informasi cenderung terisolasi dari bagian organisasi lainnya. Mari kita lihat contohnya.

Pertimbangkan organisasi ritel, di mana setiap pedagang bertanggung jawab untuk memaksimalkan penjualan sekelompok produk. Untuk ini, berikut adalah informasi berharga -

• transaksi penjualan setiap hari
• perkiraan penjualan setiap minggu
• posisi saham setiap hari
• pergerakan saham setiap hari

Karena pedagang tidak tertarik dengan produk yang tidak mereka jual, data marting adalah bagian dari perdagangan data yang diminati oleh kelompok produk. Diagram berikut menunjukkan data marting untuk pengguna yang berbeda.

Diberikan di bawah ini adalah masalah yang harus diperhitungkan saat menentukan pemisahan fungsional -

• Struktur departemen dapat berubah.

• Produk mungkin berpindah dari satu departemen ke departemen lain.

• Pedagang dapat menanyakan tren penjualan produk lain untuk menganalisis apa yang terjadi pada penjualan.

Note - Kita perlu menentukan keuntungan bisnis dan kelayakan teknis menggunakan data mart.

Identifikasi Persyaratan Alat Akses Pengguna

Kami membutuhkan data mart untuk mendukung user access toolsyang membutuhkan struktur data internal. Data dalam struktur seperti itu berada di luar kendali gudang data tetapi perlu diisi dan diperbarui secara teratur.

Ada beberapa alat yang mengisi langsung dari sistem sumber tetapi beberapa tidak bisa. Oleh karena itu, persyaratan tambahan di luar ruang lingkup alat diperlukan untuk diidentifikasi di masa mendatang.

Note - Untuk memastikan konsistensi data di semua alat akses, data tidak boleh langsung diisi dari gudang data, melainkan setiap alat harus memiliki data mart sendiri.

Identifikasi Masalah Kontrol Akses

Harus ada aturan privasi untuk memastikan data diakses hanya oleh pengguna yang berwenang. Misalnya gudang data untuk lembaga perbankan ritel memastikan bahwa semua akun milik badan hukum yang sama. Undang-undang privasi dapat memaksa Anda untuk sepenuhnya mencegah akses ke informasi yang tidak dimiliki oleh bank tertentu.

Data mart memungkinkan kita membangun tembok lengkap dengan memisahkan segmen data secara fisik di dalam data warehouse. Untuk menghindari kemungkinan masalah privasi, data rinci dapat dihapus dari gudang data. Kami dapat membuat data mart untuk setiap badan hukum dan memuatnya melalui gudang data, dengan data akun yang terperinci.

Merancang Data Mart

Data mart harus dirancang sebagai versi skema starflake yang lebih kecil di dalam data warehouse dan harus sesuai dengan desain database dari data warehouse. Ini membantu dalam mempertahankan kontrol atas contoh database.

Ringkasan adalah data marted dengan cara yang sama seperti yang dirancang di dalam data warehouse. Tabel ringkasan membantu memanfaatkan semua data dimensi dalam skema starflake.

Biaya Data Marting

Ukuran biaya untuk data marting adalah sebagai berikut -

• Biaya Perangkat Keras dan Perangkat Lunak
• Akses jaringan
• Batasan Jendela Waktu

Biaya Perangkat Keras dan Perangkat Lunak

Meskipun data mart dibuat pada perangkat keras yang sama, mereka memerlukan beberapa perangkat keras dan perangkat lunak tambahan. Untuk menangani kueri pengguna, diperlukan daya pemrosesan tambahan dan penyimpanan disk. Jika data detail dan data mart ada di dalam data warehouse, maka kami akan menghadapi biaya tambahan untuk menyimpan dan mengelola data yang direplikasi.

Note - Data marting lebih mahal daripada agregasi, oleh karena itu sebaiknya digunakan sebagai strategi tambahan dan bukan sebagai strategi alternatif.

Akses jaringan

Data mart bisa berada di lokasi yang berbeda dari gudang data, jadi kita harus memastikan bahwa LAN atau WAN memiliki kapasitas untuk menangani volume data yang ditransfer dalam data mart load process.

Batasan Jendela Waktu

Sejauh mana proses pemuatan data mart akan memakan waktu yang tersedia tergantung pada kompleksitas transformasi dan volume data yang dikirimkan. Penentuan berapa banyak data mart yang mungkin tergantung pada -

• Kapasitas jaringan.
• Jendela waktu tersedia
• Volume data yang sedang ditransfer
• Mekanisme yang digunakan untuk memasukkan data ke dalam data mart