Penyelaman mendalam ke beberapa konsep dasar pergudangan data,

Gudang data

Pertama-tama, apa itu Data Warehouse?

Pusat penyimpanan informasi.

Gudang data menyatukan dan menggabungkan data dari berbagai sumber heterogen ke dalam penyimpanan data pusat untuk mendukung analitik dan pelaporan yang canggih.

Data dan analitik membentuk inti dari setiap bisnis. Bisnis mengandalkan alat analitik, dasbor, dan laporan untuk mendapatkan wawasan dari data mereka, memantau dan memprediksi kinerja bisnis, serta mendukung pengambilan keputusan. Gudang data memungkinkan mereka untuk menjalankan analitik yang kuat ini pada volume data yang sangat besar (saya ulangi, MASSIVE ) secara efisien.

Arsitektur Gudang Data

Gudang Data tipikal biasanya terdiri dari tiga lapisan.

Tingkat bawah : Server Gudang Data , yang bertanggung jawab untuk mengumpulkan, membersihkan, dan mengubah data yang dikumpulkan dari berbagai sumber. Ini dilakukan melalui proses yang disebut ETL (Extract, Transform & Load) atau melalui proses ELT (Extract, Load & Transform).

Tingkat menengah : Server OLAP , yang memungkinkan kecepatan kueri cepat dengan menyediakan tampilan abstrak database.

Tingkat atas : Antarmuka Pengguna Front-end atau alat pelaporan , yang memungkinkan pengguna untuk melakukan analitik pada data.

Skema di Gudang Data

Skema pada dasarnya adalah format di mana data diatur dalam database atau gudang data.

Sebelum kita masuk ke skema di gudang data, pertama-tama kita perlu memahami satu hal:

Tabel Fakta dan Dimensi

Tabel fakta adalah tabel yang memegang kunci utama dari tabel dimensi yang direferensikan bersama dengan beberapa metrik kuantitatif (ukuran) di mana beberapa bentuk perhitungan dapat dilakukan. Beberapa contoh tabel fakta adalah log pesanan, data keuangan deret waktu, dll.

Tabel Dimensi menyimpan informasi deskriptif untuk bidang terkait yang ada dalam catatan tabel fakta. Contoh tabel dimensi yang paling umum adalah tabel Pelanggan dan Produk biasa .

Mari pertimbangkan contoh pelanggan yang membeli produk dari toko fisik.

Tabel Dimensi (berwarna biru), berisi informasi tentang Produk , Tanggal , Pelanggan dan Toko .

Tabel Fakta (berwarna kuning), berisi semua kunci utama tabel dimensi, yang merupakan kunci asing untuk tabel fakta — customer_id, product_id, store_id dan date_id . Ini juga berisi ukuran kuantitatif — kuantitas dan jumlah .

Kembali ke skema Data Warehouse,

Ada dua jenis skema DW:

Skema Bintang

Jenis skema yang paling umum, skema bintang terdiri dari satu tabel fakta yang terhubung ke beberapa tabel dimensi yang didenormalisasi . Ini adalah skema paling sederhana dan pengguna mendapat manfaat dari kecepatan kueri yang lebih cepat.

Mari kita pertimbangkan contoh di bawah ini.

Di sini tabel fakta, alias tabel Orders , selanjutnya dihubungkan dengan tabel lima dimensi, yaitu Customer, Employee, Items, Warehouse, dan Date .

Skema Kepingan Salju

Jenis skema kedua, skema kepingan salju terdiri dari satu tabel fakta yang terhubung ke beberapa tabel dimensi yang dinormalisasi , di mana tabel dimensi selanjutnya memiliki tabel anak . Meskipun tidak diadopsi secara luas, skema kepingan salju cukup bermanfaat untuk redundansi tingkat rendah, tetapi dengan mengorbankan kinerja kueri.

Mari pertimbangkan contoh yang sama seperti di atas, tetapi untuk skema kepingan salju, akan terlihat seperti ini:

Di sini tabel fakta, alias tabel Orders , selanjutnya dihubungkan dengan tabel lima dimensi, yaitu Customer, Employee, Items, Warehouse, dan Date . Beberapa tabel dimensi dinormalisasi lebih lanjut dan memiliki tabel anak — Tabel karyawan memiliki dua tabel anak — Jenis Kelamin dan Kantor , Item memiliki tabel anak Warna dll.

Manfaat Gudang Data

Manfaat utama dari gudang data adalah sebagai berikut:

• Memungkinkan pengambilan keputusan yang cerdas : Gudang data mendukung fungsi BI skala besar seperti penambangan data (menemukan pola atau hubungan yang tidak terlihat dalam data), pembelajaran mesin (memprediksi penjualan untuk kuartal berikutnya, dll.) dan analitik data lainnya — alat yang membantu para pemimpin bisnis dan profesional mengumpulkan bukti kuat untuk mendukung pengambilan keputusan mereka, dalam setiap dan setiap aspek bisnis, mulai dari prediksi keuangan dan pemrosesan bisnis hingga manajemen inventaris.
• Kualitas data yang lebih baik : Data dari berbagai sumber heterogen seperti sistem transaksional, basis data relasional, dan file datar dikumpulkan, dibersihkan, dan distandarisasi untuk menghilangkan redundansi dan membentuk satu sumber kebenaran.
• Pemisahan pemrosesan analitik dari basis data transaksional : Sistem transaksional memungkinkan penanganan transaksi sehari-hari dengan cepat dalam skala besar, sementara gudang data membantu menjalankan analitik yang kuat pada volume data yang sangat besar. Keduanya memiliki tujuan yang berbeda dan dengan demikian memisahkannya membantu meningkatkan kinerja keduanya. Untuk lebih memahami, periksa ini .

Prachi Singh

Rekan Teknologi di Morgan Stanley

LinkedIn | Twitter