Gudang Data - Gambaran Umum

Gudang Data terdiri dari data dari multiple heterogeneous data sourcesdan digunakan untuk pelaporan analitis dan pengambilan keputusan. Data Warehouse adalah tempat pusat dimana data disimpan dari berbagai sumber data dan aplikasi.

Istilah Data Warehouse pertama kali ditemukan oleh Bill Inmom pada tahun 1990. Data Warehouse selalu dipisahkan dari Basis Data Operasional.

Data dalam sistem DW dimuat dari sistem transaksi operasional seperti -

Sales
Marketing
HR
SCM, dll.

Ini mungkin melewati penyimpanan data operasional atau transformasi lain sebelum dimuat ke sistem DW untuk pemrosesan informasi.

Gudang Data digunakan untuk melaporkan dan menganalisis informasi dan menyimpan data historis dan terkini. Data dalam sistem DW digunakan untuk pelaporan Analitik, yang kemudian digunakan oleh Analis Bisnis, Manajer Penjualan atau pekerja Pengetahuan untuk pengambilan keputusan.

Pada gambar di atas, Anda dapat melihat bahwa datanya berasal multiple heterogeneous datasumber ke Data Warehouse. Sumber data umum untuk gudang data meliputi -

Database operasional
Aplikasi SAP dan non-SAP
File Datar (file xls, csv, txt)

Data dalam data warehouse diakses oleh pengguna BI (Business Intelligence) untuk Analytical Reporting, Data Mining dan Analysis. Ini digunakan untuk pengambilan keputusan oleh Pengguna Bisnis, Manajer Penjualan, Analis untuk menentukan strategi masa depan.

Fitur Gudang Data

Ini adalah tempat penyimpanan data pusat di mana data disimpan dari satu atau lebih sumber data yang heterogen. Sistem DW menyimpan data saat ini dan data historis. Biasanya sistem DW menyimpan data historis 5-10 tahun. Sistem DW selalu dipisahkan dari sistem transaksi operasional.

Data dalam sistem DW digunakan untuk berbagai jenis rentang pelaporan analitik dari perbandingan Kuartalan hingga Tahunan.

Gudang Data Vs Basis Data Operasional

Perbedaan antara Data Warehouse dan Operational Database adalah sebagai berikut -

Sebuah Operational System dirancang untuk beban kerja dan transaksi yang diketahui seperti memperbarui catatan pengguna, mencari catatan, dll. Namun, transaksi Data Warehouse lebih kompleks dan menyajikan bentuk data umum.
Sebuah Operational System berisi data terkini dari suatu organisasi dan Data warehouse biasanya berisi data historis.
Sebuah Operational Databasemendukung pemrosesan paralel dari beberapa transaksi. Kontrol konkurensi dan mekanisme pemulihan diperlukan untuk menjaga konsistensi database.
Sebuah Operational Database kueri memungkinkan untuk membaca dan memodifikasi operasi (menyisipkan, menghapus, dan memperbarui) sementara kueri OLAP hanya memerlukan akses baca-saja dari data yang disimpan (pernyataan Select).

Arsitektur Data Warehouse

Data Warehousing melibatkan pembersihan data, integrasi data, dan konsolidasi data. Gudang Data memiliki arsitektur 3 lapis -

Lapisan Sumber Data

Ini menentukan bagaimana data datang ke Gudang Data. Ini melibatkan berbagai sumber data dan sistem transaksi operasional, file datar, aplikasi, dll.

Lapisan Integrasi

Ini terdiri dari Penyimpanan Data Operasional dan area Pementasan. Area pementasan digunakan untuk melakukan pembersihan data, transformasi data, dan pemuatan data dari berbagai sumber ke gudang data. Karena beberapa sumber data tersedia untuk ekstraksi di zona waktu yang berbeda, area pentahapan digunakan untuk menyimpan data dan kemudian menerapkan transformasi pada data.

Lapisan Presentasi

Ini digunakan untuk melakukan pelaporan BI oleh pengguna akhir. Data dalam sistem DW diakses oleh pengguna BI dan digunakan untuk pelaporan dan analisis.

Ilustrasi berikut menunjukkan arsitektur umum dari Sistem Gudang Data.

Karakteristik Gudang Data

Berikut ini adalah karakteristik utama dari Data Warehouse -

Subject Oriented - Dalam sistem DW, data dikategorikan dan disimpan oleh subjek bisnis daripada oleh aplikasi seperti rencana ekuitas, saham, pinjaman, dll.
Integrated - Data dari berbagai sumber data diintegrasikan dalam Gudang Data.
Non Volatile- Data di gudang data tidak mudah menguap. Artinya ketika data dimuat dalam sistem DW, itu tidak diubah.
Time Variant- Sistem DW berisi data historis dibandingkan dengan sistem Transaksional yang hanya berisi data terkini. Di Data warehouse Anda dapat melihat data selama 3 bulan, 6 bulan, 1 tahun, 5 tahun, dll.

OLTP vs OLAP

Pertama, OLTP adalah singkatan dari Online Transaction Processing, sedangkan OLAP adalah singkatan dari Online Analytical Processing

Dalam sistem OLTP, ada banyak transaksi online pendek seperti INSERT, UPDATE, dan DELETE.

Padahal, dalam sistem OLTP, ukuran yang efektif adalah waktu proses transaksi yang singkat dan sangat sedikit. Ini mengontrol integritas data dalam lingkungan multi-akses. Untuk sistem OLTP, jumlah transaksi per detik mengukur keefektifan. Sistem Gudang Data OLTP berisi data terkini dan terperinci dan dikelola dalam skema di model entitas (3NF).

For Example -

Sistem transaksi Sehari-hari di toko ritel, tempat catatan pelanggan dimasukkan, diperbarui, dan dihapus setiap hari. Ini menyediakan pemrosesan kueri yang lebih cepat. Database OLTP berisi data terperinci dan terkini. Skema yang digunakan untuk menyimpan database OLTP adalah model Entitas.

Dalam sistem OLAP, terdapat jumlah transaksi yang lebih sedikit dibandingkan dengan sistem transaksional. Kueri yang dieksekusi bersifat kompleks dan melibatkan agregasi data.

Apa itu Agregasi?

Kami menyimpan tabel dengan data agregat seperti tahunan (1 baris), triwulanan (4 baris), bulanan (12 baris) atau lebih, jika seseorang harus melakukan perbandingan tahun ke tahun, hanya satu baris yang akan diproses. Namun, dalam tabel yang tidak digabungkan ini akan membandingkan semua baris. Ini disebut Agregasi.

Ada berbagai fungsi Agregasi yang dapat digunakan dalam sistem OLAP seperti Sum, Avg, Max, Min, dll.

For Example -

SELECT Avg(salary)
FROM employee
WHERE title = 'Programmer';

Perbedaan Utama

Ini adalah perbedaan utama antara OLAP dan sistem OLTP.

Indexes - Sistem OLTP hanya memiliki beberapa indeks sedangkan dalam sistem OLAP terdapat banyak indeks untuk pengoptimalan kinerja.
Joins- Dalam sistem OLTP, sejumlah besar gabungan dan data dinormalisasi. Namun, dalam sistem OLAP, gabungan lebih sedikit dan dinormalisasi.
Aggregation - Dalam sistem OLTP, data tidak diagregasi saat dalam database OLAP lebih banyak agregasi digunakan.
Normalization - Sistem OLTP berisi data yang dinormalisasi namun data tidak dinormalisasi dalam sistem OLAP.

Data Mart Vs Data Warehouse

Data mart berfokus pada satu area fungsional dan mewakili bentuk paling sederhana dari Data Warehouse. Pertimbangkan Gudang Data yang berisi data untuk Penjualan, Pemasaran, SDM, dan Keuangan. Data mart berfokus pada satu area fungsional seperti Penjualan atau Pemasaran.

Pada gambar di atas, Anda dapat melihat perbedaan antara Data Warehouse dan data mart.

Tabel Fakta vs Dimensi

Tabel fakta merepresentasikan ukuran-ukuran di mana analisis dilakukan. Ini juga berisi kunci asing untuk kunci dimensi.

For example - Setiap penjualan adalah fakta.

Id Cust	Id Prod	Id waktu	Jml Terjual
1110	25	2	125
1210	28	4	252

Tabel Dimensi mewakili karakteristik dari suatu dimensi. Dimensi Pelanggan dapat memiliki Customer_Name, Phone_No, Sex, dll.

Id Cust	Cust_Name	Telepon	Seks
1110	Sally	1113334444	F
1210	Adam	2225556666	M