OBIEE - Veri Ambarı

Günümüzün rekabetçi pazarında, çoğu başarılı şirket pazar değişikliklerine ve fırsatlarına hızlı bir şekilde yanıt verir. Hızlı yanıt verme gerekliliği, verilerin ve bilgilerin etkili ve verimli kullanılmasıdır.“Data Warehouse”kuruluşun karar vericilerini desteklemek için kategoriye göre düzenlenen merkezi bir veri deposudur. Veriler bir veri ambarında depolandıktan sonra, analiz için erişilebilir.

"Veri Ambarı" terimi ilk olarak 1990 yılında Bill Inmon tarafından icat edildi. Ona göre, "Veri ambarı, yönetimin karar verme sürecini destekleyen, konu odaklı, entegre, zamana göre değişen ve uçucu olmayan bir veri koleksiyonudur."

Ralph Kimball, işlevselliğine bağlı olarak bir veri ambarı tanımı sağladı. "Veri ambarı, sorgu ve analiz için özel olarak yapılandırılmış işlem verilerinin bir kopyasıdır" dedi.

Veri Ambarı (DW veya DWH), verilerin analizi ve raporlama amacıyla kullanılan bir sistemdir. Bir veya daha fazla heterojen veri kaynağından veri kaydeden havuzlardır. Hem güncel hem de geçmiş verileri depolarlar ve analitik raporlar oluşturmak için kullanılırlar. DW, üst yönetim için etkileşimli gösterge tabloları oluşturmak için kullanılabilir.

Örneğin, analitik raporlar, üç aylık karşılaştırmalar için veya bir şirketin yıllık satış raporu karşılaştırması için veriler içerebilir.

DW'deki veriler, satış, insan kaynakları, pazarlama, depo yönetimi vb. Gibi birden çok işletim sisteminden gelir. Farklı işlem sistemlerinden geçmiş verileri içerir, ancak diğer kaynaklardan gelen verileri de içerebilir. DW, veri işleme ve analiz iş yükünü işlem iş yükünden ayırmak için kullanılır ve çeşitli veri kaynaklarından gelen verilerin konsolide edilmesini sağlar.

Veri Ambarı İhtiyacı

Örneğin - Verilerin pazarlama, satış, ERP, HRM vb. Gibi birden çok SAP / SAP dışı uygulamadan geldiği bir ev kredisi ajansınız var. Bu veriler ayıklanır, dönüştürülür ve DW'ye yüklenir. Bir ürünün üç aylık / yıllık satış karşılaştırması yapmanız gerekiyorsa, işlem sistemini kilitleyeceği için operasyonel bir veri tabanı kullanamazsınız. DW kullanma ihtiyacı burada ortaya çıkar.

Bir Veri Ambarının Özellikleri

DW'nin temel özelliklerinden bazıları şunlardır:

Raporlama ve veri analizi için kullanılır.
Bir veya daha fazla kaynaktan entegre edilmiş verilerle merkezi bir depo sağlar.
Güncel ve geçmiş verileri depolar.

Veri Ambarı ve İşlemsel Sistem

Aşağıda Veri Ambarı ve Operasyonel Veritabanı (İşlem Sistemi) arasındaki birkaç fark vardır -

İşlem sistemi, bir kullanıcı kaydını güncelleme, bir kaydı arama vb. Gibi bilinen iş yükleri ve işlemler için tasarlanmıştır. Ancak, DW işlemleri daha karmaşıktır ve genel bir veri biçimi sunar.
İşlem sistemi bir kuruluşun güncel verilerini içerirken, DW normalde geçmiş verileri içerir.
İşlem sistemi, birden fazla işlemin paralel olarak işlenmesini destekler. Veritabanının tutarlılığını korumak için eşzamanlılık kontrolü ve kurtarma mekanizmaları gereklidir.
Operasyonel veritabanı sorgusu, işlemleri okumaya ve değiştirmeye (silme ve güncelleme) izin verirken, bir OLAP sorgusu, depolanan verilere yalnızca salt okunur erişime ihtiyaç duyar (select ifadesi).
DW, veri temizleme, veri entegrasyonu ve veri konsolidasyonlarını içerir.

DW üç katmanlı bir mimariye sahiptir - Veri Kaynağı Katmanı, Entegrasyon Katmanı ve Sunum Katmanı. Aşağıdaki şema, bir Veri Ambarı sisteminin ortak mimarisini gösterir.

Veri Ambarı Sistemi Türleri

Aşağıda DW sistemi türleri verilmiştir -

Data Mart
Çevrimiçi Analitik İşleme (OLAP)
Çevrimiçi İşlem İşleme (OLTP)
Tahmine Dayalı Analiz

Data Mart

Data Mart, DW'nin en basit biçimidir ve normalde satış, finans veya pazarlama gibi tek bir işlevsel alana odaklanır. Bu nedenle, veri pazarı genellikle yalnızca birkaç veri kaynağından veri alır.

Kaynaklar, dahili bir işlem sistemi, merkezi bir veri ambarı veya harici bir veri kaynağı uygulaması olabilir. Normalleştirme, bu sistemdeki veri modelleme tekniklerinin normudur.

Çevrimiçi Analitik İşleme (OLAP)

Bir OLAP sistemi daha az sayıda işlem içerir, ancak Toplamaların kullanımı gibi karmaşık hesaplamaları içerir - Toplam, Sayım, Ortalama vb.

Toplama nedir?

Yıllık (1 satır), üç aylık (4 satır), aylık (12 satır) gibi toplanmış veriler içeren tabloları kaydediyoruz ve şimdi Yıllık sadece 1 satır işlenecek gibi verileri karşılaştırmak istiyoruz. Bununla birlikte, toplanmamış bir veride tüm satırlar işlenecektir.

OLAP sistemi normalde verileri Yıldız Şeması, Gökada şemaları gibi çok boyutlu şemalarda depolar (Gerçek ve Boyut tabloları mantıksal bir şekilde birleştirilir).

Bir OLAP sisteminde, bir sorguyu yürütmek için yanıt süresi bir etkinlik ölçüsüdür. OLAP uygulamaları, OLAP sistemlerinden veri almak için Veri Madenciliği teknikleri tarafından yaygın olarak kullanılmaktadır. OLAP veritabanları, toplanmış geçmiş verileri çok boyutlu şemalarda depolar. OLAP sistemleri, gecikmenin normalde birkaç güne yakın olduğu Veri Mart'larına kıyasla birkaç saatlik veri gecikmesine sahiptir.

Çevrimiçi İşlem İşleme (OLTP)

Bir OLTP sistemi, ekleme, güncelleme, silme, vb. Gibi çok sayıda kısa çevrimiçi işlemle bilinir. OLTP sistemleri, hızlı sorgu işleme sağlar ve ayrıca çoklu erişim ortamında veri bütünlüğü sağlamaktan sorumludur.

Bir OLTP sistemleri için etkinlik, saniyede işlenen işlem sayısıyla ölçülür. OLTP sistemleri normalde yalnızca güncel verileri içerir. İşlem veritabanlarını depolamak için kullanılan şema, varlık modelidir. OLTP sisteminde veri modelleme teknikleri için normalizasyon kullanılır.

OLTP ve OLAP

Aşağıdaki çizim, OLTP ve OLAP sistemi arasındaki temel farkları gösterir.

Indexes - Bir OLTP sisteminde, bir OLAP sisteminde performans optimizasyonu için birçok dizin varken yalnızca birkaç dizin vardır.

Joins- Bir OLTP sisteminde, çok sayıda birleştirme ve veri normalleştirilir; ancak, bir OLAP sisteminde daha az birleşme ve normal olmayan birleştirme vardır.

Aggregation - Bir OLTP sisteminde, OLAP veritabanında daha fazla toplama kullanılırken veriler toplanmaz.