Veri ambarı ile ilgili bazı temel kavramlara derinlemesine bir bakış,

Veri deposu

Öncelikle Veri Ambarı nedir?

Merkezi bir bilgi deposu.

Veri ambarı, gelişmiş analitiği ve raporlamayı desteklemek için birden fazla heterojen kaynaktan gelen verileri bir araya getirir ve merkezi bir veri deposunda toplar.

Veri ve analitik, her işletmenin özünü oluşturur. İşletmeler, verilerinden içgörü elde etmek, iş performansını izlemek ve tahmin etmek ve karar almayı desteklemek için analitik araçlara, panolara ve raporlara güvenir. Veri ambarı, bu güçlü analitiği çok büyük (tekrar ediyorum, MASSIVE ) veri hacimleri üzerinde verimli bir şekilde çalıştırmalarına olanak tanır .

Veri Ambarı Mimarisi

Tipik bir Veri ambarı genellikle üç katmandan oluşur.

Alt katman : Çeşitli kaynaklardan toplanan verilerin toplanmasından, temizlenmesinden ve dönüştürülmesinden sorumlu olan Veri Ambarı sunucusu . Bu, ETL (Çıkart, Dönüştür ve Yükle) adı verilen bir işlem veya ELT işlemi (Çıkart, Yükle ve Dönüştür) aracılığıyla yapılır.

Orta katman: Veritabanının soyutlanmış bir görünümünü sağlayarak hızlı sorgulama hızları sağlayan OLAP sunucusu .

Üst katman : Kullanıcıların veriler üzerinde analiz gerçekleştirmesini sağlayan Ön Uç Kullanıcı Arayüzü veya bir raporlama aracı .

Veri Ambarındaki Şemalar

Şema, temelde verilerin bir veritabanı veya veri ambarı içinde düzenlendiği bir biçimdir.

Veri ambarındaki şemalara dalmadan önce, bir şeyi anlamamız gerekir:

Olgu ve Boyut Tabloları

Olgu tabloları , üzerinde bir tür hesaplamanın yapılabileceği bazı nicel metrikler (ölçüler) ile birlikte başvurulan boyut tablolarının birincil anahtarlarını tutan tablolardır. Bazı olgu tablosu örnekleri, sipariş günlükleri, zaman serisi finansal verileri vb.

Boyut Tabloları , olgu tablosu kayıtlarında bulunan ilgili alanlar için tanımlayıcı bilgileri tutar . Boyut tablolarının en yaygın örneği, tipik Müşteri ve Ürün tablolarıdır.

Fiziksel mağazalardan ürün satın alan bir müşteri örneğini ele alalım.

Boyut Tabloları (mavi), Ürünler , Tarihler , Müşteriler ve Mağazalar hakkında bilgiler içerir .

Olgu Tablosu (sarı renkte), olgu tablosu için yabancı anahtarlar olan boyut tablolarının tüm birincil anahtarlarını içerir - customer_id, product_id, store_id ve date_id . Aynı zamanda nicel ölçümler de içerir - miktar ve miktar .

Veri Ambarı şemalarına geri dönersek,

İki tür DW şeması vardır:

Yıldız Şeması

En yaygın şema türü olan yıldız şeması, birden fazla denormalize boyut tablosuna bağlı bir olgu tablosundan oluşur . Bu en basit şemadır ve kullanıcılar daha yüksek sorgu hızlarından yararlanır.

Aşağıda bir örnek ele alalım.

Burada, Siparişler tablosu olarak da bilinen olgu tablosu, Müşteri, Çalışan, Öğeler, Depo ve Tarih olmak üzere beş boyutlu tablolarla daha da bağlantılıdır .

Kar Tanesi Şeması

İkinci tip şema olan kar tanesi şeması, çoklu normalleştirilmiş boyut tablolarına bağlı bir olgu tablosundan oluşur; burada boyut tabloları ayrıca alt tablolara sahiptir . Yaygın olarak benimsenmese de kar tanesi şeması, düşük artıklık düzeyleri için oldukça faydalıdır, ancak sorgu performansı pahasına.

Yukarıdakiyle aynı örneği ele alalım, ancak kar tanesi şeması şuna benzer:

Burada, Siparişler tablosu olarak da bilinen olgu tablosu, Müşteri, Çalışan, Öğeler, Depo ve Tarih olmak üzere beş boyutlu tablolarla daha da bağlantılıdır . Bazı boyut tabloları daha da normalleştirilmiştir ve alt tabloları vardır — Çalışan tablosunun iki alt tablosu vardır — Gender ve Office , Öğelerin bir alt tablosu vardır Renk vb.

Veri Ambarının Faydaları

Veri ambarının temel faydaları şunlardır:

• Akıllı karar vermeyi sağlar: Veri ambarları, veri madenciliği (verilerdeki görünmeyen kalıpları veya ilişkileri bulma), makine öğrenimi (gelecek çeyrek için satışları tahmin etme vb.) ve diğer veri analitiği gibi büyük ölçekli BI işlevlerini destekler — iş liderlerine yardımcı olan araçlar ve profesyoneller, finansal tahminler ve iş süreçlerinden envanter yönetimine kadar işin her alanında karar vermelerini desteklemek için somut kanıtlar toplar.
• Daha iyi veri kalitesi: İşlem sistemleri, ilişkisel veritabanları ve düz dosyalar gibi çok sayıda heterojen kaynaktan gelen veriler toplanır, temizlenir ve fazlalığı ortadan kaldırmak ve tek bir doğruluk kaynağı oluşturmak için standartlaştırılır.
• Analitik işlemenin işlemsel veritabanlarından ayrılması : İşlemsel sistemler, günlük işlemlerin büyük ölçekte hızla ele alınmasını sağlarken, veri ambarı, büyük veri hacminde güçlü analitiğin çalıştırılmasına yardımcı olur. İkisinin farklı amaçları vardır ve bu nedenle onları ayırmak, her ikisinin de performansını artırmaya yardımcı olur. Daha iyi anlamak için bunu kontrol edin .

Prachi Singh

Morgan Stanley'de Teknoloji Sorumlusu

LinkedIn | twitter