ETL Testi - Giriş
Veri Ambarı sistemindeki veriler bir ETL (Çıkart, Dönüştür, Yükle) aracı ile yüklenir. Adından da anlaşılacağı gibi, aşağıdaki üç işlemi gerçekleştirir -
Oracle, Microsoft veya başka herhangi bir ilişkisel veritabanı olabilen işlem sisteminizden verileri çıkarır,
Veri temizleme işlemleri gerçekleştirerek verileri dönüştürür ve ardından
Verileri OLAP veri ambarına yükler.
Ayrıca bir ETL aracı kullanarak elektronik tablolar ve CSV dosyaları gibi düz dosyalardan veri çıkarabilir ve veri analizi ve raporlama için bir OLAP veri ambarına yükleyebilirsiniz. Daha iyi anlamak için bir örnek alalım.
Misal
Satış, İK, Malzeme Yönetimi, EWM vb. Gibi birden fazla departmanı olan bir üretim şirketi olduğunu varsayalım. Tüm bu departmanların işlerine ait bilgileri korumak için kullandıkları ayrı veritabanları vardır ve her veritabanı farklı bir teknolojiye, manzaraya, tabloya sahiptir. isimler, sütunlar, vb. Şimdi, şirket geçmiş verileri analiz etmek ve raporlar oluşturmak istiyorsa, bu veri kaynaklarından tüm veriler çıkarılmalı ve analitik çalışma için kaydetmek üzere bir Veri Ambarına yüklenmelidir.
Bir ETL aracı, tüm bu heterojen veri kaynaklarından verileri çıkarır, verileri dönüştürür (hesaplama uygulamak, alanları birleştirmek, anahtarlar, yanlış veri alanlarını kaldırmak vb.) Ve bir Veri Ambarı'na yükler. Daha sonra, bu verileri kullanarak anlamlı raporlar, gösterge panoları ve görselleştirmeler oluşturmak için çeşitli İş Zekası (BI) araçlarını kullanabilirsiniz.
ETL ve BI Araçları arasındaki fark
Farklı veri kaynaklarından verileri çıkarmak, verileri dönüştürmek ve bir DW sistemine yüklemek için bir ETL aracı kullanılır; ancak bir BI aracı, son kullanıcılar için etkileşimli ve anlık raporlar, üst yönetim için gösterge panosu, aylık, üç aylık ve yıllık yönetim kurulu toplantıları için veri görselleştirmeleri oluşturmak için kullanılır.
En yaygın ETL araçları şunlardır: SAP BO Data Services (BODS), Informatica - Power Center, Microsoft - SSIS, Oracle Data Integrator ODI, Talend Open Studio, Clover ETL Açık kaynak vb.
Bazı popüler BI araçları şunları içerir: SAP Business Objects, SAP Lumira, IBM Cognos, JasperSoft, Microsoft BI Platform, Tableau, Oracle Business Intelligence Enterprise Edition, vb.
ETL Süreci
Şimdi bir ETL prosedüründeki temel adımları biraz daha detaylı tartışalım -
Verilerin Çıkarılması
Verilerin farklı heterojen veri kaynaklarından çıkarılmasını içerir. İşlemsel bir sistemden veri çıkarma, gereksinime ve kullanılan ETL aracına göre değişir. Normalde işlerin gece veya hafta sonu çalıştırılması gibi mesai saatleri dışında planlanmış işler çalıştırılarak yapılır.
Verileri Dönüştürmek
Verilerin bir DW sistemine kolayca yüklenebilecek uygun bir formata dönüştürülmesini içerir. Veri dönüşümü, hesaplamalar, birleştirmeler ve veriler üzerinde birincil ve yabancı anahtarların tanımlanmasını içerir. Örneğin, veritabanında olmayan toplam gelirin% 'sini istiyorsanız, dönüşümde% formülünü uygulayacak ve verileri yükleyeceksiniz. Benzer şekilde, farklı sütunlarda kullanıcıların adı ve soyadı varsa, verileri yüklemeden önce bir birleştirme işlemi uygulayabilirsiniz. Bazı veriler herhangi bir dönüştürme gerektirmez; bu tür veriler şu şekilde bilinirdirect move veya pass through data.
Veri dönüşümü ayrıca verilerin düzeltilmesini ve verilerin temizlenmesini, yanlış verilerin kaldırılmasını, eksik veri oluşumunu ve veri hatalarının düzeltilmesini içerir. Ayrıca bir DW sistemine yüklemeden önce veri bütünlüğünü ve uyumsuz verileri biçimlendirmeyi de içerir.
Verileri Bir DW Sistemine Yükleme
Analitik raporlama ve bilgi için verilerin bir DW sistemine yüklenmesini içerir. Hedef sistem, basit sınırlandırılmış düz bir dosya veya bir veri ambarı olabilir.
ETL Aracı İşlevi
Tipik bir ETL aracı tabanlı veri ambarı, işlevlerini gerçekleştirmek için hazırlık alanı, veri entegrasyonu ve erişim katmanları kullanır. Normalde 3 katmanlı bir mimaridir.
Staging Layer - Aşama katmanı veya aşamalandırma veritabanı, farklı kaynak veri sistemlerinden çıkarılan verileri depolamak için kullanılır.
Data Integration Layer - Entegrasyon katmanı, verileri aşamalandırma katmanından dönüştürür ve verileri, genellikle adı verilen hiyerarşik gruplar halinde düzenlendiği bir veritabanına taşır. dimensionsve içine facts ve aggregate facts. Bir DW sistemindeki gerçekler ve boyut tablolarının birleşimineschema.
Access Layer - Erişim katmanı, son kullanıcılar tarafından analitik raporlama ve bilgi için verileri almak üzere kullanılır.
Aşağıdaki çizim, üç katmanın birbiriyle nasıl etkileşim kurduğunu gösterir.
