DW - Übersicht
Ein Data Warehouse wird als zentrales Repository bezeichnet, in dem Daten aus einer oder mehreren heterogenen Datenquellen gespeichert werden. Data Warehouse wird zum Berichten und Analysieren von Informationen verwendet und speichert sowohl historische als auch aktuelle Daten. Die Daten im DW-System werden für analytische Berichte verwendet, die später von Geschäftsanalysten, Vertriebsmanagern oder Wissensarbeitern zur Entscheidungsfindung verwendet werden.
Die Daten im DW-System werden aus einem betrieblichen Transaktionssystem wie Vertrieb, Marketing, Personalwesen, SCM usw. geladen. Sie können den betrieblichen Datenspeicher oder andere Transformationen durchlaufen, bevor sie zur Informationsverarbeitung in das DW-System geladen werden.
Data Warehouse - Hauptmerkmale
Die Hauptmerkmale eines DW-Systems sind:
Es ist ein zentrales Datenrepository, in dem Daten aus einer oder mehreren heterogenen Datenquellen gespeichert werden.
Ein DW-System speichert sowohl aktuelle als auch historische Daten. Normalerweise speichert ein DW-System 5-10 Jahre historische Daten.
Ein DW-System wird immer von einem betrieblichen Transaktionssystem getrennt gehalten.
Die Daten im DW-System werden für verschiedene Arten der analytischen Berichterstattung verwendet, die vom vierteljährlichen bis zum jährlichen Vergleich reichen.
Notwendigkeit eines DW-Systems
Angenommen, Sie haben eine Wohnungsbaudarlehensagentur, bei der Daten aus verschiedenen Anwendungen wie Marketing, Vertrieb, ERP, HRM, MM usw. stammen. Diese Daten werden extrahiert, transformiert und in Data Warehouse geladen.
Wenn Sie beispielsweise den vierteljährlichen / jährlichen Umsatz eines Produkts vergleichen müssen, können Sie keine operative Transaktionsdatenbank verwenden, da dies das Transaktionssystem hängen lässt. Daher wird zu diesem Zweck ein Data Warehouse verwendet.
Unterschied zwischen DW und ODB
Die Unterschiede zwischen einem Data Warehouse und einer Betriebsdatenbank (Transaktionsdatenbank) sind wie folgt:
Ein Transaktionssystem ist für bekannte Workloads und Transaktionen wie das Aktualisieren eines Benutzerdatensatzes, das Durchsuchen eines Datensatzes usw. ausgelegt. Data Warehouse-Transaktionen sind jedoch komplexer und stellen eine allgemeine Form von Daten dar.
Ein Transaktionssystem enthält die aktuellen Daten einer Organisation, und Data Warehouse enthält normalerweise die historischen Daten.
Das Transaktionssystem unterstützt die parallele Verarbeitung mehrerer Transaktionen. Parallelitätskontroll- und Wiederherstellungsmechanismen sind erforderlich, um die Konsistenz der Datenbank aufrechtzuerhalten.
Eine betriebliche Datenbankabfrage ermöglicht das Lesen und Ändern von Vorgängen (Löschen und Aktualisieren), während eine OLAP-Abfrage nur den schreibgeschützten Zugriff auf gespeicherte Daten benötigt (Select-Anweisung).
DW-Architektur
Data Warehousing umfasst Datenbereinigung, Datenintegration und Datenkonsolidierung.
Ein Data Warehouse verfügt über eine dreischichtige Architektur - Data Source Layer, Integration Layer, und Presentation Layer. Die obige Abbildung zeigt die allgemeine Architektur eines Data Warehouse-Systems.