ETL-Tests - Einführung
Die Daten in einem Data Warehouse-System werden mit einem ETL-Tool (Extrahieren, Transformieren, Laden) geladen. Wie der Name schon sagt, werden die folgenden drei Operationen ausgeführt:
Extrahiert die Daten aus Ihrem Transaktionssystem, bei dem es sich um eine Oracle-, Microsoft- oder eine andere relationale Datenbank handeln kann.
Transformiert die Daten durch Ausführen von Datenbereinigungsvorgängen und dann
Lädt die Daten in das OLAP Data Warehouse.
Sie können mit einem ETL-Tool auch Daten aus Flatfiles wie Tabellenkalkulationen und CSV-Dateien extrahieren und zur Datenanalyse und Berichterstellung in ein OLAP-Data Warehouse laden. Nehmen wir ein Beispiel, um es besser zu verstehen.
Beispiel
Nehmen wir an, es gibt ein produzierendes Unternehmen mit mehreren Abteilungen wie Vertrieb, Personalwesen, Materialmanagement, EWM usw. Alle diese Abteilungen verfügen über separate Datenbanken, in denen Informationen für ihre Arbeit verwaltet werden, und jede Datenbank verfügt über eine andere Technologie, Landschaft und Tabelle Namen, Spalten usw. Wenn das Unternehmen nun historische Daten analysieren und Berichte erstellen möchte, sollten alle Daten aus diesen Datenquellen extrahiert und in ein Data Warehouse geladen werden, um sie für analytische Arbeiten zu speichern.
Ein ETL-Tool extrahiert die Daten aus all diesen heterogenen Datenquellen, transformiert die Daten (z. B. Anwenden von Berechnungen, Verknüpfen von Feldern, Schlüsseln, Entfernen falscher Datenfelder usw.) und lädt sie in ein Data Warehouse. Später können Sie mithilfe verschiedener Business Intelligence-Tools (BI) aussagekräftige Berichte, Dashboards und Visualisierungen mithilfe dieser Daten erstellen.
Unterschied zwischen ETL- und BI-Tools
Ein ETL-Tool wird verwendet, um Daten aus verschiedenen Datenquellen zu extrahieren, die Daten zu transformieren und in ein DW-System zu laden. Ein BI-Tool wird jedoch verwendet, um interaktive und Ad-hoc-Berichte für Endbenutzer, ein Dashboard für die Geschäftsleitung und Datenvisualisierungen für monatliche, vierteljährliche und jährliche Vorstandssitzungen zu erstellen.
Zu den am häufigsten verwendeten ETL-Tools gehören: SAP BO Data Services (BODS), Informatica - Power Center, Microsoft - SSIS, ODI von Oracle Data Integrator, Talend Open Studio, Clover ETL Open Source usw.
Einige beliebte BI-Tools sind: SAP Business Objects, SAP Lumira, IBM Cognos, JasperSoft, Microsoft BI-Plattform, Tableau, Oracle Business Intelligence Enterprise Edition usw.
ETL-Prozess
Lassen Sie uns nun die wichtigsten Schritte eines ETL-Verfahrens etwas detaillierter diskutieren.
Daten extrahieren
Dabei werden die Daten aus verschiedenen heterogenen Datenquellen extrahiert. Die Datenextraktion aus einem Transaktionssystem variiert je nach Anforderung und verwendetem ETL-Tool. Dies geschieht normalerweise durch Ausführen geplanter Jobs außerhalb der Geschäftszeiten, z. B. nachts oder über das Wochenende.
Daten transformieren
Dabei werden die Daten in ein geeignetes Format umgewandelt, das problemlos in ein DW-System geladen werden kann. Die Datentransformation umfasst das Anwenden von Berechnungen, Verknüpfungen und das Definieren von Primär- und Fremdschlüsseln auf die Daten. Wenn Sie beispielsweise% des Gesamtumsatzes möchten, der nicht in der Datenbank enthalten ist, wenden Sie bei der Transformation die% -Formel an und laden die Daten. Wenn Sie den Vor- und Nachnamen der Benutzer in verschiedenen Spalten haben, können Sie vor dem Laden der Daten eine Verkettungsoperation anwenden. Einige Daten erfordern keine Transformation. solche Daten sind bekannt alsdirect move oder pass through data.
Die Datentransformation umfasst auch die Datenkorrektur und -bereinigung, das Entfernen falscher Daten, die unvollständige Datenbildung und das Beheben von Datenfehlern. Es enthält auch Datenintegrität und Formatierung inkompatibler Daten, bevor diese in ein DW-System geladen werden.
Laden der Daten in ein DW-System
Dabei werden die Daten zur analytischen Berichterstellung und Information in ein DW-System geladen. Das Zielsystem kann eine einfache abgegrenzte Flatfile oder ein Data Warehouse sein.
ETL-Tool-Funktion
Ein typisches ETL-Tool-basiertes Data Warehouse verwendet Staging-Bereich, Datenintegration und Zugriffsebenen, um seine Funktionen auszuführen. Es ist normalerweise eine 3-Schicht-Architektur.
Staging Layer - In der Staging-Schicht oder Staging-Datenbank werden die aus verschiedenen Quelldatensystemen extrahierten Daten gespeichert.
Data Integration Layer - Die Integrationsschicht transformiert die Daten aus der Staging-Schicht und verschiebt sie in eine Datenbank, in der die Daten in hierarchischen Gruppen angeordnet sind, die häufig als solche bezeichnet werden dimensionsund in facts und aggregate facts. Die Kombination von Fakten- und Dimensionstabellen in einem DW-System wird als a bezeichnetschema.
Access Layer - Die Zugriffsebene wird von Endbenutzern verwendet, um die Daten für analytische Berichte und Informationen abzurufen.
Die folgende Abbildung zeigt, wie die drei Ebenen miteinander interagieren.
