ETL - Einführung
ETL steht für Extrahieren, Transformieren und Laden. Ein ETL-Tool extrahiert die Daten aus verschiedenen RDBMS-Quellsystemen, transformiert die Daten wie das Anwenden von Berechnungen, Verketten usw. und lädt die Daten dann in das Data Warehouse-System. Die Daten werden in Form von Dimensions- und Faktentabellen in das DW-System geladen.
Extraktion
Während des ETL-Ladens ist ein Staging-Bereich erforderlich. Es gibt verschiedene Gründe, warum ein Bereitstellungsbereich erforderlich ist.
Die Quellsysteme stehen nur für einen bestimmten Zeitraum zum Extrahieren von Daten zur Verfügung. Dieser Zeitraum ist kürzer als die gesamte Ladezeit der Daten. Daher können Sie im Staging-Bereich die Daten aus dem Quellsystem extrahieren und im Staging-Bereich belassen, bevor das Zeitfenster endet.
Der Staging-Bereich ist erforderlich, wenn Sie die Daten aus mehreren Datenquellen zusammenrufen oder zwei oder mehr Systeme miteinander verbinden möchten. Beispielsweise können Sie keine SQL-Abfrage ausführen, bei der zwei Tabellen aus zwei physisch unterschiedlichen Datenbanken verknüpft werden.
Der Zeitschlitz für die Datenextraktion für verschiedene Systeme variiert je nach Zeitzone und Betriebsstunden.
Aus Quellsystemen extrahierte Daten können in mehreren Data Warehouse-Systemen, Betriebsdatenspeichern usw. verwendet werden.
Mit ETL können Sie komplexe Transformationen durchführen und benötigen zusätzlichen Bereich zum Speichern der Daten.
Verwandeln
Bei der Datentransformation wenden Sie eine Reihe von Funktionen auf extrahierte Daten an, um sie in das Zielsystem zu laden. Daten, für die keine Transformation erforderlich ist, werden als direktes Verschieben oder Durchlaufen von Daten bezeichnet.
Sie können verschiedene Transformationen auf extrahierte Daten aus dem Quellsystem anwenden. Beispielsweise können Sie benutzerdefinierte Berechnungen durchführen. Wenn Sie eine Umsatzsumme wünschen und diese nicht in der Datenbank enthalten ist, können Sie dieSUM Formel während der Transformation und laden Sie die Daten.
Wenn Sie beispielsweise den Vor- und Nachnamen in einer Tabelle in verschiedenen Spalten haben, können Sie vor dem Laden die Verkettung verwenden.
Belastung
Während der Ladephase werden Daten in das Endzielsystem geladen und können eine flache Datei oder ein Data Warehouse-System sein.