ETL - Wprowadzenie
ETL to skrót od Extract, Transform and Load. Narzędzie ETL wyodrębnia dane z różnych systemów źródłowych RDBMS, przekształca dane, np. Stosując obliczenia, konkatenację itp., A następnie ładuje dane do systemu hurtowni danych. Dane są ładowane do systemu DW w postaci tabel wymiarów i tabel faktów.
Ekstrakcja
Podczas ładowania ETL wymagany jest obszar przemieszczania. Istnieje wiele powodów, dla których wymagana jest strefa przejściowa.
Systemy źródłowe są dostępne tylko przez określony czas w celu wyodrębnienia danych. Ten okres jest krótszy niż całkowity czas ładowania danych. Dlatego obszar przemieszczania umożliwia wyodrębnianie danych z systemu źródłowego i przechowywanie ich w obszarze przemieszczania przed zakończeniem przedziału czasowego.
Obszar przemieszczania jest wymagany, gdy chcesz uzyskać dane z wielu źródeł danych razem lub jeśli chcesz połączyć razem dwa lub więcej systemów. Na przykład nie będzie można wykonać zapytania SQL łączącego dwie tabele z dwóch fizycznie różnych baz danych.
Ramy czasowe pobierania danych dla różnych systemów różnią się w zależności od strefy czasowej i godzin pracy.
Dane wyodrębnione z systemów źródłowych mogą być wykorzystywane w wielu systemach hurtowni danych, magazynach danych operacyjnych itp.
ETL umożliwia wykonywanie złożonych transformacji i wymaga dodatkowego miejsca do przechowywania danych.
Przekształcać
Podczas transformacji danych stosuje się zestaw funkcji do wyodrębnionych danych w celu załadowania ich do systemu docelowego. Dane, które nie wymagają żadnej transformacji, nazywane są bezpośrednim przenoszeniem lub przekazywaniem danych.
Możesz zastosować różne transformacje do danych wyodrębnionych z systemu źródłowego. Na przykład możesz wykonać niestandardowe obliczenia. Jeśli chcesz uzyskać sumę przychodów ze sprzedaży, a nie ma jej w bazie danych, możesz zastosować rozszerzenieSUM formułę podczas transformacji i załaduj dane.
Na przykład, jeśli masz imię i nazwisko w tabeli w różnych kolumnach, możesz użyć konkatenacji przed załadowaniem.
Załaduj
Podczas fazy ładowania dane są ładowane do systemu docelowego i może to być plik płaski lub system hurtowni danych.