OBIEE - hurtownia danych

Na dzisiejszym konkurencyjnym rynku firmy odnoszące największe sukcesy szybko reagują na zmiany i możliwości rynkowe. Wymóg szybkiego reagowania polega na efektywnym i wydajnym wykorzystaniu danych i informacji.“Data Warehouse”jest centralnym repozytorium danych zorganizowanych według kategorii, aby wspierać decydentów w organizacji. Gdy dane są przechowywane w hurtowni danych, można uzyskać do nich dostęp do analizy.

Termin „hurtownia danych” został po raz pierwszy wymyślony przez Billa Inmona w 1990 roku. Według niego „hurtownia danych to zorientowany podmiotowo, zintegrowany, zmienny w czasie i nieulotny zbiór danych wspierających proces podejmowania decyzji przez kierownictwo”.

Ralph Kimball przedstawił definicję hurtowni danych w oparciu o jej funkcjonalność. Powiedział: „Hurtownia danych to kopia danych transakcyjnych skonstruowanych specjalnie pod kątem zapytań i analiz”.

Hurtownia Danych (DW lub DWH) to system służący do analizy danych i raportowania. Są to repozytoria, które zapisują dane z co najmniej jednego heterogenicznego źródła danych. Przechowują dane bieżące i historyczne oraz służą do tworzenia raportów analitycznych. DW może służyć do tworzenia interaktywnych pulpitów nawigacyjnych dla wyższego kierownictwa.

Na przykład raporty analityczne mogą zawierać dane do porównań kwartalnych lub rocznego porównania raportu sprzedaży firmy.

Dane w DW pochodzą z wielu systemów operacyjnych, takich jak sprzedaż, zasoby ludzkie, marketing, gospodarka magazynowa itp. Zawiera dane historyczne z różnych systemów transakcyjnych, ale może również zawierać dane z innych źródeł. DW służy do oddzielenia obciążenia związanego z przetwarzaniem i analizą danych od obciążenia transakcyjnego i umożliwia konsolidację danych z kilku źródeł danych.

Potrzeba hurtowni danych

Na przykład - masz agencję zajmującą się pożyczkami mieszkaniowymi, w której dane pochodzą z wielu aplikacji SAP / innych niż SAP, takich jak marketing, sprzedaż, ERP, HRM itp. Dane te są wyodrębniane, przekształcane i ładowane do DW. Jeśli musisz robić kwartalne / roczne porównanie sprzedaży produktu, nie możesz użyć operacyjnej bazy danych, ponieważ spowoduje to zawieszenie systemu transakcyjnego. Tu pojawia się potrzeba użycia DW.

Charakterystyka hurtowni danych

Niektóre z kluczowych cech DW to:

Służy do raportowania i analizy danych.
Zapewnia centralne repozytorium danych zintegrowanych z co najmniej jednego źródła.
Przechowuje aktualne i historyczne dane.

Hurtownia danych a system transakcyjny

Poniżej przedstawiono kilka różnic między hurtownią danych a operacyjną bazą danych (systemem transakcyjnym) -

System transakcyjny jest przeznaczony do znanych obciążeń i transakcji, takich jak aktualizacja rekordu użytkownika, wyszukiwanie rekordu itp. Jednak transakcje DW są bardziej złożone i prezentują ogólną postać danych.
System transakcyjny zawiera aktualne dane organizacji, podczas gdy DW zwykle zawiera dane historyczne.
System transakcyjny obsługuje równoległe przetwarzanie wielu transakcji. Aby zachować spójność bazy danych, wymagane są mechanizmy kontroli współbieżności i odtwarzania.
Operacyjne zapytanie do bazy danych pozwala na odczyt i modyfikację operacji (usuwanie i aktualizowanie), podczas gdy zapytanie OLAP wymaga dostępu tylko do odczytu przechowywanych danych (instrukcja select).
DW obejmuje czyszczenie danych, integrację danych i konsolidację danych.

DW ma architekturę trójwarstwową - warstwę źródła danych, warstwę integracji i warstwę prezentacji. Poniższy diagram przedstawia typową architekturę systemu hurtowni danych.

Rodzaje systemów hurtowni danych

Poniżej przedstawiono typy systemu DW -

Data Mart
Przetwarzanie analityczne online (OLAP)
Przetwarzanie transakcji online (OLTP)
Analiza predykcyjna

Data Mart

Data Mart jest najprostszą formą DW i zwykle koncentruje się na jednym obszarze funkcjonalnym, takim jak sprzedaż, finanse lub marketing. Dlatego też hurtownia danych zwykle pobiera dane tylko z kilku źródeł danych.

Źródłami mogą być wewnętrzny system transakcji, centralna hurtownia danych lub aplikacja zewnętrznego źródła danych. Normalizacja jest normą dla technik modelowania danych w tym systemie.

Przetwarzanie analityczne online (OLAP)

System OLAP zawiera mniejszą liczbę transakcji, ale obejmuje skomplikowane obliczenia, takie jak użycie agregacji - suma, liczba, średnia itp.

Co to jest agregacja?

Zapisujemy tabele z zagregowanymi danymi, takimi jak roczne (1 wiersz), kwartalne (4 wiersze), miesięczne (12 wierszy), a teraz chcemy porównać dane, np. Roczne tylko 1 wiersz będzie przetwarzany. Jednak w przypadku danych niezagregowanych wszystkie wiersze zostaną przetworzone.

System OLAP zwykle przechowuje dane w wielowymiarowych schematach, takich jak schemat gwiezdny, schematy galaktyki (z tabelami faktów i wymiarami są połączone w sposób logiczny).

W systemie OLAP czas odpowiedzi na wykonanie zapytania jest miarą efektywności. Aplikacje OLAP są szeroko wykorzystywane przez techniki Data Mining do pobierania danych z systemów OLAP. Bazy danych OLAP przechowują zagregowane dane historyczne w wielowymiarowych schematach. Systemy OLAP mają kilka godzin opóźnienia danych w porównaniu z Data Martami, w których opóźnienie jest zwykle bliższe kilku dniom.

Przetwarzanie transakcji online (OLTP)

System OLTP jest znany z dużej liczby krótkich transakcji online, takich jak wstawianie, aktualizowanie, usuwanie itp. Systemy OLTP zapewniają szybkie przetwarzanie zapytań, a także są odpowiedzialne za zapewnienie integralności danych w środowisku wielodostępowym.

W przypadku systemów OLTP skuteczność mierzy się liczbą transakcji przetwarzanych na sekundę. Systemy OLTP zwykle zawierają tylko aktualne dane. Schemat używany do przechowywania transakcyjnych baz danych to model jednostki. Normalizacja jest wykorzystywana do technik modelowania danych w systemie OLTP.

OLTP vs OLAP

Na poniższej ilustracji przedstawiono kluczowe różnice między systemem OLTP i OLAP.

Indexes - W systemie OLTP jest tylko kilka indeksów, podczas gdy w systemie OLAP istnieje wiele indeksów do optymalizacji wydajności.

Joins- W systemie OLTP duża liczba sprzężeń i danych jest znormalizowana; jednak w systemie OLAP jest mniej połączeń i zdenormalizowanych.

Aggregation - W systemie OLTP dane nie są agregowane, podczas gdy w bazie danych OLAP używanych jest więcej agregacji.