Głębokie zapoznanie się z podstawowymi koncepcjami hurtowni danych,

Hurtownia danych

Przede wszystkim czym jest hurtownia danych?

Centralne repozytorium informacji.

Hurtownia danych łączy i agreguje dane z wielu heterogenicznych źródeł w centralnym magazynie danych, aby wspierać zaawansowane analizy i raporty.

Dane i analizy stanowią rdzeń każdej firmy. Firmy polegają na narzędziach analitycznych, pulpitach nawigacyjnych i raportach, aby uzyskiwać wgląd w swoje dane, monitorować i przewidywać wyniki biznesowe oraz wspierać podejmowanie decyzji. Hurtownia danych umożliwia im wydajne przeprowadzanie tych potężnych analiz na ogromnych (powtarzam, OGROMNYCH ) wolumenach danych.

Architektura hurtowni danych

Typowa hurtownia danych zazwyczaj składa się z trzech warstw.

Dolny poziom: serwer Data Warehouse , który jest odpowiedzialny za gromadzenie, oczyszczanie i przekształcanie danych zebranych z różnych źródeł. Odbywa się to za pomocą procesu zwanego ETL (Extract, Transform & Load) lub poprzez proces ELT (Extract, Load & Transform).

Warstwa środkowa: serwer OLAP , który umożliwia szybkie wykonywanie zapytań, udostępniając abstrakcyjny widok bazy danych.

Najwyższy poziom: Front-end User Interface lub narzędzie do raportowania , które umożliwia użytkownikom przeprowadzanie analiz danych.

Schematy w hurtowni danych

Schemat jest zasadniczo formatem, w którym dane są zorganizowane w bazie danych lub hurtowni danych.

Zanim zagłębimy się w schematy w hurtowni danych, musimy najpierw zrozumieć jedną rzecz:

Tabele faktów i wymiarów

Tabele faktów to tabele, które przechowują klucze podstawowe przywoływanych tabel wymiarów wraz z pewnymi metrykami ilościowymi (miarami), na których można wykonać pewne formy obliczeń. Niektóre przykłady tabeli faktów to dzienniki zamówień, dane finansowe szeregów czasowych itp.

Tabele wymiarów przechowują informacje opisowe dla powiązanych pól obecnych w rekordach tabeli faktów. Najczęstszym przykładem tabel wymiarów są typowe tabele Klient i Produkt .

Rozważmy przykład klienta kupującego produkty w sklepach stacjonarnych.

Tabele wymiarów (na niebiesko) zawierają informacje o produktach , datach , klientach i sklepach .

Tabela faktów (na żółto) zawiera wszystkie klucze podstawowe tabel wymiarów, które są kluczami obcymi dla tabeli faktów — id_klienta, id_produktu, id_przechowywania i id_daty . Zawiera również miary ilościowe — ilość i ilość .

Wracając do schematów hurtowni danych,

Istnieją dwa rodzaje schematów DW:

Schemat gwiazdy

Najpopularniejszy typ schematu, schemat gwiazdy, składa się z jednej tabeli faktów połączonej z wieloma nieznormalizowanymi tabelami wymiarów. Jest to najprostszy schemat, a użytkownicy korzystają z większej szybkości zapytań.

Rozważmy poniższy przykład.

Tutaj tabela faktów, znana również jako tabela zamówień , jest dodatkowo połączona z pięcioma tabelami wymiarów, a mianowicie z klientem, pracownikiem, przedmiotami, magazynem i datą .

Schemat płatka śniegu

Drugi rodzaj schematu, schemat płatka śniegu, składa się z jednej tabeli faktów połączonej z wieloma znormalizowanymi tabelami wymiarów, przy czym tabele wymiarów mają ponadto tabele podrzędne . Chociaż schemat płatka śniegu nie jest tak powszechnie stosowany, jest dość korzystny w przypadku niskich poziomów nadmiarowości, ale odbywa się to kosztem wydajności zapytań.

Rozważmy ten sam przykład co powyżej, ale dla schematu płatka śniegu wyglądałoby to mniej więcej tak:

Tutaj tabela faktów, znana również jako tabela zamówień , jest dodatkowo połączona z pięcioma tabelami wymiarów, a mianowicie z klientem, pracownikiem, przedmiotami, magazynem i datą . Niektóre tabele wymiarów są dodatkowo znormalizowane i mają tabele podrzędne — Tabela Pracownik ma dwie tabele podrzędne — Płeć i Biuro , Pozycje mają tabelę podrzędną Kolor itp.

Korzyści z hurtowni danych

Główne zalety hurtowni danych to:

• Umożliwia podejmowanie inteligentnych decyzji: Hurtownie danych obsługują funkcje BI na dużą skalę, takie jak eksploracja danych (znajdowanie niewidocznych wzorców lub relacji w danych), uczenie maszynowe (przewidywanie sprzedaży na następny kwartał itp.) profesjonaliści zbierają twarde dowody wspierające podejmowanie decyzji w każdym aspekcie działalności, od prognoz finansowych i przetwarzania biznesowego po zarządzanie zapasami.
• Lepsza jakość danych: dane z wielu heterogenicznych źródeł, takich jak systemy transakcyjne, relacyjne bazy danych i pliki płaskie, są gromadzone, czyszczone i standaryzowane w celu usunięcia nadmiarowości i utworzenia jednego źródła prawdy.
• Oddzielenie przetwarzania analitycznego od transakcyjnych baz danych: systemy transakcyjne umożliwiają szybką obsługę codziennych transakcji na dużą skalę, podczas gdy hurtownia danych pomaga w przeprowadzaniu zaawansowanych analiz na ogromnych ilościach danych. Oba mają różne cele, a zatem oddzielenie ich pomaga poprawić wydajność obu. Aby lepiej zrozumieć, sprawdź to .

Praczi Singh

Technolog w Morgan Stanley

LinkedIn | Świergot