Hurtownia danych - proces dostawy

Hurtownia danych nigdy nie jest statyczna; ewoluuje wraz z rozwojem firmy. Wraz z rozwojem firmy jej wymagania stale się zmieniają, dlatego hurtownia danych musi być zaprojektowana tak, aby sprostać tym zmianom. Dlatego hurtownia danych musi być elastyczna.

W idealnym przypadku powinien istnieć proces dostawy w celu dostarczenia hurtowni danych. Jednak projekty hurtowni danych zwykle mają różne problemy, które utrudniają wykonywanie zadań i wyników w ścisły i uporządkowany sposób wymagany przez metodę kaskadową. W większości przypadków wymagania nie są całkowicie zrozumiałe. Architektury, projekty i komponenty kompilacji można ukończyć dopiero po zebraniu i przestudiowaniu wszystkich wymagań.

Sposób dostawy

Metoda dostawy jest wariantem wspólnego podejścia do tworzenia aplikacji przyjętego do dostarczania hurtowni danych. Przygotowaliśmy proces dostarczania hurtowni danych, aby zminimalizować ryzyko. Podejście, które omówimy tutaj, nie skraca ogólnych ram czasowych dostawy, ale zapewnia, że korzyści biznesowe są dostarczane stopniowo w procesie rozwoju.

Note - Proces dostawy jest podzielony na etapy, aby zmniejszyć ryzyko związane z projektem i dostawą.

Poniższy diagram wyjaśnia etapy procesu dostawy -

Strategia IT

Hurtownie danych to strategiczne inwestycje, które wymagają, aby proces biznesowy generował korzyści. Strategia IT jest wymagana w celu pozyskania i utrzymania finansowania projektu.

Uzasadnienie biznesowe

Celem uzasadnienia biznesowego jest oszacowanie korzyści biznesowych, które powinny wynikać z korzystania z hurtowni danych. Korzyści te mogą nie być wymierne, ale przewidywane korzyści muszą być jasno określone. Jeśli hurtownia danych nie ma jasnego uzasadnienia biznesowego, firma ma tendencję do problemów z wiarygodnością na pewnym etapie procesu dostawy. Dlatego w projektach hurtowni danych musimy zrozumieć uzasadnienie biznesowe dla inwestycji.

Edukacja i prototypowanie

Organizacje eksperymentują z koncepcją analizy danych i uczą się wartości posiadania hurtowni danych, zanim zdecydują się na rozwiązanie. Rozwiązanie tego problemu polega na tworzeniu prototypów. Pomaga w zrozumieniu wykonalności i zalet hurtowni danych. Działalność prototypowania na małą skalę może promować proces edukacyjny, o ile -

Prototyp dotyczy określonego celu technicznego.
Prototyp można wyrzucić po przedstawieniu koncepcji wykonalności.
Działanie dotyczy niewielkiego podzbioru ostatecznej zawartości danych w hurtowni danych.
Skala czasu działania nie jest krytyczna.

Należy pamiętać o następujących kwestiach, aby przygotować wczesną wersję i przynieść korzyści biznesowe.

Zidentyfikuj architekturę, która może się rozwijać.
Skoncentruj się na wymaganiach biznesowych i fazach planu technicznego.
Ogranicz zakres pierwszej fazy budowy do minimum, które zapewni korzyści biznesowe.
Zrozum krótko- i średnioterminowe wymagania hurtowni danych.

Wymagania biznesowe

Aby zapewnić produkty wysokiej jakości, powinniśmy upewnić się, że ogólne wymagania są zrozumiałe. Jeśli rozumiemy wymagania biznesowe zarówno w perspektywie krótkoterminowej, jak i średnioterminowej, możemy zaprojektować rozwiązanie spełniające wymagania krótkoterminowe. Rozwiązanie krótkoterminowe można następnie rozwinąć do pełnego rozwiązania.

Na tym etapie określa się następujące aspekty -

Reguła biznesowa, która ma być stosowana do danych.
Logiczny model informacji w hurtowni danych.
Profile zapytań dla natychmiastowego zapotrzebowania.
Systemy źródłowe, które dostarczają te dane.

Plan techniczny

Ta faza wymaga dostarczenia ogólnej architektury spełniającej długoterminowe wymagania. Ta faza dostarcza również komponenty, które muszą zostać wdrożone w krótkim okresie, aby uzyskać jakiekolwiek korzyści biznesowe. Plan musi określać następujące elementy.

Ogólna architektura systemu.
Polityka przechowywania danych.
Strategia tworzenia kopii zapasowych i odzyskiwania.
Architektura serwera i hurtowni danych.
Plan wydajności dla sprzętu i infrastruktury.
Elementy projektu bazy danych.

Tworzenie wersji

Na tym etapie powstaje pierwszy produkt produkcyjny. Ten produkt produkcyjny jest najmniejszym elementem hurtowni danych. Ten najmniejszy element zapewnia korzyści biznesowe.

Ładowanie historii

Jest to faza, w której pozostała część wymaganej historii jest ładowana do hurtowni danych. Na tym etapie nie dodajemy nowych jednostek, ale prawdopodobnie zostaną utworzone dodatkowe fizyczne tabele do przechowywania zwiększonych ilości danych.

Weźmy przykład. Załóżmy, że faza wersji kompilacji dostarczyła hurtownię danych analizy sprzedaży detalicznej z 2-miesięczną historią. Informacje te pozwolą użytkownikowi analizować tylko najnowsze trendy i rozwiązywać krótkoterminowe problemy. W tym przypadku użytkownik nie może zidentyfikować trendów rocznych i sezonowych. Aby mu w tym pomóc, można pobrać z archiwum historię sprzedaży z ostatnich 2 lat. Teraz 40 GB danych zostało rozszerzone do 400 GB.

Note - Procedury tworzenia kopii zapasowych i odzyskiwania mogą być skomplikowane, dlatego zaleca się wykonanie tej czynności w oddzielnej fazie.

Zapytanie ad hoc

W tej fazie konfigurujemy narzędzie zapytań ad hoc, które jest używane do obsługi hurtowni danych. Te narzędzia mogą generować zapytanie do bazy danych.

Note - Zaleca się, aby nie używać tych narzędzi dostępu, gdy baza danych jest w znacznym stopniu modyfikowana.

Automatyzacja

Na tym etapie procesy zarządzania operacyjnego są w pełni zautomatyzowane. Obejmowałyby one -

Przekształcenie danych w formę nadającą się do analizy.
Monitorowanie profili zapytań i określanie odpowiednich agregacji w celu utrzymania wydajności systemu.
Wyodrębnianie i ładowanie danych z różnych systemów źródłowych.
Generowanie agregacji z predefiniowanych definicji w hurtowni danych.
Tworzenie kopii zapasowych, przywracanie i archiwizowanie danych.

Rozszerzanie zakresu

W tej fazie hurtownia danych jest rozbudowywana, aby sprostać nowym wymaganiom biznesowym. Zakres można rozszerzyć na dwa sposoby -

Ładując dodatkowe dane do hurtowni danych.
Poprzez wprowadzenie nowych baz danych wykorzystujących istniejące informacje.

Note - Ta faza powinna być przeprowadzona oddzielnie, ponieważ wymaga znacznego wysiłku i jest złożona.

Ewolucja wymagań

Z punktu widzenia procesu dostawy wymagania są zawsze zmienne. Nie są statyczne. Proces dostawy musi to wspierać i umożliwiać odzwierciedlenie tych zmian w systemie.

Rozwiązanie tego problemu polega na zaprojektowaniu hurtowni danych wokół wykorzystania danych w procesach biznesowych, w przeciwieństwie do wymagań dotyczących danych istniejących zapytań.

Architektura jest zaprojektowana tak, aby zmieniać się i rozwijać w celu dostosowania do potrzeb biznesowych, proces działa jako proces tworzenia pseudo aplikacji, w którym nowe wymagania są stale wprowadzane do działań programistycznych i wytwarzane są częściowe produkty. Te częściowe produkty są przesyłane zwrotnie do użytkowników, a następnie przetwarzane, zapewniając ciągłą aktualizację całego systemu w celu spełnienia potrzeb biznesowych.