Hurtownie danych - menedżerowie systemów

Zarządzanie systemem jest niezbędne do pomyślnego wdrożenia hurtowni danych. Najważniejszymi menedżerami systemu są -

Menedżer konfiguracji systemu
Menedżer planowania systemu
Menedżer zdarzeń systemowych
Systemowy menedżer baz danych
Menedżer odzyskiwania kopii zapasowych systemu

Menedżer konfiguracji systemu

Menedżer konfiguracji systemu jest odpowiedzialny za zarządzanie ustawieniem i konfiguracją hurtowni danych.
Struktura menedżera konfiguracji różni się w zależności od systemu operacyjnego.
W strukturze konfiguracji systemu Unix menedżer różni się w zależności od dostawcy.
Menedżerowie konfiguracji mają jeden interfejs użytkownika.
Interfejs menedżera konfiguracji pozwala nam kontrolować wszystkie aspekty systemu.

Note - Najważniejszym narzędziem konfiguracyjnym jest menedżer I / O.

Menedżer planowania systemu

Za pomyślne wdrożenie hurtowni danych odpowiedzialny jest System Scheduling Manager. Jego celem jest planowanie zapytań ad hoc. Każdy system operacyjny ma swój własny harmonogram z jakimś mechanizmem kontroli partii. Lista funkcji, które musi mieć menedżer planowania systemu, jest następująca:

Pracuj poza granicami klastra lub MPP
Radzić sobie z międzynarodowymi różnicami czasu
Obsługa niepowodzenia zadania
Obsługuj wiele zapytań
Wspieraj priorytety zawodowe
Zrestartuj lub ponownie ustaw w kolejce nieudane zadania
Powiadom użytkownika lub proces o zakończeniu zadania
Utrzymuj harmonogramy zadań w przypadku awarii systemu
Kolejkuj zadania do innych kolejek
Wspieraj zatrzymywanie i uruchamianie kolejek
Rejestruj zadania w kolejce
Zajmij się przetwarzaniem między kolejkami

Note - Powyższa lista może służyć jako parametry oceny do oceny dobrego harmonogramu.

Oto niektóre ważne zadania, które planista musi być w stanie obsłużyć:

Harmonogram zapytań dziennych i ad hoc
Wykonywanie regularnych wymagań dotyczących raportów
Ładowanie danych
Przetwarzanie danych
Tworzenie indeksu
Backup
Tworzenie agregacji
Transformacja danych

Note - Jeśli hurtownia danych działa w klastrze lub architekturze MPP, menedżer planowania systemu musi mieć możliwość pracy w całej architekturze.

Menedżer zdarzeń systemowych

Menedżer wydarzeń to rodzaj oprogramowania. Menedżer zdarzeń zarządza zdarzeniami zdefiniowanymi w systemie hurtowni danych. Nie możemy ręcznie zarządzać hurtownią danych, ponieważ struktura hurtowni danych jest bardzo złożona. Dlatego potrzebujemy narzędzia, które automatycznie obsługuje wszystkie zdarzenia bez żadnej interwencji użytkownika.

Note- Menedżer wydarzeń monitoruje zdarzenia i radzi sobie z nimi. Menedżer zdarzeń śledzi również niezliczone rzeczy, które mogą się nie udać w tym złożonym systemie hurtowni danych.

Wydarzenia

Zdarzenia to akcje generowane przez użytkownika lub sam system. Można zauważyć, że zdarzenie to mierzalne, dające się zaobserwować wystąpienie określonego działania.

Poniżej znajduje się lista typowych zdarzeń, które należy śledzić.

Awaria sprzętu
Brakuje miejsca na niektórych dyskach z kluczami
Umierający proces
Proces zwracający błąd
Użycie procesora przekraczające próg 805
Wewnętrzna rywalizacja o punkty serializacji bazy danych
Wskaźniki trafień bufora w pamięci podręcznej przekraczają lub nie przekraczają progu
Stół osiągający maksymalne rozmiary
Nadmierna wymiana pamięci
Stół nie wysuwa się z powodu braku miejsca
Dysk z wąskimi gardłami we / wy
Wykorzystanie powierzchni tymczasowej lub sortowniczej osiągające określone progi
Wszelkie inne użycie pamięci współdzielonej bazy danych

Najważniejsze w przypadku wydarzeń jest to, że powinny być one w stanie wykonać samodzielnie. Pakiety zdarzeń definiują procedury dla predefiniowanych zdarzeń. Kod skojarzony z każdym zdarzeniem jest nazywany programem obsługi zdarzeń. Ten kod jest wykonywany za każdym razem, gdy wystąpi zdarzenie.

Menedżer systemu i bazy danych

Menedżer systemu i bazy danych mogą być dwoma oddzielnymi częściami oprogramowania, ale wykonują to samo zadanie. Celem tych narzędzi jest automatyzacja niektórych procesów i uproszczenie wykonywania innych. Kryteria wyboru systemu i menedżera bazy danych są następujące -

zwiększyć liczbę użytkowników.
przypisywać i usuwać role użytkownikom
przypisywać i usuwać profile użytkownikom
zarządza obszarem bazy danych
monitorować i raportować wykorzystanie przestrzeni
uporządkuj fragmentaryczną i nieużywaną przestrzeń
dodać i powiększyć przestrzeń
dodawać i usuwać użytkowników
zarządzać hasłem użytkownika
zarządzać tabelami podsumowującymi lub tymczasowymi
przydzielać lub cofać przypisanie tymczasowej przestrzeni do i od użytkownika
odzyskaj miejsce ze starych lub nieaktualnych tabel tymczasowych
zarządzaj dziennikami błędów i śledzenia
przeglądać pliki dziennika i śledzenia
przekierować błąd lub informacje śledzenia
włączanie i wyłączanie rejestrowania błędów i śledzenia
zarządzanie przestrzenią systemową
monitorować i raportować wykorzystanie przestrzeni
oczyścić stare i nieużywane katalogi plików
dodać lub powiększyć przestrzeń.

Menedżer odzyskiwania kopii zapasowych systemu

Narzędzie do tworzenia kopii zapasowych i odzyskiwania ułatwia personelowi operacyjnemu i zarządzającemu tworzenie kopii zapasowych danych. Należy pamiętać, że menedżer kopii zapasowych systemu musi być zintegrowany z używanym oprogramowaniem do zarządzania harmonogramem. Ważne funkcje wymagane do zarządzania kopiami zapasowymi są następujące -

Scheduling
Kopia zapasowa śledzenia danych
Znajomość bazy danych

Kopie zapasowe są wykonywane tylko w celu ochrony przed utratą danych. Oto ważne punkty, o których należy pamiętać -

Oprogramowanie do tworzenia kopii zapasowych zachowa jakąś formę bazy danych, gdzie i kiedy utworzono kopię zapasową danych.
Menedżer odzyskiwania kopii zapasowych musi mieć dobry front-end do tej bazy danych.
Oprogramowanie do odzyskiwania kopii zapasowych powinno być świadome bazy danych.
Mając świadomość istnienia bazy danych, oprogramowanie może być następnie adresowane w kategoriach bazy danych i nie będzie wykonywać kopii zapasowych, które nie byłyby wykonalne.