Hurtownie danych - pojęcia dotyczące metadanych
Co to są metadane?
Metadane są po prostu definiowane jako dane o danych. Dane używane do reprezentowania innych danych nazywane są metadanymi. Na przykład indeks książki służy jako metadane dla zawartości książki. Innymi słowy, możemy powiedzieć, że metadane to podsumowane dane, które prowadzą nas do szczegółowych danych. Jeśli chodzi o hurtownię danych, metadane możemy zdefiniować w następujący sposób.
Metadane to mapa drogowa do hurtowni danych.
Metadane w hurtowni danych definiują obiekty hurtowni.
Metadane działają jak katalog. Katalog ten pomaga systemowi wspomagania decyzji zlokalizować zawartość hurtowni danych.
Note- W hurtowni danych tworzymy metadane dla nazw danych i definicji danej hurtowni danych. Wraz z tymi metadanymi tworzone są również dodatkowe metadane w celu oznaczania czasu dowolnymi wyodrębnionymi danymi, źródłem wyodrębnionych danych.
Kategorie metadanych
Metadane można ogólnie podzielić na trzy kategorie -
Business Metadata - Zawiera informacje o własności danych, definicję biznesową i zmieniające się zasady.
Technical Metadata- Obejmuje nazwy systemów baz danych, nazwy i rozmiary tabel i kolumn, typy danych i dozwolone wartości. Metadane techniczne obejmują również informacje strukturalne, takie jak atrybuty i indeksy klucza podstawowego i obcego.
Operational Metadata- Obejmuje aktualność danych i pochodzenie danych. Waluta danych oznacza, czy dane są aktywne, zarchiwizowane czy wyczyszczone. Pochodzenie danych oznacza historię migrowanych danych i dokonanych na nich transformacji.
Rola metadanych
Metadane odgrywają bardzo ważną rolę w hurtowni danych. Rola metadanych w hurtowni różni się od danych hurtowni, ale odgrywa ważną rolę. Poniżej wyjaśniono różne role metadanych.
Metadane działają jak katalog.
Katalog ten pomaga systemowi wspomagania decyzji zlokalizować zawartość hurtowni danych.
Metadane pomagają w systemie wspomagania decyzji przy mapowaniu danych, gdy dane są transformowane ze środowiska operacyjnego do środowiska hurtowni danych.
Metadane pomagają w podsumowaniu aktualnych szczegółowych danych i wysoce podsumowanych danych.
Metadane pomagają również w podsumowywaniu lekko szczegółowych danych i wysoce podsumowanych danych.
Metadane są używane w narzędziach zapytań.
Metadane są używane w narzędziach do ekstrakcji i czyszczenia.
Metadane są używane w narzędziach raportowania.
Metadane są używane w narzędziach do transformacji.
Metadane odgrywają ważną rolę w ładowaniu funkcji.
Poniższy diagram przedstawia role metadanych.
Repozytorium metadanych
Repozytorium metadanych jest integralną częścią systemu hurtowni danych. Ma następujące metadane -
Definition of data warehouse- Zawiera opis struktury hurtowni danych. Opis jest definiowany przez schemat, widok, hierarchie, definicje danych pochodnych oraz lokalizacje i zawartość zbiorczej bazy danych.
Business metadata - Zawiera informacje o własności danych, definicję biznesową i zmieniające się zasady.
Operational Metadata- Obejmuje aktualność danych i pochodzenie danych. Waluta danych oznacza, czy dane są aktywne, zarchiwizowane czy wyczyszczone. Pochodzenie danych oznacza historię migrowanych danych i dokonanych na nich transformacji.
Data for mapping from operational environment to data warehouse - Obejmuje źródłowe bazy danych i ich zawartość, wyodrębnianie danych, czyszczenie partycji danych, reguły transformacji, zasady odświeżania i czyszczenia danych.
Algorithms for summarization - Obejmuje algorytmy wymiarowania, dane dotyczące ziarnistości, agregacji, podsumowania itp.
Wyzwania związane z zarządzaniem metadanymi
Nie można przecenić znaczenia metadanych. Metadane pomagają w zwiększaniu dokładności raportów, potwierdzają transformację danych i zapewniają dokładność obliczeń. Metadane wymuszają również definiowanie warunków biznesowych dla użytkowników biznesowych. Przy wszystkich tych zastosowaniach metadanych wiąże się to również z wyzwaniami. Niektóre z wyzwań omówiono poniżej.
Metadane w dużej organizacji są rozproszone po całej organizacji. Te metadane są rozpowszechniane w arkuszach kalkulacyjnych, bazach danych i aplikacjach.
Metadane mogą znajdować się w plikach tekstowych lub multimedialnych. Aby wykorzystać te dane w rozwiązaniach do zarządzania informacjami, należy je poprawnie zdefiniować.
Nie ma ogólnie przyjętych standardów w branży. Dostawcy rozwiązań do zarządzania danymi mają wąski zakres zainteresowania.
Nie ma łatwych i akceptowanych metod przekazywania metadanych.