Data Warehousing - Data Marting

Warum brauchen wir einen Data Mart?

Nachfolgend sind die Gründe für die Erstellung eines Datamart aufgeführt.

• Daten partitionieren, um aufzuzwingen access control strategies.

• Beschleunigung der Abfragen durch Reduzierung des zu scannenden Datenvolumens.

• Segmentieren von Daten in verschiedene Hardwareplattformen.

• Strukturieren von Daten in einer Form, die für ein Benutzerzugriffstool geeignet ist.

Note- Führen Sie keinen Data Mart aus einem anderen Grund durch, da die Betriebskosten für Data Marting sehr hoch sein können. Stellen Sie vor dem Data Marting sicher, dass die Data Marting-Strategie für Ihre spezielle Lösung geeignet ist.

Kostengünstiges Data Marting

Führen Sie die folgenden Schritte aus, um das Data Marting kostengünstig zu gestalten.

• Identifizieren Sie die funktionalen Aufteilungen
• Identifizieren der Anforderungen des Benutzerzugriffstools
• Probleme mit der Zugriffssteuerung identifizieren

Identifizieren Sie die funktionalen Aufteilungen

In diesem Schritt bestimmen wir, ob die Organisation natürliche Funktionsunterschiede aufweist. Wir suchen nach Abteilungsunterteilungen und stellen fest, ob die Art und Weise, in der Abteilungen Informationen verwenden, vom Rest der Organisation isoliert ist. Lassen Sie uns ein Beispiel haben.

Stellen Sie sich eine Einzelhandelsorganisation vor, in der jeder Händler für die Maximierung des Umsatzes einer Produktgruppe verantwortlich ist. Hierfür sind folgende wertvolle Informationen -

• Verkaufstransaktion täglich
• wöchentliche Umsatzprognose
• Aktienposition täglich
• Aktienbewegungen täglich

Da der Händler nicht an den Produkten interessiert ist, mit denen er sich nicht befasst, ist das Data Marting eine Teilmenge der Daten, mit denen sich die Produktgruppe befasst. Das folgende Diagramm zeigt das Data Marting für verschiedene Benutzer.

Nachstehend sind die Punkte aufgeführt, die bei der Bestimmung der Funktionsaufteilung zu berücksichtigen sind.

• Die Struktur der Abteilung kann sich ändern.

• Die Produkte können von einer Abteilung in eine andere wechseln.

• Der Händler könnte den Verkaufstrend anderer Produkte abfragen, um zu analysieren, was mit dem Verkauf geschieht.

Note - Wir müssen den geschäftlichen Nutzen und die technische Machbarkeit der Verwendung eines Data Mart ermitteln.

Identifizieren der Anforderungen des Benutzerzugriffstools

Wir brauchen Data Marts zur Unterstützung user access toolsdas erfordert interne Datenstrukturen. Die Daten in solchen Strukturen liegen außerhalb der Kontrolle des Data Warehouse, müssen jedoch regelmäßig ausgefüllt und aktualisiert werden.

Es gibt einige Tools, die direkt aus dem Quellsystem ausgefüllt werden, andere jedoch nicht. Daher müssen zusätzliche Anforderungen außerhalb des Werkzeugumfangs für die Zukunft ermittelt werden.

Note - Um die Konsistenz der Daten über alle Zugriffstools hinweg sicherzustellen, sollten die Daten nicht direkt aus dem Data Warehouse ausgefüllt werden, sondern jedes Tool muss über einen eigenen Data Mart verfügen.

Probleme mit der Zugriffssteuerung identifizieren

Es sollten Datenschutzregeln vorhanden sein, um sicherzustellen, dass nur autorisierte Benutzer auf die Daten zugreifen können. Beispielsweise stellt ein Data Warehouse für Privatkunden sicher, dass alle Konten derselben juristischen Person gehören. Datenschutzgesetze können Sie dazu zwingen, den Zugriff auf Informationen, die nicht der jeweiligen Bank gehören, vollständig zu verhindern.

Mit Data Marts können wir eine vollständige Wand erstellen, indem wir Datensegmente innerhalb des Data Warehouse physisch trennen. Um mögliche Datenschutzprobleme zu vermeiden, können die detaillierten Daten aus dem Data Warehouse entfernt werden. Wir können für jede juristische Person einen Data Mart erstellen und diesen über das Data Warehouse mit detaillierten Kontodaten laden.

Entwerfen von Data Marts

Data Marts sollten als kleinere Version des Starflake-Schemas im Data Warehouse konzipiert sein und mit dem Datenbankdesign des Data Warehouse übereinstimmen. Es hilft bei der Kontrolle über Datenbankinstanzen.

Die Zusammenfassungen werden auf die gleiche Weise wie im Data Warehouse erstellt. Übersichtstabellen helfen dabei, alle Dimensionsdaten im Starflake-Schema zu verwenden.

Kosten für Data Marting

Die Kostenmaße für Data Marting sind wie folgt:

• Hardware- und Softwarekosten
• Netzwerkzugang
• Zeitfenster-Einschränkungen

Hardware- und Softwarekosten

Obwohl Data Marts auf derselben Hardware erstellt werden, erfordern sie zusätzliche Hardware und Software. Für die Bearbeitung von Benutzeranfragen sind zusätzliche Verarbeitungsleistung und Speicherplatz erforderlich. Wenn detaillierte Daten und der Data Mart im Data Warehouse vorhanden sind, fallen zusätzliche Kosten für die Speicherung und Verwaltung replizierter Daten an.

Note - Data Marting ist teurer als Aggregationen und sollte daher als zusätzliche Strategie und nicht als alternative Strategie verwendet werden.

Netzwerkzugang

Ein Data Mart kann sich an einem anderen Ort als das Data Warehouse befinden. Daher sollten wir sicherstellen, dass das LAN oder WAN über die Kapazität verfügt, die innerhalb des Data Volumes übertragenen Datenmengen zu verarbeiten data mart load process.

Zeitfenster-Einschränkungen

Inwieweit sich ein Data-Mart-Ladevorgang auf das verfügbare Zeitfenster auswirkt, hängt von der Komplexität der Transformationen und den ausgelieferten Datenmengen ab. Die Bestimmung, wie viele Data Marts möglich sind, hängt ab von -

• Netzwerkkapazität.
• Zeitfenster verfügbar
• Datenvolumen übertragen
• Mechanismen zum Einfügen von Daten in einen Datamart