Data Warehousing - Konzepte

Was ist Data Warehousing?

Data Warehousing ist der Prozess des Aufbaus und der Verwendung eines Data Warehouse. Ein Data Warehouse wird durch die Integration von Daten aus mehreren heterogenen Quellen aufgebaut, die analytische Berichte, strukturierte und / oder Ad-hoc-Abfragen und Entscheidungsfindung unterstützen. Data Warehousing umfasst Datenbereinigung, Datenintegration und Datenkonsolidierung.

Verwenden von Data Warehouse-Informationen

Es gibt Technologien zur Entscheidungsunterstützung, mit denen die in einem Data Warehouse verfügbaren Daten genutzt werden können. Diese Technologien helfen Führungskräften, das Lager schnell und effektiv zu nutzen. Sie können Daten sammeln, analysieren und Entscheidungen auf der Grundlage der im Lager vorhandenen Informationen treffen. Die in einem Lager gesammelten Informationen können in einer der folgenden Domänen verwendet werden:

Tuning Production Strategies - Die Produktstrategien können durch Neupositionierung der Produkte und Verwaltung der Produktportfolios durch vierteljährlichen oder jährlichen Vergleich der Verkäufe gut abgestimmt werden.
Customer Analysis - Die Kundenanalyse erfolgt durch Analyse der Kaufpräferenzen, der Kaufzeit, der Budgetzyklen usw. des Kunden.
Operations Analysis- Data Warehousing hilft auch beim Kundenbeziehungsmanagement und bei Umweltkorrekturen. Mit diesen Informationen können wir auch den Geschäftsbetrieb analysieren.

Integration heterogener Datenbanken

Um heterogene Datenbanken zu integrieren, haben wir zwei Ansätze:

Abfragegesteuerter Ansatz
Update-gesteuerter Ansatz

Abfragegesteuerter Ansatz

Dies ist der traditionelle Ansatz zur Integration heterogener Datenbanken. Dieser Ansatz wurde verwendet, um Wrapper und Integratoren auf mehreren heterogenen Datenbanken aufzubauen. Diese Integratoren werden auch als Mediatoren bezeichnet.

Prozess des abfragegesteuerten Ansatzes

Wenn eine Abfrage an eine Clientseite ausgegeben wird, übersetzt ein Metadatenwörterbuch die Abfrage in eine geeignete Form für einzelne betroffene heterogene Sites.
Jetzt werden diese Abfragen zugeordnet und an den lokalen Abfrageprozessor gesendet.
Die Ergebnisse von heterogenen Standorten werden in einen globalen Antwortsatz integriert.

Nachteile

Der abfragegesteuerte Ansatz erfordert komplexe Integrations- und Filterprozesse.
Dieser Ansatz ist sehr ineffizient.
Es ist sehr teuer für häufige Anfragen.
Dieser Ansatz ist auch für Abfragen, die Aggregationen erfordern, sehr teuer.

Update-gesteuerter Ansatz

Dies ist eine Alternative zum traditionellen Ansatz. Die heutigen Data Warehouse-Systeme verfolgen eher einen aktualisierungsgesteuerten Ansatz als den zuvor diskutierten traditionellen Ansatz. Beim Update-gesteuerten Ansatz werden die Informationen aus mehreren heterogenen Quellen im Voraus integriert und in einem Lager gespeichert. Diese Informationen stehen für direkte Abfragen und Analysen zur Verfügung.

Vorteile

Dieser Ansatz hat folgende Vorteile:

Dieser Ansatz bietet eine hohe Leistung.
Die Daten werden vorab im semantischen Datenspeicher kopiert, verarbeitet, integriert, kommentiert, zusammengefasst und umstrukturiert.
Für die Abfrageverarbeitung ist keine Schnittstelle erforderlich, um Daten an lokalen Quellen zu verarbeiten.

Funktionen von Data Warehouse-Tools und -Dienstprogrammen

Im Folgenden sind die Funktionen von Data Warehouse-Tools und -Dienstprogrammen aufgeführt:

Data Extraction - Umfasst das Sammeln von Daten aus mehreren heterogenen Quellen.
Data Cleaning - Umfasst das Auffinden und Korrigieren von Datenfehlern.
Data Transformation - Umfasst die Konvertierung der Daten vom Legacy-Format in das Warehouse-Format.
Data Loading - Umfasst das Sortieren, Zusammenfassen, Konsolidieren, Überprüfen der Integrität sowie das Erstellen von Indizes und Partitionen.
Refreshing - Umfasst die Aktualisierung von Datenquellen in das Lager.

Note - Datenbereinigung und Datentransformation sind wichtige Schritte zur Verbesserung der Datenqualität und der Data Mining-Ergebnisse.