OBIEE - Entrepôt de données

Dans le marché concurrentiel d'aujourd'hui, la plupart des entreprises qui réussissent réagissent rapidement aux changements et aux opportunités du marché. La nécessité de réagir rapidement consiste à utiliser efficacement et efficacement les données et les informations.“Data Warehouse”est un référentiel central de données qui est organisé par catégorie pour soutenir les décideurs de l'organisation. Une fois les données stockées dans un entrepôt de données, elles sont accessibles pour analyse.

Le terme «entrepôt de données» a été inventé pour la première fois par Bill Inmon en 1990. Selon lui, «l'entrepôt de données est une collection de données orientée sujet, intégrée, variant dans le temps et non volatile pour soutenir le processus de prise de décision de la direction.»

Ralph Kimball a fourni une définition de l'entrepôt de données en fonction de ses fonctionnalités. Il a déclaré: «L'entrepôt de données est une copie des données de transaction spécifiquement structurées pour les requêtes et les analyses.»

Data Warehouse (DW ou DWH) est un système utilisé pour l'analyse des données et à des fins de reporting. Ce sont des référentiels qui enregistrent les données d'une ou plusieurs sources de données hétérogènes. Ils stockent des données actuelles et historiques et sont utilisés pour créer des rapports analytiques. DW peut être utilisé pour créer des tableaux de bord interactifs pour la haute direction.

Par exemple, les rapports analytiques peuvent contenir des données pour des comparaisons trimestrielles ou pour une comparaison annuelle du rapport de ventes d'une entreprise.

Les données dans DW proviennent de plusieurs systèmes opérationnels tels que les ventes, les ressources humaines, le marketing, la gestion des entrepôts, etc. Elles contiennent des données historiques de différents systèmes de transaction, mais elles peuvent également inclure des données provenant d'autres sources. DW est utilisé pour séparer la charge de travail de traitement et d'analyse des données de la charge de travail de transaction et permet de consolider les données de plusieurs sources de données.

Le besoin d'un entrepôt de données

Par exemple - Vous avez une agence de prêt immobilier, où les données proviennent de plusieurs applications SAP / non-SAP telles que marketing, ventes, ERP, HRM, etc. Ces données sont extraites, transformées et chargées dans DW. Si vous devez effectuer une comparaison trimestrielle / annuelle des ventes d'un produit, vous ne pouvez pas utiliser une base de données opérationnelle car cela bloquera le système de transaction. C'est là que le besoin d'utiliser DW se fait sentir.

Caractéristiques d'un entrepôt de données

Certaines des principales caractéristiques de DW sont:

Il est utilisé pour le reporting et l'analyse des données.
Il fournit un référentiel central avec des données intégrées à partir d'une ou plusieurs sources.
Il stocke les données actuelles et historiques.

Entrepôt de données et système transactionnel

Voici quelques différences entre l'entrepôt de données et la base de données opérationnelle (système de transaction) -

Le système transactionnel est conçu pour les charges de travail et les transactions connues telles que la mise à jour d'un enregistrement d'utilisateur, la recherche d'un enregistrement, etc. Cependant, les transactions DW sont plus complexes et présentent une forme générale de données.
Le système transactionnel contient les données actuelles d'une organisation alors que DW contient normalement des données historiques.
Le système transactionnel prend en charge le traitement parallèle de plusieurs transactions. Des mécanismes de contrôle d'accès et de récupération sont nécessaires pour maintenir la cohérence de la base de données.
La requête de base de données opérationnelle permet de lire et de modifier les opérations (suppression et mise à jour), tandis qu'une requête OLAP ne nécessite qu'un accès en lecture seule aux données stockées (instruction select).
DW implique le nettoyage des données, l'intégration des données et la consolidation des données.

DW a une architecture à trois couches: couche de source de données, couche d'intégration et couche de présentation. Le diagramme suivant montre l'architecture commune d'un système Data Warehouse.

Types de système d'entrepôt de données

Voici les types de système DW -

Data Mart
Traitement analytique en ligne (OLAP)
Traitement des transactions en ligne (OLTP)
Analyse prédictive

Data Mart

Data Mart est la forme la plus simple de DW et il se concentre normalement sur un seul domaine fonctionnel, comme les ventes, les finances ou le marketing. Par conséquent, le data mart n'obtient généralement des données qu'à partir de quelques sources de données.

Les sources peuvent être un système de transaction interne, un entrepôt de données central ou une application de source de données externe. La dénormalisation est la norme pour les techniques de modélisation des données dans ce système.

Traitement analytique en ligne (OLAP)

Un système OLAP contient moins de transactions mais implique des calculs complexes comme l'utilisation d'agrégations - Somme, Nombre, Moyenne, etc.

Qu'est-ce que l'agrégation?

Nous enregistrons des tableaux avec des données agrégées telles que annuelle (1 ligne), trimestrielle (4 lignes), mensuelle (12 lignes) et maintenant nous voulons comparer les données, comme Annuellement, une seule ligne sera traitée. Cependant, dans une donnée non agrégée, toutes les lignes seront traitées.

Le système OLAP stocke normalement les données dans des schémas multidimensionnels tels que le schéma en étoile, les schémas Galaxy (les tables de faits et de dimensions sont jointes de manière logique).

Dans un système OLAP, le temps de réponse pour exécuter une requête est une mesure d'efficacité. Les applications OLAP sont largement utilisées par les techniques d'exploration de données pour obtenir des données des systèmes OLAP. Les bases de données OLAP stockent des données historiques agrégées dans des schémas multidimensionnels. Les systèmes OLAP ont une latence des données de quelques heures par rapport aux Data Marts où la latence est normalement plus proche de quelques jours.

Traitement des transactions en ligne (OLTP)

Un système OLTP est connu pour un grand nombre de transactions en ligne courtes telles que l'insertion, la mise à jour, la suppression, etc. Les systèmes OLTP fournissent un traitement rapide des requêtes et sont également responsables de l'intégrité des données dans un environnement à accès multiples.

Pour un système OLTP, l'efficacité est mesurée par le nombre de transactions traitées par seconde. Les systèmes OLTP ne contiennent normalement que des données actuelles. Le schéma utilisé pour stocker les bases de données transactionnelles est le modèle d'entité. La normalisation est utilisée pour les techniques de modélisation des données dans le système OLTP.

OLTP contre OLAP

L'illustration suivante montre les principales différences entre un système OLTP et OLAP.

Indexes - Dans un système OLTP, il n'y a que quelques index tandis que dans un système OLAP, il existe de nombreux index pour l'optimisation des performances.

Joins- Dans un système OLTP, un grand nombre de jointures et de données est normalisé; cependant, dans un système OLAP, il y a moins de jointures et de dénormalisation.

Aggregation - Dans un système OLTP, les données ne sont pas agrégées alors que dans une base de données OLAP, davantage d'agrégations sont utilisées.