ETL - Présentation
ETL signifie Extraire, Transformer et Charger. Un outil ETL extrait les données de différents systèmes sources SGBDR, transforme les données comme l'application de calculs, concaténation, etc., puis charge les données dans le système Data Warehouse. Les données sont chargées dans le système DW sous la forme de tables de dimensions et de faits.
Extraction
Une zone de transit est requise pendant le chargement ETL. Il y a plusieurs raisons pour lesquelles une zone de rassemblement est nécessaire.
Les systèmes sources ne sont disponibles que pendant une période spécifique pour extraire les données. Cette période est inférieure au temps total de chargement des données. Par conséquent, la zone de transit vous permet d'extraire les données du système source et de les conserver dans la zone de transit avant la fin de la plage horaire.
La zone de transit est requise lorsque vous souhaitez rassembler les données de plusieurs sources de données ou si vous souhaitez joindre deux ou plusieurs systèmes ensemble. Par exemple, vous ne pourrez pas exécuter une requête SQL joignant deux tables de deux bases de données physiquement différentes.
Le créneau horaire des extractions de données pour différents systèmes varie en fonction du fuseau horaire et des heures de fonctionnement.
Les données extraites des systèmes sources peuvent être utilisées dans plusieurs systèmes d'entrepôt de données, magasins de données d'exploitation, etc.
ETL vous permet d'effectuer des transformations complexes et nécessite une zone supplémentaire pour stocker les données.
Transformer
Dans la transformation de données, vous appliquez un ensemble de fonctions sur les données extraites pour les charger dans le système cible. Les données, qui ne nécessitent aucune transformation, sont appelées déplacement direct ou transfert de données.
Vous pouvez appliquer différentes transformations aux données extraites du système source. Par exemple, vous pouvez effectuer des calculs personnalisés. Si vous voulez un revenu de somme des ventes et que celui-ci ne figure pas dans la base de données, vous pouvez appliquer leSUM formule pendant la transformation et chargez les données.
Par exemple, si vous avez le prénom et le nom dans une table dans différentes colonnes, vous pouvez utiliser concaténer avant le chargement.
Charge
Pendant la phase de chargement, les données sont chargées dans le système cible final et il peut s'agir d'un fichier plat ou d'un système Data Warehouse.