OBIEE - Almacén de datos
En el competitivo mercado actual, las empresas más exitosas responden rápidamente a los cambios y oportunidades del mercado. El requisito de responder rápidamente es mediante un uso eficaz y eficiente de los datos y la información.“Data Warehouse”es un depósito central de datos que está organizado por categoría para apoyar a los tomadores de decisiones de la organización. Una vez que los datos se almacenan en un almacén de datos, se puede acceder a ellos para su análisis.
El término "almacén de datos" fue inventado por primera vez por Bill Inmon en 1990. Según él, "el almacén de datos es una recopilación de datos no volátil, integrada, variable en el tiempo y orientada al sujeto que respalda el proceso de toma de decisiones de la gerencia".
Ralph Kimball proporcionó una definición de almacén de datos basada en su funcionalidad. Dijo: "El almacén de datos es una copia de los datos de transacciones estructurados específicamente para consultas y análisis".
El almacén de datos (DW o DWH) es un sistema utilizado para el análisis de datos y con fines de informes. Son repositorios que guardan datos de una o más fuentes de datos heterogéneas. Almacenan datos actuales e históricos y se utilizan para crear informes analíticos. DW se puede utilizar para crear paneles interactivos para la alta dirección.
Por ejemplo, los informes analíticos pueden contener datos para comparaciones trimestrales o para la comparación anual del informe de ventas de una empresa.
Los datos en DW provienen de múltiples sistemas operativos como ventas, recursos humanos, marketing, administración de almacenes, etc. Contiene datos históricos de diferentes sistemas de transacciones, pero también puede incluir datos de otras fuentes. DW se utiliza para separar la carga de trabajo de análisis y procesamiento de datos de la carga de trabajo de transacciones y permite consolidar los datos de varias fuentes de datos.
La necesidad de un almacén de datos
Por ejemplo: tiene una agencia de préstamos hipotecarios, donde los datos provienen de múltiples aplicaciones SAP / no SAP, como marketing, ventas, ERP, HRM, etc. Estos datos se extraen, transforman y cargan en DW. Si tiene que hacer una comparación de ventas trimestral / anual de un producto, no puede usar una base de datos operativa ya que esto colgará el sistema de transacciones. Aquí es donde surge la necesidad de utilizar DW.
Características de un almacén de datos
Algunas de las características clave de DW son:
- Se utiliza para informes y análisis de datos.
- Proporciona un repositorio central con datos integrados de una o más fuentes.
- Almacena datos actuales e históricos.
Almacenamiento de datos frente a sistema transaccional
A continuación se muestran algunas diferencias entre el almacén de datos y la base de datos operativa (sistema de transacciones):
El sistema transaccional está diseñado para cargas de trabajo y transacciones conocidas, como actualizar un registro de usuario, buscar un registro, etc. Sin embargo, las transacciones DW son más complejas y presentan una forma general de datos.
El sistema transaccional contiene los datos actuales de una organización, mientras que DW normalmente contiene datos históricos.
El sistema transaccional admite el procesamiento paralelo de múltiples transacciones. Se requieren mecanismos de recuperación y control de concurrencia para mantener la coherencia de la base de datos.
La consulta de la base de datos operativa permite leer y modificar operaciones (eliminar y actualizar), mientras que una consulta OLAP solo necesita acceso de solo lectura a los datos almacenados (instrucción de selección).
DW implica limpieza de datos, integración de datos y consolidación de datos.
DW tiene una arquitectura de tres capas: capa de origen de datos, capa de integración y capa de presentación. El siguiente diagrama muestra la arquitectura común de un sistema de almacenamiento de datos.
Tipos de sistema de almacenamiento de datos
Los siguientes son los tipos de sistema DW:
- Data Mart
- Procesamiento analítico en línea (OLAP)
- Procesamiento de transacciones en línea (OLTP)
- Análisis predictivo
Data Mart
Data Mart es la forma más simple de DW y normalmente se enfoca en un área funcional única, como ventas, finanzas o marketing. Por lo tanto, el mercado de datos generalmente obtiene datos solo de unas pocas fuentes de datos.
Las fuentes pueden ser un sistema de transacciones interno, un almacén de datos central o una aplicación de fuente de datos externa. La desnormalización es la norma para las técnicas de modelado de datos en este sistema.
Procesamiento analítico en línea (OLAP)
Un sistema OLAP contiene menos transacciones pero implica cálculos complejos como el uso de agregaciones: suma, recuento, promedio, etc.
¿Qué es la agregación?
Guardamos tablas con datos agregados como anual (1 fila), trimestral (4 filas), mensual (12 filas) y ahora queremos comparar datos, como Anualmente solo se procesará 1 fila. Sin embargo, en un dato no agregado, se procesarán todas las filas.
El sistema OLAP normalmente almacena datos en esquemas multidimensionales como Star Schema, Galaxy esquemas (con tablas de hechos y dimensiones se unen de manera lógica).
En un sistema OLAP, el tiempo de respuesta para ejecutar una consulta es una medida de efectividad. Las aplicaciones OLAP son ampliamente utilizadas por las técnicas de minería de datos para obtener datos de sistemas OLAP. Las bases de datos OLAP almacenan datos históricos agregados en esquemas multidimensionales. Los sistemas OLAP tienen una latencia de datos de unas pocas horas en comparación con los Data Mart, donde la latencia suele estar más cerca de unos pocos días.
Procesamiento de transacciones en línea (OLTP)
Un sistema OLTP es conocido por una gran cantidad de transacciones cortas en línea como insertar, actualizar, eliminar, etc. Los sistemas OLTP proporcionan un procesamiento rápido de consultas y también son responsables de proporcionar integridad de datos en un entorno de acceso múltiple.
Para un sistema OLTP, la efectividad se mide por el número de transacciones procesadas por segundo. Los sistemas OLTP normalmente contienen solo datos actuales. El esquema utilizado para almacenar bases de datos transaccionales es el modelo de entidad. La normalización se utiliza para técnicas de modelado de datos en el sistema OLTP.
OLTP frente a OLAP
La siguiente ilustración muestra las diferencias clave entre un sistema OLTP y OLAP.
Indexes - En un sistema OLTP, solo hay unos pocos índices, mientras que en un sistema OLAP hay muchos índices para optimizar el rendimiento.
Joins- En un sistema OLTP, se normaliza un gran número de uniones y datos; sin embargo, en un sistema OLAP hay menos uniones y desnormalizados.
Aggregation - En un sistema OLTP, los datos no se agregan mientras que en una base de datos OLAP se utilizan más agregaciones.