Una inmersión profunda en algunos conceptos básicos de almacenamiento de datos,

Almacén de datos

En primer lugar, ¿qué es un almacén de datos?

Un repositorio central de información.

El almacén de datos reúne y agrega datos de múltiples fuentes heterogéneas en un almacén de datos central para admitir análisis e informes sofisticados.

Los datos y el análisis forman el núcleo de cada negocio. Las empresas confían en herramientas analíticas, tableros e informes para obtener información de sus datos, monitorear y predecir el desempeño comercial y respaldar la toma de decisiones. El almacén de datos les permite ejecutar estos potentes análisis en volúmenes masivos (repito, MASIVOS ) de datos de manera eficiente.

Arquitectura de almacén de datos

Un almacén de datos típico generalmente consta de tres capas.

Nivel inferior: servidor de almacenamiento de datos , que es responsable de recopilar, limpiar y transformar los datos recopilados de varias fuentes. Esto se hace a través de un proceso llamado ETL (Extracción, Transformación y Carga) o mediante el proceso ELT (Extracción, Carga y Transformación).

Nivel medio: servidor OLAP , que permite velocidades de consulta rápidas al proporcionar una vista abstracta de la base de datos.

Nivel superior: interfaz de usuario frontal o una herramienta de informes , que permite a los usuarios realizar análisis de los datos.

Esquemas en Data Warehouse

Un esquema es esencialmente un formato en el que los datos se organizan dentro de una base de datos o un almacén de datos.

Antes de sumergirnos en los esquemas del almacén de datos, primero debemos comprender una cosa:

Tablas de hechos y dimensiones

Las tablas de hechos son tablas que contienen las claves principales de las tablas de dimensiones a las que se hace referencia junto con algunas métricas cuantitativas (medidas) sobre las que se puede realizar algún tipo de cálculo. Algunos ejemplos de tablas de hechos son registros de pedidos, datos financieros de series temporales, etc.

Las tablas de dimensiones contienen información descriptiva de los campos relacionados presentes en los registros de la tabla de hechos. El ejemplo más común de tablas de dimensiones son las tablas típicas de Cliente y Producto .

Consideremos un ejemplo de un cliente que compra productos en tiendas físicas.

Las Tablas de Dimensiones (en azul), contienen información sobre Productos , Fechas , Clientes y Tiendas .

La tabla de hechos (en amarillo) contiene todas las claves principales de las tablas de dimensiones, que son claves externas para la tabla de hechos: id_cliente, id_producto, id_tienda y id_fecha . También contiene medidas cuantitativas: cantidad y cantidad .

Volviendo a los esquemas de almacenamiento de datos,

Hay dos tipos de esquemas DW:

Esquema de estrella

El tipo más común de esquema, el esquema en estrella, consta de una tabla de hechos conectada a varias tablas de dimensiones desnormalizadas . Este es el esquema más simple y los usuarios se benefician de velocidades de consulta más rápidas.

Consideremos un ejemplo a continuación.

Aquí, la tabla de hechos, también conocida como tabla de pedidos , está más conectada con cinco tablas de dimensiones, a saber , Cliente, Empleado, Artículos, Almacén y Fecha .

Esquema de copo de nieve

El segundo tipo de esquema, el esquema de copo de nieve, consta de una tabla de hechos conectada a varias tablas de dimensiones normalizadas , en las que las tablas de dimensiones tienen además tablas secundarias . Si bien no se ha adoptado tan ampliamente, el esquema de copo de nieve es bastante beneficioso para los niveles bajos de redundancia, pero a costa del rendimiento de las consultas.

Consideremos el mismo ejemplo anterior, pero para el esquema de copo de nieve, se vería así:

Aquí, la tabla de hechos, también conocida como tabla de pedidos , está más conectada con cinco tablas de dimensiones, a saber , Cliente, Empleado, Artículos, Almacén y Fecha . Algunas tablas de dimensiones están más normalizadas y tienen tablas secundarias: la tabla de empleados tiene dos tablas secundarias: género y oficina , los elementos tienen una tabla secundaria Color , etc.

Beneficios del almacén de datos

Los beneficios clave del almacén de datos son los siguientes:

• Permite la toma de decisiones inteligentes: los almacenes de datos admiten funciones de BI a gran escala, como la extracción de datos (búsqueda de patrones o relaciones invisibles en los datos), el aprendizaje automático (predicción de ventas para el próximo trimestre, etc.) y otros análisis de datos, herramientas que ayudan a los líderes empresariales y Los profesionales recopilan pruebas sólidas para respaldar su toma de decisiones, en todos y cada uno de los aspectos del negocio, desde predicciones financieras y procesamiento comercial hasta gestión de inventario.
• Mejor calidad de datos: los datos de múltiples fuentes heterogéneas, como sistemas transaccionales, bases de datos relacionales y archivos planos, se recopilan, limpian y estandarizan para eliminar la redundancia y formar una única fuente de verdad.
• Separación del procesamiento analítico de las bases de datos transaccionales: los sistemas transaccionales permiten manejar las transacciones diarias rápidamente a gran escala, mientras que el almacén de datos ayuda a ejecutar análisis potentes en un volumen de datos masivo. Los dos tienen diferentes propósitos y, por lo tanto, separarlos ayuda a mejorar el rendimiento de ambos. Para entender mejor, mira esto .

prachi singh

Asociado de tecnología en Morgan Stanley

LinkedIn | Gorjeo