Um mergulho profundo em alguns conceitos básicos de armazenamento de dados,

Armazém de dados

Em primeiro lugar, o que é um Data Warehouse?

Um repositório central de informações.

O data warehouse reúne e agrega dados de várias fontes heterogêneas em um armazenamento de dados central para oferecer suporte a análises e relatórios sofisticados.

Dados e análises formam o núcleo de todos os negócios. As empresas contam com ferramentas analíticas, painéis e relatórios para obter insights de seus dados, monitorar e prever o desempenho dos negócios e apoiar a tomada de decisões. O data warehouse permite que eles executem essas análises poderosas em volumes maciços (repito, MASSIVOS ) de dados com eficiência.

Arquitetura de Data Warehouse

Um data warehouse típico geralmente consiste em três camadas.

Camada inferior: Servidor de Data Warehouse , que é responsável por coletar, limpar e transformar os dados coletados de várias fontes. Isso é feito por meio de um processo chamado ETL (Extrair, Transformar e Carregar) ou via processo ELT (Extrair, Carregar e Transformar).

Camada intermediária: servidor OLAP , que permite velocidades de consulta rápidas, fornecendo uma visão abstrata do banco de dados.

Camada superior: Interface de usuário front-end ou uma ferramenta de relatório , que permite aos usuários realizar análises nos dados.

Esquemas em Data Warehouse

Um esquema é essencialmente um formato no qual os dados são organizados em um banco de dados ou data warehouse.

Antes de mergulharmos nos esquemas do data warehouse, primeiro precisamos entender uma coisa:

Tabelas de Fatos e Dimensões

As tabelas de fatos são tabelas que contêm as chaves primárias das tabelas de dimensão referenciadas junto com algumas métricas quantitativas (medidas) sobre as quais alguma forma de cálculo pode ser executada. Alguns exemplos de tabelas de fatos são registros de pedidos, dados financeiros de séries temporais, etc.

As Tabelas de Dimensão contêm informações descritivas para os campos relacionados presentes nos registros da tabela de fatos. O exemplo mais comum de tabelas de dimensão são as tabelas típicas de clientes e produtos .

Vamos considerar o exemplo de um cliente comprando produtos em lojas físicas.

As Tabelas de Dimensões (em azul), contêm informações sobre Produtos , Datas , Clientes e Lojas .

A Tabela de fatos (em amarelo) contém todas as chaves primárias das tabelas de dimensão, que são chaves estrangeiras para a tabela de fatos — customer_id, product_id, store_id e date_id . Ele também contém medidas quantitativas — quantidade e quantidade .

Voltando aos esquemas do Data Warehouse,

Existem dois tipos de esquemas DW:

Esquema Estelar

O tipo mais comum de esquema, o esquema em estrela, consiste em uma tabela de fatos conectada a várias tabelas de dimensões desordenadas . Este é o esquema mais simples e os usuários se beneficiam de velocidades de consulta mais rápidas.

Vamos considerar um exemplo abaixo.

Aqui, a tabela de fatos, também conhecida como tabela Orders , é conectada ainda a cinco tabelas de dimensão, a saber , Customer, Employee, Items, Warehouse e Date .

esquema de floco de neve

O segundo tipo de esquema, o esquema floco de neve, consiste em uma tabela de fatos conectada a várias tabelas de dimensões normalizadas , nas quais as tabelas de dimensões também possuem tabelas filhas . Embora não seja amplamente adotado, o esquema floco de neve é ​​bastante benéfico para baixos níveis de redundância, mas prejudica o desempenho da consulta.

Vamos considerar o mesmo exemplo acima, mas para o esquema do floco de neve, seria mais ou menos assim:

Aqui, a tabela de fatos, também conhecida como tabela Orders , é conectada ainda a cinco tabelas de dimensão, a saber , Customer, Employee, Items, Warehouse e Date . Algumas tabelas de dimensão são ainda mais normalizadas e têm tabelas filhas — a tabela Employee tem duas tabelas filhas — Gender e Office , Items tem uma tabela filha Color etc.

Benefícios do Data Warehouse

Os principais benefícios do data warehouse são os seguintes:

• Permite uma tomada de decisão inteligente: os data warehouses oferecem suporte a funções de BI em grande escala, como mineração de dados (encontrar padrões ou relações invisíveis nos dados), aprendizado de máquina (prever vendas para o próximo trimestre, etc.) e outras análises de dados - ferramentas que ajudam os líderes de negócios e os profissionais reúnem evidências sólidas para apoiar sua tomada de decisão, em todo e qualquer aspecto do negócio, desde previsões financeiras e processamento de negócios até gerenciamento de estoque.
• Melhor qualidade de dados: dados de várias fontes heterogêneas, como sistemas transacionais, bancos de dados relacionais e arquivos simples, são coletados, limpos e padronizados para remover a redundância e formar uma única fonte de verdade.
• Separação do processamento analítico dos bancos de dados transacionais: os sistemas transacionais permitem lidar rapidamente com as transações do dia a dia em grande escala, enquanto o data warehouse ajuda a executar análises poderosas em um grande volume de dados. Os dois têm finalidades diferentes e, assim, separá-los ajuda a melhorar o desempenho de ambos. Para entender melhor, veja isso .

Prachi Singh

Associado de Tecnologia na Morgan Stanley

Linkedin | Twitter