DW - Visão geral
Um data warehouse é conhecido como um repositório central para armazenar os dados de uma ou várias fontes de dados heterogêneas. O data warehouse é usado para relatar e analisar informações e armazena dados históricos e atuais. Os dados no sistema DW são usados para relatórios analíticos, que posteriormente são usados por analistas de negócios, gerentes de vendas ou trabalhadores do conhecimento para a tomada de decisões.
Os dados no sistema DW são carregados de um sistema de transação operacional como Vendas, Marketing, RH, SCM, etc. Eles podem passar pelo armazenamento de dados operacionais ou outras transformações antes de serem carregados no sistema DW para processamento de informações.
Data Warehouse - Principais Características
Os principais recursos de um sistema DW são -
É um repositório central de dados onde os dados são armazenados de uma ou mais fontes de dados heterogêneas.
Um sistema DW armazena dados atuais e históricos. Normalmente, um sistema DW armazena de 5 a 10 anos de dados históricos.
Um sistema DW é sempre mantido separado de um sistema de transação operacional.
Os dados no sistema DW são usados para diferentes tipos de relatórios analíticos, desde comparação trimestral a anual.
Necessidade de um sistema DW
Suponha que você tenha uma agência de crédito imobiliário onde os dados vêm de vários aplicativos, como marketing, vendas, ERP, HRM, MM, etc. Esses dados são extraídos, transformados e carregados no Data Warehouse.
Por exemplo, se você tiver que comparar as vendas trimestrais / anuais de um produto, não poderá usar um banco de dados transacional operacional, pois isso travará o sistema de transações. Portanto, um Data Warehouse é usado para essa finalidade.
Diferença entre DW e ODB
As diferenças entre um Data Warehouse e um Banco de Dados Operacional (Banco de Dados Transacional) são as seguintes -
Um sistema transacional é projetado para cargas de trabalho e transações conhecidas, como atualização de um registro de usuário, pesquisa de um registro, etc. No entanto, as transações de data warehouse são mais complexas e apresentam uma forma geral de dados.
Um sistema transacional contém os dados atuais de uma organização e o data warehouse normalmente contém os dados históricos.
O sistema transacional oferece suporte ao processamento paralelo de várias transações. Os mecanismos de controle e recuperação de simultaneidade são necessários para manter a consistência do banco de dados.
Uma consulta de banco de dados operacional permite ler e modificar operações (excluir e atualizar), enquanto uma consulta OLAP precisa apenas de acesso somente leitura dos dados armazenados (instrução Select).
Arquitetura DW
Data Warehousing envolve limpeza de dados, integração de dados e consolidações de dados.
Um Data Warehouse tem uma arquitetura de 3 camadas - Data Source Layer, Integration Layer, e Presentation Layer. A ilustração fornecida acima mostra a arquitetura comum de um sistema de Data Warehouse.