Data Warehouse - ETL e ferramentas de relatórios

Uma ferramenta ETL extrai os dados de todas essas fontes de dados heterogêneas, transforma os dados (como aplicar cálculos, juntar campos, chaves, remover campos de dados incorretos, etc.) e carregá-los em um Data Warehouse.

Extração

Uma área de teste é necessária durante o carregamento de ETL. Existem várias razões pelas quais a área de teste é necessária. Os sistemas de origem estão disponíveis apenas por um período específico de tempo para extrair dados. Este período de tempo é menor que o tempo total de carregamento de dados. Portanto, a área de teste permite que você extraia os dados do sistema de origem e os mantenha na área de teste antes que o intervalo de tempo termine.

A área de teste é necessária quando você deseja reunir os dados de várias fontes de dados ou se deseja unir dois ou mais sistemas.

For example - Você não poderá realizar uma Consulta SQL unindo duas tabelas de dois bancos de dados fisicamente diferentes.

O intervalo de tempo das extrações de dados para diferentes sistemas varia de acordo com o fuso horário e horas operacionais. Os dados extraídos dos sistemas de origem podem ser usados em vários Sistemas de Data Warehouse, Armazenamento de Dados de Operação, etc.

ETL permite que você execute transformações complexas e requer área extra para armazenar os dados.

Transformar

Na transformação de dados, você aplica um conjunto de funções aos dados extraídos para carregá-los no sistema de destino. Os dados que não requerem nenhuma transformação são conhecidos como movimentação direta ou passagem pelos dados.

Você pode aplicar diferentes transformações em dados extraídos do sistema de origem. Por exemplo, você pode realizar cálculos personalizados. Se você deseja a receita da soma das vendas e não está no banco de dados, pode aplicar a fórmula SUM durante a transformação e carregar os dados.

For example - Se você tiver o nome e o sobrenome em uma tabela em colunas diferentes, você pode usar concatenar antes de carregar.

Carga

Durante a fase de carregamento, os dados são carregados no sistema de destino final e pode ser um arquivo simples ou um sistema de Data Warehouse.

Ferramenta de Relatório de BI

Ferramentas de BI (Business Intelligence) são usadas por usuários de negócios para criar relatórios básicos, médios e complexos dos dados transacionais no data warehouse e criando Universos usando o Information Design Tool/UDT. Várias fontes de dados SAP e não SAP podem ser usadas para criar relatórios.

Existem alguns relatórios de BI, ferramentas de painel e visualização de dados disponíveis no mercado. Alguns dos quais são os seguintes -

SAP Business Objects Web Intelligence (WebI)
Crystal Reports
SAP Lumira
Dashboard Designer
IBM Cognos
Plataforma de BI Microsoft
Tableau Business Intelligence
JasperSoft
Oracle BI OBIEE
Pentaho
QlickView
SAP BW
SAS Business Intelligence
Necto
Tibco Spotfire