ETL - Introdução
ETL significa Extract, Transform and Load. Uma ferramenta ETL extrai os dados de diferentes sistemas de origem RDBMS, transforma os dados como aplicação de cálculos, concatena, etc. e, em seguida, carrega os dados para o sistema de Data Warehouse. Os dados são carregados no sistema DW na forma de tabelas de dimensões e fatos.
Extração
Uma área de teste é necessária durante o carregamento de ETL. Existem várias razões pelas quais a área de teste é necessária.
Os sistemas de origem estão disponíveis apenas por um período específico de tempo para extrair dados. Este período de tempo é menor que o tempo total de carregamento de dados. Portanto, a área de teste permite que você extraia os dados do sistema de origem e os mantenha na área de teste antes que o intervalo de tempo termine.
A área de teste é necessária quando você deseja obter os dados de várias fontes de dados juntos ou se deseja juntar dois ou mais sistemas. Por exemplo, você não poderá realizar uma consulta SQL juntando duas tabelas de dois bancos de dados fisicamente diferentes.
O intervalo de tempo das extrações de dados para diferentes sistemas varia de acordo com o fuso horário e as horas operacionais.
Os dados extraídos dos sistemas de origem podem ser usados em vários sistemas de armazenamento de dados, armazenamentos de dados de operação, etc.
O ETL permite que você execute transformações complexas e requer área extra para armazenar os dados.
Transformar
Na transformação de dados, você aplica um conjunto de funções aos dados extraídos para carregá-los no sistema de destino. Os dados, que não requerem nenhuma transformação, são conhecidos como movimentação direta ou passagem pelos dados.
Você pode aplicar transformações diferentes em dados extraídos do sistema de origem. Por exemplo, você pode realizar cálculos personalizados. Se você quiser receita de soma de vendas e isso não estiver no banco de dados, você pode aplicar oSUM fórmula durante a transformação e carregue os dados.
Por exemplo, se você tiver o nome e o sobrenome em uma tabela em colunas diferentes, poderá usar concatenar antes de carregar.
Carga
Durante a fase de carregamento, os dados são carregados no sistema de destino final e pode ser um arquivo simples ou um sistema de Data Warehouse.