ETL - Funções do testador
Um testador ETL é o principal responsável por validar as fontes de dados, extração de dados, aplicação de lógica de transformação e carregamento de dados nas tabelas de destino.
As principais responsabilidades de um testador ETL estão listadas abaixo.
Verifique as tabelas no sistema de origem
Envolve as seguintes operações -
- Verificação de contagem
- Reconciliar registros com os dados de origem
- Verificação de tipo de dados
- Certifique-se de que nenhum dado de spam foi carregado
- Remover dados duplicados
- Verifique se todas as chaves estão no lugar
Aplicar lógica de transformação
A lógica de transformação é aplicada antes de carregar os dados. Envolve as seguintes operações -
Verificação de validação de limite de dados, por exemplo, o valor da idade não deve ser superior a 100.
Verificação da contagem de registros, antes e depois da aplicação da lógica de transformação.
Validação de fluxo de dados da área de preparação para as tabelas intermediárias.
Verificação da chave substituta.
Carregando Dados
Os dados são carregados da área de teste para o sistema de destino. Envolve as seguintes operações -
Verificação da contagem de registros da tabela intermediária para o sistema de destino.
Certifique-se de que os dados do campo-chave não estejam ausentes ou nulos.
Verifique se os valores agregados e as medidas calculadas foram carregados nas tabelas de fatos.
Verifique as visualizações de modelagem com base nas tabelas de destino.
Verifique se o CDC foi aplicado na tabela de carregamento incremental.
Verificação de dados na tabela de dimensões e verificação da tabela de histórico.
Verifique os relatórios de BI com base na tabela de fatos e dimensões carregada e de acordo com os resultados esperados.
Testando as ferramentas ETL
Testadores de ETL são necessários para testar as ferramentas e os casos de teste também. Envolve as seguintes operações -
- Teste a ferramenta ETL e suas funções
- Teste o sistema ETL Data Warehouse
- Crie, projete e execute os planos e casos de teste.
- Teste as transferências de dados de arquivo simples.