ETL - роли тестировщика

Тестер ETL в первую очередь отвечает за проверку источников данных, извлечение данных, применение логики преобразования и загрузку данных в целевые таблицы.

Основные обязанности тестировщика ETL перечислены ниже.

Проверьте таблицы в исходной системе

Это включает в себя следующие операции -

Проверить счет
Согласовать записи с исходными данными
Проверка типа данных
Убедитесь, что данные не загружены
Удалить повторяющиеся данные
Убедитесь, что все ключи на месте

Применить логику трансформации

Логика преобразования применяется перед загрузкой данных. Это включает в себя следующие операции -

Проверка достоверности порога данных, например, значение возраста не должно быть больше 100.
Проверка количества записей до и после применения логики преобразования.
Проверка потока данных из промежуточной области в промежуточные таблицы.
Проверка суррогатного ключа.

Загрузка данных

Данные загружаются из промежуточной области в целевую систему. Это включает в себя следующие операции -

Запись количества проверок из промежуточной таблицы в целевую систему.
Убедитесь, что данные ключевого поля не отсутствуют или отсутствуют.
Проверьте, загружены ли агрегированные значения и вычисленные меры в таблицы фактов.
Проверьте представления моделирования на основе целевых таблиц.
Проверьте, применен ли CDC к таблице добавочной нагрузки.
Проверка данных в таблице измерений и проверка таблицы истории.
Проверьте отчеты бизнес-аналитики на основе загруженной таблицы фактов и измерений и в соответствии с ожидаемыми результатами.

Тестирование инструментов ETL

Тестировщики ETL также необходимы для тестирования инструментов и тестовых примеров. Это включает в себя следующие операции -

Протестируйте инструмент ETL и его функции
Протестируйте систему хранилища данных ETL
Создавайте, проектируйте и выполняйте планы тестирования и тестовые наборы.
Протестируйте передачу данных в виде плоских файлов.