Тестирование ETL - Автоматизация

Тестирование ETL в основном выполняется с использованием сценариев SQL и сбором данных в электронных таблицах. Такой подход к выполнению тестирования ETL очень медленный и трудоемкий, подвержен ошибкам и выполняется на выборочных данных.

Техническая проблема ручного тестирования ETL

Группа тестирования ETL пишет запросы SQL для тестирования данных в системе хранилища, и им необходимо выполнить их вручную с помощью редактора SQL, а затем поместить данные в электронную таблицу Excel и сравнить их вручную. Этот процесс трудоемкий, ресурсоемкий и неэффективный.

На рынке доступны различные инструменты для автоматизации этого процесса. Наиболее распространенными инструментами тестирования ETL являются QuerySurge и Informatica Data Validation.

QuerySurge

QuerySurge - это решение для тестирования данных, предназначенное для тестирования больших данных, хранилищ данных и процесса ETL. Он может автоматизировать весь процесс за вас и хорошо вписаться в вашу стратегию DevOps.

Ключевые особенности QuerySurge следующие:

В нем есть мастера запросов, позволяющие быстро и легко создавать тестовые пары QueryPairs без необходимости писать какой-либо SQL.
Он имеет библиотеку дизайна с многоразовыми фрагментами запросов. Вы также можете создавать собственные QueryPairs.
Он может сравнивать данные из исходных файлов и хранилищ данных с целевым хранилищем данных или хранилищем больших данных.
Он может сравнить миллионы строк и столбцов данных за считанные минуты.
Он позволяет пользователю планировать запуск тестов (1) немедленно, (2) в любую дату / время или (3) автоматически после завершения события.
Он может создавать информативные отчеты, просматривать обновления и автоматически отправлять результаты вашей команде по электронной почте.

Чтобы автоматизировать весь процесс, ваш инструмент ETL должен запускать QuerySurge через API командной строки после того, как программное обеспечение ETL завершит процесс загрузки.

QuerySurge будет запускаться автоматически и без присмотра, выполняя все тесты, а затем отправляя результаты всем членам команды по электронной почте.

Как и QuerySurge, Informatica Data Validation предоставляет инструмент тестирования ETL, который помогает ускорить и автоматизировать процесс тестирования ETL в среде разработки и производства. Это позволяет обеспечить полное, воспроизводимое и контролируемое тестирование за меньшее время. Не требует навыков программирования!