Testowanie ETL - kompletność danych

Sprawdzanie kompletności danych ma na celu sprawdzenie, czy dane w systemie docelowym są zgodne z oczekiwaniami po załadowaniu.

Typowe testy, które można w tym celu wykonać, są następujące:

• Sprawdzanie funkcji agregujących (suma, maksimum, minimum, liczba),

• Sprawdzanie i walidacja liczebności i rzeczywistych danych między źródłem a celem dla kolumn bez przekształceń lub z prostymi przekształceniami.

Count Validation

Porównaj liczbę rekordów w tabelach źródłowych i docelowych. Można to zrobić, pisząc następujące zapytania -

SELECT count (1) FROM employee; 
SELECT count (1) FROM emp_dim;

Walidacja profilu danych

Obejmuje sprawdzenie funkcji agregujących, takich jak liczba, suma i maksimum w tabelach źródłowej i docelowej (fakt lub wymiar).

Walidacja profilu danych kolumny

Obejmuje porównanie różnych wartości i liczby wierszy dla każdej odrębnej wartości.

SELECT city, count(*) FROM employee GROUP BY city; 
SELECT city_id, count(*) FROM emp_dim GROUP BY city_id;

Weryfikacja zduplikowanych danych

Obejmuje walidację klucza podstawowego i klucza unikalnego w kolumnie lub w kombinacji kolumn, które powinny być unikalne zgodnie z wymaganiami biznesowymi. Możesz użyć następującego zapytania, aby przeprowadzić weryfikację zduplikowanych danych -

SELECT first_name, last_name, date_of_joining, count (1) FROM employee
GROUP BY first_name, last_name HAVING count(1)>1;