Testowanie ETL - scenariusze

Walidacja struktury

Obejmuje walidację źródłowej i docelowej struktury tabeli zgodnie z dokumentem mapowania.

Typ danych należy zweryfikować w systemie źródłowym i docelowym.

Długość typów danych w systemie źródłowym i docelowym powinna być taka sama.

Typy pól danych i ich format powinny być takie same w systemie źródłowym i docelowym.

Sprawdzanie poprawności nazw kolumn w systemie docelowym.

Sprawdzanie poprawności dokumentu mapowania

Obejmuje walidację dokumentu mapowania, aby upewnić się, że wszystkie informacje zostały dostarczone. Dokument mapowania powinien mieć dziennik zmian, zachowywać typy danych, długość, zasady transformacji itp.

Sprawdź poprawność ograniczeń

Obejmuje walidację ograniczeń i upewnienie się, że są one stosowane w oczekiwanych tabelach.

Kontrola spójności danych

Obejmuje sprawdzanie niewłaściwego wykorzystania ograniczeń integralności, takich jak klucz obcy.

Długość i typ danych atrybutu mogą się różnić w różnych tabelach, chociaż ich definicja pozostaje taka sama w warstwie semantycznej.

Weryfikacja kompletności danych

Obejmuje sprawdzenie, czy wszystkie dane są ładowane do systemu docelowego z systemu źródłowego.

Zliczanie liczby rekordów w systemie źródłowym i docelowym.

Analiza wartości brzegowych.

Weryfikacja unikatowych wartości kluczy podstawowych.

Weryfikacja poprawności danych

Obejmuje walidację wartości danych w systemie docelowym.

W tabeli znaleziono błędnie wpisane lub niedokładne dane.

Null, Not Unique dane są przechowywane po wyłączeniu ograniczenia integralności w momencie importu.

Walidacja transformacji danych

Obejmuje tworzenie arkusza kalkulacyjnego scenariuszy dla wartości wejściowych i oczekiwanych wyników, a następnie weryfikację z użytkownikami końcowymi.

Sprawdzanie poprawności relacji rodzic-dziecko w danych przez tworzenie scenariuszy.

Używanie profilowania danych do porównywania zakresu wartości w każdym polu.

Sprawdzanie, czy typy danych w hurtowni są takie same, jak wspomniane w modelu danych.

Walidacja jakości danych

Obejmuje wykonanie sprawdzenia numeru, sprawdzenia daty, sprawdzenia dokładności, sprawdzenia danych, sprawdzenia zerowego itp.

Example - Format daty powinien być taki sam dla wszystkich wartości.

Walidacja zerowa

Obejmuje sprawdzenie wartości Null, w których w tym polu jest napisane Not Null.

Podwójna weryfikacja

Obejmuje weryfikację zduplikowanych wartości w systemie docelowym, gdy dane pochodzą z wielu kolumn z systemu źródłowego.

Sprawdzanie poprawności kluczy głównych i innych kolumn, jeśli istnieją zduplikowane wartości zgodnie z wymaganiami biznesowymi.

Data Sprawdzenie poprawności

Pole daty walidacji dla różnych akcji wykonywanych w procesie ETL.

Typowe przypadki testowe do wykonania walidacji daty -

• From_Date nie powinna być większa niż To_Date

• Format wartości dat powinien być prawidłowy.

• Wartości dat nie powinny zawierać żadnych śmieci ani wartości null

Zapytanie o pełną walidację danych minus zapytanie

Obejmuje walidację pełnego zestawu danych w tabelach źródłowych i docelowych przy użyciu zapytania minus.

• Musisz wykonać oba source minus target i target minus source.

• Jeśli zapytanie minus zwraca wartość, należy ją uznać za niezgodne wiersze.

• Musisz dopasować wiersze w źródle i miejscu docelowym przy użyciu rozszerzenia Intersect komunikat.

• Liczba zwracana przez Intersect powinna być zgodna z indywidualnymi liczbami tabel źródłowych i docelowych.

• Jeśli zapytanie minus nie zwróci żadnych wierszy, a liczba przecięcia jest mniejsza niż liczba źródłowa lub liczba tabeli docelowej, to tabela zawiera zduplikowane wiersze.

Inne scenariusze testowe

Inne scenariusze testowe mogą polegać na sprawdzeniu, czy proces wyodrębniania nie wyodrębnił zduplikowanych danych z systemu źródłowego.

Zespół testujący będzie prowadził listę instrukcji SQL, które są uruchamiane w celu sprawdzenia, czy z systemów źródłowych nie zostały wyodrębnione żadne zduplikowane dane.

Czyszczenie danych

Niechciane dane należy usunąć przed załadowaniem danych do obszaru przemieszczania.