Testowanie ETL - jakość danych

Sprawdzanie jakości danych podczas testowania ETL polega na przeprowadzaniu kontroli jakości danych ładowanych do systemu docelowego. Obejmuje następujące testy -

Sprawdź numer

Format liczb powinien być taki sam w całym systemie docelowym. Na przykład w systemie źródłowym format numeracji kolumn tox.30, ale jeśli celem jest tylko 30, to musi załadować, a nie prefiksować x. w docelowym numerze kolumny.

Sprawdź datę

Format daty powinien być spójny zarówno w systemie źródłowym, jak i docelowym. Na przykład powinien być taki sam we wszystkich rekordach. Format standardowy to: rrrr-mm-dd.

Kontrola precyzji

Wartość dokładności powinna być wyświetlana zgodnie z oczekiwaniami w tabeli docelowej. Na przykład w tabeli źródłowej wartość to 15.2323422, ale w tabeli docelowej powinna być wyświetlana jako 15,23 lub zaokrąglona do 15.

Kontrola danych

Obejmuje sprawdzenie danych zgodnie z wymaganiami biznesowymi. Rekordy, które nie spełniają określonych kryteriów, powinny zostać odfiltrowane.

Example - Tylko te rekordy, których date_id> = 2015 i Account_Id! = '001' powinny zostać załadowane do tabeli docelowej.

Null Check

Niektóre kolumny powinny mieć wartość Null zgodnie z wymaganiami i możliwymi wartościami dla tego pola.

Example - Kolumna Data zakończenia powinna wyświetlać wartość Null, chyba że kolumna stanu aktywnego to „T” lub „Deceased”.

Inne kontrole

Można przeprowadzić typowe sprawdzenia, takie jak From_Date, nie większe niż To_Date.