ETL - role testera
Tester ETL jest przede wszystkim odpowiedzialny za weryfikację źródeł danych, wyodrębnianie danych, stosowanie logiki transformacji i ładowanie danych w tabelach docelowych.
Poniżej wymieniono kluczowe obowiązki testera ETL.
Sprawdź tabele w systemie źródłowym
Obejmuje następujące operacje -
- Policz czek
- Uzgodnij rekordy z danymi źródłowymi
- Kontrola typu danych
- Upewnij się, że żadne dane spamu nie zostały załadowane
- Usuń zduplikowane dane
- Sprawdź, czy wszystkie klucze są na miejscu
Zastosuj logikę transformacji
Logika transformacji jest stosowana przed załadowaniem danych. Obejmuje następujące operacje -
Sprawdzanie poprawności progu danych, na przykład wartość wieku nie powinna przekraczać 100.
Sprawdzanie liczby rekordów przed i po zastosowaniu logiki transformacji.
Walidacja przepływu danych z obszaru przemieszczania do tabel pośrednich.
Sprawdzenie klucza zastępczego.
Ładowanie danych
Dane są ładowane z obszaru pomostowego do systemu docelowego. Obejmuje następujące operacje -
Sprawdzanie liczby rekordów z tabeli pośredniej do systemu docelowego.
Upewnij się, że nie brakuje danych pola klucza lub nie ma ich wartości Null.
Sprawdź, czy wartości zagregowane i obliczone miary są ładowane w tabelach faktów.
Sprawdź widoki modelowania na podstawie tabel docelowych.
Sprawdź, czy w tabeli ładowania przyrostowego zastosowano CDC.
Sprawdzenie danych w tabeli wymiarów i sprawdzenie tabeli historii.
Sprawdź raporty BI na podstawie załadowanej tabeli faktów i wymiarów oraz zgodnie z oczekiwanymi wynikami.
Testowanie narzędzi ETL
Testerzy ETL są zobowiązani do testowania narzędzi oraz przypadków testowych. Obejmuje następujące operacje -
- Przetestuj narzędzie ETL i jego funkcje
- Przetestuj system hurtowni danych ETL
- Twórz, projektuj i wykonuj plany testów i przypadki testowe.
- Przetestuj przesyłanie danych w plikach płaskich.