ETL a testowanie baz danych
Zarówno testowanie ETL, jak i testowanie baz danych obejmują walidację danych, ale nie są tym samym. Testowanie ETL jest zwykle wykonywane na danych w systemie hurtowni danych, podczas gdy testowanie bazy danych jest zwykle wykonywane w systemach transakcyjnych, w których dane pochodzą z różnych aplikacji do transakcyjnej bazy danych.
W tym miejscu podkreśliliśmy główne różnice między testowaniem ETL a testowaniem baz danych.
Testowanie ETL
Testowanie ETL obejmuje następujące operacje -
Walidacja przenoszenia danych ze źródła do systemu docelowego.
Weryfikacja ilości danych w systemie źródłowym i docelowym.
Weryfikacja ekstrakcji danych, transformacji zgodnie z wymaganiami i oczekiwaniami.
Weryfikacja, czy relacje między tabelami - łączenia i klucze - są zachowane podczas transformacji.
Typowe narzędzia do testowania ETL obejmują QuerySurge, Informaticaitp.
Testowanie baz danych
Testowanie baz danych kładzie większy nacisk na dokładność danych, poprawność danych i prawidłowe wartości. Obejmuje następujące operacje -
Weryfikacja, czy są utrzymywane klucze podstawowe i obce.
Sprawdzanie, czy kolumny w tabeli mają prawidłowe wartości danych.
Weryfikacja dokładności danych w kolumnach. Example - Kolumna Liczba miesięcy nie powinna mieć wartości większej niż 12.
Weryfikacja brakujących danych w kolumnach. Sprawdź, czy istnieją puste kolumny, które faktycznie powinny mieć prawidłową wartość.
Typowe narzędzia do testowania baz danych obejmują Selenium, QTPitp.
W poniższej tabeli przedstawiono najważniejsze funkcje testów baz danych i ETL oraz ich porównanie -
| Funkcjonować | Testowanie baz danych | Testowanie ETL |
|---|---|---|
| Główny cel | Walidacja i integracja danych | Ekstrakcja, transformacja i ładowanie danych do raportowania BI |
| Odpowiedni system | System transakcyjny, w którym występuje przepływ biznesowy | System zawierający dane historyczne, a nie w środowisku przepływu biznesowego |
| Wspólne narzędzia | QTP, Selenium itp. | QuerySurge, Informatica itp. |
| Potrzeba biznesowa | Służy do integracji danych z wielu aplikacji, poważny wpływ. | Służy do raportowania analitycznego, informacji i prognoz. |
| Modelowanie | Metoda ER | Wielowymiarowy |
| Typ bazy danych | Zwykle jest używany w systemach OLTP | Jest stosowany w systemach OLAP |
| Typ danych | Znormalizowane dane z większą liczbą sprzężeń | Dane zdenormalizowane z mniejszą liczbą sprzężeń, większą liczbą indeksów i agregacjami. |