ETL-Tests - Automatisierung
ETL-Tests werden meistens mit SQL-Skripten durchgeführt und die Daten in Tabellenkalkulationen gesammelt. Dieser Ansatz zur Durchführung von ETL-Tests ist sehr langsam und zeitaufwändig, fehleranfällig und wird an Beispieldaten durchgeführt.
Technische Herausforderung beim manuellen ETL-Testen
Ihr ETL-Testteam schreibt SQL-Abfragen, um Daten in einem Warehouse-System zu testen. Sie müssen sie manuell mit einem SQL-Editor ausführen, die Daten dann in eine Excel-Tabelle einfügen und manuell vergleichen. Dieser Prozess ist zeitaufwändig, ressourcenintensiv und ineffizient.
Auf dem Markt sind verschiedene Tools verfügbar, um diesen Prozess zu automatisieren. Die gängigsten ETL-Testtools sind QuerySurge und Informatica Data Validation.
QuerySurge
QuerySurge ist eine Datentestlösung zum Testen von Big Data, Data Warehouses und dem ETL-Prozess. Es kann den gesamten Prozess für Sie automatisieren und passt gut in Ihre DevOps-Strategie.
Die wichtigsten Funktionen von QuerySurge sind:
Es verfügt über Abfrage-Assistenten, mit denen Sie schnell und einfach Test-QueryPairs erstellen können, ohne dass der Benutzer SQL schreiben muss.
Es verfügt über eine Designbibliothek mit wiederverwendbaren Abfrage-Snippets. Sie können auch benutzerdefinierte QueryPairs erstellen.
Es kann Daten aus Quelldateien und Datenspeichern mit dem Ziel-Data Warehouse oder Big Data-Speicher vergleichen.
Es kann Millionen von Datenzeilen und -spalten in Minuten vergleichen.
Es ermöglicht dem Benutzer, Tests so zu planen, dass sie (1) sofort, (2) ein beliebiges Datum / eine beliebige Uhrzeit oder (3) automatisch nach dem Ende eines Ereignisses ausgeführt werden.
Es kann informative Berichte erstellen, Aktualisierungen anzeigen und Ergebnisse automatisch per E-Mail an Ihr Team senden.
Um den gesamten Prozess zu automatisieren, sollte Ihr ETL-Tool QuerySurge über die Befehlszeilen-API starten, nachdem die ETL-Software den Ladevorgang abgeschlossen hat.
QuerySurge wird automatisch und unbeaufsichtigt ausgeführt, führt alle Tests aus und sendet dann allen Mitgliedern des Teams eine E-Mail mit den Ergebnissen.
Genau wie QuerySurge bietet Informatica Data Validation ein ETL-Testtool, mit dem Sie den ETL-Testprozess in der Entwicklungs- und Produktionsumgebung beschleunigen und automatisieren können. Damit können Sie in kürzerer Zeit eine vollständige, wiederholbare und überprüfbare Testabdeckung bereitstellen. Es erfordert keine Programmierkenntnisse!