ETL-Tests - Automatisierung

ETL-Tests werden meistens mit SQL-Skripten durchgeführt und die Daten in Tabellenkalkulationen gesammelt. Dieser Ansatz zur Durchführung von ETL-Tests ist sehr langsam und zeitaufwändig, fehleranfällig und wird an Beispieldaten durchgeführt.

Technische Herausforderung beim manuellen ETL-Testen

Ihr ETL-Testteam schreibt SQL-Abfragen, um Daten in einem Warehouse-System zu testen. Sie müssen sie manuell mit einem SQL-Editor ausführen, die Daten dann in eine Excel-Tabelle einfügen und manuell vergleichen. Dieser Prozess ist zeitaufwändig, ressourcenintensiv und ineffizient.

Auf dem Markt sind verschiedene Tools verfügbar, um diesen Prozess zu automatisieren. Die gängigsten ETL-Testtools sind QuerySurge und Informatica Data Validation.

QuerySurge

QuerySurge ist eine Datentestlösung zum Testen von Big Data, Data Warehouses und dem ETL-Prozess. Es kann den gesamten Prozess für Sie automatisieren und passt gut in Ihre DevOps-Strategie.

Die wichtigsten Funktionen von QuerySurge sind:

  • Es verfügt über Abfrage-Assistenten, mit denen Sie schnell und einfach Test-QueryPairs erstellen können, ohne dass der Benutzer SQL schreiben muss.

  • Es verfügt über eine Designbibliothek mit wiederverwendbaren Abfrage-Snippets. Sie können auch benutzerdefinierte QueryPairs erstellen.

  • Es kann Daten aus Quelldateien und Datenspeichern mit dem Ziel-Data Warehouse oder Big Data-Speicher vergleichen.

  • Es kann Millionen von Datenzeilen und -spalten in Minuten vergleichen.

  • Es ermöglicht dem Benutzer, Tests so zu planen, dass sie (1) sofort, (2) ein beliebiges Datum / eine beliebige Uhrzeit oder (3) automatisch nach dem Ende eines Ereignisses ausgeführt werden.

  • Es kann informative Berichte erstellen, Aktualisierungen anzeigen und Ergebnisse automatisch per E-Mail an Ihr Team senden.

Um den gesamten Prozess zu automatisieren, sollte Ihr ETL-Tool QuerySurge über die Befehlszeilen-API starten, nachdem die ETL-Software den Ladevorgang abgeschlossen hat.

QuerySurge wird automatisch und unbeaufsichtigt ausgeführt, führt alle Tests aus und sendet dann allen Mitgliedern des Teams eine E-Mail mit den Ergebnissen.

Genau wie QuerySurge bietet Informatica Data Validation ein ETL-Testtool, mit dem Sie den ETL-Testprozess in der Entwicklungs- und Produktionsumgebung beschleunigen und automatisieren können. Damit können Sie in kürzerer Zeit eine vollständige, wiederholbare und überprüfbare Testabdeckung bereitstellen. Es erfordert keine Programmierkenntnisse!