ETL-Tests - Datentransformationen
Das Durchführen von Datentransformationen ist etwas komplex, da dies nicht durch Schreiben einer einzelnen SQL-Abfrage und anschließendes Vergleichen der Ausgabe mit dem Ziel erreicht werden kann. Für die ETL-Testdatenumwandlung müssen Sie möglicherweise mehrere SQL-Abfragen für jede Zeile schreiben, um die Umwandlungsregeln zu überprüfen.
Stellen Sie zunächst sicher, dass die Quelldaten ausreichen, um alle Transformationsregeln zu testen. Der Schlüssel zum Durchführen eines erfolgreichen ETL-Tests für Datentransformationen besteht darin, die richtigen und ausreichenden Beispieldaten aus dem Quellsystem auszuwählen, um die Transformationsregeln anzuwenden.
Die wichtigsten Schritte für die ETL-Testdaten-Transformation sind unten aufgeführt:
Der erste Schritt besteht darin, eine Liste von Szenarien mit Eingabedaten und den erwarteten Ergebnissen zu erstellen und diese mit dem Geschäftskunden zu validieren. Dies ist ein guter Ansatz für das Sammeln von Anforderungen während des Entwurfs und kann auch als Teil des Testens verwendet werden.
Der nächste Schritt besteht darin, die Testdaten zu erstellen, die alle Szenarien enthalten. Verwenden Sie einen ETL-Entwickler, um den gesamten Prozess des Auffüllens der Datensätze mit der Szenariotabelle zu automatisieren und Vielseitigkeit und Mobilität zu ermöglichen, da sich die Szenarien wahrscheinlich ändern.
Verwenden Sie als Nächstes Datenprofilerstellungsergebnisse, um den Bereich und die Übermittlung von Werten in jedem Feld zwischen den Ziel- und Quelldaten zu vergleichen.
Überprüfen Sie die genaue Verarbeitung von ETL-generierten Feldern, z. B. Ersatzschlüsseln.
Die Validierung der Datentypen innerhalb des Lagers entspricht den Angaben im Datenmodell oder -design.
Erstellen Sie Datenszenarien zwischen Tabellen, die die referenzielle Integrität testen.
Überprüfen Sie die Eltern-Kind-Beziehungen in den Daten.
Der letzte Schritt ist die Durchführung lookup transformation. Ihre Suchabfrage sollte ohne Aggregation gerade sein und voraussichtlich nur einen Wert pro Quelltabelle zurückgeben. Sie können der Nachschlagetabelle im Quellqualifizierer wie im vorherigen Test direkt beitreten. Ist dies nicht der Fall, schreiben Sie eine Abfrage, die die Nachschlagetabelle mit der Haupttabelle in der Quelle verbindet, und vergleichen Sie die Daten in den entsprechenden Spalten im Ziel.