ETLテスト–シナリオ

構造の検証

これには、マッピングドキュメントに従ってソーステーブルとターゲットテーブルの構造を検証することが含まれます。

データ型は、ソースシステムとターゲットシステムで検証する必要があります。

ソースシステムとターゲットシステムのデータ型の長さは同じである必要があります。

データフィールドタイプとその形式は、ソースシステムとターゲットシステムで同じである必要があります。

ターゲットシステムの列名を検証します。

マッピングドキュメントの検証

これには、マッピングドキュメントを検証して、すべての情報が提供されていることを確認することが含まれます。マッピングドキュメントには、変更ログがあり、データ型、長さ、変換規則などを維持する必要があります。

制約を検証する

これには、制約を検証し、それらが期待されるテーブルに適用されていることを確認することが含まれます。

データの整合性チェック

これには、外部キーのような整合性制約の誤用をチェックすることが含まれます。

属性の長さとデータ型はテーブルによって異なる場合がありますが、それらの定義はセマンティックレイヤーで同じままです。

データの完全性の検証

これには、すべてのデータがソースシステムからターゲットシステムにロードされているかどうかのチェックが含まれます。

ソースシステムとターゲットシステムのレコード数をカウントします。

境界値分析。

主キーの一意の値を検証します。

データの正確性の検証

これには、ターゲットシステムのデータの値の検証が含まれます。

スペルミスまたは不正確なデータが表にあります。

インポート時に整合性制約を無効にすると、Null、NotUniqueデータが保存されます。

データ変換の検証

これには、入力値と期待される結果のシナリオのスプレッドシートを作成し、エンドユーザーで検証することが含まれます。

シナリオを作成して、データ内の親子関係を検証します。

データプロファイリングを使用して、各フィールドの値の範囲を比較します。

ウェアハウス内のデータ型がデータモデルに記載されているものと同じであるかどうかを検証します。

データ品質の検証

これには、番号チェック、日付チェック、精度チェック、データチェック、ヌルチェックなどの実行が含まれます。

Example −日付形式は、すべての値で同じである必要があります。

ヌル検証

これには、そのフィールドでNotNullが指定されているNull値のチェックが含まれます。

重複検証

これには、データがソースシステムの複数の列から取得されている場合に、ターゲットシステムで重複する値を検証することが含まれます。

ビジネス要件に従って重複する値がある場合は、主キーとその他の列を検証します。

日付検証チェック

ETLプロセスで実行されるさまざまなアクションの日付フィールドを検証しています。

日付検証を実行するための一般的なテストケース-

• From_DateはTo_Dateより大きくてはなりません

• 日付値の形式は適切である必要があります。

• 日付値には、ジャンク値やnull値を含めないでください

完全なデータ検証マイナスクエリ

これには、マイナスクエリを使用してソーステーブルとターゲットテーブルの完全なデータセットを検証することが含まれます。

• 両方を実行する必要があります source minus target そして target minus source。

• マイナスクエリが値を返す場合、それは行の不一致と見なす必要があります。

• ソースとターゲットの行を使用して一致させる必要があります Intersect ステートメント。

• Intersectによって返されるカウントは、ソーステーブルとターゲットテーブルの個々のカウントと一致する必要があります。

• マイナスクエリが行を返さず、交差するカウントがソースカウントまたはターゲットテーブルカウントよりも少ない場合、テーブルは重複する行を保持します。

その他のテストシナリオ

他のテストシナリオは、抽出プロセスがソースシステムから重複データを抽出しなかったことを確認することです。

テストチームは、ソースシステムから重複データが抽出されていないことを検証するために実行されるSQLステートメントのリストを維持します。

データクリーニング

データをステージング領域にロードする前に、不要なデータを削除する必要があります。