ETLテスト–データ品質

ETLテスト中にデータ品質をチェックするには、ターゲットシステムにロードされているデータに対して品質チェックを実行する必要があります。以下のテストが含まれています-

番号チェック

数値の形式は、ターゲットシステム全体で同じである必要があります。たとえば、ソースシステムでは、列に番号を付ける形式は次のとおりです。x.30、ただし、ターゲットが 30、その後、プレフィックスなしでロードする必要があります x. ターゲット列番号。

日付形式は、ソースシステムとターゲットシステムの両方で一貫している必要があります。たとえば、すべてのレコードで同じである必要があります。標準形式はyyyy-mm-ddです。

精度値は、ターゲットテーブルに期待どおりに表示されるはずです。たとえば、ソーステーブルでは、値は15.2323422ですが、ターゲットテーブルでは、15.23または15のラウンドとして表示されます。

これには、ビジネス要件に従ってデータをチェックすることが含まれます。特定の基準を満たさないレコードは除外する必要があります。

Example − date_id> = 2015およびAccount_Id！= '001'のレコードのみをターゲットテーブルにロードする必要があります。

一部の列は、そのフィールドの要件と可能な値に従ってNullを持つ必要があります。

Example −アクティブステータス列が「T」または「死亡」でない限り、終了日列はNullを表示する必要があります。

From_Dateのような一般的なチェックはTo_Dateを超えてはなりません。