ETL –テスターの役割
ETLテスターは、主に、データソースの検証、データの抽出、変換ロジックの適用、およびターゲットテーブルへのデータの読み込みを担当します。
ETLテスターの主な責任は以下のとおりです。
ソースシステムのテーブルを確認する
以下の操作が含まれます-
- カウントチェック
- レコードをソースデータと調整する
- データ型チェック
- スパムデータがロードされていないことを確認します
- 重複データを削除する
- すべてのキーが所定の位置にあることを確認してください
変換ロジックを適用する
変換ロジックは、データをロードする前に適用されます。以下の操作が含まれます-
データしきい値検証チェック。たとえば、年齢値は100を超えてはなりません。
変換ロジックが適用される前後のレコード数チェック。
ステージング領域から中間テーブルへのデータフローの検証。
代理キーチェック。
データの読み込み
データはステージング領域からターゲットシステムにロードされます。以下の操作が含まれます-
中間テーブルからターゲットシステムへのカウントチェックを記録します。
キーフィールドデータが欠落していないか、Nullでないことを確認してください。
集計値と計算されたメジャーがファクトテーブルにロードされているかどうかを確認します。
ターゲットテーブルに基づいてモデリングビューを確認します。
CDCが増分負荷テーブルに適用されているかどうかを確認します。
ディメンションテーブルのデータチェックと履歴テーブルのチェック。
ロードされたファクトとディメンションテーブルに基づいて、期待される結果に従ってBIレポートを確認します。
ETLツールのテスト
ETLテスターは、ツールとテストケースもテストする必要があります。以下の操作が含まれます-
- ETLツールとその機能をテストする
- ETLデータウェアハウスシステムをテストする
- テスト計画とテストケースを作成、設計、および実行します。
- フラットファイルのデータ転送をテストします。