データウェアハウジング-プロセスマネージャー
プロセスマネージャは、データウェアハウスに出入りするデータの流れを維持する責任があります。プロセスマネージャには3つの異なるタイプがあります-
- ロードマネージャー
- 倉庫マネージャー
- クエリマネージャー
データウェアハウスロードマネージャー
ロードマネージャは、データを抽出してデータベースにロードするために必要な操作を実行します。ロードマネージャーのサイズと複雑さは、データウェアハウスごとに特定のソリューション間で異なります。
ロードマネージャーアーキテクチャ
ロードマネージャは次の機能を実行します-
ソースシステムからデータを抽出します。
抽出されたデータを一時データストアに高速ロードします。
データウェアハウスと同様の構造への単純な変換を実行します。
ソースからデータを抽出する
データは、運用データベースまたは外部情報プロバイダーから抽出されます。ゲートウェイは、データを抽出するために使用されるアプリケーションプログラムです。基盤となるDBMSでサポートされており、クライアントプログラムがSQLを生成してサーバーで実行できるようにします。ゲートウェイの例としては、Open Database Connection（ODBC）とJava Database Connection（JDBC）があります。
高速ロード
総ロードウィンドウを最小化するために、データは可能な限り速い時間でウェアハウスにロードされる必要があります。
変換はデータ処理の速度に影響します。
変換とチェックを適用する前に、データをリレーショナルデータベースにロードする方が効果的です。
ゲートウェイテクノロジーは、大量のデータが含まれる場合は非効率的であるため、適切ではありません。
単純な変換
ロード中に、単純な変換を実行する必要がある場合があります。単純な変換を完了した後、複雑なチェックを行うことができます。EPOS販売トランザクションをロードしているとすると、次のチェックを実行する必要があります-
- 倉庫内で不要なすべての列を取り除きます。
- すべての値を必要なデータ型に変換します。
倉庫マネージャー
倉庫管理者は、倉庫管理プロセスを担当します。これは、サードパーティのシステムソフトウェア、Cプログラム、およびシェルスクリプトで構成されています。倉庫管理者のサイズと複雑さは、特定のソリューションによって異なります。
WarehouseManagerアーキテクチャ
倉庫管理者には以下が含まれます-
- 制御プロセス
- ストアドプロシージャまたはCwith SQL
- バックアップ/リカバリツール
- SQLスクリプト
倉庫管理者の機能
倉庫管理者は次の機能を実行します-
データを分析して、整合性と参照整合性のチェックを実行します。
ベースデータに対してインデックス、ビジネスビュー、パーティションビューを作成します。
新しい集計を生成し、既存の集計を更新します。
正規化を生成します。
一時ストアのソースデータを変換して、公開されたデータウェアハウスにマージします。
データウェアハウスのデータをバックアップします。
キャプチャされた寿命の終わりに達したデータをアーカイブします。
Note − Warehouse Managerは、クエリプロファイルを分析して、インデックスと集計が適切かどうかを判断します。
クエリマネージャー
クエリマネージャは、クエリを適切なテーブルに送信する責任があります。クエリを適切なテーブルに送信することで、クエリの要求と応答のプロセスを高速化します。さらに、クエリマネージャは、ユーザーによって投稿されたクエリの実行をスケジュールする責任があります。
クエリマネージャアーキテクチャ
クエリマネージャには、次のコンポーネントが含まれています-
- CツールまたはRDBMSを介したクエリリダイレクト
- ストアドプロシージャ
- クエリ管理ツール
- CツールまたはRDBMSを介したクエリスケジューリング
- サードパーティソフトウェアを介したクエリスケジューリング
クエリマネージャの機能
ユーザーが理解できる形式でデータをユーザーに提示します。
エンドユーザーによって投稿されたクエリの実行をスケジュールします。
クエリプロファイルを格納して、ウェアハウスマネージャが適切なインデックスと集計を決定できるようにします。