データウェアハウジング-プロセスマネージャー

プロセスマネージャは、データウェアハウスに出入りするデータの流れを維持する責任があります。プロセスマネージャには3つの異なるタイプがあります-

  • ロードマネージャー
  • 倉庫マネージャー
  • クエリマネージャー

データウェアハウスロードマネージャー

ロードマネージャは、データを抽出してデータベースにロードするために必要な操作を実行します。ロードマネージャーのサイズと複雑さは、データウェアハウスごとに特定のソリューション間で異なります。

ロードマネージャーアーキテクチャ

ロードマネージャは次の機能を実行します-

  • ソースシステムからデータを抽出します。

  • 抽出されたデータを一時データストアに高速ロードします。

  • データウェアハウスと同様の構造への単純な変換を実行します。

ソースからデータを抽出する

データは、運用データベースまたは外部情報プロバイダーから抽出されます。ゲートウェイは、データを抽出するために使用されるアプリケーションプログラムです。基盤となるDBMSでサポートされており、クライアントプログラムがSQLを生成してサーバーで実行できるようにします。ゲートウェイの例としては、Open Database Connection(ODBC)とJava Database Connection(JDBC)があります。

高速ロード

  • 総ロードウィンドウを最小化するために、データは可能な限り速い時間でウェアハウスにロードされる必要があります。

  • 変換はデータ処理の速度に影響します。

  • 変換とチェックを適用する前に、データをリレーショナルデータベースにロードする方が効果的です。

  • ゲートウェイテクノロジーは、大量のデータが含まれる場合は非効率的であるため、適切ではありません。

単純な変換

ロード中に、単純な変換を実行する必要がある場合があります。単純な変換を完了した後、複雑なチェックを行うことができます。EPOS販売トランザクションをロードしているとすると、次のチェックを実行する必要があります-

  • 倉庫内で不要なすべての列を取り除きます。
  • すべての値を必要なデータ型に変換します。

倉庫マネージャー

倉庫管理者は、倉庫管理プロセスを担当します。これは、サードパーティのシステムソフトウェア、Cプログラム、およびシェルスクリプトで構成されています。倉庫管理者のサイズと複雑さは、特定のソリューションによって異なります。

WarehouseManagerアーキテクチャ

倉庫管理者には以下が含まれます-

  • 制御プロセス
  • ストアドプロシージャまたはCwith SQL
  • バックアップ/リカバリツール
  • SQLスクリプト

倉庫管理者の機能

倉庫管理者は次の機能を実行します-

  • データを分析して、整合性と参照整合性のチェックを実行します。

  • ベースデータに対してインデックス、ビジネスビュー、パーティションビューを作成します。

  • 新しい集計を生成し、既存の集計を更新します。

  • 正規化を生成します。

  • 一時ストアのソースデータを変換して、公開されたデータウェアハウスにマージします。

  • データウェアハウスのデータをバックアップします。

  • キャプチャされた寿命の終わりに達したデータをアーカイブします。

Note − Warehouse Managerは、クエリプロファイルを分析して、インデックスと集計が適切かどうかを判断します。

クエリマネージャー

クエリマネージャは、クエリを適切なテーブルに送信する責任があります。クエリを適切なテーブルに送信することで、クエリの要求と応答のプロセスを高速化します。さらに、クエリマネージャは、ユーザーによって投稿されたクエリの実行をスケジュールする責任があります。

クエリマネージャアーキテクチャ

クエリマネージャには、次のコンポーネントが含まれています-

  • CツールまたはRDBMSを介したクエリリダイレクト
  • ストアドプロシージャ
  • クエリ管理ツール
  • CツールまたはRDBMSを介したクエリスケジューリング
  • サードパーティソフトウェアを介したクエリスケジューリング

クエリマネージャの機能

  • ユーザーが理解できる形式でデータをユーザーに提示します。

  • エンドユーザーによって投稿されたクエリの実行をスケジュールします。

  • クエリプロファイルを格納して、ウェアハウスマネージャが適切なインデックスと集計を決定できるようにします。