検証と妥当性確認
シミュレーションアナリストが直面する実際の問題の1つは、モデルを検証することです。シミュレーションモデルは、モデルが実際のシステムを正確に表現している場合にのみ有効です。それ以外の場合は無効です。
妥当性確認と妥当性確認は、モデルを検証するためのシミュレーションプロジェクトの2つのステップです。
Validation2つの結果を比較するプロセスです。このプロセスでは、概念モデルの表現を実際のシステムと比較する必要があります。比較が真の場合は有効、それ以外の場合は無効です。
Verification2つ以上の結果を比較して、その精度を確認するプロセスです。このプロセスでは、モデルの実装とそれに関連するデータを、開発者の概念的な説明と仕様と比較する必要があります。
検証および妥当性確認の手法
シミュレーションモデルの検証と妥当性確認を実行するために使用されるさまざまな手法があります。以下は一般的なテクニックのいくつかです-
シミュレーションモデルの検証を実行するための手法
シミュレーションモデルの検証を実行する方法は次のとおりです-
プログラミングスキルを使用して、サブプログラムでプログラムを作成およびデバッグします。
複数の人がプログラムを読むという「構造化ウォークスルー」ポリシーを使用する。
中間結果を追跡し、それらを観察された結果と比較することによって。
さまざまな入力の組み合わせを使用してシミュレーションモデルの出力を確認する。
最終的なシミュレーション結果を分析結果と比較することによって。
シミュレーションモデルの検証を実行するための手法
Step 1−妥当性の高いモデルを設計します。これは、次の手順を使用して実現できます-
- モデルは、設計時にシステムの専門家と話し合う必要があります。
- モデルは、プロセス全体を通じてクライアントと対話する必要があります。
- 出力は、システムの専門家が監督する必要があります。
Step 2−仮定データでモデルをテストします。これは、仮定データをモデルに適用し、それを定量的にテストすることで実現できます。感度分析を実行して、入力データに大幅な変更が加えられた場合の結果の変更の影響を観察することもできます。
Step 3−シミュレーションモデルの代表的な出力を決定します。これは、次の手順を使用して実現できます-
シミュレーション出力が実際のシステム出力にどれだけ近いかを判断します。
比較は、チューリングテストを使用して実行できます。データはシステム形式で表示されますが、専門家だけが説明できます。
統計的手法を使用して、モデルの出力を実際のシステムの出力と比較できます。
モデルデータと実際のデータの比較
モデル開発後、出力データと実際のシステムデータを比較する必要があります。以下は、この比較を実行するための2つのアプローチです。
既存のシステムの検証
このアプローチでは、モデルの実際の入力を使用して、その出力を実際のシステムの実際の入力の出力と比較します。この検証プロセスは簡単ですが、出力を平均の長さ、待機時間、アイドル時間などと比較する場合など、実行時にいくつかの問題が発生する可能性があります。統計的検定と仮説検定を使用して比較できます。統計的検定には、カイ2乗検定、コルモゴロフ-スミルノフ検定、クラマー-フォンミーゼス検定、およびモーメント検定があります。
初回モデルの検証
現在存在しない、または過去に存在しなかった提案されたシステムを説明する必要があると考えてください。したがって、そのパフォーマンスを比較するために利用できる履歴データはありません。したがって、仮定に基づいた架空のシステムを使用する必要があります。以下の有用な指針は、それを効率的にするのに役立ちます。
Subsystem Validity−モデル自体には、比較する既存のシステムがない場合がありますが、既知のサブシステムで構成されている場合があります。その妥当性のそれぞれは、個別にテストできます。
Internal Validity −内部分散の程度が高いモデルは、内部プロセスのために分散が大きい確率システムが入力の変更による出力の変更を非表示にするため、拒否されます。
Sensitivity Analysis −より注意を払う必要のあるシステムの機密パラメータに関する情報を提供します。
Face Validity −モデルが反対のロジックで実行される場合、実際のシステムのように動作する場合でも、モデルは拒否されます。