Xác minh & Xác thực

Một trong những vấn đề thực sự mà nhà phân tích mô phỏng phải đối mặt là xác nhận mô hình. Mô hình mô phỏng chỉ có giá trị nếu mô hình là một đại diện chính xác của hệ thống thực tế, nếu không thì nó không hợp lệ.

Xác thực và xác minh là hai bước trong bất kỳ dự án mô phỏng nào để xác nhận một mô hình.

Validationlà quá trình so sánh hai kết quả. Trong quá trình này, chúng ta cần so sánh biểu diễn của một mô hình khái niệm với hệ thống thực. Nếu so sánh là đúng, thì nó là hợp lệ, còn lại không hợp lệ.
Verificationlà quá trình so sánh hai hoặc nhiều kết quả để đảm bảo tính chính xác của nó. Trong quá trình này, chúng tôi phải so sánh việc triển khai mô hình và dữ liệu liên quan của nó với mô tả khái niệm và thông số kỹ thuật của nhà phát triển.

Kỹ thuật xác minh & xác thực

Có nhiều kỹ thuật khác nhau được sử dụng để thực hiện Xác minh & Xác thực Mô hình Mô phỏng. Sau đây là một số kỹ thuật phổ biến -

Các kỹ thuật thực hiện xác minh mô hình mô phỏng

Sau đây là các cách để thực hiện xác minh mô hình mô phỏng:

Bằng cách sử dụng các kỹ năng lập trình để viết và gỡ lỗi chương trình trong chương trình con.
Bằng cách sử dụng chính sách “Đi bộ có cấu trúc” trong đó nhiều người phải đọc chương trình.
Bằng cách truy tìm các kết quả trung gian và so sánh chúng với các kết quả quan sát được.
Bằng cách kiểm tra đầu ra của mô hình mô phỏng bằng cách sử dụng các kết hợp đầu vào khác nhau.
Bằng cách so sánh kết quả mô phỏng cuối cùng với kết quả phân tích.

Các kỹ thuật thực hiện xác thực mô hình mô phỏng

Step 1- Thiết kế một mô hình có giá trị cao. Điều này có thể đạt được bằng cách sử dụng các bước sau:

Mô hình phải được thảo luận với các chuyên gia hệ thống trong khi thiết kế.
Mô hình phải tương tác với khách hàng trong suốt quá trình.
Đầu ra phải được giám sát bởi các chuyên gia hệ thống.

Step 2- Kiểm tra mô hình ở dữ liệu giả định. Điều này có thể đạt được bằng cách áp dụng dữ liệu giả định vào mô hình và kiểm tra nó một cách định lượng. Phân tích nhạy cảm cũng có thể được thực hiện để quan sát ảnh hưởng của sự thay đổi trong kết quả khi có những thay đổi đáng kể trong dữ liệu đầu vào.

Step 3- Xác định đầu ra đại diện của mô hình Mô phỏng. Điều này có thể đạt được bằng cách sử dụng các bước sau:

Xác định khoảng cách giữa đầu ra mô phỏng với đầu ra của hệ thống thực.
So sánh có thể được thực hiện bằng Phép thử Turing. Nó trình bày dữ liệu ở định dạng hệ thống, chỉ các chuyên gia mới có thể giải thích được.
Phương pháp thống kê có thể được sử dụng để so sánh đầu ra của mô hình với đầu ra của hệ thống thực.

So sánh dữ liệu mô hình với dữ liệu thực

Sau khi phát triển mô hình, chúng ta phải thực hiện so sánh dữ liệu đầu ra của nó với dữ liệu hệ thống thực. Sau đây là hai cách tiếp cận để thực hiện so sánh này.

Xác thực hệ thống hiện có

Trong cách tiếp cận này, chúng tôi sử dụng các đầu vào trong thế giới thực của mô hình để so sánh đầu ra của nó với đầu vào trong thế giới thực của hệ thống thực. Quá trình xác nhận này rất đơn giản, tuy nhiên, nó có thể gặp một số khó khăn khi thực hiện, chẳng hạn như nếu đầu ra được so sánh với độ dài trung bình, thời gian chờ, thời gian nhàn rỗi, v.v. thì có thể được so sánh bằng cách sử dụng kiểm tra thống kê và kiểm tra giả thuyết. Một số bài kiểm tra thống kê là bài kiểm tra chi-square, bài kiểm tra Kolmogorov-Smirnov, bài kiểm tra Cramer-von Mises và bài kiểm tra Moments.

Xác thực mô hình lần đầu tiên

Hãy xem xét chúng ta phải mô tả một hệ thống được đề xuất không tồn tại ở hiện tại cũng như không tồn tại trong quá khứ. Do đó, không có sẵn dữ liệu lịch sử để so sánh hiệu suất của nó với. Do đó, chúng ta phải sử dụng một hệ thống giả thuyết dựa trên các giả định. Những gợi ý hữu ích sau đây sẽ giúp làm cho nó hiệu quả.

Subsystem Validity- Bản thân một mô hình có thể không có bất kỳ hệ thống hiện có nào để so sánh với nó, nhưng nó có thể bao gồm một hệ thống con đã biết. Mỗi hiệu lực đó có thể được kiểm tra riêng biệt.
Internal Validity - Một mô hình có mức độ phương sai bên trong cao sẽ bị loại bỏ vì một hệ thống ngẫu nhiên có phương sai cao do các quá trình bên trong của nó sẽ che giấu những thay đổi trong đầu ra do thay đổi đầu vào.
Sensitivity Analysis - Nó cung cấp thông tin về tham số nhạy cảm trong hệ thống mà chúng ta cần chú ý cao hơn.
Face Validity - Khi mô hình hoạt động trên lôgic ngược lại, thì mô hình đó sẽ bị loại bỏ ngay cả khi nó hoạt động giống như hệ thống thực.