unit-testing model Machine Learning

Question

Saya telah diminta untuk menguji unit model pembelajaran mesin saya (bukan kode yang membuat model). Karena kita tidak benar-benar tahu prediksi model apa yang dibuat, bagaimana cara melakukan pengujian unit untuk memeriksa prediksi model? Bagaimana ini dilakukan?

EDIT 1:

Model pembelajaran mesin yang saya miliki dilatih tentang data tabel pasien. mari kita ambil contoh prediksi kanker (saya tidak diizinkan untuk mengungkapkan yang sebenarnya, tetapi contoh ini sangat dekat). Dibutuhkan banyak pembacaan dari berbagai tes sebagai input dan output seberapa dekat atau seberapa berisiko seorang pasien terkena kanker.

EDIT 2:

Apakah ada cara, seperti menguji rentang nilai untuk setiap set input (atau) input adversarial (input yang memastikan model akan gagal) atau kasus input yang ekstrim. Apa praktik terbaik untuk ini?

Answer 1

Dalam kasus di atas, Anda dapat mengumpulkan data beranotasi (yang tidak terlihat oleh model selama pelatihan) dan memvalidasi prediksi yang dibuat oleh model.

Dan cara lainnya adalah jika Anda ahli domain atau memiliki pengetahuan yang cukup tentang data, Anda dapat mengubah nilai input dan menguji output yang diprediksi dengan output yang Anda harapkan.