NUnit-report tidak menandai build sebagai error

Question

Dalam gaya bebas saya, pekerjaan Jenkins, saya menjalankan pengujian unit melalui "mengeksekusi perintah batch Windows" -langkah:

call "C:\Program Files (x86)\NUnit.org\nunit-console\nunit3-console.exe" MyAssembly.dll
call SomeOtherProcess

Karena ada pengujian yang gagal, saya berharap build juga gagal. Namun langkah uji-penerbitan untuk NUnit menandai build sebagai tidak stabil:

Build step 'Publish NUnit test result report' changed build result to UNSTABLE

Jika saya akan menghapus SomeOtherProcess-line dari batch-script saya, semuanya bekerja dengan baik dan kesalahan yang dihasilkan oleh nunit dilaporkan sebagai kesalahan dalam proses pembuatan.

Saya membaca masalah serupa untuk JUnit-test-reporter ( Jenkins JUnit Plugin melaporkan build sebagai tidak stabil bahkan jika pengujian gagal ). Jelas bahwa reporter bahkan tidak mendukung kegagalan build. Saya tidak yakin apakah hal yang sama berlaku untuk NUnit-reporter juga.

Answer 1

Plugin menyetel hasilnya menjadi UNSTABLEkarena opsi, secara default, FailTestsFailBuild disetel ke false.

Anda dapat mengontrol penerapan perilaku NUnit, pengaturan failedTestsFailBuildke true. Saat Anda menelepon dari pipeline dengan skrip atau deklaratif.

Masalahnya adalah GUI tidak mencerminkan semua opsi yang tersedia untuk plugin ini. Ada PR yang dibuka untuk memasukkan opsi ini ke dalam pipa gaya bebas, Anda dapat memilih atau menanyakan status PR ini.

Untuk mengubah ke error, Anda perlu menangkap hasil yang tidak stabil dan menyetelnya ke kegagalan menggunakan plugin atau pipeline dengan skrip atau deklaratif.