การเปรียบเทียบตัวแยกประเภทสำหรับการคาดคะเนการจำแนกประเภทหลายป้าย
ฉันมีปัญหาการจำแนกหลายป้ายกำกับ (ค่าที่คาดการณ์อย่างเป็นหมวดหมู่: A, B, C, D) และฉันต้องการทดสอบสมมติฐานว่างว่าไม่มีความแตกต่างอย่างมีนัยสำคัญระหว่างตัวจำแนกประเภทและความแตกต่างในความแม่นยำเป็นไปโดยบังเอิญ สมมติว่าผลลัพธ์ที่แท้จริงผลลัพธ์ของลักษณนาม A และผลลัพธ์ของลักษณนาม B มีดังต่อไปนี้:
actual_outcome <- ตัวอย่าง (LETTERS [1: 4], 1000 แทนที่ = TRUE, prob = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()
ลักษณนาม <- ตัวอย่าง (LETTERS [1: 4], 1000 แทนที่ = TRUE, prob = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()
ลักษณนาม B <- ตัวอย่าง (LETTERS [1: 4], 1000 แทนที่ = TRUE, prob = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()
เป็นไปได้ไหมที่จะทำการทดสอบ Rank Correlation (rcorr.cens) จากแพ็คเกจ Hmisc ใน R พร้อมตัวแปรจัดหมวดหมู่ อีกทางเลือกหนึ่งคือใช้การทดสอบอันดับที่มีลายเซ็นของ Wilcoxon แต่ปัญหาของการทดสอบนี้คือการไม่นำค่าจริง (หรือการตอบสนองที่ถูกต้องตามกำหนด) มาพิจารณา
คำตอบ
หากคุณสนใจเพียงความแม่นยำที่แตกต่างของตัวจำแนกสองตัวซึ่งฉันจะเรียกว่า P และ Q เนื่องจากหมวดหมู่ของคุณมี A, B, C, D อยู่แล้วให้พิจารณาสิ่งนี้
กรณีใด ๆ ที่ P และ Q ให้ผลลัพธ์เดียวกันนั้นไม่มีข้อมูลสำหรับความแม่นยำที่แตกต่างแม้ว่าจะเห็นได้ชัดว่าเกี่ยวข้องกับความแม่นยำในรูปแบบสัมบูรณ์ จึงสามารถลบออกได้ คุณสามารถลบการสังเกตใด ๆ โดยที่ P และ Q ไม่ได้ให้คำทำนายที่ถูกต้องแม้ว่าจะให้ค่าต่างกันก็ตามเนื่องจากไม่ได้ให้ข้อมูลสำหรับความแม่นยำที่แตกต่างกัน ตอนนี้คุณมีการสังเกตเพียงสองประเภทที่เหลือคือ P ถูกและ Q ผิดและสิ่งที่ Q ถูกและ P ผิด ภายใต้โมฆะพวกเขาควรจะเป็นไปได้อย่างเท่าเทียมกันและคุณสามารถทดสอบได้ด้วยการทดสอบทวินาม
แน่นอนว่าถ้ามีการสั่ง A, B, C และ D ในความเป็นจริงแล้วจะไม่ได้ผล แต่ในกรณีนั้นคุณมีปัญหาอื่น ๆ โดยสิ้นเชิง