สถิติ - ค่าสัมประสิทธิ์กัปปะของโคเฮน

Cohen's kappa coefficientเป็นสถิติที่ใช้วัดข้อตกลงระหว่างผู้ประเมินสำหรับรายการเชิงคุณภาพ (หมวดหมู่) โดยทั่วไปมักคิดว่าเป็นมาตรการที่มีประสิทธิภาพมากกว่าการคำนวณข้อตกลงเปอร์เซ็นต์อย่างง่ายเนื่องจาก k คำนึงถึงข้อตกลงที่เกิดขึ้นโดยบังเอิญ คัปปาของโคเฮนจะวัดข้อตกลงระหว่างผู้ประเมินสองคนซึ่งแต่ละคนจำแนกรายการ N เป็นหมวดหมู่ที่ไม่ซ้ำกัน

ค่าสัมประสิทธิ์คัปปาของโคเฮนถูกกำหนดและกำหนดโดยฟังก์ชันต่อไปนี้:

สูตร

$ {k = \ frac {p_0 - p_e} {1-p_e} = 1 - \ frac {1-p_o} {1-p_e}} $

ที่ไหน -

$ {p_0} $ = ข้อตกลงสัมพัทธ์ที่สังเกตได้ระหว่างผู้ประเมิน
$ {p_e} $ = ความน่าจะเป็นโดยสมมุติของข้อตกลงโอกาส

$ {p_0} $ และ $ {p_e} $ คำนวณโดยใช้ข้อมูลที่สังเกตได้เพื่อคำนวณความน่าจะเป็นของผู้สังเกตการณ์แต่ละคนโดยสุ่มบอกแต่ละหมวดหมู่ หากผู้ให้คะแนนเป็นไปตามข้อตกลงที่สมบูรณ์ $ {k} $ = 1 หากไม่มีข้อตกลงระหว่างผู้ให้คะแนนนอกเหนือจากสิ่งที่คาดว่าจะได้รับโดยบังเอิญ (ตามที่ $ {p_e} $), $ {k} $ ≤ 0 .

ตัวอย่าง

Problem Statement:

สมมติว่าคุณกำลังวิเคราะห์ข้อมูลที่เกี่ยวข้องกับกลุ่มคน 50 คนที่สมัครขอทุน ผู้อ่านสองคนอ่านข้อเสนอทุนแต่ละข้อและผู้อ่านแต่ละคนก็ตอบว่า "ใช่" หรือ "ไม่ใช่" สำหรับข้อเสนอ สมมติว่าข้อมูลการนับความไม่ลงรอยกันมีดังต่อไปนี้โดยที่ A และ B เป็นผู้อ่านข้อมูลบนเส้นทแยงมุมด้านซ้ายแสดงจำนวนข้อตกลงและข้อมูลในแนวทแยงมุมเอียงขวาความไม่เห็นด้วย:

		ข
		ใช่	ไม่
ก	ใช่	20	5
ก	ไม่	10	15

คำนวณค่าสัมประสิทธิ์กัปปะของโคเฮน

Solution:

โปรดทราบว่ามีข้อเสนอ 20 ข้อที่ได้รับจากทั้งผู้อ่าน A และผู้อ่าน B และข้อเสนอ 15 ข้อที่ผู้อ่านทั้งสองปฏิเสธ ดังนั้นข้อตกลงตามสัดส่วนที่สังเกตได้คือ

$ {p_0 = \ frac {20 + 15} {50} = 0.70} $

ในการคำนวณ $ {p_e} $ (ความน่าจะเป็นของข้อตกลงแบบสุ่ม) เราสังเกตว่า:

ผู้อ่าน A กล่าวว่า "ใช่" กับผู้สมัคร 25 คนและ "ไม่ใช่" สำหรับผู้สมัคร 25 คน ดังนั้นผู้อ่าน A จึงตอบว่า "ใช่" 50% ของเวลา
ผู้อ่าน B กล่าวว่า "ใช่" กับผู้สมัคร 30 คนและ "ไม่ใช่" ถึงผู้สมัคร 20 คน ดังนั้นผู้อ่าน B จึงตอบว่า "ใช่" 60% ของเวลา

ใช้สูตร P (A และ B) = P (A) x P (B) โดยที่ P คือความน่าจะเป็นของเหตุการณ์ที่เกิดขึ้น

ความน่าจะเป็นที่ทั้งคู่จะตอบว่า "ใช่" แบบสุ่มคือ 0.50 x 0.60 = 0.30 และความน่าจะเป็นที่ทั้งคู่จะตอบว่า "ไม่" คือ 0.50 x 0.40 = 0.20 ดังนั้นความน่าจะเป็นโดยรวมของข้อตกลงแบบสุ่มคือ $ {p_e} $ = 0.3 + 0.2 = 0.5

ดังนั้นตอนนี้ใช้สูตรของเราสำหรับ Cohen's Kappa เราจะได้รับ:

$ {k = \ frac {p_0 - p_e} {1-p_e} = \ frac {0.70 - 0.50} {1-0.50} = 0.40} $