Thống kê - Hệ số kappa của Cohen

Cohen's kappa coefficientlà một thống kê đo lường sự thỏa thuận giữa các bên cho các mặt hàng định tính (phân loại). Nó thường được cho là một biện pháp mạnh mẽ hơn so với tính toán thỏa thuận phần trăm đơn giản, vì k tính đến thỏa thuận xảy ra tình cờ. Cohen's kappa đo lường sự thỏa thuận giữa hai người xếp hạng, mỗi người phân loại N mục thành C loại loại trừ lẫn nhau.

Hệ số kappa của Cohen được xác định và cho bởi hàm sau:

Công thức

Ở đâu -

• $ {p_0} $ = thỏa thuận tương đối quan sát được giữa những người xếp hạng.

• $ {p_e} $ = xác suất giả định của thỏa thuận may rủi.

$ {p_0} $ và $ {p_e} $ được tính bằng cách sử dụng dữ liệu quan sát để tính toán xác suất của mỗi người quan sát nói ngẫu nhiên từng danh mục. Nếu những người xếp hạng hoàn toàn đồng ý thì $ {k} $ = 1. Nếu không có thỏa thuận nào giữa những người xếp hạng ngoài những gì tình cờ mong đợi (như $ {p_e} $ đưa ra), thì $ {k} $ ≤ 0 .

Thí dụ

Problem Statement:

Giả sử rằng bạn đang phân tích dữ liệu liên quan đến một nhóm 50 người nộp đơn xin trợ cấp. Mỗi đề xuất tài trợ được đọc bởi hai độc giả và mỗi độc giả nói "Có" hoặc "Không" với đề xuất đó. Giả sử dữ liệu về số lượng bất đồng như sau, trong đó A và B là người đọc, dữ liệu ở phần xiên chéo bên trái hiển thị số lượng các thỏa thuận và dữ liệu ở phần nghiêng chéo bên phải, các điểm không đồng ý:

		B
		Đúng	Không
A	Đúng	20	5
	Không	10	15

Tính hệ số kappa của Cohen.

Solution:

Lưu ý rằng có 20 đề xuất được chấp thuận bởi cả độc giả A và độc giả B và 15 đề xuất bị cả hai độc giả từ chối. Do đó, thỏa thuận tương ứng được quan sát là

Để tính $ {p_e} $ (xác suất của thỏa thuận ngẫu nhiên), chúng tôi lưu ý rằng:

• Độc giả A nói "Có" với 25 người nộp đơn và "Không" với 25 người nộp đơn. Như vậy độc giả A nói "Có" 50% thời gian.

• Độc giả B nói "Có" với 30 người nộp đơn và "Không" với 20 người nộp đơn. Như vậy độc giả B nói "Có" 60% thời gian.

Sử dụng công thức P (A và B) = P (A) x P (B) trong đó P là xác suất xảy ra sự kiện.

Xác suất để cả hai người đều nói "Có" một cách ngẫu nhiên là 0,50 x 0,60 = 0,30 và xác suất để cả hai người đều nói "Không" là 0,50 x 0,40 = 0,20. Như vậy xác suất tổng thể của thỏa thuận ngẫu nhiên là $ {p_e} $ = 0,3 + 0,2 = 0,5.

Vì vậy, bây giờ áp dụng công thức của chúng tôi cho Cohen's Kappa, chúng tôi nhận được: