Statistik - Cohens Kappa-Koeffizient

Cohen's kappa coefficientist eine Statistik, die die Interrater-Übereinstimmung für qualitative (kategoriale) Elemente misst. Es wird allgemein angenommen, dass es ein robusteres Maß als die einfache Berechnung der prozentualen Übereinstimmung ist, da k die zufällig auftretende Übereinstimmung berücksichtigt. Cohens Kappa misst die Übereinstimmung zwischen zwei Bewertern, die jeweils N Elemente in C sich gegenseitig ausschließende Kategorien einteilen.

Cohens Kappa-Koeffizient wird durch die folgende Funktion definiert und angegeben:

Formel

Wo -

• $ {p_0} $ = relative beobachtete Übereinstimmung zwischen den Bewertern.

• $ {p_e} $ = die hypothetische Wahrscheinlichkeit einer zufälligen Übereinstimmung.

$ {p_0} $ und $ {p_e} $ werden unter Verwendung der beobachteten Daten berechnet, um die Wahrscheinlichkeiten jedes Beobachters zu berechnen, der zufällig jede Kategorie sagt. Wenn die Bewerter vollständig übereinstimmen, ist $ {k} $ = 1. Wenn zwischen den Bewertern keine andere Übereinstimmung besteht als die, die zufällig erwartet wird (wie durch $ {p_e} $ angegeben), ist $ {k} $ ≤ 0 .

Beispiel

Problem Statement:

Angenommen, Sie haben Daten analysiert, die sich auf eine Gruppe von 50 Personen beziehen, die einen Zuschuss beantragen. Jeder Zuschussvorschlag wurde von zwei Lesern gelesen und jeder Leser sagte entweder "Ja" oder "Nein" zu dem Vorschlag. Angenommen, die Daten zur Anzahl der Meinungsverschiedenheiten lauten wie folgt: A und B sind Leser. Die Daten auf der diagonalen Neigung links zeigen die Anzahl der Übereinstimmungen und die Daten auf der Diagonale rechts die Abweichungen:

		B.
		Ja	Nein
EIN	Ja	20	5
	Nein	10	15

Berechnen Sie den Cohen-Kappa-Koeffizienten.

Solution:

Beachten Sie, dass es 20 Vorschläge gab, die sowohl von Leser A als auch von Leser B bewilligt wurden, und 15 Vorschläge, die von beiden Lesern abgelehnt wurden. Somit ist die beobachtete verhältnismäßige Übereinstimmung

Um $ {p_e} $ (die Wahrscheinlichkeit einer zufälligen Übereinstimmung) zu berechnen, beachten wir Folgendes:

• Leser A sagte zu 25 Bewerbern "Ja" und zu 25 Bewerbern "Nein". So sagte Leser A 50% der Zeit "Ja".

• Leser B sagte "Ja" zu 30 Bewerbern und "Nein" zu 20 Bewerbern. So sagte Leser B 60% der Zeit "Ja".

Unter Verwendung der Formel P (A und B) = P (A) x P (B), wobei P die Wahrscheinlichkeit des Auftretens eines Ereignisses ist.

Die Wahrscheinlichkeit, dass beide zufällig "Ja" sagen würden, beträgt 0,50 x 0,60 = 0,30, und die Wahrscheinlichkeit, dass beide "Nein" sagen würden, beträgt 0,50 x 0,40 = 0,20. Somit beträgt die Gesamtwahrscheinlichkeit einer zufälligen Übereinstimmung $ {p_e} $ = 0,3 + 0,2 = 0,5.

Wenn wir nun unsere Formel für Cohens Kappa anwenden, erhalten wir: