Estatísticas - coeficiente kappa de Cohen
Cohen's kappa coefficienté uma estatística que mede a concordância entre avaliadores para itens qualitativos (categóricos). É geralmente considerada uma medida mais robusta do que o cálculo de concordância percentual simples, uma vez que k leva em consideração a concordância que ocorre por acaso. O kappa de Cohen mede a concordância entre dois avaliadores que classificam cada um N itens em C categorias mutuamente exclusivas.
O coeficiente kappa de Cohen é definido e dado pela seguinte função:
Fórmula
$ {k = \ frac {p_0 - p_e} {1-p_e} = 1 - \ frac {1-p_o} {1-p_e}} $
Onde -
$ {p_0} $ = concordância relativa observada entre avaliadores.
$ {p_e} $ = a probabilidade hipotética de concordância casual.
$ {p_0} $ e $ {p_e} $ são calculados usando os dados observados para calcular as probabilidades de cada observador dizendo aleatoriamente cada categoria. Se os avaliadores estiverem em total acordo, então $ {k} $ = 1. Se não houver acordo entre os avaliadores além do que seria esperado ao acaso (como dado por $ {p_e} $), $ {k} $ ≤ 0 .
Exemplo
Problem Statement:
Suponha que você esteja analisando dados relacionados a um grupo de 50 pessoas se candidatando a uma bolsa. Cada proposta de financiamento foi lida por dois leitores e cada leitor disse "Sim" ou "Não" à proposta. Suponha que os dados de contagem de desacordo sejam os seguintes, onde A e B são leitores, os dados na diagonal inclinada para a esquerda mostram a contagem de concordâncias e os dados na diagonal inclinada para a direita, discordâncias:
| B | |||
|---|---|---|---|
| sim | Não | ||
| UMA | sim | 20 | 5 |
| Não | 10 | 15 | |
Calcule o coeficiente kappa de Cohen.
Solution:
Observe que houve 20 propostas que foram concedidas pelo leitor A e pelo leitor B e 15 propostas que foram rejeitadas por ambos os leitores. Assim, a concordância proporcional observada é
$ {p_0 = \ frac {20 + 15} {50} = 0,70} $
Para calcular $ {p_e} $ (a probabilidade de acordo aleatório), observamos que:
O leitor A disse "Sim" para 25 candidatos e "Não" para 25 candidatos. Assim, o leitor A disse "Sim" 50% das vezes.
O leitor B disse "Sim" para 30 candidatos e "Não" para 20 candidatos. Assim, o leitor B disse "Sim" 60% das vezes.
Usando a fórmula P (A e B) = P (A) x P (B), onde P é a probabilidade de ocorrência do evento.
A probabilidade de que ambos digam "Sim" aleatoriamente é 0,50 x 0,60 = 0,30 e a probabilidade de que ambos digam "Não" é 0,50 x 0,40 = 0,20. Assim, a probabilidade geral de concordância aleatória é $ {p_e} $ = 0,3 + 0,2 = 0,5.
Então, agora aplicando nossa fórmula para o Kappa de Cohen, obtemos:
$ {k = \ frac {p_0 - p_e} {1-p_e} = \ frac {0,70 - 0,50} {1-0,50} = 0,40} $