엑셀에서 카파상관분석(Fleiss's Kappa) 구하기

카파 상관분석(Fleiss's Kappa)은 3명 이상의 평가자 간에 신뢰도를 구하는 계수를 구하는 법이다.

 

카파상관계수(Fleiss's Kappa coefficient)는 0~1에 있다.

• 0: 평가자의 평가 신뢰도의 상관관계가 없다.
• 1: 평가자의 평가 신뢰도가 100%다.

어떻게 구하나?

아래에 그림에서 어떻게 Kappa를 구하는지 보여준다.

열 축

• 합(sum):  액셀에 합을 구한다.
• square sum: (C3^2-C3)+(D3^2-D3)+(E3^2-E3)+(F3^2-F3)+(G3^2-G3)
• square sum/(14*13): (C3^2-C3)+(D3^2-D3)+(E3^2-E3)+(F3^2-F3)+(G3^2-G3)/(14*13) 
• sum: square sum/(14*13)의 합
• sum/10: sum: square sum/(14*13)/10

행 축

• sum: 각셀에 합을 구한다,
• sum/140: sum/140
• (sum/14)^2: (sum/140)^2
• sum:  (sum/140)^2 액셀의 합

Fleiss'K = (0.37802-0.2128)/(1-0.2128)

<Fleiss'K 신뢰도표>

• < 0.20 | 매우 나쁨
• . 21 –. 40 | 그저그럼
• . 41 –. 60 | 보통
• . 61 –. 80 | 좋음
• . 81 – 1 | 매우 좋음

우리가 구한 값은 0.2099이므로 각각에 평가는 "그저그럼"에 신뢰도가 있다.