Công cụ tính hệ số Kappa của Cohen

Là gì

Kappa đo hai người đo đồng thuận với nhau nhiều đến đâu, ngoài phần do may rủi đơn thuần tạo ra. Kappa = 1 là đồng thuận hoàn hảo, 0 là mức đồng thuận kỳ vọng do may rủi, và dưới 0 là kém hơn cả may rủi.

Trang này tính thế nào

κ = (p_o - p_e) / (1 - p_e) với p_o là đồng thuận quan sát (đường chéo) và p_e là đồng thuận kỳ vọng tính từ tổng các hàng và các cột.

Khi có trọng số, mỗi ô có một trọng số w (bằng 1 trên đường chéo; tuyến tính: 1 - |i - j| / (K - 1); bậc hai: 1 - ((i - j) / (K - 1))²), và p_o cùng p_e là các tổng có trọng số (Cohen, 1968). Sai số chuẩn là công thức mẫu lớn của Fleiss, Cohen và Everitt (1969), và KTC 95% là κ ± 1,96 x SE. Giới hạn trên lớn hơn 1 được hiển thị là 1.

Giả định

• Hai người đo phân loại từng đối tượng một cách độc lập vào cùng các nhóm.
• Các đối tượng độc lập với nhau.
• KTC mẫu lớn cần số đối tượng hợp lý. Với ít đối tượng, bạn coi đó là con số sơ bộ.

Lỗi hay gặp

• Đọc các nhãn của Landis và Koch (0,61–0,80 là đáng kể, 0,81–1,00 là gần như hoàn hảo) như một kiểm định. Đó là quy ước, không phải điểm cắt (Landis và Koch, 1977).
• Chỉ báo cáo Kappa. Khi một nhóm rất phổ biến, Kappa có thể thấp dù đồng thuận cao. Bạn nêu cả đồng thuận quan sát và bảng số đếm.
• Dùng trọng số cho các nhóm không có thứ tự, hoặc dùng Kappa không trọng số cho thang mà sai lệch gần phải được tính nhẹ hơn.
• Dùng Kappa cho các số đo liên tục. Bạn dùng hệ số tương quan nội lớp hoặc phân tích Bland–Altman (cả hai đều có ở trang này).