BiostatKit / Đồng thuận / Tương quan nội lớp
Công cụ tính hệ số tương quan nội lớp (ICC)
Dán các đánh giá (mỗi hàng một đối tượng, mỗi cột một người đo), bạn nhận được hệ số tương quan nội lớp kèm khoảng tin cậy 95%, cả sáu dạng trong một bảng, một câu dán thẳng vào bản thảo, và mã R chạy lại từng con số.
Số liệu của bạn không rời trình duyệt. Không đăng ký, không quảng cáo.Kết quả
Độ tin cậy của các số đo do nhiều người đo thực hiện.
Câu dán vào bản thảo của bạn
Viết theo văn phong báo Việt từ chính số của bạn. Bạn đối chiếu với thiết kế nghiên cứu của mình trước khi nộp bài.
Bảng kiểm báo cáo
- GRRAS 2011 (nghiên cứu độ tin cậy và đồng thuận): mô tả các đối tượng, những người đo và cách chọn họ, các người đo có làm việc độc lập hay không, và báo cáo ICC kèm khoảng tin cậy.
- Nêu tên dạng ICC bạn đã dùng: mô hình (một chiều, hai chiều ngẫu nhiên, hai chiều hỗn hợp), loại (một người đo hay trung bình các người đo) và định nghĩa (đồng thuận tuyệt đối hay nhất quán). Koo và Li (2016) yêu cầu nêu đủ cả ba.
- Bạn đánh giá độ tin cậy qua khoảng tin cậy, không chỉ qua ước lượng điểm.
Câu cho phần Phương pháp. Độ tin cậy được tính bằng BiostatKit [1] dưới dạng hệ số tương quan nội lớp [2], theo dạng nêu ở phần kết quả, với KTC 95% lấy từ phân phối F.
[1] BiostatKit. Công cụ tính hệ số tương quan nội lớp (ICC). Truy cập [ngày]. [URL]
[2] Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull. 1979;86(2):420-428.
Chạy lại bằng R
Mã đã điền sẵn số của bạn. Bạn dán vào R hoặc RStudio rồi so kết quả.
Công cụ này đã được đối chiếu với Python (các trung bình bình phương của statsmodels và phân phối F của SciPy; sáu ước lượng điểm cũng bằng ví dụ minh họa trong Shrout và Fleiss) trên 2 ca chuẩn và khớp đến 4 chữ số có nghĩa. Xem nhật ký kiểm chứng.
Cách đọc hệ số tương quan nội lớp
Là gì
ICC là phần biến thiên toàn bộ của các đánh giá đến từ khác biệt thật giữa các đối tượng, thay vì đến từ những người đo. 1 nghĩa là các người đo cho cùng giá trị, 0 nghĩa là các đánh giá không cho bạn biết gì về các đối tượng.
Trang này tính thế nào
Công cụ tách biến thiên thành các trung bình bình phương: MSB giữa các đối tượng, MSJ giữa các người đo, MSE phần dư (hai chiều) và MSW trong từng đối tượng (một chiều). Với n đối tượng và k người đo:
ICC(1,1) = (MSB - MSW) / (MSB + (k - 1) MSW)
ICC(2,1) = (MSB - MSE) / (MSB + (k - 1) MSE + k (MSJ - MSE) / n)
ICC(3,1) = (MSB - MSE) / (MSB + (k - 1) MSE)
Các dạng trung bình của những người đo là ICC(1,k) = (MSB - MSW) / MSB, ICC(2,k) = (MSB - MSE) / (MSB + (MSJ - MSE) / n) và ICC(3,k) = (MSB - MSE) / MSB. KTC 95% dùng phân phối F (Shrout và Fleiss, 1979; với dạng hai chiều ngẫu nhiên là McGraw và Wong, 1996, với bậc tự do Satterthwaite).
Chọn dạng nào
Một chiều: những người đo khác nhau cho những đối tượng khác nhau. Hai chiều ngẫu nhiên: các người đo đại diện cho bất kỳ người đo nào, nên đồng thuận tuyệt đối tính một người luôn chấm cao là một bất đồng. Hai chiều hỗn hợp: chỉ những người đo này quan trọng và độ lệch hằng số giữa các người đo bị bỏ qua (nhất quán). Bạn chọn đơn vị một người đo nếu điểm của một người đo sẽ được dùng sau này, chọn đơn vị trung bình nếu điểm trung bình sẽ được dùng.
Giả định
- Các đánh giá là số trên thang khoảng, và mọi người đo đều đánh giá mọi đối tượng (không thiếu giá trị).
- Các đối tượng độc lập với nhau, và các người đo làm việc độc lập với nhau.
- Sai số xấp xỉ chuẩn, với độ phân tán tương tự giữa các đối tượng và các người đo.
- Các đối tượng phủ khoảng giá trị bạn sẽ gặp trong thực hành. Khoảng giá trị hẹp làm ICC thấp xuống.
Lỗi hay gặp
- Dùng hệ số tương quan Pearson để đánh giá đồng thuận. Hệ số này bỏ qua độ lệch hằng số giữa các người đo.
- Báo cáo "ICC = 0,8" mà không nêu dạng, nên không ai biết đó là dạng nào trong sáu dạng.
- Đánh giá theo ước lượng điểm. Koo và Li (2016) đọc các dải (dưới 0,50 là kém, 0,50–0,75 là trung bình, 0,75–0,90 là tốt, trên 0,90 là xuất sắc) từ khoảng tin cậy.
- Dùng ICC cho các đánh giá có/không hoặc theo nhóm. Bạn dùng hệ số Kappa của Cohen.
- Quá ít đối tượng hoặc người đo. Koo và Li gợi ý ít nhất 30 đối tượng đa dạng và 3 người đo.
Câu hỏi thường gặp
Tôi nên dùng ICC nào?
Nếu những người đo khác nhau đánh giá những đối tượng khác nhau thì dùng một chiều. Nếu cùng những người đo đánh giá tất cả và bạn muốn kết quả đúng cả với những người đo khác, dùng hai chiều ngẫu nhiên với đồng thuận tuyệt đối. Nếu chỉ những người đo này quan trọng, dùng hai chiều hỗn hợp với nhất quán. Sau đó chọn một người đo hay trung bình các người đo tùy cách điểm số sẽ được dùng.
ICC bao nhiêu là tốt?
Koo và Li gợi ý dưới 0,50 là kém, 0,50 đến 0,75 là trung bình, 0,75 đến 0,90 là tốt và trên 0,90 là xuất sắc, đọc từ khoảng tin cậy 95%. Bạn đánh giá giới hạn dưới theo điều lĩnh vực của mình cần.
Vì sao khoảng của tôi rộng như vậy, thậm chí dưới 0?
Với ít đối tượng, khoảng dựa trên F rất rộng, và giới hạn dưới nhỏ hơn 0 nghĩa là số liệu không loại trừ được mức đồng thuận không hơn may rủi. Thêm đối tượng sẽ làm khoảng hẹp lại.
ICC, Kappa hay Bland–Altman?
Bạn dùng ICC cho các đánh giá dạng số của hai người đo trở lên, hệ số Kappa của Cohen cho các nhóm, và phân tích Bland–Altman để cho thấy hai phương pháp đo có thể lệch nhau bao nhiêu theo đơn vị gốc.
Số liệu của tôi có bị lưu hay gửi đi đâu không?
Không. Mọi phép tính chạy ngay trong thẻ trình duyệt của bạn. Không có gì được tải lên, và trang vẫn chạy khi mất mạng sau khi đã tải xong.
Công cụ liên quan: Hệ số Kappa của Cohen · Phân tích Bland–Altman
Học tiếp
Công cụ này tính từ vài con số. Muốn hiểu vì sao các con số đáng tin và đọc chúng thế nào trong bài báo của bạn, khóa học và sách "Thống kê cơ bản" đi từng bước, bằng ví dụ y khoa.