BiostatKit / Xét nghiệm chẩn đoán / Đường ROC và AUC
Công cụ tính đường ROC và AUC
Dán giá trị xét nghiệm và tình trạng thật (1 hoặc 0) của từng người, bạn nhận được đường ROC, diện tích dưới đường cong (AUC) kèm khoảng tin cậy 95%, điểm cắt tốt nhất theo chỉ số Youden cùng độ nhạy, độ đặc hiệu và tỷ số khả dĩ tại đó, một câu dán thẳng vào bản thảo, và mã R chạy lại từng con số.
Số liệu của bạn không rời trình duyệt. Không đăng ký, không quảng cáo.Kết quả
Xét nghiệm dạng số tách người có bệnh khỏi người không bệnh tốt đến đâu.
Câu dán vào bản thảo của bạn
Viết theo văn phong báo Việt từ chính số của bạn. Bạn đối chiếu với thiết kế nghiên cứu của mình trước khi nộp bài.
Bảng kiểm báo cáo
- STARD 2015 (nghiên cứu độ chính xác chẩn đoán): định nghĩa điểm cắt và nói rõ nó được đặt trước nghiên cứu hay chọn từ chính số liệu này (mục 12a), nêu cách ước lượng độ chính xác (mục 14), và báo cáo các ước lượng kèm độ chính xác của chúng, như KTC 95% (mục 24).
- Bạn báo cáo AUC kèm KTC 95% và nêu tên phương pháp dùng cho khoảng.
- Nói rõ bao nhiêu người có bệnh và bao nhiêu người không bệnh. Điểm cắt chọn trên cùng bộ số liệu thì lạc quan, nên kiểm lại ở một mẫu khác khi bạn có thể.
Câu cho phần Phương pháp. Đường ROC và diện tích dưới đường cong được tính bằng BiostatKit [1]. KTC 95% của AUC dùng phương pháp của DeLong và cs [2], và điểm cắt tối ưu là giá trị có chỉ số Youden cao nhất.
[1] BiostatKit. Công cụ tính đường ROC và AUC. Truy cập [ngày]. [URL]
[2] DeLong ER, DeLong DM, Clarke-Pearson DL. Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics. 1988;44(3):837-845.
Chạy lại bằng R
Mã đã điền sẵn số của bạn. Bạn dán vào R hoặc RStudio rồi so kết quả.
Công cụ này đã được đối chiếu với Python (Mann-Whitney U của SciPy và roc_curve của scikit-learn; phương sai DeLong được tính bằng hai thuật toán khác nhau và độ phủ của KTC được kiểm bằng mô phỏng) trên 2 ca chuẩn và khớp đến 4 chữ số có nghĩa. Xem nhật ký kiểm chứng.
Cách đọc đường ROC và AUC
Là gì
Đường ROC cho thấy, với mọi điểm cắt có thể có của một xét nghiệm cho ra số, độ nhạy so với 1 - độ đặc hiệu. Diện tích dưới đường cong (AUC) là xác suất một người chọn ngẫu nhiên trong số người có bệnh có giá trị xét nghiệm cao hơn một người chọn ngẫu nhiên trong số người không bệnh, các giá trị bằng nhau tính một nửa. 0,5 không hơn tung đồng xu, 1 là tách hoàn hảo.
Trang này tính thế nào
Mỗi giá trị quan sát được đều được thử làm điểm cắt. AUC là thống kê Mann-Whitney chia cho n1 x n0, bằng diện tích dưới đường cong thực nghiệm nối bằng các đoạn thẳng (Hanley và McNeil, 1982).
AUC = trung bình trên mọi cặp của [1 nếu X > Y, 1/2 nếu X = Y, 0 nếu X < Y]
Sai số chuẩn và KTC 95% theo DeLong và cs (1988): mỗi người có một giá trị vị trí, là phần của nhóm kia mà người đó vượt qua. Var(AUC) = S10 / n1 + S01 / n0, trong đó S10 và S01 là phương sai của các giá trị vị trí ở hai nhóm, và KTC là AUC ± 1,96 SE, cắt về giữa 0 và 1. Sai số chuẩn Hanley-McNeil, một xấp xỉ cũ hơn, được hiển thị để so sánh.
Điểm cắt tốt nhất có chỉ số Youden cao nhất (Youden, 1950), J = độ nhạy + độ đặc hiệu - 1. Nếu nhiều điểm cắt bằng nhau, điểm nghiêm ngặt nhất được hiển thị. Độ nhạy và độ đặc hiệu tại đó đi kèm KTC điểm số Wilson, còn tỷ số khả dĩ đi kèm KTC phương pháp log.
Giả định
- Mỗi hàng là một người khác nhau, có một giá trị xét nghiệm và một nhãn từ chuẩn vàng: 1 là có bệnh, 0 là không bệnh.
- Chuẩn vàng được áp dụng cho tất cả, và những người này giống những người sẽ dùng xét nghiệm. Chỉ toàn ca bệnh rõ và ca không bệnh rõ sẽ thổi phồng AUC.
- Các giá trị xét nghiệm có thể sắp thứ tự: một số đo, hoặc một đánh giá có nhiều mức.
Lỗi hay gặp
- Đánh giá xét nghiệm chỉ bằng AUC. AUC tóm tắt mọi điểm cắt, nhưng trong thực hành bạn chỉ dùng một điểm.
- Chọn điểm cắt rồi báo cáo độ nhạy và độ đặc hiệu của nó trên cùng bộ số liệu mà không nói rõ. Các giá trị này lạc quan.
- Đặt sai chiều. AUC dưới 0,5 thường nghĩa là thang chạy theo chiều ngược lại.
- Nêu AUC mà không có khoảng tin cậy, hoặc so hai AUC bằng mắt.
- Dùng cho xét nghiệm có/không. Với hai giá trị, đường cong chỉ có một góc; bạn báo cáo độ nhạy và độ đặc hiệu thay vào đó.
Câu hỏi thường gặp
AUC bao nhiêu là tốt?
Không có ngưỡng cố định. 0,5 nghĩa là không hơn tung đồng xu và 1 nghĩa là tách hoàn hảo. Bạn nhìn khoảng tin cậy 95% và mục đích của xét nghiệm: AUC 0,75 có thể hữu ích cho tầm soát nhưng quá thấp để khẳng định chẩn đoán.
Tôi nên chọn điểm cắt nào?
Điểm cắt Youden coi bỏ sót một ca và báo động giả là tệ như nhau. Nếu bỏ sót bệnh tốn kém hơn, bạn chọn điểm cắt có độ nhạy cao hơn trên cơ sở lâm sàng và nói rõ như vậy. Bạn báo cáo điểm cắt có được đặt trước hay không (mục 12a của STARD).
Các giá trị bằng nhau được xử lý thế nào?
Một cặp bằng nhau giữa người có bệnh và người không bệnh được tính nửa lần thắng, như trong thống kê Mann-Whitney. Thang đánh giá chỉ có vài mức cho đường cong chỉ có vài điểm.
Tôi có thể so sánh hai xét nghiệm ở đây không?
Không. So sánh hai AUC đo trên cùng những người cần kiểm định DeLong bắt cặp, mà trang này không chạy.
Số liệu của tôi có bị lưu hay gửi đi đâu không?
Không. Mọi phép tính chạy ngay trong thẻ trình duyệt của bạn. Không có gì được tải lên, và trang vẫn chạy khi mất mạng sau khi đã tải xong.
Công cụ liên quan: Công cụ tính độ nhạy và độ đặc hiệu · Hệ số Kappa của Cohen
Học tiếp
Công cụ này tính từ vài con số. Muốn hiểu vì sao các con số đáng tin và đọc chúng thế nào trong bài báo của bạn, khóa học và sách "Thống kê cơ bản" đi từng bước, bằng ví dụ y khoa.