一、ROC曲線(xiàn)簡(jiǎn)介 1.什么是ROC曲線(xiàn) ROC曲線(xiàn)即受試者工作特征曲線(xiàn)(receiver operator characteristic curve,ROC),又稱(chēng)為感受性曲線(xiàn)(sensitivity curve),是反映靈敏度和特異度連續變量的綜合指標,通常被用來(lái)直觀(guān)地確定某一種診斷方法(診斷試劑、診斷設備)的最優(yōu)診斷界值,即取靈敏度和特異度之和最大的截點(diǎn),盡量靠近曲線(xiàn)左上方的點(diǎn)。也可以用來(lái)對同一種疾病兩種以上的診斷方法的臨床應用價(jià)值進(jìn)行粗略的比較評價(jià)。 傳統的ROC曲線(xiàn)解決的是“是”或“否”的問(wèn)題,可以根據醫師對讀片結果類(lèi)型的不同,分成二分類(lèi)法和多等級法?紤]到在影像學(xué)中的應用,除了判斷是不是病灶,還要考慮病灶所在的位置,以及是單發(fā)病灶還是多發(fā)病灶,需要對病灶進(jìn)行定性、定位、定量診斷,因此衍生出LROC(location-response operating characteristic)、FROC(free-response operating characteristic)、AFROC(alternative FROC)。 2.ROC曲線(xiàn)的繪制 由于醫師自身的學(xué)習背景、工作經(jīng)驗等多方面存在差異,對影像學(xué)設備成像的讀片也有自己的尺度,即不同的醫師會(huì )有不同的診斷界值。根據不同的診斷界值對多幅影像做出診斷,并與金標準相對照,可分別計算出靈敏度和特異度。根據診斷界值從低到高取若干個(gè)截斷點(diǎn)(至少5組),逐個(gè)計算相應的靈敏度(真陽(yáng)性率)、特異度(真陰性率),以靈敏度為縱坐標,1-特異度(假陽(yáng)性率)為橫坐標,標出各工作點(diǎn),然后連接各點(diǎn)繪制而成的曲線(xiàn)。一般情況下,ROC曲線(xiàn)均處于(0,0)和(1,1)連線(xiàn)的上方,選取的工作點(diǎn)越多,曲線(xiàn)越平滑。 3.ROC曲線(xiàn)的應用 ROC曲線(xiàn)主要有三方面應用。首先,ROC曲線(xiàn)可以直觀(guān)地反映診斷方法的靈敏度和特異度;其次,也是最常用的,通過(guò)計算ROC曲線(xiàn)下面積(area under roc curve,AUC),對多個(gè)器械的臨床應用價(jià)值進(jìn)行比較,是一個(gè)客觀(guān)直觀(guān)的指標。如下圖的B-E四種影像設備的ROC曲線(xiàn),E的AUC最大,臨床應用價(jià)值最高。ROC曲線(xiàn)下面積的計算通?梢圆捎秒p正態(tài)參數法和非參數法進(jìn)行計算,這兩種方法計算的曲線(xiàn)下面積及其方差十分相近,所以在實(shí)際應用中不必過(guò)分要求數據符合正態(tài)分布。最后,是曲線(xiàn)下部分面積,當兩個(gè)器械的ROC曲線(xiàn)并不像圖中那樣,而是出現交叉時(shí),由于曲線(xiàn)下面積不能反映某一范圍內的靈敏度與特異度優(yōu)劣,甚至可能會(huì )得出相反的結論,所以利用曲線(xiàn)下部分面積進(jìn)行比較,才能反映真實(shí)情況。 二、ROC曲線(xiàn)在影像學(xué)設備中的應用 ROC曲線(xiàn)在影像學(xué)設備中應用很多。 第一,可以根據曲線(xiàn)選擇診斷界值,達到最優(yōu)的靈敏度和特異度,使器械發(fā)揮最佳的效果,也可以通過(guò)曲線(xiàn)下面積判斷設備的成像質(zhì)量,通常0.9及以上的成像效果佳,0.7~0.9成像效果中等,0.5~0.7成像效果較低。這一應用多體現在產(chǎn)品生命周期的設計開(kāi)發(fā)階段,如深度學(xué)習輔助決策AI影像學(xué)軟件在設計開(kāi)發(fā)過(guò)程中通過(guò)不同診斷界值的選擇,使軟件達到最優(yōu)的靈敏度特異度組合,發(fā)揮最大臨床應用價(jià)值。 第二,是通過(guò)AUC來(lái)評判器械的變更。如某一影像設備在做影響到臨床應用的許可事項變更時(shí),對于臨床應用價(jià)值變化或成像質(zhì)量的判斷,可以通過(guò)變更前和變更后的各自AUC進(jìn)行比較。若AUC變大,或變化在科學(xué)合理的范圍內,則可以判定該許可事項變更臨床應用相關(guān)部分是合格的。 第三,對不同影像設備的成像質(zhì)量進(jìn)行比較。通過(guò)計算AUC的大小,來(lái)評價(jià)兩種或多種同類(lèi)型影像設備的臨床應用價(jià)值的大小或成像質(zhì)量的優(yōu)劣。通過(guò)計算曲線(xiàn)下部分面積,也可以判斷在某一靈敏度、特異度范圍內不同影像設備的臨床應用價(jià)值或成像質(zhì)量。 除以上應用外,ROC曲線(xiàn)還可以評價(jià)不同診斷醫師的診斷效能。值得注意的是,在應用ROC曲線(xiàn)時(shí),病例的選擇和干擾因素的控制關(guān)系到是否能得到客觀(guān)真實(shí)的結論。 |
0 條評價(jià)