新型冠狀病毒對(duì)全球健康造成了嚴(yán)重的威脅，為了減輕醫(yī)療保健系統(tǒng)的負(fù)擔(dān)，也給患者提供最佳的護(hù)理，高效的診斷和疾病預(yù)后信息問題亟待解決。

理論上來說，在醫(yī)療資源有限的情況下，評(píng)估感染者風(fēng)險(xiǎn)和感染結(jié)果的多變量模型可以幫助醫(yī)務(wù)人員對(duì)患者進(jìn)行分類。從基于規(guī)則的評(píng)分系統(tǒng)到深度學(xué)習(xí)模型，大量預(yù)測模型都是開源的，并允許同行評(píng)論分析。
那么，我們應(yīng)該對(duì)這些模型抱有怎樣的期待呢？

       頂級(jí)綜合醫(yī)學(xué)期刊《英國醫(yī)學(xué)雜志》（ The BMJ ） 上發(fā)表的一項(xiàng)研究，便對(duì)現(xiàn)有的新冠模型進(jìn)行系統(tǒng)性評(píng)估，主要包括以下三種功用的模型：普通人群風(fēng)險(xiǎn)預(yù)測模型、實(shí)際感染者的診斷模型、新冠患者的預(yù)后模型，評(píng)估的部分包括模型開發(fā)和外部驗(yàn)證研究。

然而，結(jié)果卻不盡人意。可以說，現(xiàn)有的新冠病毒診斷AI模型，幾乎無用武之地。
收集過程

這支研究小組通過 Ovid、bioRxiv、medRxiv 、arXiv、PubMed 和 Embase 等學(xué)術(shù)系統(tǒng)，收集了 2020 年 1 月 3 日～2020 年 5 月 5 日之間發(fā)布的 covid－19 文獻(xiàn)。如果一篇文獻(xiàn)與基于新冠結(jié)果研究的多變量模型或評(píng)分系統(tǒng)相關(guān)，團(tuán)隊(duì)就將它納入研究。

最終，他們收集到總共包括三種類型的預(yù)測模型：普通人群中新冠風(fēng)險(xiǎn)的預(yù)測模型、疑似患者中實(shí)際感染者的診斷模型、新冠患者的預(yù)后模型。預(yù)測因素或結(jié)果對(duì)參考人群（例如，住院病人，門診病人或普通人群）、預(yù)測范圍（模型預(yù)測的距離）沒有限制。而另外的一些模擬疾病傳播或死亡率、診斷測試準(zhǔn)確性和發(fā)現(xiàn)預(yù)測指標(biāo)等相關(guān)研究不予考慮。

從第二次系統(tǒng)性評(píng)估開始，相關(guān)文獻(xiàn)由 AI 驅(qū)動(dòng)的文本分析工具檢索，以優(yōu)先考慮靈敏度。研究者通過 EPPI－Reviewer 對(duì)標(biāo)題、摘要和全文進(jìn)行重復(fù)篩查，對(duì)于有爭議的文章，則通過討論選取。

研究使用基于 CHARMS（針對(duì)預(yù)測模型研究的系統(tǒng)評(píng)價(jià)的嚴(yán)格評(píng)估和數(shù)據(jù)提�。┣鍐魏� PROBAST（偏倚風(fēng)險(xiǎn)評(píng)估工具）的標(biāo)準(zhǔn)化數(shù)據(jù)分析表來評(píng)估預(yù)測模型。

通過系統(tǒng)搜索，研究者檢索了 14209 個(gè)標(biāo)題，整個(gè)篩選過程如下圖所示：

PRISMA（為系統(tǒng)評(píng)價(jià)和變換分析選取報(bào)告）研究是否采納文獻(xiàn)的流程圖
調(diào)查結(jié)果

最終篩選出的 107 項(xiàng)研究，團(tuán)隊(duì)使用 PROBAST 評(píng)估，這是一項(xiàng)專門為預(yù)測模型偏倚風(fēng)險(xiǎn)設(shè)計(jì)的評(píng)估工具。

結(jié)果發(fā)現(xiàn)，有 53 項(xiàng)在訓(xùn)練集（參考人群）方面存在較高的偏倚風(fēng)險(xiǎn)，也就是說，模型的參考人群可能無法代表目標(biāo)人群。其中 26 項(xiàng)研究都沒有對(duì)偏倚評(píng)估風(fēng)險(xiǎn)作出清楚的報(bào)告。

有 15 項(xiàng)對(duì)預(yù)測集存在很高的偏倚風(fēng)險(xiǎn)，這表明預(yù)測變量并不一定適用于模型，定義不明確或受預(yù)測結(jié)果影響。

研究者對(duì)一項(xiàng)診斷成像研究使用了簡單的評(píng)分規(guī)則，它呈現(xiàn)了較低的預(yù)測偏倚風(fēng)險(xiǎn)。

因?yàn)樵撐墨I(xiàn)缺乏有關(guān)預(yù)處理步驟（例如圖像裁剪）的明確信息，而復(fù)雜機(jī)器學(xué)習(xí)算法是用一種復(fù)雜的方式將圖像轉(zhuǎn)換成預(yù)測因子，分析人員對(duì)原模型的預(yù)測因子尚不清楚，這其實(shí)就很難評(píng)估它的偏倚風(fēng)險(xiǎn)。大多數(shù)模型使用易于評(píng)估的結(jié)果（例如，死亡、確診等），而在 19 項(xiàng)研究中仍存在因結(jié)果評(píng)估引起的偏倚的擔(dān)憂，比如使用了主觀或代理結(jié)果（例如，非新冠的嚴(yán)重呼吸道感染）。

除了一項(xiàng)研究之外，所有其他研究在分析的數(shù)據(jù)集上都有較高的偏倚風(fēng)險(xiǎn)。

許多研究的樣本量較小，這導(dǎo)致過擬合的風(fēng)險(xiǎn)增加，尤其是在使用復(fù)雜的建模策略的情況下。三項(xiàng)研究沒有報(bào)告模型的預(yù)測性能，四項(xiàng)研究僅報(bào)告了表面性能（訓(xùn)練集和測試集相同，未對(duì)潛在的過度擬合進(jìn)行調(diào)整）。
只有 13 個(gè)研究評(píng)估了校準(zhǔn)，但兩項(xiàng)研究中檢查校準(zhǔn)的方法可能欠佳。

其中一個(gè)研究的 25 個(gè)模型使用了外部驗(yàn)證的方式（在一個(gè)獨(dú)立的數(shù)據(jù)集中驗(yàn)證，訓(xùn)練集和測試集分開），但在其中的 11 個(gè)模型中，用于外部驗(yàn)證的數(shù)據(jù)集可能無法代表目標(biāo)人群。還有一個(gè)研究使用了新冠疫情之前的數(shù)據(jù)。因此，如果將模型應(yīng)用于目標(biāo)人群，則預(yù)測效果可能會(huì)有所不同。在一項(xiàng)研究中，通常用于預(yù)后（區(qū)分、校準(zhǔn)）的性能統(tǒng)計(jì)數(shù)據(jù)沒有公布。

但也有表現(xiàn)還不錯(cuò)的模型。Gozes、Fu、Chassagnon、Hu、Kurstjens 和 Vaid 等人的研究在外部驗(yàn)證集上具有令人滿意的預(yù)測性能，但尚不清楚他們是如何收集外部驗(yàn)證數(shù)據(jù)的，以及數(shù)據(jù)是否具有代表性。Wang、Barda、Guo、Tordjman 和 Gong 等人的研究在可能沒有偏倚的驗(yàn)證數(shù)據(jù)集上獲得了令人滿意的效果，但是數(shù)據(jù)集的數(shù)據(jù)量少于外部驗(yàn)證應(yīng)有的數(shù)據(jù)量（100）。

Diaz－Quijano 的研究也具有不錯(cuò)的外部驗(yàn)證效果，但由于未進(jìn)行聚合酶鏈反應(yīng)（PCR）測試，因此數(shù)據(jù)集中的許多患者不得不被排除在外。

目前，社會(huì)可能亟需診斷和預(yù)后模型來幫助醫(yī)務(wù)人員更加快速有效地投入工作，這也許會(huì)促使政府和醫(yī)療機(jī)構(gòu)過早地實(shí)施預(yù)測模型。

但介于所有的 145 個(gè)預(yù)測模型都有很大的偏倚風(fēng)險(xiǎn)，并且所有模型都缺乏外部驗(yàn)證的證據(jù)，在新冠疫情的大背景下，模型的過早使用可能弊大于利。

因此，研究人員不建議目前在實(shí)踐中使用任何模型。

他們也推薦，未來的模型研究應(yīng)側(cè)重于驗(yàn)證、比較、改進(jìn)和更新有前途的可用預(yù)測模型，而非著力開發(fā)新的預(yù)測模型。