建立AI標準數據庫這一設想早在2017年便已有有識之士提出，最早的標準數據庫圈定在了彩色眼底圖像和肺部CT影像兩個范圍內，當時主要以《醫(yī)療器械軟件注冊技術審查指導原則》、《移動醫(yī)療器械注冊技術指導原則》和《醫(yī)療器械網絡安全注冊技術審查指導原則》三個指導文件作為建庫基準，建立了包含6327例數據的眼底影像標準數據庫與包含623例數據的肺部影像標準數據庫，其標準化流程可以說走到世界前列。借助標準數據庫與相關標準流程，就可以對AI產品進行審評審批。

不過，這個數據庫并沒有沿用太久，原因主要有以下幾點：其一，數據來源于醫(yī)院與企業(yè)的共同標注，由于缺乏數據行業(yè)標準，各家企業(yè)提交的數據差異太大，與真實世界情況發(fā)生偏移；其二，在測評過程中，企業(yè)既是數據提供方，又是數據考核方，其結果難以保證絕對的公平公正；其三，由于數據庫缺乏嚴謹的質量控制體系，數據質量的不可控以及不可溯源同樣存在安全隱患。當然，數據量、數據安全、數據利益歸屬等問題也一定程度上阻礙了這項工作的后續(xù)發(fā)展。

期間也有醫(yī)院、機構嘗試建立自己的測評數據庫，但一直沒有產生太大的波瀾。歸根結底，標準數據庫的建立不僅需要權威機構主導、政策助力，還需要數據標準的確定、測評平臺的建立……多條件的疊加，標準數據庫才建得起來，跑得起來。

時至今日，距當年的兩個數據庫建立已經過去約30個月，醫(yī)療AI產業(yè)發(fā)生了巨大變化，大家對于醫(yī)療AI發(fā)展的桎梏與解決方案已經逐漸清晰。在這個時間節(jié)點上，北京協和醫(yī)院重磅發(fā)布了按《深度學習輔助決策醫(yī)療器械審評要點》構建的糖尿病視網膜病變常規(guī)眼底彩色照相AI標準數據庫（簡稱“糖網AI標準數據庫”），重啟標準數據庫建設，預示著醫(yī)療AI的第三方檢驗迎來突破性進展。據動脈網了解，工信部、信通院、各大醫(yī)院、高校等機構對此合作了一年多時間，才有今天的成果。

糖網AI標準數據庫是如何建立的？

2019年6月起，國家藥監(jiān)局開始頻繁在醫(yī)療AI的標準制定上展開動作。6月29日，藥監(jiān)局正式向AI企業(yè)發(fā)布《深度學習輔助決策醫(yī)療器械軟件審批要點》，將審批相關的具體指標確立下來。文件下發(fā)僅半月后，藥監(jiān)局再次開展了AI器械審批相關的大動作。7月17日，國家藥品監(jiān)督管理局醫(yī)療器械技術審評中心、中央網絡辦國家計算機網絡與信息安全管理中心、中國信息通信研究院等14個機構、高校聯合成立了人工智能醫(yī)療器械創(chuàng)新合作平臺。

人工智能醫(yī)療器械創(chuàng)新合作平臺結構

在這一組織之中，北京協和醫(yī)院負責真實數據應用工作組的管理，主導推進組內各單位學科的真實數據研究工作，承擔“中國糖尿病視網膜病變人工智能眼底圖像標準數據庫”圖像收集、標注與檢測平臺搭建，這便是糖網眼底AI標準數據庫的由來。

截至2019年末，北京協和醫(yī)院陳有信主任領導的團隊便已完成了眼底數據的標注，大半年過去了，為何直到近日才公開發(fā)布數據庫？究其原因，單一的第三方測評數據庫難以進行流程化的監(jiān)測，要實現規(guī)�；�和標注化，還需要第三方測評平臺與病種對應的測評標準。

在2020年WAIC大會上，人工智能醫(yī)療器械創(chuàng)新合作平臺總計發(fā)布了包括醫(yī)療人工智能測評公共服務平臺、糖尿病視網膜病變常規(guī)眼底彩色照相AI標準數據庫、《基于胸部CT的肺結節(jié)影響輔助決策產品性能指標和測試方法》、《基于眼底彩照的糖尿病糖尿病視網膜病變輔助決策產品性能指標和測試方法》等多項成果。本次發(fā)布一次性涵蓋了數據庫、平臺、標準三個要素，第三方測評從結構上看已經可以實現，AI審評審批的推動力發(fā)生了質變——醫(yī)療人工智能測評公共服務平臺是基底，在保證數據、軟件的安全性的前提下安裝第三方數據庫與測試產品，并予以修正后的、符合AI產品迅速迭代特征的測評體系。而在這之中，第三方數據庫將為其提供核心支持。

對于其中的意義，陳有信主任表示：“AI是一個新生事物，它被劃為器械，卻與傳統(tǒng)器械不同，我們必須用全新的眼光審視它，通過創(chuàng)新手段驗證它的安全性和有效性。因此，我們協和醫(yī)院領導的真實數據應用工作組便要為這樣的創(chuàng)新驗證打下基礎。這項工作我們從18年便開始努力，如今終得以成型�！�

糖網AI標準數據庫內涵

這個數據庫的終極意義在哪里？

從量上看，該數據庫一共包含了1．5萬張?zhí)悄虿』颊吆髽O部眼底彩照，數據來源于全國14個地區(qū)的真實世界數據，涵蓋了目前市場上主要眼底相機機型，且每個數據在入庫時都經過了嚴格的倫理審查和清洗脫敏。

從數據的采集來看，該數據庫數據包含了早期病變、中期病變和晚期非增殖型病變等不同時期、不同種類的糖尿病視網膜病變。同時，北京協和醫(yī)院對各病例分為了“無其他疾病”與“合并其他病癥”兩類，使其盡可能的符合真實世界情況。

“在建庫時，我們曾詳細考慮過糖網數據庫的數據來源，希望能夠讓數據庫的病歷構成與我們世界中的實際情況高度貼合。這意味著這個數據庫既要包含各種時期的糖網病變數據，又要包含存在多種眼部疾病的數據，當然，這里面也得有無病癥患者的數據。從最后的結果來看，31％的圖片包含其他合并病變，這與真實世界的情況高度相符�！�

AI標準數據庫數據分布情況

在數據標注方面，所有閱片工作都由北京協和醫(yī)院眼科閱片團隊進行標注，標注后的數據將交由國內同行權威專家進行外部評審，保證了標注過程的高準確性。此外，協和醫(yī)院還書寫了完整的建庫文件，提供數據說明文件，實現了測評的可溯源性，防止實際過程中發(fā)生問題時的責任糾紛問題。

另一方面，為了滿足實際過程中的多樣的檢驗需求，北京協和醫(yī)院對AI標準數據進行了進一步的劃分，建立了“需要轉診／不需要轉診DR”、“國際分期DR”、“有／無DR”、“合并／不合并其他病變”、“畫面質量良好／差”五大子數據庫。

數據庫質量管理體系是如何建立的？

數據的管理水平在一定程度上決定著數據庫的“質量”。據悉，為建設一個高質量的糖網AI標準數據庫，建設團隊開創(chuàng)性地引入了ISO9001質量管理理論，按照體系中人、機、料、法、環(huán)的要求對數據的收集進行質量控制（見圖1 質量管理理論用于AI數據收集的質控）。

據參與數據庫質量管理體系設計和建設的上海博方負責人馮慶宇介紹，由于數據庫建設包括數據采集、預處理、標注及構建等諸多環(huán)節(jié)，所以在整個體系建設過程中，對數據的質量管理一一對應ISO9001質量管理體系中人、機、料、法、環(huán)的要求，將醫(yī)療環(huán)節(jié)中的要素以及管理要求予以明確，其中：人——實施者、相關參與人員及相應的資質，如醫(yī)生、專家、算法工程師及資質要求；機——實施的設備，如具體的醫(yī)療器械、采集通訊設備、存儲設備；料——圖像數據，如醫(yī)學圖像、生理信號、患者信息；法——法規(guī)標準及操作規(guī)程，如臨床指南、人員管理SOP、人員操作及設備操作SOP；環(huán)——環(huán)境要求，如閱片環(huán)境、計算機運行環(huán)境、網絡環(huán)境。

圖1 質量管理理論用于AI數據收集的質控

6大特征奠定糖網AI標準數據庫的開創(chuàng)性地位

在上述設計下，糖網AI標準數據庫由此具備了諸多特性。具體而言，陳有信主任將這些特性歸納為了權威性、多樣性、科學性、封閉性、動態(tài)性和規(guī)范性6個方面。

權威性：本次數據標注團隊中的14名醫(yī)生均來自于北京協和醫(yī)院眼科，且擁有至少兩年的臨床經驗。標注過程分為兩人標注與三人標注，兩人標注時要求意見完全一致，三人標注時要求意見一致，以確保數據標注的有效性。標注后的數據首先會經由陳有信主任領銜的團隊進行內審，而當時的、標準一致性Kappa值達到了0．9427。完成內審后的數據會交至10名三甲醫(yī)院主任醫(yī)師團隊進行外審，這一團隊由北京同仁醫(yī)院張風教授領銜，結果顯示，標準一致性Kappa值達到了0．9677。

多樣性：具體表現為數據來源的多樣性、設備的多樣性、人口信息分布多樣性，疾病構成的多樣性。具體而言，數據庫的數據分別來源于14家臨床機構，覆蓋華東、華北、華中、西北、東北五大區(qū)域；由多種影像設備產生，涵蓋了Zeiss VISUCAM 500、Kowa Nommyd、α－DⅢ、Kowa Nonmyd D7、Canon CF1、Daytona P200T、Topcon 50IX 6種主流眼底相機型號；覆蓋20歲到80歲年齡段，包含52％的男性患者與48％的女性患者；31％的圖片包含其他合并病變，以符合真實世界情況。

科學性：來源于數據庫本身。15000張圖片量創(chuàng)造了行業(yè)中第三方數據庫數據量的紀錄，同時，這些數據在采集之時便經過了嚴格的篩選，以覆蓋DR國際分級、激光術后、合并其他病變、圖像質量識別等多種臨床實際場景，這賦予了數據庫生命——并非簡單的數據合集，而是真實世界的縮影。

封閉性：包含數據庫的封閉管理與測評過程的封閉管理兩個維度，尤其是后者，企業(yè)未來在參與測評，與公共服務平臺合理助力產品測評時，兩者間的VPN通道需遵守“加密”和“只進不出”原則，以保證數據庫內數據的安全性與測試過程的公正性。

動態(tài)性：雖然數據庫處于封閉管理之下，但并不意味著數據的一成不變，在陳有信主任的計劃之中，這一數據每年會對5％的數據進行流動管理，即淘汰部分舊的數據，并在每年新增同一類型的新數據。

“如果不作動態(tài)更新，那么測試過程中似曾相識的照片就會逐漸增多，反復測試說不定就會出現記憶的現象。此外，醫(yī)院使用的設備、影像處理軟件會隨著時間的推移而發(fā)生變化，我們的數據庫也需隨著數據產生環(huán)境的變化而不斷變化，這樣才能保證數據庫的有效性。” 陳有信主任描述道。

規(guī)范性：“從數據庫采集原始數據庫到我們數據處理的規(guī)范，到數據標注的規(guī)范，工作組有一系列的數據SOP規(guī)范，包括標注質量內部的評估規(guī)范、標注質量外部的評估規(guī)范、包括新注入的新數據、淘汰的數據，這些SOP我們寫了若干的文件�！�，通過建立這些規(guī)范，使得整個數據庫建立在SOP的基礎上，同時能夠幫助我們完好的溯源。

作為我國首個擁有超過萬例數據的第三方影像AI標準數據庫，北京協和醫(yī)院建立的糖尿病視網膜病變常規(guī)眼底彩色照相AI標準數據庫能夠一定程度上代表現有市場上，企業(yè)對于第三方數據庫的需求。

更多第三方數據庫即將建立

糖網AI標準數據庫無疑為第三方AI測評開啟了新的大門，包括肺結節(jié)、冠脈CTA、心電、腦MR等等AI軟件，都需要這樣的第三方數據庫，進而連接公共服務平臺進行創(chuàng)新測評。

“我們走出了第一步，但要推動整個醫(yī)療AI影像的發(fā)展，更多醫(yī)院應該參與進來。我們希望能把這種模式推動到每一個AI領域�！标愑行胖魅伪硎�。“借助于協和糖網AI標準數據庫的經驗，這件事在未來可以推進得更快�！�

因此，糖網AI標準數據庫不僅在于它對于眼底AI產品審評審批的推動作用，更在于它開啟了一種新模式，能夠幫助AI產品通過一種創(chuàng)新性、權威性的方式通過審批，并在后續(xù)的迭代之中迅速完成審核。

陳有信主任同時表示：“數據收集、數據標注、SOP規(guī)則制定、數據安全問題……要建這樣一個數據庫并不簡單，需要大量優(yōu)秀的醫(yī)生耗費大量的時間才有可能完成。所以，我們也在探索建立合理的激勵機制，以鼓勵更多的醫(yī)生參與到AI的建設之中，這條路任重道遠。”

眾所周知，AI產品生產企業(yè)需要不斷提高自己AI產品的性能，那么，AI標準數據庫能夠通過提供不同的測試數據集，用以訓練產品的算法、測試產品的性能，進而推動產品的后續(xù)迭代。同時嚴謹的質量控制體系的建立，也保證了標準數據庫的安全有效性和可追溯性，從這個層面講，AI標準數據庫為醫(yī)療AI產品上市監(jiān)管的安全有效性提供了可溯源的證據鏈，必將是醫(yī)療AI產品商業(yè)化進程的有力助推器。

雖說醫(yī)療AI標準數據庫的推進阻礙仍然存在，但糖網AI標準數據庫的發(fā)布無疑是對產業(yè)的一劑強心劑。前路漫漫，已見微光。無論是AI企業(yè)、醫(yī)院，還是相關政策方和監(jiān)管機構，都在多年的摸索中基本達成共識。方向有了，就能夠避免彎路。當第一個 AI產品通過公共服務平臺及糖網AI標準數據庫完成測試時，醫(yī)療AI的下半場便真正開始了。

作者：趙泓維