建立AI標準數(shù)據(jù)庫這一設(shè)想早在2017年便已有有識之士提出，最早的標準數(shù)據(jù)庫圈定在了彩色眼底圖像和肺部CT影像兩個范圍內(nèi)，當時主要以《醫(yī)療器械軟件注冊技術(shù)審查指導原則》、《移動醫(yī)療器械注冊技術(shù)指導原則》和《醫(yī)療器械網(wǎng)絡(luò)安全注冊技術(shù)審查指導原則》三個指導文件作為建庫基準，建立了包含6327例數(shù)據(jù)的眼底影像標準數(shù)據(jù)庫與包含623例數(shù)據(jù)的肺部影像標準數(shù)據(jù)庫，其標準化流程可以說走到世界前列。借助標準數(shù)據(jù)庫與相關(guān)標準流程，就可以對AI產(chǎn)品進行審評審批。

不過，這個數(shù)據(jù)庫并沒有沿用太久，原因主要有以下幾點：其一，數(shù)據(jù)來源于醫(yī)院與企業(yè)的共同標注，由于缺乏數(shù)據(jù)行業(yè)標準，各家企業(yè)提交的數(shù)據(jù)差異太大，與真實世界情況發(fā)生偏移；其二，在測評過程中，企業(yè)既是數(shù)據(jù)提供方，又是數(shù)據(jù)考核方，其結(jié)果難以保證絕對的公平公正；其三，由于數(shù)據(jù)庫缺乏嚴謹?shù)馁|(zhì)量控制體系，數(shù)據(jù)質(zhì)量的不可控以及不可溯源同樣存在安全隱患。當然，數(shù)據(jù)量、數(shù)據(jù)安全、數(shù)據(jù)利益歸屬等問題也一定程度上阻礙了這項工作的后續(xù)發(fā)展。

期間也有醫(yī)院、機構(gòu)嘗試建立自己的測評數(shù)據(jù)庫，但一直沒有產(chǎn)生太大的波瀾。歸根結(jié)底，標準數(shù)據(jù)庫的建立不僅需要權(quán)威機構(gòu)主導、政策助力，還需要數(shù)據(jù)標準的確定、測評平臺的建立……多條件的疊加，標準數(shù)據(jù)庫才建得起來，跑得起來。

時至今日，距當年的兩個數(shù)據(jù)庫建立已經(jīng)過去約30個月，醫(yī)療AI產(chǎn)業(yè)發(fā)生了巨大變化，大家對于醫(yī)療AI發(fā)展的桎梏與解決方案已經(jīng)逐漸清晰。在這個時間節(jié)點上，北京協(xié)和醫(yī)院重磅發(fā)布了按《深度學習輔助決策醫(yī)療器械審評要點》構(gòu)建的糖尿病視網(wǎng)膜病變常規(guī)眼底彩色照相AI標準數(shù)據(jù)庫（簡稱“糖網(wǎng)AI標準數(shù)據(jù)庫”），重啟標準數(shù)據(jù)庫建設(shè)，預示著醫(yī)療AI的第三方檢驗迎來突破性進展。據(jù)動脈網(wǎng)了解，工信部、信通院、各大醫(yī)院、高校等機構(gòu)對此合作了一年多時間，才有今天的成果。

糖網(wǎng)AI標準數(shù)據(jù)庫是如何建立的？

2019年6月起，國家藥監(jiān)局開始頻繁在醫(yī)療AI的標準制定上展開動作。6月29日，藥監(jiān)局正式向AI企業(yè)發(fā)布《深度學習輔助決策醫(yī)療器械軟件審批要點》，將審批相關(guān)的具體指標確立下來。文件下發(fā)僅半月后，藥監(jiān)局再次開展了AI器械審批相關(guān)的大動作。7月17日，國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心、中央網(wǎng)絡(luò)辦國家計算機網(wǎng)絡(luò)與信息安全管理中心、中國信息通信研究院等14個機構(gòu)、高校聯(lián)合成立了人工智能醫(yī)療器械創(chuàng)新合作平臺。

人工智能醫(yī)療器械創(chuàng)新合作平臺結(jié)構(gòu)

在這一組織之中，北京協(xié)和醫(yī)院負責真實數(shù)據(jù)應(yīng)用工作組的管理，主導推進組內(nèi)各單位學科的真實數(shù)據(jù)研究工作，承擔“中國糖尿病視網(wǎng)膜病變?nèi)斯ぶ悄苎鄣讏D像標準數(shù)據(jù)庫”圖像收集、標注與檢測平臺搭建，這便是糖網(wǎng)眼底AI標準數(shù)據(jù)庫的由來。

截至2019年末，北京協(xié)和醫(yī)院陳有信主任領(lǐng)導的團隊便已完成了眼底數(shù)據(jù)的標注，大半年過去了，為何直到近日才公開發(fā)布數(shù)據(jù)庫？究其原因，單一的第三方測評數(shù)據(jù)庫難以進行流程化的監(jiān)測，要實現(xiàn)規(guī)�；�和標注化，還需要第三方測評平臺與病種對應(yīng)的測評標準。

在2020年WAIC大會上，人工智能醫(yī)療器械創(chuàng)新合作平臺總計發(fā)布了包括醫(yī)療人工智能測評公共服務(wù)平臺、糖尿病視網(wǎng)膜病變常規(guī)眼底彩色照相AI標準數(shù)據(jù)庫、《基于胸部CT的肺結(jié)節(jié)影響輔助決策產(chǎn)品性能指標和測試方法》、《基于眼底彩照的糖尿病糖尿病視網(wǎng)膜病變輔助決策產(chǎn)品性能指標和測試方法》等多項成果。本次發(fā)布一次性涵蓋了數(shù)據(jù)庫、平臺、標準三個要素，第三方測評從結(jié)構(gòu)上看已經(jīng)可以實現(xiàn)，AI審評審批的推動力發(fā)生了質(zhì)變——醫(yī)療人工智能測評公共服務(wù)平臺是基底，在保證數(shù)據(jù)、軟件的安全性的前提下安裝第三方數(shù)據(jù)庫與測試產(chǎn)品，并予以修正后的、符合AI產(chǎn)品迅速迭代特征的測評體系。而在這之中，第三方數(shù)據(jù)庫將為其提供核心支持。

對于其中的意義，陳有信主任表示：“AI是一個新生事物，它被劃為器械，卻與傳統(tǒng)器械不同，我們必須用全新的眼光審視它，通過創(chuàng)新手段驗證它的安全性和有效性。因此，我們協(xié)和醫(yī)院領(lǐng)導的真實數(shù)據(jù)應(yīng)用工作組便要為這樣的創(chuàng)新驗證打下基礎(chǔ)。這項工作我們從18年便開始努力，如今終得以成型。”

糖網(wǎng)AI標準數(shù)據(jù)庫內(nèi)涵

這個數(shù)據(jù)庫的終極意義在哪里？

從量上看，該數(shù)據(jù)庫一共包含了1．5萬張?zhí)悄虿』颊吆髽O部眼底彩照，數(shù)據(jù)來源于全國14個地區(qū)的真實世界數(shù)據(jù)，涵蓋了目前市場上主要眼底相機機型，且每個數(shù)據(jù)在入庫時都經(jīng)過了嚴格的倫理審查和清洗脫敏。

從數(shù)據(jù)的采集來看，該數(shù)據(jù)庫數(shù)據(jù)包含了早期病變、中期病變和晚期非增殖型病變等不同時期、不同種類的糖尿病視網(wǎng)膜病變。同時，北京協(xié)和醫(yī)院對各病例分為了“無其他疾病”與“合并其他病癥”兩類，使其盡可能的符合真實世界情況。

“在建庫時，我們曾詳細考慮過糖網(wǎng)數(shù)據(jù)庫的數(shù)據(jù)來源，希望能夠讓數(shù)據(jù)庫的病歷構(gòu)成與我們世界中的實際情況高度貼合。這意味著這個數(shù)據(jù)庫既要包含各種時期的糖網(wǎng)病變數(shù)據(jù)，又要包含存在多種眼部疾病的數(shù)據(jù)，當然，這里面也得有無病癥患者的數(shù)據(jù)。從最后的結(jié)果來看，31％的圖片包含其他合并病變，這與真實世界的情況高度相符。”

AI標準數(shù)據(jù)庫數(shù)據(jù)分布情況

在數(shù)據(jù)標注方面，所有閱片工作都由北京協(xié)和醫(yī)院眼科閱片團隊進行標注，標注后的數(shù)據(jù)將交由國內(nèi)同行權(quán)威專家進行外部評審，保證了標注過程的高準確性。此外，協(xié)和醫(yī)院還書寫了完整的建庫文件，提供數(shù)據(jù)說明文件，實現(xiàn)了測評的可溯源性，防止實際過程中發(fā)生問題時的責任糾紛問題。

另一方面，為了滿足實際過程中的多樣的檢驗需求，北京協(xié)和醫(yī)院對AI標準數(shù)據(jù)進行了進一步的劃分，建立了“需要轉(zhuǎn)診／不需要轉(zhuǎn)診DR”、“國際分期DR”、“有／無DR”、“合并／不合并其他病變”、“畫面質(zhì)量良好／差”五大子數(shù)據(jù)庫。

數(shù)據(jù)庫質(zhì)量管理體系是如何建立的？

數(shù)據(jù)的管理水平在一定程度上決定著數(shù)據(jù)庫的“質(zhì)量”。據(jù)悉，為建設(shè)一個高質(zhì)量的糖網(wǎng)AI標準數(shù)據(jù)庫，建設(shè)團隊開創(chuàng)性地引入了ISO9001質(zhì)量管理理論，按照體系中人、機、料、法、環(huán)的要求對數(shù)據(jù)的收集進行質(zhì)量控制（見圖1 質(zhì)量管理理論用于AI數(shù)據(jù)收集的質(zhì)控）。

據(jù)參與數(shù)據(jù)庫質(zhì)量管理體系設(shè)計和建設(shè)的上海博方負責人馮慶宇介紹，由于數(shù)據(jù)庫建設(shè)包括數(shù)據(jù)采集、預處理、標注及構(gòu)建等諸多環(huán)節(jié)，所以在整個體系建設(shè)過程中，對數(shù)據(jù)的質(zhì)量管理一一對應(yīng)ISO9001質(zhì)量管理體系中人、機、料、法、環(huán)的要求，將醫(yī)療環(huán)節(jié)中的要素以及管理要求予以明確，其中：人——實施者、相關(guān)參與人員及相應(yīng)的資質(zhì)，如醫(yī)生、專家、算法工程師及資質(zhì)要求；機——實施的設(shè)備，如具體的醫(yī)療器械、采集通訊設(shè)備、存儲設(shè)備；料——圖像數(shù)據(jù)，如醫(yī)學圖像、生理信號、患者信息；法——法規(guī)標準及操作規(guī)程，如臨床指南、人員管理SOP、人員操作及設(shè)備操作SOP；環(huán)——環(huán)境要求，如閱片環(huán)境、計算機運行環(huán)境、網(wǎng)絡(luò)環(huán)境。

圖1 質(zhì)量管理理論用于AI數(shù)據(jù)收集的質(zhì)控

6大特征奠定糖網(wǎng)AI標準數(shù)據(jù)庫的開創(chuàng)性地位

在上述設(shè)計下，糖網(wǎng)AI標準數(shù)據(jù)庫由此具備了諸多特性。具體而言，陳有信主任將這些特性歸納為了權(quán)威性、多樣性、科學性、封閉性、動態(tài)性和規(guī)范性6個方面。

權(quán)威性：本次數(shù)據(jù)標注團隊中的14名醫(yī)生均來自于北京協(xié)和醫(yī)院眼科，且擁有至少兩年的臨床經(jīng)驗。標注過程分為兩人標注與三人標注，兩人標注時要求意見完全一致，三人標注時要求意見一致，以確保數(shù)據(jù)標注的有效性。標注后的數(shù)據(jù)首先會經(jīng)由陳有信主任領(lǐng)銜的團隊進行內(nèi)審，而當時的、標準一致性Kappa值達到了0．9427。完成內(nèi)審后的數(shù)據(jù)會交至10名三甲醫(yī)院主任醫(yī)師團隊進行外審，這一團隊由北京同仁醫(yī)院張風教授領(lǐng)銜，結(jié)果顯示，標準一致性Kappa值達到了0．9677。

多樣性：具體表現(xiàn)為數(shù)據(jù)來源的多樣性、設(shè)備的多樣性、人口信息分布多樣性，疾病構(gòu)成的多樣性。具體而言，數(shù)據(jù)庫的數(shù)據(jù)分別來源于14家臨床機構(gòu)，覆蓋華東、華北、華中、西北、東北五大區(qū)域；由多種影像設(shè)備產(chǎn)生，涵蓋了Zeiss VISUCAM 500、Kowa Nommyd、α－DⅢ、Kowa Nonmyd D7、Canon CF1、Daytona P200T、Topcon 50IX 6種主流眼底相機型號；覆蓋20歲到80歲年齡段，包含52％的男性患者與48％的女性患者；31％的圖片包含其他合并病變，以符合真實世界情況。

科學性：來源于數(shù)據(jù)庫本身。15000張圖片量創(chuàng)造了行業(yè)中第三方數(shù)據(jù)庫數(shù)據(jù)量的紀錄，同時，這些數(shù)據(jù)在采集之時便經(jīng)過了嚴格的篩選，以覆蓋DR國際分級、激光術(shù)后、合并其他病變、圖像質(zhì)量識別等多種臨床實際場景，這賦予了數(shù)據(jù)庫生命——并非簡單的數(shù)據(jù)合集，而是真實世界的縮影。

封閉性：包含數(shù)據(jù)庫的封閉管理與測評過程的封閉管理兩個維度，尤其是后者，企業(yè)未來在參與測評，與公共服務(wù)平臺合理助力產(chǎn)品測評時，兩者間的VPN通道需遵守“加密”和“只進不出”原則，以保證數(shù)據(jù)庫內(nèi)數(shù)據(jù)的安全性與測試過程的公正性。

動態(tài)性：雖然數(shù)據(jù)庫處于封閉管理之下，但并不意味著數(shù)據(jù)的一成不變，在陳有信主任的計劃之中，這一數(shù)據(jù)每年會對5％的數(shù)據(jù)進行流動管理，即淘汰部分舊的數(shù)據(jù)，并在每年新增同一類型的新數(shù)據(jù)。

“如果不作動態(tài)更新，那么測試過程中似曾相識的照片就會逐漸增多，反復測試說不定就會出現(xiàn)記憶的現(xiàn)象。此外，醫(yī)院使用的設(shè)備、影像處理軟件會隨著時間的推移而發(fā)生變化，我們的數(shù)據(jù)庫也需隨著數(shù)據(jù)產(chǎn)生環(huán)境的變化而不斷變化，這樣才能保證數(shù)據(jù)庫的有效性�！� 陳有信主任描述道。

規(guī)范性：“從數(shù)據(jù)庫采集原始數(shù)據(jù)庫到我們數(shù)據(jù)處理的規(guī)范，到數(shù)據(jù)標注的規(guī)范，工作組有一系列的數(shù)據(jù)SOP規(guī)范，包括標注質(zhì)量內(nèi)部的評估規(guī)范、標注質(zhì)量外部的評估規(guī)范、包括新注入的新數(shù)據(jù)、淘汰的數(shù)據(jù)，這些SOP我們寫了若干的文件�！保�通過建立這些規(guī)范，使得整個數(shù)據(jù)庫建立在SOP的基礎(chǔ)上，同時能夠幫助我們完好的溯源。

作為我國首個擁有超過萬例數(shù)據(jù)的第三方影像AI標準數(shù)據(jù)庫，北京協(xié)和醫(yī)院建立的糖尿病視網(wǎng)膜病變常規(guī)眼底彩色照相AI標準數(shù)據(jù)庫能夠一定程度上代表現(xiàn)有市場上，企業(yè)對于第三方數(shù)據(jù)庫的需求。

更多第三方數(shù)據(jù)庫即將建立

糖網(wǎng)AI標準數(shù)據(jù)庫無疑為第三方AI測評開啟了新的大門，包括肺結(jié)節(jié)、冠脈CTA、心電、腦MR等等AI軟件，都需要這樣的第三方數(shù)據(jù)庫，進而連接公共服務(wù)平臺進行創(chuàng)新測評。

“我們走出了第一步，但要推動整個醫(yī)療AI影像的發(fā)展，更多醫(yī)院應(yīng)該參與進來。我們希望能把這種模式推動到每一個AI領(lǐng)域�！标愑行胖魅伪硎�。“借助于協(xié)和糖網(wǎng)AI標準數(shù)據(jù)庫的經(jīng)驗，這件事在未來可以推進得更快�！�

因此，糖網(wǎng)AI標準數(shù)據(jù)庫不僅在于它對于眼底AI產(chǎn)品審評審批的推動作用，更在于它開啟了一種新模式，能夠幫助AI產(chǎn)品通過一種創(chuàng)新性、權(quán)威性的方式通過審批，并在后續(xù)的迭代之中迅速完成審核。

陳有信主任同時表示：“數(shù)據(jù)收集、數(shù)據(jù)標注、SOP規(guī)則制定、數(shù)據(jù)安全問題……要建這樣一個數(shù)據(jù)庫并不簡單，需要大量優(yōu)秀的醫(yī)生耗費大量的時間才有可能完成。所以，我們也在探索建立合理的激勵機制，以鼓勵更多的醫(yī)生參與到AI的建設(shè)之中，這條路任重道遠。”

眾所周知，AI產(chǎn)品生產(chǎn)企業(yè)需要不斷提高自己AI產(chǎn)品的性能，那么，AI標準數(shù)據(jù)庫能夠通過提供不同的測試數(shù)據(jù)集，用以訓練產(chǎn)品的算法、測試產(chǎn)品的性能，進而推動產(chǎn)品的后續(xù)迭代。同時嚴謹?shù)馁|(zhì)量控制體系的建立，也保證了標準數(shù)據(jù)庫的安全有效性和可追溯性，從這個層面講，AI標準數(shù)據(jù)庫為醫(yī)療AI產(chǎn)品上市監(jiān)管的安全有效性提供了可溯源的證據(jù)鏈，必將是醫(yī)療AI產(chǎn)品商業(yè)化進程的有力助推器。

雖說醫(yī)療AI標準數(shù)據(jù)庫的推進阻礙仍然存在，但糖網(wǎng)AI標準數(shù)據(jù)庫的發(fā)布無疑是對產(chǎn)業(yè)的一劑強心劑。前路漫漫，已見微光。無論是AI企業(yè)、醫(yī)院，還是相關(guān)政策方和監(jiān)管機構(gòu)，都在多年的摸索中基本達成共識。方向有了，就能夠避免彎路。當?shù)谝粋� AI產(chǎn)品通過公共服務(wù)平臺及糖網(wǎng)AI標準數(shù)據(jù)庫完成測試時，醫(yī)療AI的下半場便真正開始了。

作者：趙泓維