失眠已經(jīng)成為一項通病，它難以治愈，也很復雜，研究起來非常困難。美國疾病控制和預防中心的數(shù)據(jù)顯示，有超過三分之一的美國成年人睡眠不足。 

通常，醫(yī)生會通過在患者身上佩戴胸帶、鼻探針和腦部電極等傳統(tǒng)傳感器，對患者進行睡眠監(jiān)測。這些令人不舒服的方式本身就會導致失眠，因此收集到的數(shù)據(jù)不具有代表性。

為了給患者提供更好的睡眠，麻省理工學院和麻省總醫(yī)院的研究人員聯(lián)合英偉達公司，使用AI和類似Wi-Fi的信號來監(jiān)測病人，且無需佩戴任何傳感器。

研究人員在臥室安裝了特殊的無線設(shè)備，因此受監(jiān)測人員可以在家中睡覺。該設(shè)備收集從監(jiān)測對象反射回來的信號，并通過云將數(shù)據(jù)發(fā)回給研究人員。

通過了解臥室內(nèi)人員對射頻的影響方式，并對脈搏、呼吸頻率和運動這些測量數(shù)據(jù)的分析，研究人員可以確定不同的睡眠階段：輕度睡眠、深度睡眠、快速眼動或清醒狀態(tài)。 

此外，研究人員還對25名人員在100個晚上的睡眠進行了研究。每隔30秒進行一次睡眠標記，并將用于訓練的數(shù)據(jù)與用于測試的數(shù)據(jù)互相分開。其基于云的服務(wù)可以遠程收集信號并運行算法模型。

麻省理工學院的研究人員使用NVIDIA GPU進行模型訓練以及后端云服務(wù)上的推理。此外，他們還使用了NVIDIA的cuDNN庫和TensorFlow深度學習框架。 

睡眠階段的研究具有廣泛的應(yīng)用價值，這種睡眠階段檢測技術(shù)可用于監(jiān)測諸如抑郁癥等疾病。這一應(yīng)用案例，讓人們看到了“AI+醫(yī)療”的全新應(yīng)用場景。

從研究到臨床的AI應(yīng)用

如今，深度學習技術(shù)在醫(yī)療領(lǐng)域正逐漸從研究發(fā)展到臨床應(yīng)用。其涉及的數(shù)據(jù)類型，也從放射學和病理學數(shù)據(jù)，逐步擴展至其它類型的臨床數(shù)據(jù)，如電子病歷、醫(yī)院運營和遺傳學數(shù)據(jù)等。

然而目前在醫(yī)院，AI算法的訓練和使用依然不夠成熟。原因在于，用深度學習方法打造臨床影響，需要的不僅僅是前沿的算法，還包括這樣一些關(guān)鍵的組成：

臨床醫(yī)生需要從項目開端即參與其中，以明確AI模型的使用情況；

可訪問帶注解的臨床數(shù)據(jù)集；

開發(fā)機器學習模型；

整合到臨床工作流中；

模型部署的基礎(chǔ)設(shè)施；

在真實世界臨床環(huán)境中進行驗證。

基于此，全球頂尖GPU公司NVIDIA（英偉達）聯(lián)合美國馬薩諸塞州波士頓 MGH & BWH 臨床數(shù)據(jù)科學中心（下簡稱：CCDS中心），總結(jié)出了一套科學的AI項目訓練周期。據(jù)悉，CCDS 的典型項目周期，是以放射科醫(yī)生的持續(xù)輸入以及對近期研究的頻繁評估等臨床反饋為基礎(chǔ)。

在CCDS 的典型項目周期中，專門的硬件基礎(chǔ)設(shè)施，對于AI模型的訓練可謂至關(guān)重要，因為它是整個模型開發(fā)和部署的基礎(chǔ)。 

醫(yī)院的臨床系統(tǒng)對計算能力的要求有限，于醫(yī)院而言，更傾向于使用可靠度高、正常運行時間長的系統(tǒng)，以滿足適度的計算和數(shù)據(jù)訪問要求。而高性能 GPU、高速網(wǎng)絡(luò)連接、高性能存儲和訓練神經(jīng)網(wǎng)絡(luò)所需的寬帶接入模式，遠遠超出了醫(yī)院 IT 團隊的能力范圍。 

深度學習的臨床應(yīng)用，硬件基礎(chǔ)設(shè)施必滿足其計算要求。大部分醫(yī)院在高性能計算基礎(chǔ)設(shè)施方面的缺陷，正嚴重阻礙著AI項目實施的進程。

本篇文章，摘錄自英偉達公司的《開發(fā)醫(yī)院深度學習模型：關(guān)于臨床數(shù)據(jù)科學中心的案例研究》白皮書。從中，你將了解到英偉達是如何與CCDS中心合作，利用自身高性能計算優(yōu)勢，解決AI模型訓練過程中圖像加工和初始模型開發(fā)、大規(guī)模模型訓練、臨床驗證過程中的種種難題。

圖像加工和初始模型開發(fā)

一旦對研究進行標注后，CCDS 團隊便開始進行早期模型開發(fā)。

該過程的第一步，是將研究轉(zhuǎn)化成易于使用的文件格式。通過研究供應(yīng)商中性存檔，從臨床 PACS 復制圖像，以將臨床系統(tǒng)的風險降至最低。然后，將圖像保存在網(wǎng)絡(luò)存儲解決方案的目錄中，權(quán)限僅限于已獲批的 IRB 申請上所列的人。

容量數(shù)據(jù)（例如，MR、CT 等）通常從 DICOM（PACS 使用的標準醫(yī)學成像格式）轉(zhuǎn)換成 NIFTI（一種文件格式）。

通過定制開發(fā)的網(wǎng)頁應(yīng)用程序，CCDS 團隊對來自放射學報告的研究進行標記。通過基于短語的匹配首先分配軟標號（頂部），對短語重新設(shè)定優(yōu)先次序并進行質(zhì)量評估（中間）。最后，CCDS 團隊會逐個研究手動確認軟標號（底部）。

模型開發(fā)的初始階段也遵循交互式工作流。在這些交互式會話中，CCDS 團隊對模型進行開發(fā)并進行一定時間的訓練，以確保功能上的正確性。由于 PHI 顧慮問題，因此CCDS 團隊必須在合作伙伴的數(shù)據(jù)中心遠程啟動這些交互式會話，以確保 PHI 被本地保存在易于移動的硬件上。

該環(huán)境旨在用作縮小版的 CCDS 計算集群。因此，CCDS 團隊會為每位機器學習科學家分配兩個至四個高性能 GPU（NVIDIA Tesla P100 或 Tesla V100），支持適用于高效節(jié)點內(nèi)通信的 GPUDirect P2P 和適用于節(jié)點間通信的 GPUDirect RDMA。

在容量數(shù)據(jù)上訓練模型時，這些特點非常有優(yōu)勢，已經(jīng)證明同時屬于高度計算型和內(nèi)存密集型。16GB 的高速HBM2 內(nèi)存, 支持半精度浮點操作，以及 TensorCore 混合精度矩陣相乘/相加（僅適用于Tesla V100）大幅度減少相對于消費者 GPU 所需要的硬件。

在整個CCDS 的基礎(chǔ)設(shè)施中都體現(xiàn)了這些益處。雖然在早期模型開發(fā)階段，高性能并非必要要求，但在集群工作期間，開發(fā)環(huán)境中必須具備這些特點，以確保模型的正確性。目前，CCDS 團隊正在探索兩種方法，以支持該工作流：

1.靜態(tài)硬件分配：每位機器學習科學家均配備有專用機器，實體機或虛擬機，在機器上可進行對圖像歸一化技術(shù)和初始模型開發(fā)的所有探索。

2. 動態(tài)硬件分配：通過集群的調(diào)度器從高優(yōu)先次序隊列分配節(jié)點。相對于首個請求，個人對第二個節(jié)點的請求會非常不被優(yōu)先考慮。

大規(guī)模模型訓練

一旦確定了一組候選架構(gòu)后，CCDS 團隊便使用 CCDS 的計算集群大規(guī)模進行訓練。雖然使用的是相同的硬件，但這些操作大部分是分兩步進行：

1. 超參數(shù)搜索：用各種各樣的超參數(shù)配置測試候選架構(gòu)，以確定最佳模型配置。這取決于科學家的偏好，或通過隨機搜索或貝葉斯優(yōu)化 (Bayesian Optimization) 來決定。通過利用集群的過剩能力，大量配置可以平行進行測試，將之前測試各種架構(gòu)和配置的系列任務(wù)轉(zhuǎn)化成一項平行的任務(wù)，這讓AI模型能夠快速迭代和優(yōu)化。

2. 大規(guī)模訓練：一旦確定了有限的一組模型架構(gòu)和超參數(shù)配置后，訓練每個模型達到匯聚融合，設(shè)法確定組群中的最佳模型。成功的大規(guī)模訓練依賴于：在具有高效節(jié)點間通信的GPU 中對模型進行并行化。

對此，CCDS團隊將集群設(shè)計為容納該工作流的需求。計算節(jié)點儲存于 IBM 的 LSF 調(diào)度器之后，將已經(jīng)提交的工作委派至可用的資源并確保節(jié)點的合理分布。

通過 Docker 容器提交工作，以管理開發(fā)環(huán)境和確保一致性，簡化對集群和安裝在每個節(jié)點上的程序包數(shù)量管理。

CCDS 團隊最近收到了全世界首臺 Volta 型 DGX-1 系統(tǒng)

憑借便于使用的容器化環(huán)境，CCDS 已能夠非常容易的在多個節(jié)點和利用 TensorFlow 透明同步化操作的 GPU 以及定制的內(nèi)部庫對工作進行并行化。CCDS團隊也深度依賴于NVIDIA 的 NCCL 庫，該庫被整合到框架中，用于高效的多 GPU 操作。該工具可以讓團隊減少訓練的時間并縮短模型的開發(fā)周期。 

臨床驗證

模型和工具的臨床驗證是CCDS團隊開發(fā)過程的關(guān)鍵步驟。在學術(shù)背景中，如果某個模型能夠在測試集上的表現(xiàn)超過三到四位放射科醫(yī)生，則該模型被視為成功的。

CCDS團隊專注于打造可供臨床醫(yī)生診斷患者的工具，對此制定了嚴格的驗證過程，用于確保模型在臨床上可行。

1、部署前驗證

在模型開發(fā)期間即開始模型驗證。CCDS團隊與臨床醫(yī)生合作，創(chuàng)建群組和訓練集。

CCDS團隊與醫(yī)生共同收集了海量的訓練集，該訓練集不僅僅是針對特定疾病陽性或陰性的清晰理想圖像，團隊還確保解釋說明質(zhì)量較低的研究（例如，掃面器移動或圖像偽影）和被認為較“難以”讀取的研究（例如，模擬、非典型解剖和手術(shù)后隨訪）。

為了對模型進行進一步應(yīng)力測試，CCDS團隊從醫(yī)院掃描器獲取的連貫研究上對其進行評估。由于每天均能獲取大量圖像，所以CCDS團隊能夠在整個開發(fā)周期內(nèi)持續(xù)測試模型。

2、部署后驗證

與醫(yī)院的臨床系統(tǒng)整合完成后，CCDS團隊需要在臨床醫(yī)生的日常運作中評估該模型。該過程幫助評估：

模型性能：該模型在讀取室中是否表現(xiàn)良好，是否滿足放射科醫(yī)生的預期？

易用性： 該模型及其用戶界面是否提高了臨床工作流的有效性和效率？

對此，CCDS團隊與臨床合作伙伴一起，在高度協(xié)同和迭代的過程中測試了模型的性能和工具的易用性。

CCDS團隊的軟件和用戶界面開發(fā)人員持續(xù)觀察臨床醫(yī)生的情況，目的是為了了解工具在整個讀取室的采用情況。由于不同的臨床醫(yī)生有不同的細微工作流差異，因此CCDS團隊針對部門而非特定的放射科醫(yī)生作出改變，以優(yōu)化易用性。

這不僅提高了模型改進臨床醫(yī)生的表現(xiàn)而非抑制其表現(xiàn)的可能性，還有助于推動采用情況。隨著更多放射科醫(yī)生使用該工具，獲取更多的反饋，團隊能進一步改進模型，打造良性循環(huán)。

掃描器、其序列、其影像解決方案及其重建算法均不斷發(fā)生變化，且團隊無法始終察覺到這些軟件或硬件的升級。

因此，需要連續(xù)監(jiān)控，以確保模型性能不會下降。雖然可以應(yīng)用手動反饋環(huán)路，但這樣的程序易于出錯且會增加放射科醫(yī)生的工作負擔和額外責任。

為了消除該依賴關(guān)系并將臨床醫(yī)生工作負擔減至最小，CCDS團隊將該過程自動化；所有模型輸出均連同放射科醫(yī)生的報告一起記錄。通過運行分析，以評估模型隨時間變化的性能并標記顯著的變化。

鑒于停機時間對患者治療的潛在重大影響，醫(yī)院打算在采用新技術(shù)方面保守一點。因此，非常關(guān)鍵的是，任何新解決方案在整合之前均需徹底驗證，且該解決方案符合現(xiàn)有工作流是非常有益的。雖然深度學習醫(yī)學的出現(xiàn)給前線工作帶來了許多新挑戰(zhàn)，但是CCDS團隊發(fā)現(xiàn)，適當結(jié)合創(chuàng)造性、警覺性和仔細挑選供應(yīng)商解決方案，能克服這些困難。

英偉達提供了哪些技術(shù)支持？

在整個CCDS的項目中，英偉達提供的AI技術(shù)起到了至關(guān)重要的作用，包括以下幾項重要技術(shù)：

1、高性能 GPU（Nvidia Tesla P100 或 Tesla V100），支持適用于高效節(jié)點內(nèi)通信的 GPUDirect P2P 和適用于節(jié)點間通信的 GPUDirect RDMA。

2、集群基礎(chǔ)設(shè)施：高性能 DGX-1 提供了強勁的計算平臺。當與高速 Infiniband 連接起來時，個人能夠高效地在容量醫(yī)學數(shù)據(jù)上訓練合理批量的大模型。

3、Nvidia-docker 可實現(xiàn) GPU 無縫整合至容器最新的 2.0 發(fā)布版，進一步減少摩擦。CCDS 已實現(xiàn)的其它好處包括易于選擇 Tensorflow 發(fā)布版，這通常需要特別版的 Nvidia 高度優(yōu)化 cuDNN 庫；選擇基部容器的靈活性，包括非 Nvidia 容器（如需）；以及GPU分離的簡單方法。 

如果您是醫(yī)療AI領(lǐng)域的創(chuàng)業(yè)者或投資人，我們強烈推薦您下載這份白皮書，詳細了解英偉達是如何基于高性能計算，解決AI模型在醫(yī)院訓練全周期中所遇到的種種難題。