AI對(duì)算力體系結(jié)構(gòu)的需求

要擺脫體系結(jié)構(gòu)的限制,需要對(duì)現(xiàn)有體系結(jié)構(gòu)進(jìn)一步優(yōu)化。這包括:

適度使用較低精度;

更有效利用內(nèi)存層次結(jié)構(gòu);

更有效的并行形式;

使用大片上緩存和高帶寬內(nèi)存(目前應(yīng)用較多);

發(fā)展包含編解碼部件、稀疏部件等在內(nèi)的新部件(比如NVDIA A100 專門做了稀疏部件的設(shè)計(jì));

計(jì)算流/數(shù)據(jù)流/控制流有機(jī)結(jié)合;

異構(gòu)深度融合結(jié)構(gòu)……

再進(jìn)一步,變革體系結(jié)構(gòu),使其能夠?qū)崿F(xiàn)“更合理的映射”。

所謂更合理的映射,可以理解為:既然人工智能表征的是點(diǎn)和點(diǎn)之間的“關(guān)系”,而“關(guān)系”本身又具有一種拓?fù)溥B接關(guān)系,那么如果計(jì)算物理架構(gòu)能夠更好地映射到這種拓?fù)溥B接,顯然是最有效的。

如何實(shí)現(xiàn)?

首先要有面向應(yīng)用需求的體系結(jié)構(gòu)設(shè)計(jì)(主要是一些參數(shù)的變化,比如SIMD個(gè)數(shù)、核心數(shù),改變芯片尺寸、互連、能耗等);

進(jìn)一步可以發(fā)展存內(nèi)計(jì)算、網(wǎng)內(nèi)計(jì)算這種適合人工智能算法的計(jì)算形態(tài)(存算一體、傳算一體);

最好的是,面向“連接關(guān)系”設(shè)計(jì)硬件、面向“連接”設(shè)計(jì)體系結(jié)構(gòu),使拓?fù)潢P(guān)系表示更能反映“關(guān)系和連接”。比如當(dāng)前排行超算TOP 500榜首的日本“富岳”,通過設(shè)計(jì)出6D-Torus,更適于映射高維度的數(shù)據(jù)。

再進(jìn)一步,變革體系結(jié)構(gòu),使其能夠?qū)崿F(xiàn)“高可擴(kuò)展的架構(gòu)設(shè)計(jì)”。

這類講的比較多的有晶圓級(jí)封裝和系統(tǒng)級(jí)封裝。

異構(gòu)集成系統(tǒng)設(shè)計(jì)方案的創(chuàng)新,讓“Chiplet”走進(jìn)人們視野。這種“產(chǎn)品中的不同組件在獨(dú)立的裸片上設(shè)計(jì)和實(shí)現(xiàn)”的理念,正隨著技術(shù)的發(fā)展引起大型商業(yè)公司和研究機(jī)構(gòu)的關(guān)注。如今,不僅多核系統(tǒng)可以Chiplet,甚至多個(gè)Chiplet也可以再做融合。

比如美國初創(chuàng)公司Cerebras發(fā)布的“全球最大的芯片WSE”,就是晶圓級(jí)封裝的典型代表;蘇黎世聯(lián)邦理工學(xué)院發(fā)布剛剛在今年發(fā)布的4096核心RISC-V芯片,也是一個(gè)由多個(gè)Chiplet組合起來的眾核架構(gòu)。

據(jù)稱WSE上有1．2萬億個(gè)晶體管

在理想狀態(tài)下,這類“大芯片”的效率非常高,比“CPU+GPU”高很多倍,同時(shí)所需能耗和空間也非常低。

當(dāng)然,類腦芯片和量子芯片這種更加能夠映射到AI表征的“關(guān)系”的芯片,是從硬件形態(tài)上對(duì)體系結(jié)構(gòu)的突破,現(xiàn)在代表性的產(chǎn)品有谷歌發(fā)布的Truenorth 神經(jīng)形態(tài)芯片浙江大學(xué)發(fā)布的“達(dá)爾文2”芯片。

值得指出的是,類腦芯片目前仍處于概念驗(yàn)證階段,量子芯片更是還在襁褓之中。

AI對(duì)算力軟件棧的需求

前文提到,根據(jù)發(fā)展趨勢(shì),AI對(duì)算力軟件棧的需求,要求軟件棧是復(fù)雜、動(dòng)態(tài)、分布式,分散的,要支撐新的場(chǎng)景(如原生支持分散場(chǎng)景等),以及架構(gòu)創(chuàng)新(如軟硬件協(xié)同設(shè)計(jì)、體系結(jié)構(gòu)突破等)。

這是由于,目前現(xiàn)有的人工智能軟件棧是分離的——即各流程軟件支持是分離的,每個(gè)階段有每個(gè)階段的處理系統(tǒng)。

比如:預(yù)處理,一般是基于CPU 集群,軟件多用Hadoop、Spark等;模型設(shè)計(jì),前端CPU服務(wù)器+JupyterNotebook系統(tǒng);模型訓(xùn)練,基于CPU-GPU集群的TensorFlow等框架;部署、推理多利用邊緣設(shè)備等等。

正是由于各階段有各自的處理系統(tǒng)、不同的階段用不同的系統(tǒng),導(dǎo)致現(xiàn)在缺乏原生的擴(kuò)展能力和動(dòng)態(tài)支撐能力,包括編排、流程化處理,都缺乏很好的支撐。

由此,人工智能軟件棧需求就是對(duì)可擴(kuò)展的支持、動(dòng)態(tài)的支持、協(xié)同全流程計(jì)算等的需求。

其中,協(xié)同全流程計(jì)算需要考慮AI應(yīng)用的全生命周期和為“人的介入”作特殊設(shè)計(jì)。特別是人在環(huán)路中這點(diǎn)必須特殊考慮。

傳統(tǒng)HPC中,“人的介入”非常明確——就是開發(fā)階段,模型、算法確定以后就不必再去考慮了;但在AI特別是在訓(xùn)練中則不得不區(qū)別對(duì)待。

比如要研究人在回路中的最大特征,如要研究語義、交互、迭代;要研究不確定性、脆弱性和開放性條件下的任務(wù)建模、環(huán)境建模和人類行為建模;要研究人機(jī)物融合新型人工智能等等。

從架構(gòu)創(chuàng)新的角度,人工智能對(duì)算力軟件棧的需要,則集中在以下幾個(gè)方面:

從集中式到適應(yīng)分布式、分散、動(dòng)態(tài)的需求;

從“以計(jì)算為中心”到“以數(shù)據(jù)為中心”;

從“面向計(jì)算機(jī)專家”到“面向數(shù)據(jù)分析專家”;

彈性、多框架的協(xié)同;

支持云邊端協(xié)同。

特別需要指出的是,受編程及軟件平臺(tái)感知邊緣資源限制,如今的智能任務(wù)不可能只在一臺(tái)大機(jī)器中完成,顯然需要云邊端協(xié)同完成;而智能本身的任務(wù)分配,包括感知、認(rèn)知、決策,也是一個(gè)閉環(huán),同樣需要云邊端的智能融合。

最后,兩點(diǎn)說明

當(dāng)前,AI對(duì)算力的需求潛力已毋庸置疑。但由于AI發(fā)展的歷史尚短,自身無論計(jì)算理論、方法算法都尚不完整,特別是數(shù)學(xué)理論的基礎(chǔ)還很不堅(jiān)實(shí),因此,AI還不能如傳統(tǒng)的數(shù)值模擬一樣,能夠非常明確地提出對(duì)HPC計(jì)算能力的要求。

也就是說,AI的計(jì)算理論還沒有發(fā)展到它能對(duì)HPC明確提出很高的需求階段。但反過來看,如果AI能夠接近甚至達(dá)到人的智能水平,肯定會(huì)對(duì)計(jì)算能力、存儲(chǔ)能力等的需求非常高。

另一方面,高性能計(jì)算未來也將不再簡單比拼“肌肉”——只追求規(guī)模和性能——更加智慧的高性能計(jì)算系統(tǒng)將成為主流。

未來,高性能計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能將實(shí)現(xiàn)深度融合。國家超級(jí)計(jì)算廣州中心主任盧宇彤甚至預(yù)言,“到2030年,所有高端計(jì)算設(shè)備將自帶AI支持功能,高性能計(jì)算仿真將利用AI平臺(tái)提高性能,AI也將重塑計(jì)算仿真�！�

因此,現(xiàn)階段HPC與AI融合、適配問題的關(guān)鍵在于,在HPC體系結(jié)構(gòu)發(fā)生改變的過渡階段,如何在AI的演進(jìn)階段支撐其計(jì)算能力需求,這是目前HPC領(lǐng)域應(yīng)該考慮的問題。

還應(yīng)注意到,深度學(xué)習(xí)僅僅是AI算法的一個(gè)分支,面向AI的云端高性能計(jì)算環(huán)境需要廣泛適應(yīng)包括深度學(xué)習(xí)在內(nèi)的多種應(yīng)用模式,未來的應(yīng)用需求仍有待進(jìn)一步研究。