陳左寧院士

近年來人工智能(AI)對計算算力、計算環(huán)境提出了新要求。那么,如今高性能計算機(jī)對AI的適應(yīng)性到底怎樣?是不是隨著AI對算力的需求越來越大,在經(jīng)典的HPC上進(jìn)行適當(dāng)?shù)母倪M(jìn)——比如增加一些加速部件,就能滿足這些需求?

在2020全國高性能計算學(xué)術(shù)年會(HPC China 2020)上,中國工程院副院長、中國科協(xié)副主席、中國工程院院士陳左寧對這些問題,給出了她思考后得出的結(jié)論。

經(jīng)典HPC并不最適于AI對算力的需求陳左寧院士的結(jié)論有三層意思:

經(jīng)典高性能計算機(jī)算力環(huán)境可以支持現(xiàn)有人工智能的模型算法,但從性能功耗比和性價比來講都比較低。經(jīng)典高性能計算機(jī)并不最合適用于AI對算力的需求,要去匹配AI,需要創(chuàng)新體系結(jié)構(gòu)和軟件架構(gòu)。隨著智能計算理論的演進(jìn),可能會突破圖靈“可計算性理論”的范疇,比如類腦計算和量子計算,可能會帶來體系結(jié)構(gòu)和軟件新的突破,但還有待研究。用8個字總結(jié)一下就是,可用、不契合、待改善。當(dāng)然,陳左寧院士在這里提及的AI,是加了限定詞的:比如“云端AI”、“做訓(xùn)練的AI”,那些與數(shù)據(jù)訓(xùn)練有關(guān)的、數(shù)據(jù)規(guī)模和模型規(guī)模大到一個芯片不足以支撐的AI。這個結(jié)論,是陳院士經(jīng)過細(xì)致分析后得出的。她提出,要研究AI對算力的需求,首先要追本溯源:目前AI的本征是什么、它“本征地”對算力的需求是什么。

當(dāng)前,人工智能三個流派——符號主義、連接主義、行為主義日趨融合、協(xié)同發(fā)展,這三個流派也都在指向“反映‘關(guān)系’”。

也就是說人工智能的核心特征之一就是反映“關(guān)系”。

那么“關(guān)系”的計算,有哪些特征?

陳左寧院士給出了答案:在高維空間中,開放的、多點(diǎn)的、不確定的近似計算。

經(jīng)典高性能計算能否對應(yīng)這些特征?不能——

首先,高維空間——經(jīng)典高性能計算隨著計算復(fù)雜度的提升,也在向高維發(fā)展;但與AI計算相比,經(jīng)典高性能計算的模型是確定的,模型確定后可以降維,可以在確定的模型框架下,來判別是否收斂、是否合適降維。但對于AI計算來說,模型很多不確定,高維計算就很難降維。

其次,開放——經(jīng)典超算模型也是多點(diǎn)的,但不是開放的;在一個計算空間里,經(jīng)典超算不是像AI那樣開放的。比如AI模型數(shù)據(jù)越多,提取特征越多。

最后,不確定的近似計算——這是一種概率計算,不是精確的數(shù)值計算,這是跟經(jīng)典高性能計算非常不一樣的地方。

基于上述3點(diǎn),陳左寧院士得出結(jié)論:經(jīng)典高性能計算機(jī)并不最合適用于AI對算力的需求。

當(dāng)前AI模型和算法的七大發(fā)展趨勢要讓經(jīng)典高性能計算機(jī)能夠更好服務(wù)于AI計算,我們需要了解和發(fā)現(xiàn)AI模型及算法的發(fā)展趨勢。

陳左寧院士總結(jié),當(dāng)前人工智能模型和算法有七大發(fā)展趨勢:

向無監(jiān)督學(xué)習(xí)的方向發(fā)展。

現(xiàn)在的深度學(xué)習(xí)模型,多是有監(jiān)督的學(xué)習(xí),因此需要大量數(shù)據(jù)、大量標(biāo)注、大量計算。為了減少數(shù)據(jù)標(biāo)注和計算開銷,未來AI模型越來越青睞“無監(jiān)督學(xué)習(xí)”。

進(jìn)而,HPC就要適應(yīng)“小數(shù)據(jù)”對算力的需求:如主動學(xué)習(xí),強(qiáng)調(diào)人機(jī)交互能力和數(shù)據(jù)整合能力;遷移學(xué)習(xí),要求對大數(shù)據(jù)的預(yù)訓(xùn)練;強(qiáng)化學(xué)習(xí),注重信息采集能力和概率計算能力。

AI的可解釋性越來越重要。

AI的可解釋性,是AI邁向更負(fù)責(zé)任的AI的有效途徑。AI模型也發(fā)展出透明模型和事后可解釋模型。

它們對算力的具體需求是,將可解釋技術(shù)融入到軟件環(huán)境中,包括為現(xiàn)有軟件框架增加可解釋技術(shù)的接口、發(fā)展以人為中心由決策理論驅(qū)動可解釋AI的概念框架(簡言之就是要將“人的解釋”與模型框架融為一體 )。

AI模型邁向自學(xué)習(xí)、自演化。

邁向自學(xué)習(xí)、自演化的AI模型目前有如AutoML等。支撐自動機(jī)器學(xué)習(xí)模型,要求計算框架能夠支撐AI的這種自學(xué)習(xí)能力,如大算力支撐、輔助設(shè)備支撐等。

多種算法、模型的有機(jī)組合。

AI的這一趨勢已經(jīng)很明顯了。目前單一算法越來越難以解決實際問題,勢必需要多種模型的有機(jī)融合。而且,人工智能模型的發(fā)展也希望融入多種技術(shù)來解決已有問題。同時,人工智能的應(yīng)用流程越來越復(fù)雜,也需要不同的算法和模型組合。

這對算力的需求體現(xiàn)為,算力系統(tǒng)的計算存儲等具備可擴(kuò)展能力,基礎(chǔ)軟件通過能力提升可支持復(fù)雜模型、不同類別軟件的協(xié)同和交互。

圖中視覺問題就需要多種模型組合

AI應(yīng)用越來越需要關(guān)注全生命周期。

AI模型生命周期包括設(shè)計、數(shù)據(jù)預(yù)處理、部署、推理等,不同節(jié)點(diǎn)的任務(wù)具有不同的時間、空間和計算需求;且全生命周期都要考慮可解釋、公平等需求。

分布式、分散式的需求越來越突出。

大型、復(fù)雜模型,海量數(shù)據(jù)需要并行、分布式計算;聯(lián)邦學(xué)習(xí)等分散場景原生性地需要分布式機(jī)器學(xué)習(xí)原生算法。

深度推理。

清華大學(xué)教授唐杰在《從知識圖譜到認(rèn)知圖譜:歷史、發(fā)展與展望》中提到,人工智能沿著“計算—感知—認(rèn)知—意識”發(fā)展,對算力的需求也從最初的表示、計算、存儲+人機(jī)輸入/輸出,逐步過渡到知識數(shù)據(jù)驅(qū)動、認(rèn)知推理、決策智能甚至要求支撐自學(xué)習(xí)、記憶機(jī)理,進(jìn)一步發(fā)展出有(無)意識處理器。

陳左寧認(rèn)為,這反映出AI對計算需求的演進(jìn)。有可能未來智能化程度越高,對計算的需求越顛覆,以至于現(xiàn)有的圖靈可計算的技術(shù)無法支撐。這一方面需要計算平臺要能夠有效應(yīng)對多種形式的不確定性(如概率計算、類腦仿腦體系結(jié)構(gòu)、模擬計算),另一方面則寄希望于認(rèn)知理論的進(jìn)一步突破。