【51CTO.com原創(chuàng)稿件】這是一家人工智能創(chuàng)業(yè)公司,成立之日尚短,剛完成A輪融資。

創(chuàng)始團隊中有三位分別來自美國東北大學(xué)、北卡羅來納州立大學(xué)及威廉瑪麗學(xué)院的本領(lǐng)域知名教授。

它聚焦于端側(cè)AI的實現(xiàn),致力于在不額外增加人工智能專用硬件的情況下,讓現(xiàn)有處理器能實時地處理人工智能應(yīng)用。

它就是CoCoPIE——在一條少有人走的路上摸索前行的AI領(lǐng)域新星。

這家名字有點可愛的AI技術(shù)公司在近日迎來了其新任負(fù)責(zé)人李曉峰博士。李曉峰曾擔(dān)任OPPO軟件首席架構(gòu)師、華為技術(shù)副總裁、華米美國分公司總經(jīng)理兼技術(shù)副總裁,擁有豐富的技術(shù)研發(fā)和管理經(jīng)驗。對于終端設(shè)備的智能化趨勢,他有何見解?AI創(chuàng)業(yè)公司眾多,他為何選擇掌舵CoCoPIE?結(jié)合CoCoPIE的技術(shù)和應(yīng)用前景,他如何規(guī)劃公司的當(dāng)下和未來?就這些問題,李曉峰接受了51cto記者的專訪。

挑戰(zhàn):如何在終端設(shè)備上實現(xiàn)AI應(yīng)用實時化

隨著5G和物聯(lián)網(wǎng)技術(shù)的普及,人工智能在終端設(shè)備上的應(yīng)用并不少見,大眾對于人臉識別、視頻監(jiān)控、工業(yè)質(zhì)檢、遠(yuǎn)程維護等場景也算得上耳熟能詳。但受限于終端設(shè)備的算力、功耗、內(nèi)存等因素,終端設(shè)備的智能化之路依舊荊棘叢生。

李曉峰指出:AI算法目前的主要技術(shù)是基于深度學(xué)習(xí)的,這就意味著,一般而言,比較大的模型才有可能獲得較好的準(zhǔn)確度。但模型大了之后就必然導(dǎo)致對算力的較高要求,而這一點在當(dāng)前的終端設(shè)備上卻很難被滿足。

當(dāng)前AI在主流終端硬件上的實現(xiàn)方式是,設(shè)備將數(shù)據(jù)發(fā)送至云端進行運算處理,處理完畢后再發(fā)回至設(shè)備。這種方法固然是解決了算力問題,但一來服務(wù)器成本和帶寬成本較高,二來應(yīng)用體驗會有時延。因此,如何實現(xiàn)AI運算本地化就成為了技術(shù)突破的焦點。

李曉峰介紹:面對這一問題,業(yè)界常用的解決方法有兩種,一是研發(fā)AI專用芯片或定制ASIC芯片;二是對模型進行大幅度壓縮,降低對算力的要求。但就目前來說,這兩種方法都存在明顯不足。專用芯片固然能針對性解決算力問題,但成本高、研發(fā)周期長、通用性弱、風(fēng)險性高,另一方面,模型壓縮往往以準(zhǔn)確度的下降為代價,也許能解一時之急,但終究很難在精準(zhǔn)度和效率間取得平衡。

要推廣普及終端設(shè)備智能化,就必須解決這一困境。當(dāng)CoCoPIE團隊洞悉這一點時,他們敏銳覺察到:機會來了。他們并未拘囿于現(xiàn)有的解決方案,而是從第一性原理出發(fā),分析AI任務(wù)的算力要求的本質(zhì),選擇了一條少有人走的路進行探索。

選擇:CoCoPIE的另辟蹊徑

為什么AI任務(wù)在現(xiàn)有硬件上表現(xiàn)不好?李曉峰總結(jié)主因有二:“一方面是現(xiàn)有的AI計算中有很多冗余計算,另一方面現(xiàn)有的運行引擎沒能充分發(fā)揮芯片的潛力�！�

通俗來說,專用芯片之所以更適合AI任務(wù),是因為具有大量的矢量計算單元,能夠適合大規(guī)模并行計算的需求。但事實上,當(dāng)前主流芯片也基本都有了矢量計算單元。CoCoPIE團隊認(rèn)為,在深度學(xué)習(xí)模型本地化運算的過程中,CPU、GPU、DSP等主流硬件尚有很大潛力沒有被開發(fā)。相比于AI專用芯片,這些通用芯片固然能力要弱一些,但執(zhí)行當(dāng)前的AI任務(wù)也基本夠用。

如何充分發(fā)揮這些通用芯片的潛力?李曉峰解釋道,前提是必須有“優(yōu)異的編譯器”,通過精巧的設(shè)計將AI任務(wù)轉(zhuǎn)換為合適的矢量計算,同時控制好總體的計算量�；�于這一認(rèn)識,CoCoPIE設(shè)計了一種人工智能模型的壓縮-編譯協(xié)同方案,能夠使得以往無法運行在終端設(shè)備上的神經(jīng)網(wǎng)絡(luò)得以在終端上運行,進而在現(xiàn)有的終端設(shè)備硬件條件下,實現(xiàn)端側(cè)智能的高效實時化。此外,這種軟件協(xié)同模型亦可有效加速各種新生代AI硬件。

李曉峰認(rèn)為,CoCoPIE的技術(shù)路線在端側(cè)AI領(lǐng)域有巨大的成長空間。早在CoCoPIE成立之前他就與創(chuàng)始團隊認(rèn)識并參與過初期討論,后續(xù)也在持續(xù)關(guān)注其進展。李曉峰選擇在CoCoPIE的發(fā)展關(guān)鍵期加入,對雙方來說都是恰逢其會。

對李曉峰來說,他高度認(rèn)可CoCoPIE的技術(shù)實力,相信其能在端側(cè)AI大有可為。他提到:端側(cè)AI的潛在市場是萬億美元規(guī)模。能有機會在這樣的發(fā)展風(fēng)口參與其中,通過自身努力改變?nèi)藗兊纳��?是幸事也是樂事。

對CoCoPIE來說,李曉峰之前的工作經(jīng)歷和團隊管理經(jīng)驗會為公司帶來關(guān)鍵的助益。無論是在英特爾、華米、華為還是OPPO,圍繞端側(cè)設(shè)備展開的一系列工作都讓他深刻體察到——端側(cè)計算的重要性在不斷擴展,端側(cè)用戶價值在不斷提升。

在英特爾時,李曉峰曾帶領(lǐng)團隊負(fù)責(zé)Android系統(tǒng)在英特爾移動平臺上的性能、功耗和流暢性,并開發(fā)了業(yè)界第一個Android評測套件;在華米時曾領(lǐng)導(dǎo)團隊進行健康手環(huán)產(chǎn)品的軟件和算法研發(fā);在擔(dān)任華為技術(shù)副總裁時,曾帶領(lǐng)團隊研發(fā)應(yīng)用于移動設(shè)備的智能感知算法;在OPPO時,曾發(fā)明基于感知觸發(fā)的新型應(yīng)用技術(shù)……這些經(jīng)歷讓他對端側(cè)AI的技術(shù)發(fā)展和市場需求擁有深刻的理解,對于端側(cè)設(shè)備智能化的發(fā)展趨勢和構(gòu)建方式有深層的洞見,也讓他對于掌舵CoCoPIE更有信心。

內(nèi)核:在“協(xié)同設(shè)計”中走出的第三種可能

對一家技術(shù)公司來說,如果說掌舵者代表劍之所指、心之所向,那么核心技術(shù)永遠(yuǎn)是筑基之石、立身之本。在業(yè)界普遍認(rèn)為硬件是限制當(dāng)前終端設(shè)備進行實時推理的主要因素,故而針對芯片的競爭趨向白熱化的當(dāng)口,CoCoPIE的另辟蹊徑反而提供了一種的新的可能和想象空間。

CoCoPIE,即Compression-Compilation co-design for Performance, Intelligence,  and Efficiency,意為一種高性能、高智能和高效率的壓縮-編譯協(xié)同設(shè)計方式。從這個名字我們可以直觀地看到CoCoPIE的技術(shù)核心和優(yōu)勢所在。

李曉峰對此做了進一步說明:壓縮和編譯是在硬件上擬合深度學(xué)習(xí)模型以實現(xiàn)高效執(zhí)行的兩個關(guān)鍵步驟。CoCoPIE技術(shù)的核心在于二者的“協(xié)同設(shè)計”,這是CoCoPIE的首創(chuàng)技術(shù)。這個技術(shù)的關(guān)鍵在于,在設(shè)計壓縮的時候考慮編譯器及硬件的偏好從而選擇壓縮的方式,在設(shè)計編譯器的時候利用壓縮模型的特點來設(shè)計相應(yīng)的編譯優(yōu)化方法。

要做到這一點,尋找合適的模型壓縮方式是關(guān)鍵。模型壓縮需要在不影響模型準(zhǔn)確度的前提下,減少模型的參數(shù)(權(quán)重)數(shù)量,從而降低模型本身訓(xùn)練及推理復(fù)雜度。

以往權(quán)重剪枝主要有兩種方式:針對任意權(quán)重的非結(jié)構(gòu)化剪枝和針對過濾器或通道的結(jié)構(gòu)化剪枝。非結(jié)構(gòu)化剪枝能夠優(yōu)化任意權(quán)重,保證了準(zhǔn)確率,但是由于剪枝不規(guī)則,對硬件優(yōu)化不友好,不利于實現(xiàn)并行運算,計算能耗也會因此升高。結(jié)構(gòu)化剪枝對所有通道和過濾器都做統(tǒng)一剪枝,由于剪枝方式規(guī)則,有利于硬件加速,但隨之而來的是準(zhǔn)確率的降低。

兩者各有利弊,綜合權(quán)衡下,CoCoPIE開創(chuàng)性提出了第三種方案——一種基于模式(pattern)的權(quán)重剪枝方法。

李曉峰解釋,這種方法的基本思想是,針對不同的運行環(huán)境及模型特性,找到其特定的模式,對過濾器可以選取不同的模式進行剪枝。這種壓縮方式本質(zhì)上是一種“細(xì)粒度的結(jié)構(gòu)化剪枝”,可以保證在有效減少計算量的前提下依然保證準(zhǔn)確率不變。同時,編譯器可以基于該模式對過濾器進行重新排列及代碼生成,有利于最大化地實現(xiàn)計算并行化和內(nèi)存優(yōu)化。這樣將壓縮和編譯完美地結(jié)合起來,實現(xiàn)了準(zhǔn)確率和高效率的二者兼得。

對應(yīng)壓縮和編譯兩個步驟,CoCoPIE設(shè)計了兩個組件:CoCo-Gen和CoCo-Tune。CoCo-Gen通過將基于模式的深度神經(jīng)網(wǎng)絡(luò)(DNN)剪枝與基于模式的代碼生成相協(xié)同,生成高效的DNN執(zhí)行代碼;CoCo-Tune則基于軟件工程中可組構(gòu)性的概念,將整個網(wǎng)絡(luò)當(dāng)做很多的組件模塊的結(jié)合,其中每個模塊由一系列CNN層組成。CoCo-Tune對這些可復(fù)用的訓(xùn)練模塊進行預(yù)訓(xùn)練并將結(jié)果用于之后的網(wǎng)絡(luò),從而顯著縮短DNN模型壓縮及訓(xùn)練的過程。

CoCoPIE帶來的性能提升是非常可觀的,它的加持不僅可以使很多曾經(jīng)無法在端側(cè)通用芯片上運行的模型得以高效運行,而且效率表現(xiàn)也遠(yuǎn)優(yōu)于專用芯片。在對照實驗中:

同樣是VGG-16神經(jīng)網(wǎng)絡(luò),用通用芯片和谷歌TPU-V2作比,使用CoCoPIE后在移動設(shè)備Samsung Galaxy  S10上比在TPU-V2上能效提高了近18倍;

同樣是Samsung Galaxy  S10平臺,運行行為識別的C3D和S3D兩個任務(wù),CoCoPIE的速度比Pytorch分別提高了17倍和22倍;

另外,對功耗測試的結(jié)果顯示,CoCoPIE與TVM相比,執(zhí)行時間縮短了9倍以上,功率卻僅多消耗了不到10%。

產(chǎn)品:拓展智能泛在化的空間

對一家人工智能創(chuàng)業(yè)公司來說,要尋求發(fā)展,除了在技術(shù)上不斷精進外,建立完善的產(chǎn)品和服務(wù)體系也是重中之重。對此,李曉峰已經(jīng)有了清晰的概念。

在他看來,公司當(dāng)前的發(fā)展重點是建立高技術(shù)壁壘的可以放量的產(chǎn)品體系,真正把領(lǐng)先的技術(shù)轉(zhuǎn)化為可以直接服務(wù)于大規(guī)�？蛻粜枨蟮漠a(chǎn)品體系。同時要把團隊建設(shè)、產(chǎn)品戰(zhàn)略、業(yè)務(wù)戰(zhàn)略這些公司發(fā)展的核心閉環(huán)打造堅實,與合作生態(tài)形成良性互動,這樣就可以把雪球滾動起來,不斷積累,加速成長。

在創(chuàng)新技術(shù)的產(chǎn)品轉(zhuǎn)化方面,李曉峰強調(diào),他更側(cè)重的是智能技術(shù)的泛在化(ubiquitous)。這里的“泛在化”更多意指無處不在的,而不是單單的普適化、大眾化。

他認(rèn)為,過去在設(shè)備里植入芯片能跑一個或一些應(yīng)用,就被認(rèn)為是智能設(shè)備(Smart  Devices)。但實際上這里的“智能”實現(xiàn)要依賴云端、依賴網(wǎng)絡(luò),一旦這些外部條件出現(xiàn)變化或故障,均有可能帶來不可預(yù)計的損失。何況很多業(yè)務(wù)本身對于隱私安全、運行安全都有要求,這些不可控因素會使人不敢將業(yè)務(wù)部署在端側(cè)。這種狀況在很大程度上也限制了端側(cè)AI的發(fā)展。

因此要真正推動Smart Devices(智能設(shè)備)向Intelligent  Devices(智慧設(shè)備)演進,必須拓展其發(fā)展空間,使AI真正無處不在,讓端側(cè)智能在本地真正實現(xiàn),而不是受限于外因。CoCoPIE目前在做的就是加速這一進程。CoCoPIE的技術(shù)實質(zhì)是讓AI任務(wù)在芯片平臺上實現(xiàn)高效執(zhí)行,也就是起到連接AI任務(wù)和硬件平臺的作用,這個環(huán)節(jié)為端側(cè)AI的本地實時化提供了路徑,重塑了Intelligent  Devices的想象空間。

李曉峰介紹,目前CoCoPIE的技術(shù)已經(jīng)擁有了比較多樣的落地場景。具體來看可以分為三類:AI應(yīng)用的優(yōu)化執(zhí)行,比如助力實現(xiàn)實時的視頻增強;智能設(shè)備AI賦能,比如攝像頭的活動檢測;芯片平臺的一體化設(shè)計,比如為芯片平臺設(shè)計和集成AI運行棧。

基于這些場景,CoCoPIE可以為用戶提供三類服務(wù):其一,通過供完整的工具鏈和SDK來賦能客戶;其二,通過云側(cè)SaaS提供大規(guī)模的自動化AI模型優(yōu)化服務(wù);其三,深入合作提供定制化服務(wù)。

目前CoCoPIE的合作客戶有騰訊、滴滴、美國交通部、高知特(Cognizant)等等,涵蓋了互聯(lián)網(wǎng)廠商、移動設(shè)備制造商、芯片平臺提供商等多個領(lǐng)域。

遠(yuǎn)方不遠(yuǎn):萬物智能互聯(lián),想象無遠(yuǎn)弗屆

無論是個人還是企業(yè)的發(fā)展都離不開時代。我們正身處一個怎樣的時代?

5G發(fā)展如火如荼,物聯(lián)網(wǎng)也在多年沉寂后走到了聚光燈下,萬物互聯(lián)開始成為時代的技術(shù)夢想。無數(shù)的終端設(shè)備猶如繁星,在這個夢想中明滅起伏,不可輕忽。CoCoPIE窺見了其中光景,于是在這個玩家眾多的賽道欣然入局。

李曉峰說:“設(shè)備是為人服務(wù)的,是人的能力的延伸�！�

在他看來,端側(cè)設(shè)備是人與數(shù)字世界進行交互的載體,端側(cè)能力的發(fā)展趨勢就是讓人可以自由地在物理世界和數(shù)字世界之間進出。未來,越來越多的端側(cè)設(shè)備一定會協(xié)同起來,讓這個進出的過程更加流暢、自然、無感。

要達成這一目的,必須滿足兩方面的要求:一方面,端側(cè)必須能夠理解人,清楚人的意圖和環(huán)境,才能定位優(yōu)質(zhì)服務(wù),做好數(shù)字世界的入口;另一方面,端側(cè)必須能夠給人以愉悅真實的體驗,才能輸出優(yōu)質(zhì)服務(wù),做好數(shù)字世界的出口。這兩者都需要端側(cè)設(shè)備更加“聰明”,既能知道人的需要,又能滿足人的需要,做到“交互智慧化、體驗真實化”。發(fā)展端側(cè)AI的重要性就在于此,CoCoPIE也正是為此而生,長路漫漫,它亦期待著更多同行者,相攜數(shù)程,得見未來。

【51CTO原創(chuàng)稿件,合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】

來源:51CTO張潔