訂閱
糾錯(cuò)
加入自媒體

復(fù)旦NLP團(tuán)隊(duì)開(kāi)源MOSS,此為國(guó)內(nèi)首個(gè)公開(kāi)亮相的類ChatGPT模型

復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室邱錫鵬教授團(tuán)隊(duì)上線 MOSS 兩個(gè)月后,把 MOSS 開(kāi)源了。

目前開(kāi)源的版本是 MOSS 003,二月份公開(kāi)邀請(qǐng)內(nèi)測(cè)的版本為 MOSS 002,一月份有一個(gè)內(nèi)部測(cè)試版本叫做 OpenChat 001。

在 MOSS 003 中,復(fù)旦團(tuán)隊(duì)采用不同的技術(shù)路線,通過(guò)讓Moss和人類以及其他對(duì)話模型都進(jìn)行交互,顯著提升了學(xué)習(xí)效率和研發(fā)效率,短時(shí)間內(nèi)就高效完成了對(duì)話能力訓(xùn)練。

MOSS 成為國(guó)內(nèi)首個(gè)公開(kāi)亮相的類ChatGPT語(yǔ)言模型,也是國(guó)內(nèi)首個(gè)搭載插件系統(tǒng)的開(kāi)源對(duì)話語(yǔ)言模型, “端到端”走通了大語(yǔ)言模型的開(kāi)發(fā)全程。

MOSS 的成長(zhǎng)過(guò)程

復(fù)旦 NLP 團(tuán)隊(duì)成員孫天祥公布了 MOSS成長(zhǎng)過(guò)程。

ChatGPT 問(wèn)世后,國(guó)內(nèi) NLP 從業(yè)者受到?jīng)_擊很大,當(dāng)時(shí)沒(méi)有 llama 也沒(méi)有 alpaca,團(tuán)隊(duì)普遍認(rèn)為國(guó)內(nèi)技術(shù)距離 ChatGPT 有一到兩年的技術(shù)差距。

要做 ChatGPT 有兩個(gè)部分是很昂貴的,一個(gè)是數(shù)據(jù)標(biāo)注,一個(gè)是預(yù)訓(xùn)練算力。團(tuán)隊(duì)沒(méi)有算力,便去構(gòu)造數(shù)據(jù)——從 OpenAI 的論文附錄里扒了一些它們API收集到的user prompt,然后用類似Self-Instruct的思路擴(kuò)展出大約 40 萬(wàn)對(duì)話數(shù)據(jù)。

一月份的時(shí)候,團(tuán)隊(duì)研制出了 OpenChat 001,雖然 OpenChat 001 不具備中文能力,不知道關(guān)于自己的信息(比如名字、能力等),且安全性較低,但此時(shí)模型已經(jīng)具備了指令遵循能力、多輪能力、跨語(yǔ)言對(duì)齊能力,可以理解中文并用英文回答。

這給了團(tuán)隊(duì)很大的信心,于是加緊了 MOSS 002 的部署,增加到了116萬(wàn)條中英文對(duì)話數(shù)據(jù)。截至MOSS 002訓(xùn)練完成時(shí),gpt-3.5-turbo、LLaMA、Alpaca均未出現(xiàn),但卻收到很多類似“MOSS是蒸餾ChatGPT” / “基于LLaMA微調(diào)”等質(zhì)疑。

目前開(kāi)源的最新版本 MOSS 003 的基座語(yǔ)言模型已經(jīng)在 100B 中文 token 上進(jìn)行了訓(xùn)練,總訓(xùn)練 token 數(shù)量達(dá)到 700B,還構(gòu)造了約 30 萬(wàn)插件增強(qiáng)的對(duì)話數(shù)據(jù),目前已包含搜索引擎、文生圖、計(jì)算器、方程求解等。還給 MOSS 增加了I nner Thoughts 作為輸出,即在 MOSS 決定調(diào)用 API 以及回復(fù)之前首先輸出其“內(nèi)心想法”。

研發(fā)團(tuán)隊(duì)稱本次開(kāi)源只是個(gè)開(kāi)始,后續(xù)團(tuán)隊(duì)還將開(kāi)源完整版 MOSS 003 微調(diào)數(shù)據(jù)、偏好數(shù)據(jù)、偏好模型以及經(jīng)過(guò)偏好訓(xùn)練過(guò)的最終模型。

MOSS 發(fā)布時(shí)掀起驚濤駭浪

2 月份,國(guó)內(nèi)各大廠紛紛開(kāi)始拼大模型,但在國(guó)內(nèi)賽道上首個(gè)拿出大模型的不是大廠,而是學(xué)界——復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室邱錫鵬教授團(tuán)隊(duì)。

2 月 20 日晚,復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室發(fā)布類 ChatGPT 模型 MOSS 的消息一經(jīng)公開(kāi),很快就登頂了知乎熱榜。由于瞬時(shí)訪問(wèn)壓力過(guò)大,MOSS服務(wù)器還被網(wǎng)友擠崩潰了。

針對(duì)服務(wù)器崩潰一事,MOSS 官網(wǎng)發(fā)公告回應(yīng):“我們最初的想法只是想將 MOSS 進(jìn)行內(nèi)測(cè),以便進(jìn)一步優(yōu)化,沒(méi)有想到會(huì)引起這么大的關(guān)注,我們的計(jì)算資源不足以支持如此大的訪問(wèn)量,并且作為學(xué)術(shù)團(tuán)隊(duì)我們也沒(méi)有相關(guān)的工程經(jīng)驗(yàn),給大家造成非常不好的體驗(yàn)和第一印象,在此向大家致以真誠(chéng)的歉意。

團(tuán)隊(duì)稱,MOSS 還是一個(gè)非常不成熟的模型,距離 ChatGPT 還有很長(zhǎng)的路需要走。作為一個(gè)學(xué)術(shù)研究的實(shí)驗(yàn)室無(wú)法做出和 ChatGPT 能力相近的模型,MOSS 只是想在百億規(guī)模參數(shù)上探索和驗(yàn)證 ChatGPT 的技術(shù)路線,并且實(shí)現(xiàn)各種對(duì)話能力。

MOSS 可執(zhí)行對(duì)話生成、編程、事實(shí)問(wèn)答等一系列任務(wù),打通了讓生成式語(yǔ)言模型理解人類意圖并具有對(duì)話能力的全部技術(shù)路徑。這條路徑的走通,為國(guó)內(nèi)學(xué)術(shù)界和產(chǎn)業(yè)界提供了重要經(jīng)驗(yàn),將助力大語(yǔ)言模型的進(jìn)一步探索和應(yīng)用。

企查查 APP 顯示,目前 MOSS 商標(biāo)申請(qǐng)信息共 74 條,已有 32 枚商標(biāo)被成功注冊(cè),申請(qǐng)人包括進(jìn)出口、電子商務(wù)、高新技術(shù)等領(lǐng)域的多家公司及多個(gè)自然人,商標(biāo)國(guó)際分類包括科學(xué)儀器、珠寶鐘表、教育娛樂(lè)等,此外,目前仍有 3 枚 MOSS 商標(biāo)正在注冊(cè)申請(qǐng)中。

團(tuán)隊(duì)核心人物邱錫鵬

根據(jù)復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院官網(wǎng)的介紹,邱錫鵬教授于復(fù)旦大學(xué)獲得理學(xué)學(xué)士和博士學(xué)位。研究方向?yàn)樽匀徽Z(yǔ)言處理、深度學(xué)習(xí),發(fā)表CCF-A/B類論文70余篇。主持開(kāi)發(fā)了開(kāi)源自然語(yǔ)言處理工具FudanNLP、FastNLP,獲得了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛使用。

邱錫鵬的研究方向是,圍繞自然語(yǔ)言處理的機(jī)器學(xué)習(xí)模型構(gòu)建、學(xué)習(xí)算法和下游任務(wù)應(yīng)用,包括:自然語(yǔ)言表示學(xué)習(xí)、預(yù)訓(xùn)練模型、信息抽取、中文NLP、開(kāi)源NLP系統(tǒng)、可信NLP技術(shù)、對(duì)話系統(tǒng)等。

邱錫鵬表示:“盡管MOSS還有很大改善空間,但它的問(wèn)世證明了在開(kāi)發(fā)類ChatGPT產(chǎn)品的路上,國(guó)內(nèi)科研團(tuán)隊(duì)有能力克服技術(shù)上的重要挑戰(zhàn)!盡OSS研發(fā)項(xiàng)目得到了上海人工智能實(shí)驗(yàn)室的有力支持。后期,這項(xiàng)工作將通過(guò)開(kāi)源方式和業(yè)界社區(qū)分享。

聲明: 本網(wǎng)站所刊載信息,不代表OFweek觀點(diǎn)?帽菊靖寮瑒(wù)經(jīng)書(shū)面授權(quán)。未經(jīng)授權(quán)禁止轉(zhuǎn)載、摘編、復(fù)制、翻譯及建立鏡像,違者將依法追究法律責(zé)任。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)