2020 年 10 篇必讀的 NLP 突破論文 LIST
9、聊天機(jī)器人 Meena
開(kāi)放域聊天機(jī)器人仍然存在明顯的弱點(diǎn),比如說(shuō)它們的響應(yīng)通常沒(méi)有意義,或者過(guò)于模糊或籠統(tǒng)。
為了解決這些問(wèn)題,谷歌研究團(tuán)隊(duì)引入了 Meena(一個(gè)具有 2.6B 參數(shù)的生成式會(huì)話模型)。Meena 的 seq2seq 模型每層使用的是 Evolved Transformer (ET) 塊。Encoder 端使用了 1 個(gè) ET 層(相當(dāng)于 2 層 Transformer),Decoder 端使用了 13 個(gè) ET 層(相當(dāng)于 26 層 Transformer)。
在多回合會(huì)話中訓(xùn)練模型,輸入序列包括上下文的所有回合(最多 7 個(gè)),輸出序列為響應(yīng)。相比于 GPT-2 訓(xùn)練使用了 40GB 的文檔數(shù)據(jù),Meena 訓(xùn)練使用了 341GB 的對(duì)話數(shù)據(jù)。Meena 的模型參數(shù)規(guī)模達(dá)到了 2.6B,在 GPT-2 的基礎(chǔ)上又大了不少。
與此同時(shí),為了測(cè)量諸如 Meena 之類的開(kāi)放域聊天機(jī)器人的質(zhì)量,研究人員引入了一種新的人類評(píng)估指標(biāo),稱為敏感度和敏感度平均值(SSA),它可以測(cè)量聊天機(jī)器人的兩個(gè)基本方面 —— 有道理和具體。
Meena 的出現(xiàn)是一個(gè)進(jìn)一步將計(jì)算機(jī)交互人性化的探索,可以幫助改善外語(yǔ)練習(xí)、使交互式電影和視頻游戲角色具有關(guān)聯(lián)性等應(yīng)用場(chǎng)景。
不過(guò),考慮到模型中與安全性和偏差有關(guān)的挑戰(zhàn),研究團(tuán)隊(duì)尚未開(kāi)源該模型。
10、BlenderBot
Facebook AI Research 團(tuán)隊(duì)顯示,有了適當(dāng)?shù)挠?xùn)練數(shù)據(jù)和生成策略,大型模型可以學(xué)習(xí)許多重要的會(huì)話技巧,例如提高參與度、運(yùn)用知識(shí)、富有同情心和保持角色一致性等等。
他們建立了一個(gè)先進(jìn)的對(duì)話機(jī)器人,名為 “BlenderBot”。利用這個(gè)具有 9.4B 參數(shù)的模型,團(tuán)隊(duì)對(duì)它進(jìn)行了一項(xiàng)名為 Blended Skill Talk 的新任務(wù)的訓(xùn)練。
建立 BlenderBot 這樣的開(kāi)放域聊天機(jī)器人,有以下三個(gè)關(guān)鍵要素:
?規(guī)模大。最大的模型具有 94 億個(gè)參數(shù),并在提取的對(duì)話的 15 億個(gè)訓(xùn)練示例中進(jìn)行了訓(xùn)練。
?混合技能。聊天機(jī)器人接受了 “混合技能對(duì)話” 任務(wù)的培訓(xùn),以學(xué)習(xí)諸如使用個(gè)性,使用知識(shí)和表現(xiàn)同情心之類的技能。
?用于解碼的 Beam search 。
與上面的第九項(xiàng)研究 Meena 相比,F(xiàn)acebook 的這項(xiàng)工作進(jìn)一步提升了基于預(yù)訓(xùn)練模型構(gòu)建的聊天機(jī)器人的回復(fù)效果,甚至在短對(duì)話(14 輪以下)的人工評(píng)估中獲得了非常接近人類的得分。
![](http://domofs.cn/images/weixin/weixin_ai.gif)
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
推薦專題
-
10 百度搜索,正在被平替
- 1 Intel宣布40年來(lái)最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國(guó)產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣(mài)
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 7 國(guó)產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來(lái)
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門(mén)市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市