麻省理工學(xué)院發(fā)現(xiàn)更小更容易訓(xùn)練的神經(jīng)網(wǎng)絡(luò),或有望推動(dòng)技術(shù)改革
神經(jīng)網(wǎng)絡(luò)技術(shù)起源于上世紀(jì)五、六十年代,當(dāng)時(shí)叫感知機(jī),擁有輸入層、輸出層和一個(gè)隱含層。輸入的特征向量通過(guò)隱含層變換達(dá)到輸出層,在輸出層得到分類結(jié)果。
盡管人工智能取得了很大的進(jìn)步,但現(xiàn)在大多數(shù)基于人工智能的產(chǎn)品仍然依賴于“深度神經(jīng)網(wǎng)絡(luò)”。這種網(wǎng)絡(luò)通常非常大,而且訓(xùn)練成本高得令人望而卻步。
麻省理工學(xué)院的研究人員希望改變這一現(xiàn)狀。在今天發(fā)表的一篇論文中,研究人員揭示了神經(jīng)網(wǎng)絡(luò)中包含的“子網(wǎng)絡(luò)”,比之前的網(wǎng)絡(luò)小10倍,而且可以更便宜、更快地進(jìn)行訓(xùn)練。
為了訓(xùn)練大多數(shù)神經(jīng)網(wǎng)絡(luò),工程師給它們提供大量的數(shù)據(jù)集,但這可能需要幾天的時(shí)間和昂貴的GPUs。
來(lái)自麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)的研究人員發(fā)現(xiàn),在這些訓(xùn)練有素的網(wǎng)絡(luò)中,有更小的子網(wǎng)絡(luò),可以做出同樣準(zhǔn)確的預(yù)測(cè)。
CSAIL所謂的“彩票假說(shuō)”就是基于這樣一種觀點(diǎn),即訓(xùn)練大多數(shù)神經(jīng)網(wǎng)絡(luò)就像買所有的彩票,以確保中獎(jiǎng)。相比之下,訓(xùn)練子網(wǎng)就像只買有獎(jiǎng)的那張彩票一樣。
問(wèn)題在于,研究人員還沒(méi)有想出如何在不構(gòu)建完整神經(jīng)網(wǎng)絡(luò)的情況下找到這些子網(wǎng),然后修剪掉不必要的位。研究人員目前還沒(méi)有找到這些子網(wǎng)絡(luò)的方法。
如果他們能找到一種方法跳過(guò)這一步,直接進(jìn)入子網(wǎng)絡(luò),那么這一過(guò)程可以節(jié)省數(shù)小時(shí)的工作。并使訓(xùn)練神經(jīng)網(wǎng)絡(luò)不僅僅對(duì)大公司開發(fā)而且對(duì)單個(gè)程序員開放。
但是,如何有效地找到子網(wǎng)絡(luò),并明確為什么有些子網(wǎng)在訓(xùn)練上比其他子網(wǎng)表現(xiàn)地更好,可能會(huì)讓研究人員忙上幾年。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
推薦專題
-
10 百度搜索,正在被平替
- 1 Intel宣布40年來(lái)最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國(guó)產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 7 國(guó)產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來(lái)
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市