最先進(jìn)的機(jī)器學(xué)習(xí)算法可以從照片中提取二維物體，并在三維中忠實(shí)地呈現(xiàn)它們。這種技術(shù)可以適用于增強(qiáng)現(xiàn)實(shí)的應(yīng)用程序、機(jī)器人以及導(dǎo)航，因此它成為Facebook的一個(gè)重要研究領(lǐng)域。

在近日于首爾舉辦的國(guó)際計(jì)算機(jī)視覺(jué)會(huì)議（ICCV）之前，F(xiàn)acebook在一篇博客文章中強(qiáng)調(diào)了其在智能內(nèi)容理解方面的最新進(jìn)展。據(jù)透露，它的系統(tǒng)甚至可以用來(lái)檢測(cè)復(fù)雜的前景和背景對(duì)象，如椅子腿或重疊的家具。

“我們研究的最新進(jìn)展是建立在利用深度學(xué)習(xí)來(lái)預(yù)測(cè)和定位圖像中的物體，以及用新的工具和架構(gòu)來(lái)理解三維形狀，如體素、點(diǎn)云和網(wǎng)格，”Facebook的研究人員Georgia Gkioxari、Shubham Tulsiani和David Novotny在一篇博客中寫(xiě)道�！叭�維理解將在提高人工智能系統(tǒng)，更貼近地理解、解釋和操作現(xiàn)實(shí)世界的能力方面發(fā)揮核心作用�！�

其中一個(gè)亮點(diǎn)是Mesh R－CNN，這是一種能夠從雜亂和遮擋物體的圖像中預(yù)測(cè)三維形狀的方法。

Facebook的研究人員表示，他們?cè)陂_(kāi)源的Mask R－CNN的二維目標(biāo)分割系統(tǒng)上增加了一個(gè)網(wǎng)格預(yù)測(cè)分支，并使用一個(gè)包含高度優(yōu)化的三維操作符的庫(kù)（Torch3d），來(lái)進(jìn)一步支持該系統(tǒng)。Mesh R－CNN有效地利用了Mask R－CNN對(duì)圖像中不同的物體進(jìn)行檢測(cè)和分類(lèi)，然后利用上述的預(yù)測(cè)器對(duì)三維形狀進(jìn)行推斷。

Facebook表示，在公共可用的Pix3D語(yǔ)料庫(kù)上進(jìn)行評(píng)估后，Mesh R－CNN成功地檢測(cè)到所有類(lèi)別的物體，并在家具場(chǎng)景中估計(jì)它們的完整三維形狀。在一個(gè)單獨(dú)的數(shù)據(jù)集上（ShapeNet ），Mesh R－CNN比之前的研究有7％的相對(duì)優(yōu)勢(shì)。

Facebook開(kāi)發(fā)的另一個(gè)系統(tǒng)是Canonical 3D Pose Networks，簡(jiǎn)稱(chēng)為C3DPO，解決了網(wǎng)格和相應(yīng)圖像無(wú)法用于訓(xùn)練的情況。建立三維關(guān)鍵點(diǎn)模型重建，利用二維關(guān)鍵點(diǎn)監(jiān)控實(shí)現(xiàn)最先進(jìn)的重建結(jié)果。（這里的關(guān)鍵點(diǎn)指的是被跟蹤的物體部分，它們提供了一組關(guān)于幾何圖形及其視角變化的線索。）

C3DPO利用重建模型預(yù)測(cè)相應(yīng)攝像機(jī)視點(diǎn)參數(shù)和三維關(guān)鍵點(diǎn)位置。輔助組件與模型一起學(xué)習(xí)，以解決在分解三維視點(diǎn)和形狀時(shí)引入的模糊性。

Facebook指出，這種重建在以前是可以實(shí)現(xiàn)的，部分原因是內(nèi)存限制。C3DPO體系結(jié)構(gòu)可以在硬件無(wú)法捕獲的情況下進(jìn)行三維重建，比如對(duì)大型的對(duì)象。

“（三維）計(jì)算機(jī)視覺(jué)有許多開(kāi)放的研究問(wèn)題，我們正在試驗(yàn)多種問(wèn)題陳述、技術(shù)和監(jiān)督方法，以探索推動(dòng)該領(lǐng)域向前發(fā)展的最佳方式，就像我們?cè)诙�維理解領(lǐng)域所做的那樣，”Gkioxari、Tulsiani和Novotny表示�！半S著數(shù)字世界適應(yīng)并轉(zhuǎn)向使用3D照片、沉浸式AR和VR體驗(yàn)等產(chǎn)品，我們需要不斷推動(dòng)復(fù)雜的系統(tǒng)更準(zhǔn)確地理解視覺(jué)場(chǎng)景中的對(duì)象并與之互動(dòng)。”