AR／VR中的位姿估計技術(shù)

為什么我們在玩AR體驗的時候，經(jīng)常會覺得手機里的東西放在攝像頭視野中并不真實，像是漂浮在地板上一樣。

這就是因為位姿估計算法不夠精準，無法正確定位物體的空間關(guān)系。在機器視覺技術(shù)的進化下，今天很多位姿估計技術(shù)正在同步進化。比如基于動態(tài)特征提取算法，達成的動作定位今天已經(jīng)比較成熟。

這東西聽起來挺玄乎，到底是干啥用的呢？它的最大應用場景，就是在VR／AR正確處理場景中動態(tài)物體的空間關(guān)系和運動軌跡。比如你在VR里玩踢球游戲，球應該在什么位置挨踢，以什么軌跡撞墻，都有賴于位姿估計算法來校準。

在機器視覺算法的幫助下，更精細的位姿估計正在到來，而這也加速了成熟MR體驗的到來。另一方面，在VR設(shè)備或者手機當中，基于攝像頭與傳感器協(xié)同運作來完成位姿估計，也是沉浸技術(shù)中即將發(fā)生的一個亮點。

通過散亂數(shù)據(jù)達成三維建模

3D機器視覺的最重要任何，肯定是基于數(shù)據(jù)來實現(xiàn)3D建模。這個應用在產(chǎn)業(yè)端十分重要，地理信息系統(tǒng)、勘探、工程，以及無人駕駛，都需要大量的3D建模工作來參與。

而消費者級的3D建模今天也在到來，我們已經(jīng)可以看到在手機端通過3D結(jié)構(gòu)光來完成數(shù)據(jù)收集，從而達成3D建模的玩法。

跟3D感知一樣，3D建模也是利用攝像頭或者傳感器來收集數(shù)據(jù)，最終通過不同的解決方案完成建模。

然而這個領(lǐng)域還是有很多問題等待解決。比如說，今天我們進行3D建模時，還需要非常痛苦的一點點收集數(shù)據(jù)，必須保證數(shù)據(jù)的對齊和精準排列。否則出來的3D模型就是雜亂無章的。這顯然讓大眾完3D建模的熱情減退，并且給很多工程級項目增添了非常多難度。

AI的到來，正在幫助這種情況有所改變。在深度學習算法的幫助下，機器視覺領(lǐng)域正在研究如何在散亂、不規(guī)則、巨大數(shù)量的數(shù)據(jù)中完成3D建模。這需要對抗生成以及先驗表示等非常多的方案，但帶來的效果非常值得期待。

比如說今天已經(jīng)有3D建模方案，在深度學習的幫助下實現(xiàn)對密林的重建。然而其用來進行點云建模的圖像數(shù)據(jù)中，有很多被樹葉遮擋的部分。這時候就可以用AI來增強3D建模的先驗知識，主動“腦補”出遮擋物背后的真實樣子。

不僅是修復遮擋模型和瑕疵數(shù)據(jù)，機器視覺技術(shù)與3D建模的融合，還可以讓很多無人設(shè)備具有更雪亮的“眼睛”。比如無人駕駛汽車，或許可以基于“大腦”中的3D建模算法，來腦補智能攝像頭尚未發(fā)現(xiàn)的環(huán)境。這點在復雜立交橋和停車場中格外有用。

在消費者端，3D建模與機器視覺的結(jié)合也將帶來新的想象力，比如消費者可以根據(jù)照片來重建精準的3D模型，或者傻瓜式完成建模要用的數(shù)據(jù)收集。讓不那么專業(yè)的人也能建設(shè)出專業(yè)的3D模型，這個改變背后的想象力驚人。

更好的深度傳感器解決方案

還有一個機器視覺技術(shù)和3D的交匯，主要發(fā)生在無人機領(lǐng)域。

無人機今天進行測繪和航拍時，必須附帶對空間的理解能力，否則拍照不準事小，撞了南墻事大。而這個能力主要來自于攝像頭和傳感器進行空間閱讀。

隨著消費級無人機的不斷升級，人們對無人機拍攝效果要求也不斷升高。無人機必須不斷在更遠的距離、更極端的天氣、更復雜的運動中拍攝畫面。然而傳統(tǒng)的傳感系統(tǒng)解決方案已經(jīng)快要跟不上用戶的期許。

今天的消費級無人機，一般采取兩種感知解決方案，一種是雙目視覺技術(shù)，比如大疆的某些產(chǎn)品；一種是結(jié)構(gòu)光傳感器，比如微軟的Kinect。而這兩種主流方案都是有一定局限的，比如感知范圍都有限，難以完成遠距離作業(yè)。再比如雙目視覺技術(shù)在黑夜中會失靈，所以無人機夜拍一直是個大坑，然而結(jié)構(gòu)光技術(shù)應對不來強光，一到中午無人機就石樂志也是很心塞的。

更好的解決方案，在于將傳感器與智能攝像頭結(jié)合起來，達成可以適應不同天候與天氣，并且可以長距離感知的新型傳感系統(tǒng)解決方案。

今天，用機器視覺技術(shù)中的很多算法，協(xié)調(diào)不同的傳感設(shè)備工作，讓無人機變成“多眼無人機”，正在成為流行的解決方案。機器視覺算法大量加入無人機傳感器，還可能帶來軌跡拍攝能力提升，讓無人機獲得拍攝整體環(huán)境，或者精準捕捉動態(tài)物體，比如說運動中的動物和車輛的能力。

以上幾個技術(shù)趨勢，都可能成為機器視覺和圖形學應用的下一步熱點。這個領(lǐng)域看似偏門，事實上卻能影響今天科技市場中的風吹草動。

讓機器看到立體世界的游戲才剛剛開始，機器與人類在某一天可以用同樣的視角相互凝視，或許才是這個故事的終點。（作者：腦極體）