總  結

我們提出了一種基于單張圖像的端到端室內場景重建方法。此方法對場景理解和網格重建進行聯合訓練，自動生成房間布局、攝像機姿態(tài)、物體包圍盒和三維網格，以完全恢復房間和室內物體的幾何信息。實驗表明，本文的聯合學習方法顯著地提高了每個子任務的性能，且每個階段的場景解析過程都對其他階段有著潛在的影響。這說明了對所有階段進行聯合訓練的必要性。本文方法的一個局限是，學習物體的三維網格形狀時，需要用稠密點云進行全監(jiān)督訓練。而在真實場景中獲取較精確的稠密點云需要耗費大量的人力。為了解決這個問題，我們計劃在未來的工作中嘗試自監(jiān)督或弱監(jiān)督的學習方式。

關于團隊：香港中文大學（深圳）GAP實驗室

該工作由香港中文大學（深圳）GAP實驗室主導完成。GAP實驗室取名于Generation and Analysis of Pixels， Points and Polygons�；�于深圳市大數據研究院與香港中文大學（深圳），該實驗室在韓曉光博士的帶領下，致力于探索和解決圖片、視頻及三維內容的生成與分析方面的難題，其主要研究方向涵蓋計算機視覺、計算機圖形學和機器學習。

該工作主要由伯恩茅斯大學博士生聶隱愚在GAP實驗室交換期間完成。團隊成員還包括香港中文大學（深圳）研究助理教授韓曉光博士、廈門大學副教授郭詩輝博士、香港中文大學（深圳）博士生鄭玉健及伯恩茅斯大學常建教授與張建軍教授。

References：

［1］ Gkioxari， G．， Malik， J． and Johnson， J．， 2019． Mesh r－cnn． In Proceedings of the IEEE International Conference on Computer Vision （pp． 9785－9795）．

［2］ Pan， J．， Han， X．， Chen， W．， Tang， J． and Jia， K．， 2019． Deep Mesh Reconstruction from Single RGB Images via Topology Modification Networks． In Proceedings of the IEEE International Conference on Computer Vision （pp． 9964－9973）．

［3］ Hu， H．， Gu， J．， Zhang， Z．， Dai， J． and Wei， Y．， 2018． Relation networks for object detection． In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （pp． 3588－3597）．

［4］ Groueix， T．， Fisher， M．， Kim， V．G．， Russell， B．C． and Aubry， M．， 2018． A papier－m？ché approach to learning 3d surface generation． In Proceedings of the IEEE conference on computer vision and pattern recognition （pp． 216－224）．

［5］ Huang， S．， Qi， S．， Xiao， Y．， Zhu， Y．， Wu， Y．N． and Zhu， S．C．， 2018． Cooperative holistic scene understanding： Unifying 3d object， layout， and camera pose estimation． In Advances in Neural Information Processing Systems （pp． 207－218）．