Holopix50k發(fā)布: 最多最豐富的雙目數(shù)據(jù)集大幅提升多個相關(guān)任務(wù)性能?
隨著配備雙目攝像頭的智能手機逐步增加,利用計算機視覺處理立體信息的需求也變得越來越重要。但現(xiàn)有的立體視覺數(shù)據(jù)集無論在數(shù)量和多樣性上都不足以支持豐富場景的雙目立體應(yīng)用。
為了解決這一問題,來自Leia公司的研究人員們構(gòu)建了一個包含49368對圖像的立體視覺數(shù)據(jù)集Holopix50k,這一數(shù)據(jù)集從大小和多樣性上都超過了現(xiàn)有的公開數(shù)據(jù)集,在立體圖像超分辨、單目深度估計等任務(wù)上都取得了非常大的性能提升。
立體視覺的及其廣泛應(yīng)用
近年來隨著硬件的發(fā)展,立體視覺已經(jīng)在智能手機中普及。通過雙目攝像頭不同視角的拍攝下能夠得到場景的立體信息,對于3D照片、虛擬現(xiàn)實和交互等應(yīng)用有著重要的作用。此外移動機器人和自動駕駛的迅速發(fā)展,也為立體視覺算法提出了更高的要求,需要在更為復(fù)雜的場景、多樣的真實環(huán)境中有效工作。
立體視覺的主要任務(wù)包括立體視差估計、基于自監(jiān)督或者無監(jiān)督方法對單張圖像輸入進行單目深度估計和基于立體圖像提升分辨率的圖像超分辨等任務(wù)。這些任務(wù)都需要高質(zhì)量的大規(guī)模雙目/深度數(shù)據(jù)集來進行訓(xùn)練。
目前人工智能領(lǐng)域的深度學(xué)習(xí)算法在多個領(lǐng)域取得重大的進展,但大規(guī)模的、多樣性的數(shù)據(jù)需求卻成為了立體視覺領(lǐng)域開發(fā)出優(yōu)秀算法的阻礙!大規(guī)模的立體數(shù)據(jù)集是提升算法性能的關(guān)鍵之一。
目前立體視覺領(lǐng)域的數(shù)據(jù)集主要包括像KITTI,Middlebury、NYU Indoor等較為流行的真實數(shù)據(jù)集、還包括Make3D、ETH3D、CMLA和Cityscape等針對特定領(lǐng)域的數(shù)據(jù)集,近年來還出現(xiàn)了像Flickr1024和WSVD等場景更為豐富的數(shù)據(jù)集,但這些數(shù)據(jù)集在數(shù)量和相關(guān)指標上并沒有良好的結(jié)果。
此外為了克服真實世界中數(shù)據(jù)收集的困難,研究人員還提出了利用圖形學(xué)渲染的方法來渲染獲取大量的雙目數(shù)據(jù),主要包括MPI Sintel、SceneFlow、UnrealStereo和3D Ken Burns等數(shù)據(jù),但合成數(shù)據(jù)應(yīng)用于真實場景會受到域遷移問題的影響,同時還需要很大的努力來構(gòu)建豐富的數(shù)字化場景。而Holopix50k的目的就在于綜合解決這些存在的問題。
Holopix50k
這一數(shù)據(jù)集主要從社交媒體平臺上收集而來,Holopix是目前最主流的3D攝影共享平臺,包含了大量的多視角立體視覺照片并可以利用視差效應(yīng)來顯示出三維效果。這里匯集了世界上最為豐富的立體視覺社交媒體圖像,用戶只需要上傳兩個或多個視角,就可以在光場顯示設(shè)備上獲取多視角圖像,也可以在普通設(shè)備上獲取基于移動的模擬立體圖像。
在Holopix平臺上RED Hydrogen One拍攝的圖像最多,作為第一款集成光場性能的消費級手機,它可以提供四個視角的多角度顯示。它擁有兩個水平排列的相機,同時對圖像進行了校正并收斂于立體圖像的平均視差。與Flickr1024不同的是,這種方法并沒有對圖像進行剪切來使得圖像片收斂于無窮遠處的立體視差。
在最開始的階段,研究人員首先從Holopix上收集了約70k適合于作為數(shù)據(jù)集的立體視覺圖像對,針對左右圖像分辨率不匹配的情況會將兩張圖像的分辨率統(tǒng)一為其中較小的分辨率,利用高斯平滑和雙三次插值來將分辨率較高的圖像進行下采樣。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-10.29立即報名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報名>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價拍賣
- 5 具身智能火了,但規(guī)模落地還需時間
- 6 三次錯失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 7 國產(chǎn)英偉達們,抓緊沖刺A股
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實力拉滿
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市