CVPR2020 | 深蘭科技夜間檢測(cè)挑戰(zhàn)賽兩冠一亞,為自動(dòng)駕駛保駕護(hù)航
這次比賽的主要難點(diǎn)包含以下幾個(gè)方面:
運(yùn)動(dòng)模糊和圖像噪點(diǎn)
與常規(guī)檢測(cè)數(shù)據(jù)集不同,該競賽考慮到實(shí)際駕駛情況,所用數(shù)據(jù)是在車輛行進(jìn)過程中采集的,所以當(dāng)車速較快或者有相對(duì)運(yùn)動(dòng)的時(shí)候會(huì)產(chǎn)生持續(xù)的運(yùn)動(dòng)模糊圖像。并且由于攝像頭是普通的RGB相機(jī),因此在光線較弱的環(huán)境下收集的圖片質(zhì)量大幅度下降,這也是影響模型效果的主要原因。
對(duì)比度差異大,色彩信息少
這是由于收集數(shù)據(jù)主要來自于夜間環(huán)境所導(dǎo)致的必然結(jié)果,所以在進(jìn)行數(shù)據(jù)增強(qiáng)的時(shí)候需要謹(jǐn)慎,不同增強(qiáng)方式會(huì)造成較大的影響。
不同的數(shù)據(jù)分布
該比賽的數(shù)據(jù)集涵蓋了不同的城市和天氣,之前常用的行人檢測(cè)數(shù)據(jù)集一般未同時(shí)滿足這兩個(gè)條件。該數(shù)據(jù)具有多樣性,且與常用數(shù)據(jù)集的數(shù)據(jù)分布存在較大差異。該比賽數(shù)據(jù)集與常用于訓(xùn)練預(yù)訓(xùn)練模型的數(shù)據(jù)集(如 COCO 數(shù)據(jù)集、OBJ365)的數(shù)據(jù)分布存在很大的不同,因此對(duì)基于常用數(shù)據(jù)集預(yù)訓(xùn)練的模型進(jìn)行 fine-tune 的效果不如預(yù)期。
DeepBlueAI 團(tuán)隊(duì)解決方案
DeepBlueAI 團(tuán)隊(duì)在單幀行人檢測(cè)和多幀行人檢測(cè)兩個(gè)賽道中取得了冠軍成績,在檢測(cè)單幀中所有物體賽道中獲得了亞軍。
就檢測(cè)器而言,該團(tuán)隊(duì)首先通過常規(guī)檢測(cè)所累積的經(jīng)驗(yàn)構(gòu)造出一個(gè) baseline:
Baseline = Backbone + DCN + FPN + Cascade + anchor ratio (2.44)
這些模塊早已是各個(gè)比賽的「?汀,也被許多專業(yè)人士進(jìn)行了比較透徹的分析,此處不再贅述。DeepBlueAI 團(tuán)隊(duì)進(jìn)行了簡單的實(shí)驗(yàn),發(fā)現(xiàn)這些模塊總是有用,進(jìn)而將這套算法作為 baseline,加上一些行人檢測(cè)的小 trick,如將 anchor ratio 改為 2.44、針對(duì)標(biāo)注為 ignore 的目標(biāo)在訓(xùn)練過程中 loss 不進(jìn)行回傳處理。
具體主要工作包含以下幾個(gè)方面:
1. Double Heads
通過觀察實(shí)驗(yàn)發(fā)現(xiàn),baseline 將背景中的石柱、燈柱等物體檢測(cè)為行人,這種情況大多和 head 效果不好有關(guān)。該團(tuán)隊(duì)基于此進(jìn)行了實(shí)驗(yàn),如 TSD [7]、CLS [8]、double head [9],并最終選擇了效果好且性價(jià)比高的 double head 結(jié)構(gòu)(如下圖所示):
Double Heads 結(jié)構(gòu)
通過對(duì)比實(shí)驗(yàn)可以發(fā)現(xiàn):使用 FC-h(huán)ead 做分類、Conv-h(huán)ead 做回歸,可以得到最好的效果。
分類更多地需要語義信息,而坐標(biāo)框回歸則更多地需要空間信息,double head 方法采用分而治之的思想,針對(duì)不同的需求設(shè)計(jì) head 結(jié)構(gòu),因此更加有效。當(dāng)然這種方法也會(huì)導(dǎo)致計(jì)算量的增加。在平衡速度和準(zhǔn)確率的情況下,該團(tuán)隊(duì)最終選擇了 3 個(gè)殘差 2 個(gè) Non-local 共 5 個(gè)模塊。
2. CBNet [10]
合并功能更強(qiáng)大的 backbone 可提高目標(biāo)檢測(cè)器的性能。CBNet 作者提出了一種新穎的策略,通過相鄰 backbone 之間的復(fù)合連接 (Composite Connection) 來組合多個(gè)相同的 backbone。用這種方式他們構(gòu)建出了一個(gè)更強(qiáng)大的 backbone,稱為「復(fù)合骨干網(wǎng)絡(luò)」(Composite Backbone Network)。
當(dāng)然這也帶來了模型參數(shù)大小和訓(xùn)練時(shí)間的增加,屬于 speed–accuracy trade-off。該團(tuán)隊(duì)也嘗試過其他的改進(jìn)方式,但最終還是選擇了實(shí)用性更強(qiáng)的 CBNet,該方法不用再額外擔(dān)心預(yù)訓(xùn)練權(quán)重的問題。
該團(tuán)隊(duì)選擇了性價(jià)比較高的雙 backbone 模型結(jié)構(gòu)。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字
圖片新聞
最新活動(dòng)更多
-
11月19日立即報(bào)名>> 【線下論壇】華邦電子與恩智浦聯(lián)合技術(shù)論壇
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
精彩回顧立即查看>> 蔡司新能源汽車三電質(zhì)量解決方案
-
精彩回顧立即查看>> 蔡司新能源汽車三電質(zhì)量解決方案
-
精彩回顧立即查看>> 2024(第五屆)全球數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)大會(huì)暨展覽會(huì)
-
精彩回顧立即查看>> 【線下會(huì)議】全數(shù)會(huì)2024電子元器件展覽會(huì)
推薦專題
- 1 “作弊器”不靈了?智駕的激光雷達(dá),正在被攝像頭替代
- 2 從小鵬、理想、蔚來布局看自動(dòng)駕駛發(fā)展趨勢(shì)
- 3 被逼墻角的Mobileye,祭出 CAIS 大旗,挑戰(zhàn)端到端大模型智能駕駛
- 4 5 SiC、Chiplet、RISC-V,汽車半導(dǎo)體發(fā)展的三大動(dòng)力
- 6 676億地平線港股上市,要與英偉達(dá)、華為搶市場(chǎng)
- 7 激光雷達(dá)與純視覺方案,哪個(gè)才是自動(dòng)駕駛最優(yōu)選?
- 8 激光雷達(dá)即將降價(jià),純視覺回到鄙視鏈底層?
- 9 如何跑贏汽車智能化下半場(chǎng)?
- 10 輸給新勢(shì)力,賽力斯失去“華為溢價(jià)”
- 現(xiàn)場(chǎng)技術(shù)支持工程師(汽車) 易思維(杭州)科技股份有限公司
- 結(jié)構(gòu)工程師-汽車電子事業(yè)部(J10116) 深圳奧尼電子股份有限公司
- 銷售經(jīng)理(汽車新能源行業(yè)) 廣州瑞松智能科技股份有限公司
- 銷售總監(jiān)-汽車電子方向 深圳市智立方自動(dòng)化設(shè)備股份有限公司
- IE工程師(汽車智聯(lián)) 惠州碩貝德無線科技股份有限公司
- 項(xiàng)目經(jīng)理(汽車內(nèi)飾&汽車電子) 伯恩光學(xué)(惠州)有限公司
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市