深蘭科技摘得“圖表信息提取競(jìng)賽”總成績(jī)的冠軍
賽道四
賽道四需要檢測(cè)出每個(gè)X軸或Y軸上的刻度點(diǎn)并與對(duì)應(yīng)的刻度標(biāo)簽文本框關(guān)聯(lián)。該賽道使用修改后的F-measure對(duì)每個(gè)軸評(píng)分,然后對(duì)所有軸進(jìn)行得分平均。對(duì)每個(gè)檢測(cè)到的刻度點(diǎn),根據(jù)其距離真實(shí)刻度點(diǎn)之間的距離,給出0到1之間的評(píng)分。Precision計(jì)算方法為評(píng)分總和除以預(yù)測(cè)數(shù)。召回率的計(jì)算方法是得分的總和除以真實(shí)標(biāo)注刻度點(diǎn)的數(shù)量。
對(duì)于該任務(wù),我們將整個(gè)任務(wù)拆分為刻度點(diǎn)檢測(cè)和匹配兩個(gè)步驟。
在刻度點(diǎn)檢測(cè)任務(wù)中,我們將該任務(wù)視為標(biāo)準(zhǔn)的關(guān)鍵點(diǎn)估計(jì)問題。參考CenterNet,使用DLA-34作為backbone,從底層添加更多的跳轉(zhuǎn)連接,并在上采樣階段將每個(gè)卷積層替換為可變形的卷積層,最后獲得尺寸為1/4的輸出特征圖,然后將特征圖送入頭部分支。在頭部分支中,包括三個(gè)分支。首先是刻度點(diǎn)檢測(cè)分支,在此分支中預(yù)測(cè)的熱圖中的峰值對(duì)應(yīng)于刻度點(diǎn)的位置,并通過兩個(gè)不同的特征圖將點(diǎn)分類為X軸或Y軸的刻度點(diǎn)。為了恢復(fù)由輸出步幅引起的離散化誤差,在Offset分支中預(yù)測(cè)了修正刻度點(diǎn)位置的偏移量。在第三個(gè)分支中(OTB),預(yù)測(cè)了刻度點(diǎn)到刻度標(biāo)簽文本框中心的偏移,該偏移僅在訓(xùn)練階段使用。
為了訓(xùn)練刻度點(diǎn)檢測(cè)分支,我們使用Focal Loss作為損失函數(shù)來進(jìn)行逐像素邏輯回歸。為了訓(xùn)練Offset分支,我們使用在人臉Landmark定位任務(wù)中提出的Wing Loss,其設(shè)計(jì)目的是提高深度神經(jīng)網(wǎng)絡(luò)針對(duì)中小型誤差的學(xué)習(xí)能力,并使用Smooth L1作為訓(xùn)練OTB分支的損失函數(shù)。
在檢測(cè)出X軸與Y軸上的刻度點(diǎn)后,首先使用線性分布檢查來過濾掉異常檢測(cè)點(diǎn),然后基于刻度點(diǎn)與標(biāo)簽文本框之間X軸或Y軸的L1距離,將刻度點(diǎn)和標(biāo)簽文本框進(jìn)行匹配。
在Adobe Synth,UB PMC驗(yàn)證集及Test Challenge階段不同實(shí)驗(yàn)得分如表1,2所示,可以看出不使用預(yù)訓(xùn)練模型與添加OTB分支能夠取得更好的得分。最后通過模型融合我們?cè)跍y(cè)試階段分別取得了99.90%與81.28%的成績(jī),取得第一。
表1
表2
賽道五
賽道五將圖例標(biāo)簽文本與圖例中相應(yīng)的樣式元素相關(guān)聯(lián)。我們采用先檢測(cè)圖例元素,然后匹配圖例元素和圖例標(biāo)簽的方法。為了進(jìn)一步提高匹配精度,同時(shí)檢測(cè)圖例對(duì)和圖例元素,圖例對(duì)的檢測(cè)結(jié)果輔助匹配過程。
我們的方法分為三個(gè)步驟:
使用與賽道三相同的方法對(duì)文本框進(jìn)行分類,然后篩選出圖例標(biāo)簽類別的文本框。
用CenterNet [3]檢測(cè)圖例元素和圖例對(duì)兩個(gè)類別,圖例對(duì)通過合并圖例元素和相應(yīng)文本的邊框獲得。
匹配圖例元素和圖例標(biāo)簽,對(duì)于每個(gè)圖例標(biāo)簽,如果存在圖例元素在同一個(gè)圖例對(duì)中,則該圖例標(biāo)簽和圖例元素配對(duì),然后使用匈牙利算法匹配剩余的圖例元素和圖例標(biāo)簽。為了減少賽道三的分類錯(cuò)誤對(duì)賽道五結(jié)果的影響,加入了后處理,對(duì)于賽道三的結(jié)果中沒有圖例標(biāo)簽的圖像,如果同時(shí)檢測(cè)到圖例元素和圖例對(duì),則將圖例元素與所有文本框進(jìn)行匹配。
賽道六
賽道六第一個(gè)子任務(wù)的目標(biāo),是對(duì)圖表中繪圖區(qū)域中的每個(gè)元素進(jìn)行檢測(cè)和分類,第二個(gè)子任務(wù)輸出用于生成圖表圖像的原始數(shù)據(jù),且在元素的表示形式中包含框和點(diǎn)兩種類型。我們將對(duì)這兩個(gè)子任務(wù)進(jìn)行整體介紹。
賽道六的評(píng)價(jià)指標(biāo)比較復(fù)雜,概括為采用檢測(cè)到的元素與真實(shí)標(biāo)注元素之間的歐氏距離或者IOU評(píng)價(jià)檢測(cè)的得分,通過每個(gè)分組中的點(diǎn)與真實(shí)標(biāo)注每個(gè)分組中點(diǎn)匹配程度,與提取到的坐標(biāo)軸坐標(biāo)系的數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的誤差,計(jì)算分組得分與數(shù)據(jù)提取得分。
我們分別通過基于框的檢測(cè)算法和基于點(diǎn)的檢測(cè)算法來檢測(cè)元素。為了檢測(cè)框表示的元素,我們使用目標(biāo)檢測(cè)算法CenterNet進(jìn)行檢測(cè)。為了檢測(cè)點(diǎn)表示的元素,我們使用與賽道四中相同的點(diǎn)檢測(cè)算法,并刪除OTB分支。
在解決了檢測(cè)問題之后,為了將檢測(cè)到的元素進(jìn)行分組(比如檢測(cè)到的同一條曲線上的點(diǎn),應(yīng)該被分為同一組)。對(duì)于水平框和垂直框,我們可以按X軸或Y軸的L1距離對(duì)框進(jìn)行分組,但是對(duì)于“線和散點(diǎn)圖”而言,則更為復(fù)雜。我們分別提取檢測(cè)到的元素的顏色直方圖特征和Hog特征,然后使用K-means對(duì)它們進(jìn)行聚類分組。
通過檢測(cè)我們可以得到元素在圖像坐標(biāo)系中的位置表示,為了獲得繪制圖表圖像時(shí)所使用的原始元素?cái)?shù)據(jù),我們需要將圖像坐標(biāo)系表示的元素轉(zhuǎn)化為軸坐標(biāo)系表示。經(jīng)過分析,我們將UB PMC數(shù)據(jù)集分為五個(gè)類別,將Adobe Synth數(shù)據(jù)集分為八個(gè)類別,然后分別處理每個(gè)類別。對(duì)于數(shù)據(jù)序列,如果x值為數(shù)字值,則通過插值計(jì)算x軸值。如果x值為字符串值,則使用L1距離查找最接近的字符內(nèi)容。
最終在測(cè)試階段我們使用單模型取得了76.43%與61.18%的得分,位列第三。
參考文獻(xiàn):
1. Breiman L. Random forests[J]. Machine learning, 2001, 45(1): 5-32.
2. Ke G, Meng Q, Finley T, et al. Lightgbm: A highly efficient gradient boosting decision tree[C]//Advances in neural information processing systems. 2017: 3146-3154.
3. Zhou X, Wang D, Kr¨ahenb¨uhl P. Objects as points[J]. arXiv preprint arXiv:1904.07850, 2019.
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國(guó)產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 國(guó)產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英偉達(dá)的麻煩在后頭?
- 9 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 10 智慧貨架管理引領(lǐng)零售新風(fēng)尚
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市