CVPR 2020 最佳論文提名 | 神經(jīng)網(wǎng)絡(luò)能否識別鏡像翻轉(zhuǎn)
我們可以很容易看出,當(dāng)每一個單獨的J都和T具備交換律時,我們可以分別應(yīng)用命題三,來證明每一個J產(chǎn)生的新圖像分布不具備視覺手性。而當(dāng)我們將這些不具備視覺手性的新圖像分布加權(quán)求和的時候(公式20),我們得到的新圖像分布仍舊不具備視覺手性。對于第二點來說,即便每個單獨的J都不和T具備交換律時,我們?nèi)钥梢哉业叫碌膱D像分布不具備視覺手性的情況。為了理解這一點,作者引入了一個新的概念”排列交換律”(Permuted Commutativity),如下圖所示:
在這個例子中,作者假設(shè)
,
,
單獨并不和T具備交換律,但在一種打亂的排列下具備交換性,如圖中不同顏色的箭頭所示。這種排列帶來的交換律的關(guān)系可以用以下公式表達(dá)(a和b為排列中的序號)。
在這個情況下,每一條箭頭都能滿足命題三中的條件,因此他們的加權(quán)和仍舊不具備視覺手性。
作者將這種具備"排列交換律"的情況形象得稱為"平移交換律"(Glide Commutativity),因為這類視覺現(xiàn)象在自然界廣泛存在。例如人類的足跡,經(jīng)過平移之后仍舊是對稱的:
那么如何檢驗這種”平移交換律“的存在呢?作者針對隨機(jī)剪裁提出了一個簡單的平移交換律測試(Glide Commutativity Test):
假設(shè)一種平移(例如左移五個像素)為Φ,測試步驟如下:
首先將任意圖片x進(jìn)行填充,并確保邊緣足夠大。
將填充后的圖片進(jìn)行Φ平移。
通過先后運算T和J,得到兩種圖片:
和
將這兩個圖片用T(-Φ)平移回原處。
將這兩個圖片多余的填充像素剪裁掉。
而平移交換律測試只需要對任意兩種平移方式(
和
)檢查以下殘差是否為0:
作者對去馬賽克,JPEG壓縮,以及兩者結(jié)合這三種圖像處理方式進(jìn)行了測試。測試結(jié)果為:當(dāng)去馬賽克和JPEG壓縮單獨使用時,經(jīng)過隨機(jī)剪裁后的分布具備平移交換律(如下圖1和2中的黑色格子),所以一定不具備視覺手性。而當(dāng)兩者結(jié)合時,平移交換律就消失了,同時可能產(chǎn)生視覺手性。
作者同樣利用人造數(shù)據(jù)集進(jìn)行了神經(jīng)網(wǎng)絡(luò)訓(xùn)練,并驗證了這一測試的結(jié)果。這意味著對于大量的互聯(lián)網(wǎng)圖片,由于它們都經(jīng)過了去馬賽克和JPEG壓縮,即便我們使用了隨機(jī)剪裁,仍然有可能觀察到視覺手性。也就是說,數(shù)字圖像處理所導(dǎo)致的視覺手性現(xiàn)象可能大量存在于互聯(lián)網(wǎng)圖片之中,并且這類線索可能存在于任意圖片區(qū)域。這類線索在互聯(lián)網(wǎng)圖片中可能肉眼不可見,卻能被神經(jīng)網(wǎng)絡(luò)捕捉到。這也為圖片識偽(image forensic)提供了新的可能性。
七、結(jié)論
「視覺手性」這篇文章首次挑戰(zhàn)了神經(jīng)網(wǎng)絡(luò)訓(xùn)練中對于圖片”翻轉(zhuǎn)不變性“的假設(shè),并在多種不同的視覺分布上發(fā)現(xiàn)了”視覺手性“的線索。這對于未來的數(shù)據(jù)增強和圖片識偽方法將有很大的指導(dǎo)意義。
關(guān)于我“門”
將門是一家以專注于發(fā)掘、加速及投資技術(shù)驅(qū)動型創(chuàng)業(yè)公司的新型創(chuàng)投機(jī)構(gòu),旗下涵蓋將門創(chuàng)新服務(wù)、將門技術(shù)社群以及將門創(chuàng)投基金。將門成立于2015年底,創(chuàng)始團(tuán)隊由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊原班人馬構(gòu)建而成,曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。
將門創(chuàng)新服務(wù)專注于使創(chuàng)新的技術(shù)落地于真正的應(yīng)用場景,激活和實現(xiàn)全新的商業(yè)價值,服務(wù)于行業(yè)領(lǐng)先企業(yè)和技術(shù)創(chuàng)新型創(chuàng)業(yè)公司。
將門技術(shù)社群專注于幫助技術(shù)創(chuàng)新型的創(chuàng)業(yè)公司提供來自產(chǎn)、學(xué)、研、創(chuàng)領(lǐng)域的核心技術(shù)專家的技術(shù)分享和學(xué)習(xí)內(nèi)容,使創(chuàng)新成為持續(xù)的核心競爭力。
將門創(chuàng)投基金專注于投資通過技術(shù)創(chuàng)新激活商業(yè)場景,實現(xiàn)商業(yè)價值的初創(chuàng)企業(yè),關(guān)注技術(shù)領(lǐng)域包括機(jī)器智能、物聯(lián)網(wǎng)、自然人機(jī)交互、企業(yè)計算。在近四年的時間里,將門創(chuàng)投基金已經(jīng)投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數(shù)科技、迪英加科技等數(shù)十家具有高成長潛力的技術(shù)型創(chuàng)業(yè)公司。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-10.29立即報名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報名>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價拍賣
- 5 具身智能火了,但規(guī)模落地還需時間
- 6 三次錯失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 7 國產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 8 英偉達(dá)的麻煩在后頭?
- 9 將“網(wǎng)紅”變成“商品”,AI“爆改”實力拉滿
- 10 智慧貨架管理引領(lǐng)零售新風(fēng)尚
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市