CVPR 2020 最佳論文提名 | 神經(jīng)網(wǎng)絡(luò)能否識(shí)別鏡像翻轉(zhuǎn)
我們可以很容易看出,當(dāng)每一個(gè)單獨(dú)的J都和T具備交換律時(shí),我們可以分別應(yīng)用命題三,來(lái)證明每一個(gè)J產(chǎn)生的新圖像分布不具備視覺(jué)手性。而當(dāng)我們將這些不具備視覺(jué)手性的新圖像分布加權(quán)求和的時(shí)候(公式20),我們得到的新圖像分布仍舊不具備視覺(jué)手性。對(duì)于第二點(diǎn)來(lái)說(shuō),即便每個(gè)單獨(dú)的J都不和T具備交換律時(shí),我們?nèi)钥梢哉业叫碌膱D像分布不具備視覺(jué)手性的情況。為了理解這一點(diǎn),作者引入了一個(gè)新的概念”排列交換律”(Permuted Commutativity),如下圖所示:
在這個(gè)例子中,作者假設(shè)
,
,
單獨(dú)并不和T具備交換律,但在一種打亂的排列下具備交換性,如圖中不同顏色的箭頭所示。這種排列帶來(lái)的交換律的關(guān)系可以用以下公式表達(dá)(a和b為排列中的序號(hào))。
在這個(gè)情況下,每一條箭頭都能滿足命題三中的條件,因此他們的加權(quán)和仍舊不具備視覺(jué)手性。
作者將這種具備"排列交換律"的情況形象得稱為"平移交換律"(Glide Commutativity),因?yàn)檫@類視覺(jué)現(xiàn)象在自然界廣泛存在。例如人類的足跡,經(jīng)過(guò)平移之后仍舊是對(duì)稱的:
那么如何檢驗(yàn)這種”平移交換律“的存在呢?作者針對(duì)隨機(jī)剪裁提出了一個(gè)簡(jiǎn)單的平移交換律測(cè)試(Glide Commutativity Test):
假設(shè)一種平移(例如左移五個(gè)像素)為Φ,測(cè)試步驟如下:
首先將任意圖片x進(jìn)行填充,并確保邊緣足夠大。
將填充后的圖片進(jìn)行Φ平移。
通過(guò)先后運(yùn)算T和J,得到兩種圖片:
和
將這兩個(gè)圖片用T(-Φ)平移回原處。
將這兩個(gè)圖片多余的填充像素剪裁掉。
而平移交換律測(cè)試只需要對(duì)任意兩種平移方式(
和
)檢查以下殘差是否為0:
作者對(duì)去馬賽克,JPEG壓縮,以及兩者結(jié)合這三種圖像處理方式進(jìn)行了測(cè)試。測(cè)試結(jié)果為:當(dāng)去馬賽克和JPEG壓縮單獨(dú)使用時(shí),經(jīng)過(guò)隨機(jī)剪裁后的分布具備平移交換律(如下圖1和2中的黑色格子),所以一定不具備視覺(jué)手性。而當(dāng)兩者結(jié)合時(shí),平移交換律就消失了,同時(shí)可能產(chǎn)生視覺(jué)手性。
作者同樣利用人造數(shù)據(jù)集進(jìn)行了神經(jīng)網(wǎng)絡(luò)訓(xùn)練,并驗(yàn)證了這一測(cè)試的結(jié)果。這意味著對(duì)于大量的互聯(lián)網(wǎng)圖片,由于它們都經(jīng)過(guò)了去馬賽克和JPEG壓縮,即便我們使用了隨機(jī)剪裁,仍然有可能觀察到視覺(jué)手性。也就是說(shuō),數(shù)字圖像處理所導(dǎo)致的視覺(jué)手性現(xiàn)象可能大量存在于互聯(lián)網(wǎng)圖片之中,并且這類線索可能存在于任意圖片區(qū)域。這類線索在互聯(lián)網(wǎng)圖片中可能肉眼不可見(jiàn),卻能被神經(jīng)網(wǎng)絡(luò)捕捉到。這也為圖片識(shí)偽(image forensic)提供了新的可能性。
七、結(jié)論
「視覺(jué)手性」這篇文章首次挑戰(zhàn)了神經(jīng)網(wǎng)絡(luò)訓(xùn)練中對(duì)于圖片”翻轉(zhuǎn)不變性“的假設(shè),并在多種不同的視覺(jué)分布上發(fā)現(xiàn)了”視覺(jué)手性“的線索。這對(duì)于未來(lái)的數(shù)據(jù)增強(qiáng)和圖片識(shí)偽方法將有很大的指導(dǎo)意義。
關(guān)于我“門(mén)”
將門(mén)是一家以專注于發(fā)掘、加速及投資技術(shù)驅(qū)動(dòng)型創(chuàng)業(yè)公司的新型創(chuàng)投機(jī)構(gòu),旗下涵蓋將門(mén)創(chuàng)新服務(wù)、將門(mén)技術(shù)社群以及將門(mén)創(chuàng)投基金。將門(mén)成立于2015年底,創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成,曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。
將門(mén)創(chuàng)新服務(wù)專注于使創(chuàng)新的技術(shù)落地于真正的應(yīng)用場(chǎng)景,激活和實(shí)現(xiàn)全新的商業(yè)價(jià)值,服務(wù)于行業(yè)領(lǐng)先企業(yè)和技術(shù)創(chuàng)新型創(chuàng)業(yè)公司。
將門(mén)技術(shù)社群專注于幫助技術(shù)創(chuàng)新型的創(chuàng)業(yè)公司提供來(lái)自產(chǎn)、學(xué)、研、創(chuàng)領(lǐng)域的核心技術(shù)專家的技術(shù)分享和學(xué)習(xí)內(nèi)容,使創(chuàng)新成為持續(xù)的核心競(jìng)爭(zhēng)力。
將門(mén)創(chuàng)投基金專注于投資通過(guò)技術(shù)創(chuàng)新激活商業(yè)場(chǎng)景,實(shí)現(xiàn)商業(yè)價(jià)值的初創(chuàng)企業(yè),關(guān)注技術(shù)領(lǐng)域包括機(jī)器智能、物聯(lián)網(wǎng)、自然人機(jī)交互、企業(yè)計(jì)算。在近四年的時(shí)間里,將門(mén)創(chuàng)投基金已經(jīng)投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數(shù)科技、迪英加科技等數(shù)十家具有高成長(zhǎng)潛力的技術(shù)型創(chuàng)業(yè)公司。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
3月27日立即報(bào)名>> 【工程師系列】汽車(chē)電子技術(shù)在線大會(huì)
-
4月30日立即下載>> 【村田汽車(chē)】汽車(chē)E/E架構(gòu)革新中,新智能座艙挑戰(zhàn)的解決方案
-
5月15-17日立即預(yù)約>> 【線下巡回】2025年STM32峰會(huì)
-
即日-5.15立即報(bào)名>>> 【在線會(huì)議】安森美Hyperlux™ ID系列引領(lǐng)iToF技術(shù)革新
-
5月15日立即下載>> 【白皮書(shū)】精確和高效地表征3000V/20A功率器件應(yīng)用指南
-
5月16日立即參評(píng) >> 【評(píng)選啟動(dòng)】維科杯·OFweek 2025(第十屆)人工智能行業(yè)年度評(píng)選
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達(dá)AI統(tǒng)治的開(kāi)始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 “AI寒武紀(jì)”爆發(fā)至今,五類新物種登上歷史舞臺(tái)
- 4 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 5 國(guó)產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計(jì)算迎來(lái)商業(yè)化突破,但落地仍需時(shí)間
- 7 東陽(yáng)光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開(kāi)成長(zhǎng)空間
- 8 封殺AI“照騙”,“淘寶們”終于不忍了?
- 9 優(yōu)必選:營(yíng)收大增主靠小件,虧損繼續(xù)又逢關(guān)稅,能否乘機(jī)器人東風(fēng)翻身?
- 10 地平線自動(dòng)駕駛方案解讀