前言:

目標(biāo)檢測是計(jì)算機(jī)視覺中的一項(xiàng)傳統(tǒng)任務(wù)。自2015年以來,人們傾向于使用現(xiàn)代深度學(xué)習(xí)技術(shù)來提高目標(biāo)檢測的性能。雖然模型的準(zhǔn)確性越來越高,但模型的復(fù)雜性也增加了,主要是由于在訓(xùn)練和NMS后處理過程中的各種動(dòng)態(tài)標(biāo)記。這種復(fù)雜性不僅使目標(biāo)檢測模型的實(shí)現(xiàn)更加困難,而且也阻礙了它從端到端風(fēng)格的模型設(shè)計(jì)。

本文來源于公眾號(hào)CV技術(shù)指南的技術(shù)總結(jié)系列。

更多內(nèi)容請關(guān)注公眾號(hào)CV技術(shù)指南,專注于計(jì)算機(jī)視覺的技術(shù)總結(jié),最新技術(shù)跟蹤。

早期方法 (2015-2019)

自2015年以來,人們提出了各種深度學(xué)習(xí)中的目標(biāo)檢測方法,給該領(lǐng)域帶來了巨大的影響。這些方法主要分為一階段方法和兩階段方法兩類。其一般處理過程包括:

1．使用CNN主干提取深度特征圖

2．為特征映射的每個(gè)像素生成各種錨點(diǎn)

3．計(jì)算錨點(diǎn)和ground truth之間的IoU,選擇其中的一部分進(jìn)行訓(xùn)練

4．使用回歸(IoU和L1)和分類(框內(nèi)的對象類)的loss對模型進(jìn)行訓(xùn)練

5．使用非極大值抑制(NMS)對推理結(jié)果進(jìn)行過程后處理,以刪除重復(fù)的預(yù)測框

在上述一般過程中,one-stage和two-stages方法的唯一區(qū)別是在訓(xùn)練過程中是否為region proposal動(dòng)態(tài)標(biāo)記anchors。例如,在Faster-RCNN中,根據(jù)錨和ground truth之間的IoU給anchors作正或負(fù)的標(biāo)記。如果IoU足夠大,比如0．7,錨給正標(biāo)簽,否則如果IoU足夠小,比如0．3,給出負(fù)標(biāo)簽。因此,在推理期間,只將正錨定用于目標(biāo)檢測處理。這種技術(shù)在原論文中被稱為區(qū)域建議網(wǎng)絡(luò)(RPN)。

在像SSD、YOLO和RetinaNet這樣的one-stage方法中,不存在RPN,以便在推理過程中處理所有的錨點(diǎn)。分類置信度的閾值用于過濾大多數(shù)錨,而只有具有高分類可能性的錨被保留用于最終的后處理。

在訓(xùn)練過程中,錨的數(shù)量非常巨大。在two-stages的方法中,RPN幫助集中關(guān)注正錨點(diǎn),這節(jié)省了計(jì)算時(shí)間和資源。然而,RPN是復(fù)雜的,訓(xùn)練它也需要時(shí)間和資源。在one-stage的方法中,盡管必須處理所有的錨點(diǎn),但總的計(jì)算時(shí)間仍然更小。

由于two-stages方法的復(fù)雜性和速度較低,人們傾向于開發(fā)出更容易實(shí)現(xiàn)、更有效的新的one-stage方法。

什么是NMS以及為什么需要它

在上述早期的方法中,錨被用來與ground truth相匹配。因此,可能會(huì)發(fā)生多對一的匹配:幾個(gè)錨與一個(gè)ground truth相匹配。如上所述,在一階段和兩階段的方法中,幾種不同的錨可能與同一個(gè)ground truth有較大的IoU。在推理過程中,它們也可以回歸到具有高分類置信度的同一對象。因此,刪除重復(fù)anchor,NMS后處理是必要的。

NMS處理過程:

1．預(yù)測的anchors根據(jù)分類置信度進(jìn)行排序

2．選擇最大置信度的anchor

3．刪除所有與所選anchor的IoU大于預(yù)定義閾值的其它anchor

4．從1開始重復(fù),直到不存在anchors

在推理結(jié)果中,許多與許多目標(biāo)對應(yīng)的anchor被混合在一起。一旦以置信度進(jìn)行排序,可能會(huì)發(fā)生以下情況:

其中為兩個(gè)對象A和B預(yù)測三個(gè)anchor。三個(gè)anchor的編號(hào)為1、2、3,分類置信度分別為0．8、0．75、0．7。在這里,為同一對象A預(yù)測兩個(gè)anchor,因此應(yīng)該移除一個(gè)具有較低可信度的anchor。在這種情況下,去除anchor 2,anchor 1和3用于最終預(yù)測。

為什么會(huì)發(fā)生這種情況?回想一下訓(xùn)練過程中的多對一匹配:anchor 1和2同時(shí)與對象A匹配,計(jì)算損失并反向傳播梯度,告訴模型anchor 1和2都是對象A的有效候選對象。然后這個(gè)模型只是預(yù)測它被訓(xùn)練成什么。

因此,如果我們將多對一修改為一對一,并且在訓(xùn)練過程中只使用一個(gè)anchor來匹配一個(gè)ground truth,推理結(jié)果會(huì)有所不同嗎?回想一下,在多對一范式中,對于一個(gè)對象,會(huì)選擇具有大IoU的anchor來與它進(jìn)行匹配。想想一對一的范式,其中只選擇IoU最高的anchor進(jìn)行匹配,而所有其他anchors都是負(fù)的,并與背景匹配。我們是否可以得到一個(gè)模型,它能夠以一對一的匹配風(fēng)格直接預(yù)測所有對象的所有anchor,而不需要NMS后處理?

最近的新方法(2019-2020)

幸運(yùn)的是,上述問題的答案是肯定的。最近,人們一直在開發(fā)新的one-stage方法,使目標(biāo)檢測比以前更容易。主要思想有兩方面:

1．不要使用anchor,而使用每像素預(yù)測

2．不要使用NMS后處理,改為使用一對一的訓(xùn)練

人們不會(huì)使用根據(jù)空間比例和對象大小而變化的anchors,而是傾向于通過使用語義分割等每像素的預(yù)測來降低復(fù)雜性。一種典型的方法是FCOS,其中最終特征圖中的每個(gè)像素都用一個(gè)對象框進(jìn)行預(yù)測,使其成為一個(gè)完全卷積網(wǎng)絡(luò)(FCN)。用于目標(biāo)檢測的FCN不僅簡化了任務(wù)本身,而且還將其與語義分割、關(guān)鍵點(diǎn)檢測等其他FCN任務(wù)結(jié)合起來,用于多任務(wù)的應(yīng)用。

我們可以看到,對于ground truth框內(nèi)的每個(gè)像素,都可以分配一個(gè)標(biāo)簽:(l、r、t、b),表示ground truth框向左、右、上、下邊界的像素之間的距離。因此,訓(xùn)練仍然是多對一的,NMS后處理仍然需要得到最終的預(yù)測結(jié)果。雖然FCOS簡化了目標(biāo)檢測并性能良好,但它仍然不是端到端的。

為了使目標(biāo)檢測任務(wù)端到端,人們必須有不同的思考。自2020年以來,隨著transformer的普及,人們傾向于用Vision Transformer進(jìn)行目標(biāo)檢測,結(jié)果也很好。一個(gè)典型的方法是DETR,本文將不會(huì)討論它。我將在這里討論的是另一個(gè)并行的工作:OneNet,它將FCOS擴(kuò)展為用于目標(biāo)檢測的端到端FCN。

如上所述,為什么NMS是必要的主要原因是在訓(xùn)練中使用了多對一范式。為了使它端到端沒有NMS,應(yīng)該使用一對一的訓(xùn)練范式來代替。

回想一下,在早期的方法中,預(yù)測和ground truth是匹配的,它們之間只有幾何損失(IoU和L1)用于反向傳播。因此,為了增加訓(xùn)練數(shù)據(jù)的方差,需要多對一匹配,因?yàn)榭梢哉业皆S多幾何損失相似的候選對象,并匹配相應(yīng)的ground truth。這個(gè)候選框并不是唯一的。另一方面,如果我們堅(jiān)持使用幾何損失最低的候選模型進(jìn)行一對一匹配,該模型可能會(huì)過擬合,并且根本不具備很好的泛化能力。

OneNet的作者認(rèn)識(shí)到了這個(gè)問題,并使用了兩種損失:幾何損失和分類損失,以將候選框與ground truth相匹配。

與幾何損失不同,分類損失對相應(yīng)的ground truth是唯一的。例如,在目標(biāo)的高級(jí)深度特征圖中,我們可以找到一個(gè)最能表示目標(biāo)類的唯一像素。雖然許多像素的幾何損失與相應(yīng)的ground truth相似的幾何損失,但最佳分類損失的像素是唯一的。因此,我們可以將這兩種損失結(jié)合起來,得到訓(xùn)練中唯一一個(gè)綜合損失最低的候選框。

如原論文所述,只有具有最小損失的候選框才能匹配相應(yīng)的目標(biāo),其他目標(biāo)都是負(fù)的,并與背景匹配。

預(yù)測結(jié)果比較

多對一的結(jié)果

一對一的結(jié)果

第一行是早期多對一模型的預(yù)測結(jié)果,而第二行是一對一模型(OneNet)的預(yù)測結(jié)果。我們可以清楚地看到,許多冗余的預(yù)測框存在于多個(gè)一對一的結(jié)果中,而它們則在一對一的結(jié)果中消失。

討論

利用一對一的訓(xùn)練范式,OneNet首先實(shí)現(xiàn)了端到端的目標(biāo)檢測。這一進(jìn)展被認(rèn)為是對損失和模型優(yōu)化的深刻理解,這也有助于提高深度學(xué)習(xí)的可解釋性。