一種簡單的利用方式是將Mega Detector預(yù)測的BBox 裁剪出來，同原圖一起送給網(wǎng)絡(luò)進(jìn)行訓(xùn)練，這樣可以有效環(huán)節(jié)ROI 尺寸過小的問題。   不過這種方案的缺陷在于，如此訓(xùn)練分類網(wǎng)絡(luò)，會使得網(wǎng)絡(luò)獲得兩個scale完全不同的輸入，一個是原圖，一個是BBox裁剪出的圖像，這會對分類網(wǎng)絡(luò)學(xué)習(xí)特征帶來一定的干擾。

為此，團(tuán)隊修改了策略，同時訓(xùn)練兩個網(wǎng)絡(luò)。分別輸入原始圖像，和Mega detector裁剪出的置信度最高的bbox圖像。 在預(yù)測階段，再將網(wǎng)絡(luò)的輸出進(jìn)行Ensemble，從而可以同時捕捉到原圖全局的信息和BBox中前景的信息。  挑戰(zhàn)二：不同背景造成的問題 除過ROI 儲存過小之外，另一個問題是訓(xùn)練集的camera trap 取景位置和測試集的camera trap 不相交所導(dǎo)致的背景差異問題。

訓(xùn)練集圖片均來自于藍(lán)色點(diǎn)表示的區(qū)域，它和紅色區(qū)域沒有相交。   因此這會造成domain shift的問題。即在訓(xùn)練地表現(xiàn)好的模型并不一定也會在test地有同樣表現(xiàn)。因為模型有可能學(xué)到一些和location相關(guān)的信息，而它們不是可以用于分類動物的通用信息。   此外，與正常的domain adaptation不同，iWildCam 的訓(xùn)練集包括很多不同domain（如果將每個camera trap地點(diǎn)作為一個domain，則訓(xùn)練集包含441個，而測試集包含111個）。  因此，如果能利用訓(xùn)練集中的位置標(biāo)注來幫助網(wǎng)絡(luò)學(xué)習(xí)location invariant的特征，那么網(wǎng)絡(luò)就可捕捉更多與位置無關(guān)而和分類相關(guān)的信息。   對此，domain adaptation領(lǐng)域非常著名的論文Unsupervised domain adaption by backpropagation為團(tuán)隊提供了啟發(fā)。

如上圖首先可以假設(shè)，如果在原來的2048維上加一個額外位置（location）的classifier，那么網(wǎng)絡(luò)提取的特征就會傾向于將不同location的特征相互推遠(yuǎn)。如上方右圖所示（不同形狀表示不同類別，不同顏色表示不同），雖然每個類別的特征之間有分類的可分性約束，但是location之間的相互排斥也會導(dǎo)致一些location圖片的特征被推到一個不太有利于分類的局面，從而導(dǎo)致網(wǎng)絡(luò)學(xué)到的特征并不能實(shí)現(xiàn)location invariant，從而在測試集上表現(xiàn)欠佳。   對此，文章提出一個非常簡單的梯度翻轉(zhuǎn)的技巧來實(shí)現(xiàn)location invariant。

如上方左圖所示，在梯度反傳經(jīng)過location classifier時將梯度乘－1，從而實(shí)現(xiàn)翻轉(zhuǎn)梯度的方向。 

因此在右圖可以看到，原本的推開不同location之間特征的梯度經(jīng)過翻轉(zhuǎn)后，會將其一起拉近。在加上分類的約束后，可以保證網(wǎng)絡(luò)學(xué)到的特征表示實(shí)現(xiàn)location invariant，并且還能保證分類的效果，提高網(wǎng)絡(luò)對之前未見的location的泛化性能。   挑戰(zhàn)三：數(shù)據(jù)長尾分布

上方指數(shù)圖展示的是數(shù)據(jù)的分布情況，可以看到數(shù)目最多的類別有超過十萬張圖，而最少的類別可能只有不到十張圖片，一般而言，將類別數(shù)多的類別稱為head類，類別數(shù)少的類別稱為tail類 。  因此，如果直接隨機(jī)采樣batch來訓(xùn)練分類模型，會見到很多head類樣本，而tail類樣本則很少見到，這樣會使得模型更偏向于預(yù)測head類而不是tail類，從而損傷網(wǎng)絡(luò)的表示能力。  因此，對于長尾分布，一般有兩種解決方案，一種是Re－Sampling， 另外一種是Re－ Weighting。