作者： 將門投資企業(yè) 碼隆科技研究團隊將門好聲音第·54·期CVPR 2020系列分享第·13·期將門投資企業(yè)——碼隆科技今年在 CVPR 多有斬獲。在大會論文接受率僅有 22％、被稱為“十年來最難的一屆”的情況下，有兩篇論文入選 CVPR 2020，本文將為大家解讀其中一篇Oral：《Cross－Batch Memory for Embedding Learning》 。

導(dǎo)讀：

該論文提出了 XBM 方法，能夠用極小的代價，提供巨量的樣本對，為 pair－based 的深度度量學(xué)習(xí)方法取得巨大的效果提升。

這種提升難例挖掘效果的方式突破了過去兩個傳統(tǒng)思路：加權(quán)和聚類，并且效果也更加簡單、直接，很好地解決了深度度量學(xué)習(xí)的痛點。XBM 在多個國際通用的圖像搜索標(biāo)準(zhǔn)數(shù)據(jù)庫上（比如 SOP、In－Shop 和 VehicleID 等），取得了目前最好的結(jié)果。

一、背景和動機

難例挖掘是深度度量學(xué)習(xí)領(lǐng)域中的核心問題，最近有頗多研究都通過改進采樣或者加權(quán)方案來解決這一難題，目前主要兩種思路： 第一種思路是在 mini－batch 內(nèi)下功夫，對于 mini－batch 內(nèi)的樣本對，從各種角度去衡量其難度，然后給予難樣本對更高權(quán)重，比如 N－pairs、Lifted Struture Loss、MS Loss 使用的就是此種方案。 第二種思路是在 mini－batch 的生成做文章，比如 HTL、Divide and Conquer，他們的做法雖然看上去各有不同，但是整體思路有異曲同工之處。大致思路都是對整個數(shù)據(jù)集進行聚類，每次生成 mini－batch 不是從整個數(shù)據(jù)集去采樣，而是從一個子集，或者說一個聚類小簇中去采樣。這樣一來，由于采樣范圍本身更加集中，生成的 mini－batch 中難例的比例自然也會更大，某種程度上也能解決問題。 然而，無論是第一種方法的額外注重難樣本，還是第二種方法的小范圍采樣，他們的難例的挖掘能力其實依然有一個天花板——那就是 mini－batch 的大小。這個 mini－batch 的大小決定了在模型中單次迭代更新中，可以利用的樣本對的總量。因此，即使是很精細的采樣加權(quán)方法，在 mini－batch 大小有限的情況下，也很難有頂級的表現(xiàn)。我們在三個標(biāo)準(zhǔn)圖像檢索數(shù)據(jù)庫上進行了實驗，基于三種標(biāo)準(zhǔn)的 pair－based 方法，我們發(fā)現(xiàn)隨著 mini－batch 變大，效果（Recall＠1）大幅提升。實驗結(jié)果如下圖：

可以看出，隨著 mini－batch 的增大，效果有顯著提升。但是，在實際工業(yè)應(yīng)用中 mini－batch 越大，訓(xùn)練所需要的 GPU 或 TPU 就越多，即使計算資源有充分保證，在多機多卡的訓(xùn)練過程中，如何在工程上保證通信的效率也是一個有挑戰(zhàn)的問題。

二、特征偏移

由此，我們希望另辟蹊徑，得以在 mini－batch 有限的情況下，也能獲得充足的難例樣本對。首先，必須突破深度度量學(xué)習(xí)一直以來的一個思維局限——僅在對當(dāng)前 mini－batch里的樣本對兩兩比較，形成樣本對。以此我們引入了 XBM（Cross－batch Memory）這一方法來突破局限，跨越時空進行難例挖掘，把過去的 mini－batch 的樣本提取的特征也拿過來與當(dāng)前 mini－batch 作比較，構(gòu)建樣本對。

我們將樣本特征隨著模型訓(xùn)練的偏移量，稱之為特征偏移（Feature Drift）。從上圖我們發(fā)現(xiàn)，在訓(xùn)練的一開始，模型還沒有穩(wěn)定，特征劇烈變化，每過 100 次迭代，特征偏移大約 0．7 以上。但是，隨著訓(xùn)練的進行，模型逐步穩(wěn)定，特征的偏移也變小。我們稱這個現(xiàn)象為慢偏移（Slow Drift），這是我們可以利用的一點。