介紹當(dāng)在圖像上訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型時(shí)，通過對(duì)由數(shù)據(jù)增強(qiáng)生成的更多圖像進(jìn)行訓(xùn)練，可以使模型更好地泛化。常用的增強(qiáng)包括水平和垂直翻轉(zhuǎn)／移位、以一定角度和方向（順時(shí)針／逆時(shí)針）隨機(jī)旋轉(zhuǎn)、亮度、飽和度、對(duì)比度和縮放增強(qiáng)。Python中一個(gè)非常流行的圖像增強(qiáng)庫(kù)是albumentations，通過直觀的函數(shù)和優(yōu)秀的文檔，可以輕松地增強(qiáng)圖像。它也可以與PyTorch和TensorFlow等流行的深度學(xué)習(xí)框架一起使用。

域相關(guān)的數(shù)據(jù)增強(qiáng)

直覺

背后的想法來(lái)自于在現(xiàn)實(shí)中可能遇到的圖像。例如，像雪或雨滴這樣的增強(qiáng)是不應(yīng)該在x射線圖像中發(fā)現(xiàn)的增強(qiáng)，但胸管和起搏器是可以在x射線圖像中發(fā)現(xiàn)的增強(qiáng)。這個(gè)想法從何而來(lái)改變了Roman （＠ nroman on Kaggle）為SIIM－ISIC黑色素瘤分類比賽做增強(qiáng)的方法。增強(qiáng)的一個(gè)片段如下所示：

原始圖像（左上方）和頭發(fā)增強(qiáng)圖像（右上方）此文確實(shí)在我們的模型訓(xùn)練中使用了他的增強(qiáng)函數(shù)，這有助于提高我們大多數(shù)模型的交叉驗(yàn)證（CV）分?jǐn)?shù)。想說(shuō)的是，這種形式的增強(qiáng)可能在我們的最終排名中發(fā)揮了關(guān)鍵作用！從那時(shí)起，使用頭發(fā)（或一般的人工制品）來(lái)增強(qiáng)圖像數(shù)據(jù)的想法在我參加的后續(xù)比賽中非常接近，并盡可能地加以應(yīng)用。特別是，該方法被推廣并應(yīng)用于全球小麥檢測(cè)、木薯葉病分類挑戰(zhàn)賽。

昆蟲增強(qiáng)

正如標(biāo)題所示，這種方法包括用昆蟲增強(qiáng)圖像。這可以是數(shù)據(jù)中的一種自然設(shè)置，因?yàn)槔ハx通常在空中或地面上被發(fā)現(xiàn)。在本例中，在木薯和全球小麥檢測(cè)競(jìng)賽中，蜜蜂被用作增強(qiáng)葉片圖像時(shí)的首選昆蟲。以下是增強(qiáng)圖像的外觀示例：蜜蜂在葉子周圍飛翔的增強(qiáng)圖像

我們還可以使用掩碼形式，導(dǎo)致圖像中出現(xiàn)黑點(diǎn)（類似于相冊(cè)中的脫落），即沒有顏色和黑色的蜜蜂：增強(qiáng)圖像，黑色／黑色蜜蜂圍繞樹葉飛行

以下以Albumentations風(fēng)格編寫的代碼允許增強(qiáng)函數(shù)與來(lái)自Albumentations庫(kù)的其他增強(qiáng)函數(shù)一起輕松使用：

from albumentations．core．transforms＿interface import ImageOnlyTransform

class InsectAugmentation（ImageOnlyTransform）：
          ＂＂＂
          將昆蟲的圖像強(qiáng)加到目標(biāo)圖像上
          －－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
          參數(shù)：
              insects （int）： 昆蟲的最大數(shù)量
              insects＿folder （str）： 昆蟲圖片文件夾的路徑
         ＂＂＂

         def ＿＿init＿＿（self， insects＝2， dark＿insect＝False， always＿apply＝False， p＝0．5）：
               super（）．＿＿init＿＿（always＿apply， p）
               self．insects ＝ insects
               self．dark＿insect ＝ dark＿insect
               self．insects＿folder ＝ ＂／kaggle／input／bee－augmentation／＂
        def apply（self， image， ＊＊kwargs）：
             ＂＂＂
             參數(shù)：
                 image （PIL Image）： 畫昆蟲的圖像。
             Returns：
                  PIL Image： 帶昆蟲的圖像。
            ＂＂＂
             n＿insects ＝ random．randint（1， self．insects） ＃ 在這個(gè)例子中，我用1而不是0來(lái)說(shuō)明增強(qiáng)效果
       
             if not n＿insects：
                  return image
       
             height， width， ＿ ＝ image．shape  ＃ 目標(biāo)圖像的寬度和高度
             insects＿images ＝ ［im for im in os．listdir（self．insects＿folder） if ＇png＇ in im］
       
             for ＿ in range（n＿insects）：
                  insect ＝ cv2．cvtColor（cv2．imread（os．path．join（self．insects＿folder， random．choice（insects＿images）））， cv2．COLOR＿BGR2RGB）
                  insect ＝ cv2．flip（insect， random．choice（［－1， 0， 1］））
                  insect ＝ cv2．rotate（insect， random．choice（［0， 1， 2］））
                  h＿h(yuǎn)eight， h＿width， ＿ ＝ insect．shape  ＃ 昆蟲圖像的寬度和高度
                  roi＿h(yuǎn)o ＝ random．randint（0， image．shape［0］ － insect．shape［0］）
                  roi＿wo ＝ random．randint（0， image．shape［1］ － insect．shape［1］）
                  roi ＝ image［roi＿h(yuǎn)o：roi＿h(yuǎn)o ＋ h＿h(yuǎn)eight， roi＿wo：roi＿wo ＋ h＿width］
                  ＃ 創(chuàng)建掩碼和反掩碼
                  img2gray ＝ cv2．cvtColor（insect， cv2．COLOR＿BGR2GRAY）
                  ret， mask ＝ cv2．threshold（img2gray， 10， 255， cv2．THRESH＿BINARY）
                  mask＿inv ＝ cv2．bitwise＿not（mask）
                  ＃ 現(xiàn)在黑掉的區(qū)域是昆蟲
                  img＿bg ＝ cv2．bitwise＿and（roi， roi， mask＝mask＿inv）
                  ＃ 從昆蟲圖像中只選取昆蟲區(qū)域。
                  if self．dark＿insect：
                     img＿bg ＝ cv2．bitwise＿and（roi， roi， mask＝mask＿inv）
                     insect＿fg ＝ cv2．bitwise＿and（img＿bg， img＿bg， mask＝mask）
                 else：
                     insect＿fg ＝ cv2．bitwise＿and（insect， insect， mask＝mask）
                ＃ 添加
                dst ＝ cv2．a(chǎn)dd（img＿bg， insect＿fg， dtype＝cv2．CV＿64F）
                image［roi＿h(yuǎn)o：roi＿h(yuǎn)o ＋ h＿h(yuǎn)eight， roi＿wo：roi＿wo ＋ h＿width］ ＝ dst
               
       return image

如果你希望使用黑色版本，請(qǐng)將dark＿insect設(shè)置為True。在這個(gè)Kaggle筆記本中可以找到一個(gè)示例實(shí)現(xiàn)

使用針的增強(qiáng)

在這種方法中，使用針來(lái)增強(qiáng)圖像，例如可以是x射線圖像。以下是增強(qiáng)圖像的外觀示例：x光片左側(cè)帶針頭的增強(qiáng)圖像

類似地，我們可以使用黑色版本的針，從而生成以下增強(qiáng)圖像：x射線兩側(cè)帶有黑色／黑色針頭的增強(qiáng)圖像

作為上述擴(kuò)展模塊的代碼片段如下所示：

def NeedleAugmentation（image， n＿needles＝2， dark＿needles＝False， p＝0．5， needle＿folder＝＇．．／input／xray－needle－augmentation＇）：
          aug＿prob ＝ random．random（）
          if aug＿prob ＜ p：
              height， width， ＿ ＝ image．shape  ＃ 目標(biāo)圖像的寬度和高度
              needle＿images ＝ ［im for im in os．listdir（needle＿folder） if ＇png＇ in im］

              for ＿ in range（1， n＿needles）：
                  needle ＝ cv2．cvtColor（cv2．imread（os．path．join（needle＿folder， random．choice（needle＿images）））， cv2．COLOR＿BGR2RGB）
                  needle ＝ cv2．flip（needle， random．choice（［－1， 0， 1］））
                  needle ＝ cv2．rotate（needle， random．choice（［0， 1， 2］））

                  h＿h(yuǎn)eight， h＿width， ＿ ＝ needle．shape  ＃ 針圖像的寬度和高度

           roi＿h(yuǎn)o ＝ random．randint（0， abs（image．shape［0］ － needle．shape［0］））
                  roi＿wo ＝ random．randint（0， abs（image．shape［1］ － needle．shape［1］））
                  roi ＝ image［roi＿h(yuǎn)o：roi＿h(yuǎn)o ＋ h＿h(yuǎn)eight， roi＿wo：roi＿wo ＋ h＿width］

                 ＃ 創(chuàng)建掩碼和反掩碼
                  img2gray ＝ cv2．cvtColor（needle， cv2．COLOR＿BGR2GRAY）
                  ret， mask ＝ cv2．threshold（img2gray， 10， 255， cv2．THRESH＿BINARY）
                  mask＿inv ＝ cv2．bitwise＿not（mask）

                 ＃ 現(xiàn)在黑掉的區(qū)域是針
                  img＿bg ＝ cv2．bitwise＿and（roi， roi， mask＝mask＿inv）

                 ＃ 只選取針區(qū)域。
                  if dark＿needles：
                      img＿bg ＝ cv2．bitwise＿and（roi， roi， mask＝mask＿inv）
                      needle＿fg ＝ cv2．bitwise＿and（img＿bg， img＿bg， mask＝mask）
                  else：
                      needle＿fg ＝ cv2．bitwise＿and（needle， needle， mask＝mask）

                 ＃ 添加
                  dst ＝ cv2．a(chǎn)dd（img＿bg， needle＿fg， dtype＝cv2．CV＿64F）
                  image［roi＿h(yuǎn)o：roi＿h(yuǎn)o ＋ h＿h(yuǎn)eight， roi＿wo：roi＿wo ＋ h＿width］ ＝ dst
        return image

請(qǐng)注意，以上內(nèi)容不是Albumentations格式，不能直接應(yīng)用于常規(guī)Albumentations增強(qiáng)。必須進(jìn)行一些調(diào)整，使其與上述昆蟲／蜜蜂增強(qiáng)中的格式相同。但變化應(yīng)該很��！同樣，如果你希望使用黑色版本，請(qǐng)將dark＿Piners設(shè)置為True。在我的Kaggle筆記本中可以找到一個(gè)示例實(shí)現(xiàn)。

實(shí)驗(yàn)結(jié)果

總的來(lái)說(shuō)，局部CV結(jié)果有所改善，大部分略有改善（如0．001–0．003）。但在某些情況下，使用這種增強(qiáng)方法在訓(xùn)練過程中“失敗”。例如，在全球小麥檢測(cè)競(jìng)賽中，任務(wù)涉及檢測(cè)小麥頭部，即目標(biāo)檢測(cè)任務(wù)。盡管進(jìn)行了大量的超參數(shù)調(diào)整，但使用原始蜜蜂的蜜蜂增強(qiáng)導(dǎo)致訓(xùn)練驗(yàn)證損失波動(dòng)很大。雖然使用增強(qiáng)器確實(shí)提高了CV，但可以說(shuō)這確實(shí)是一個(gè)幸運(yùn)的機(jī)會(huì)。使用僅保留黑色像素的增強(qiáng)被證明在應(yīng)用程序的各個(gè)領(lǐng)域是穩(wěn)定的。特別是，CV的提升是實(shí)質(zhì)性的，也是一致的。到目前為止，尚未找到蜜蜂數(shù)量增加導(dǎo)致不同epoch之間出現(xiàn)這種訓(xùn)練結(jié)果的原因，但有一種假設(shè)是蜜蜂的顏色接近某些麥頭，因此“混淆”了檢測(cè)算法，該算法隨后在同一邊界框內(nèi)捕獲麥頭和最近的蜜蜂。在一些邊界框預(yù)測(cè)中觀察到了這一點(diǎn)，但沒有足夠的觀察案例可以肯定地說(shuō)這一假設(shè)是正確的。在任何情況下，還應(yīng)該考慮圖像屬性（顏色）是否具有接近目標(biāo)（例如小麥頭）的分布。另一方面，使用針的增強(qiáng)被證明（原始及其黑色／黑色版本）都相對(duì)穩(wěn)定。在該示例中，預(yù)測(cè)的目標(biāo)雖然在顏色分布上相似，但可能具有明顯的特征（例如，胸管看起來(lái)與針頭大不相同），因此分類算法不會(huì)混淆針頭是否是正確的目標(biāo)。