本發(fā)明涉及目標(biāo)檢測(cè)，尤其涉及一種基于復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)的像素級(jí)數(shù)據(jù)增強(qiáng)方法。

背景技術(shù)：

1、隨著深度學(xué)習(xí)的快速發(fā)展，在目標(biāo)檢測(cè)任務(wù)上深度學(xué)習(xí)具有絕對(duì)優(yōu)勢(shì)。但由于各類被檢測(cè)物體有著不同的外觀、形狀和姿態(tài)，加上成像時(shí)光照、遮擋等因素的干擾，目標(biāo)檢測(cè)依舊是具有挑戰(zhàn)性的，想要目標(biāo)檢測(cè)效果好，就需要依托大量準(zhǔn)確且標(biāo)注好的數(shù)據(jù)集傳入深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行層層學(xué)習(xí)。

2、然而如何獲取大量標(biāo)注的數(shù)據(jù)集是一個(gè)棘手的問題，當(dāng)前通常都是花費(fèi)大量人工進(jìn)行人工數(shù)據(jù)標(biāo)注，再按一定比例選取已經(jīng)標(biāo)注好的數(shù)據(jù)集執(zhí)行數(shù)據(jù)增強(qiáng)策略，如幾何變換，色彩變化，隨機(jī)裁剪，隨機(jī)遮擋等操作，以此獲得多倍的數(shù)據(jù)量級(jí)，并且現(xiàn)有的數(shù)據(jù)增強(qiáng)，如幾何變換，色彩變化，隨機(jī)裁剪，隨機(jī)遮擋，隨機(jī)貼圖等操作對(duì)于通用目標(biāo)檢測(cè)模型會(huì)有提高模型的泛化性和準(zhǔn)確性的作用，但面向背景環(huán)境復(fù)雜的圖像數(shù)據(jù)集，被檢測(cè)目標(biāo)為低像素時(shí)，數(shù)據(jù)增強(qiáng)效果并不明顯，極易使得目標(biāo)檢測(cè)模型誤學(xué)習(xí)，反而提高誤識(shí)別率，數(shù)據(jù)集量級(jí)雖然得到擴(kuò)充，但并不能有效改善目標(biāo)檢測(cè)模型的性能。

3、因此，有必要提供一種基于復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)的像素級(jí)數(shù)據(jù)增強(qiáng)方法解決上述技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)的像素級(jí)數(shù)據(jù)增強(qiáng)方法，解決了需要花費(fèi)大量人工和背景環(huán)境復(fù)雜的圖像數(shù)據(jù)集，被檢測(cè)目標(biāo)為低像素時(shí)，數(shù)據(jù)增強(qiáng)效果并不明顯，不能有效改善目標(biāo)檢測(cè)模型的性能的問題。

2、為解決上述技術(shù)問題，本發(fā)明提供的一種基于復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)的像素級(jí)數(shù)據(jù)增強(qiáng)方法，包括以下步驟：

3、s1、準(zhǔn)備數(shù)據(jù)，準(zhǔn)備好用來增強(qiáng)的數(shù)據(jù)集，準(zhǔn)備的數(shù)據(jù)包括：需要增強(qiáng)類別的數(shù)據(jù)集(即被檢測(cè)目標(biāo))實(shí)例格式數(shù)據(jù)及對(duì)應(yīng)實(shí)例標(biāo)簽文件、目標(biāo)檢測(cè)yolo格式的數(shù)據(jù)集及對(duì)應(yīng)yolo標(biāo)簽文件；

4、s2、隨機(jī)復(fù)制粘貼實(shí)例目標(biāo)，隨機(jī)選取含有增強(qiáng)類別的一張實(shí)例格式數(shù)據(jù)，和一張被粘貼目標(biāo)檢測(cè)yolo格式的數(shù)據(jù)。對(duì)選取到的實(shí)例格式數(shù)據(jù)提取實(shí)例目標(biāo)，并依據(jù)實(shí)例標(biāo)簽找到對(duì)應(yīng)圖中的目標(biāo)像素塊，采用邊緣分析找到目標(biāo)實(shí)例像素塊最小的外接矩形；

5、s3、更新增強(qiáng)后的數(shù)據(jù)標(biāo)簽及掩碼，根據(jù)粘貼實(shí)例目標(biāo)的像素掩碼更新原始被粘貼目標(biāo)檢測(cè)數(shù)據(jù)的像素掩碼。對(duì)由上述步驟二所得到的yolo格式標(biāo)簽進(jìn)行相應(yīng)閾值為α的隨機(jī)尺度抖動(dòng)，并將抖動(dòng)后的標(biāo)簽添加到被粘貼目標(biāo)檢測(cè)原數(shù)據(jù)的txt標(biāo)簽文檔中，實(shí)現(xiàn)小目標(biāo)數(shù)據(jù)粘貼與對(duì)應(yīng)標(biāo)簽的更新操作；

6、s4、數(shù)據(jù)量是否足夠，檢查數(shù)據(jù)量是否足夠，足夠時(shí)則完成數(shù)據(jù)增強(qiáng)，不夠時(shí)，則依次循環(huán)執(zhí)行s2至s3，直至達(dá)到滿意的數(shù)據(jù)量級(jí)，方完成數(shù)據(jù)增強(qiáng)操作，將擴(kuò)充后的數(shù)據(jù)集傳入深度學(xué)習(xí)模型進(jìn)行模型后續(xù)訓(xùn)練。

7、優(yōu)選的，所述采用邊緣分析的操作過程為，第一步：拷貝實(shí)例格式的數(shù)據(jù)原圖，將讀取到的實(shí)例目標(biāo)圖像轉(zhuǎn)為灰度圖并另作保存；第二步：對(duì)轉(zhuǎn)好的灰度圖做高斯降噪濾波處理，目的是去除圖像上無用噪聲像素點(diǎn)，對(duì)圖像上像素點(diǎn)h(i,j)，執(zhí)行高斯濾波操作得到h(i,j)；第三步：尋找邊緣，即灰度強(qiáng)度變化最強(qiáng)的位置，在圖像中，通常用梯度表示灰度值的變化程度和方向。本專利這里選擇sobel算子計(jì)算梯度和方向，水平方向的sobel算子gx，用來檢測(cè)y軸方向的邊緣；第四步：采用非最大抑制來消除邊誤檢，排除非邊緣像素，僅保留候選邊緣。遍歷梯度矩陣上的所有像素點(diǎn)，保留邊緣方向上具有極大值的像素值。目的是為了將模糊的邊界變得清晰。就是保留了每個(gè)像素點(diǎn)上梯度強(qiáng)度的極大值，而刪掉其他的值。對(duì)于每個(gè)像素點(diǎn)，進(jìn)行如下操作：將其梯度方向近似為0度，45度，90度，135度，180度，225度，270度或315度中最接近的一個(gè)。同時(shí)比較該像素點(diǎn)和其梯度方向、正負(fù)方向像素點(diǎn)的梯度強(qiáng)度。如果該像素點(diǎn)梯度強(qiáng)度最大進(jìn)行則進(jìn)行保留，否則刪除，即該像素點(diǎn)賦值為0；第五步：采用滯后閾值即高閾值和低閾值，來決定哪些是目標(biāo)像素塊的真正邊緣。這里設(shè)定了一個(gè)閾值上界和閾值下界，當(dāng)圖像中的像素點(diǎn)如果大于閾值上界則認(rèn)為必然是邊界，而小于閾值下界則認(rèn)為必然不是邊界，兩者之間的則認(rèn)為是候選項(xiàng)邊緣像素點(diǎn)，對(duì)于候選項(xiàng)邊緣像素點(diǎn)則需要進(jìn)行下一步做分析處理，當(dāng)候選項(xiàng)邊緣像素點(diǎn)與其邊緣的8個(gè)鄰域像素點(diǎn)鄰接，可以判定是邊緣進(jìn)行保留，否則視為非邊緣并舍棄，從而完成實(shí)例目標(biāo)像素塊的邊緣檢測(cè)操作；第六步：依據(jù)提取到的目標(biāo)實(shí)例像素塊的邊緣，采用旋轉(zhuǎn)卡殼算法，枚舉多邊形的邊，試做像素塊的外接矩形，比較外接矩形的面積，選擇面積最小的那個(gè)外接矩形作為目標(biāo)實(shí)例像素塊的最小外接矩形框。

8、優(yōu)選的，所述高斯濾波函數(shù)計(jì)算公式為：

9、

10、σ為標(biāo)準(zhǔn)差，k為高斯濾波器核的大小，本專利這里選取5×5大小的高斯濾波器，σ＝1.4，經(jīng)計(jì)算高斯濾波器k近似值為：

11、

12、用指定的高斯濾波器k去遍歷圖像中的每一個(gè)像素，從而得到平滑去噪后的像素值。

13、優(yōu)選的，所述算子gx的數(shù)學(xué)表達(dá)式為：

14、

15、用來檢測(cè)y軸方向的邊緣，垂直方向的sobel算子gy，用來檢測(cè)x軸方向的邊緣。其中g(shù)y算子的數(shù)學(xué)表達(dá)式為：

16、利用算子gx，gy計(jì)算圖像像素變化的梯度g和方向θ，梯度g和方向θ的表達(dá)式為：

17、

18、優(yōu)選的，對(duì)所述最小外接矩形框進(jìn)行坐標(biāo)轉(zhuǎn)換操作，根據(jù)yolo格式進(jìn)行坐標(biāo)歸一化，并新建txt文件，依據(jù)最小外接矩形框轉(zhuǎn)換后的坐標(biāo)信息，實(shí)現(xiàn)對(duì)粘貼實(shí)例目標(biāo)的標(biāo)簽轉(zhuǎn)成yolo格式標(biāo)簽操作，并將轉(zhuǎn)好的標(biāo)簽寫入新建的txt文件中，這里得到轉(zhuǎn)化為yolo格式后的實(shí)例數(shù)據(jù)，設(shè)其yolo格式標(biāo)注框的大小為h*w。設(shè)置隨機(jī)尺度抖動(dòng)閾值為α，因?yàn)樵鰪?qiáng)后的數(shù)據(jù)集是應(yīng)用在小目標(biāo)檢測(cè)，所以對(duì)粘貼的實(shí)例目標(biāo)采取縮放操作，設(shè)置α取值范圍為(0.2，0.8)，經(jīng)過隨機(jī)尺度抖動(dòng)后，粘貼的實(shí)例yolo格式標(biāo)注框的大小更新為hnew*wnew，其計(jì)算方式為：

19、hnew＝h*α

20、wnew＝w*α

21、但此處需要注意的是，如果直接利用實(shí)例目標(biāo)粘貼到被粘貼目標(biāo)檢測(cè)數(shù)據(jù)上，會(huì)出現(xiàn)遮擋覆蓋原圖被檢測(cè)目標(biāo)的問題。這里需要依據(jù)被粘貼目標(biāo)檢測(cè)數(shù)據(jù)的標(biāo)簽文件，執(zhí)行滑窗策略找到無目標(biāo)可粘貼范圍進(jìn)行隨機(jī)粘貼操作，來避免目標(biāo)遮擋覆蓋問題。

22、與相關(guān)技術(shù)相比較，本發(fā)明提供的一種基于復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)的像素級(jí)數(shù)據(jù)增強(qiáng)方法具有如下有益效果：

23、本發(fā)明提供一種基于復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)的像素級(jí)數(shù)據(jù)增強(qiáng)方法，通過簡(jiǎn)單的對(duì)目標(biāo)檢測(cè)數(shù)據(jù)進(jìn)行復(fù)制粘貼實(shí)例目標(biāo)，來擴(kuò)充數(shù)據(jù)集，突破了以往花費(fèi)大量人工標(biāo)注的局限性，同時(shí)在數(shù)據(jù)增強(qiáng)的效果相比現(xiàn)有增強(qiáng)手段更適合解決復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)問題，達(dá)到了一個(gè)像素級(jí)的數(shù)據(jù)增強(qiáng)，增強(qiáng)后的數(shù)據(jù)較為貼合原目標(biāo)檢測(cè)數(shù)據(jù)，在粘貼的目標(biāo)像素附近不會(huì)出現(xiàn)馬賽克樣式像素塊，解決了與低像素被檢測(cè)目標(biāo)混淆問題，避免了因數(shù)據(jù)背景環(huán)境復(fù)雜，數(shù)據(jù)增強(qiáng)的無效操作，有助于后續(xù)提高深度模型的檢測(cè)性能。

技術(shù)特征：

1.一種基于復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)的像素級(jí)數(shù)據(jù)增強(qiáng)方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)的像素級(jí)數(shù)據(jù)增強(qiáng)方法，其特征在于，所述采用邊緣分析的操作過程為，第一步：拷貝實(shí)例格式的數(shù)據(jù)原圖，將讀取到的實(shí)例目標(biāo)圖像轉(zhuǎn)為灰度圖并另作保存；第二步：對(duì)轉(zhuǎn)好的灰度圖做高斯降噪濾波處理，目的是去除圖像上無用噪聲像素點(diǎn)，對(duì)圖像上像素點(diǎn)h(i,j)，執(zhí)行高斯濾波操作得到h(i,j)；第三步：尋找邊緣，即灰度強(qiáng)度變化最強(qiáng)的位置，在圖像中，通常用梯度表示灰度值的變化程度和方向。本專利這里選擇sobel算子計(jì)算梯度和方向，水平方向的sobel算子gx，用來檢測(cè)y軸方向的邊緣；第四步：采用非最大抑制來消除邊誤檢，排除非邊緣像素，僅保留候選邊緣。遍歷梯度矩陣上的所有像素點(diǎn)，保留邊緣方向上具有極大值的像素值。目的是為了將模糊的邊界變得清晰。就是保留了每個(gè)像素點(diǎn)上梯度強(qiáng)度的極大值，而刪掉其他的值。對(duì)于每個(gè)像素點(diǎn)，進(jìn)行如下操作：將其梯度方向近似為0度，45度，90度，135度，180度，225度，270度或315度中最接近的一個(gè)。同時(shí)比較該像素點(diǎn)和其梯度方向、正負(fù)方向像素點(diǎn)的梯度強(qiáng)度。如果該像素點(diǎn)梯度強(qiáng)度最大進(jìn)行則進(jìn)行保留，否則刪除，即該像素點(diǎn)賦值為0；第五步：采用滯后閾值即高閾值和低閾值，來決定哪些是目標(biāo)像素塊的真正邊緣。這里設(shè)定了一個(gè)閾值上界和閾值下界，當(dāng)圖像中的像素點(diǎn)如果大于閾值上界則認(rèn)為必然是邊界，而小于閾值下界則認(rèn)為必然不是邊界，兩者之間的則認(rèn)為是候選項(xiàng)邊緣像素點(diǎn)，對(duì)于候選項(xiàng)邊緣像素點(diǎn)則需要進(jìn)行下一步做分析處理，當(dāng)候選項(xiàng)邊緣像素點(diǎn)與其邊緣的8個(gè)鄰域像素點(diǎn)鄰接，可以判定是邊緣進(jìn)行保留，否則視為非邊緣并舍棄，從而完成實(shí)例目標(biāo)像素塊的邊緣檢測(cè)操作；第六步：依據(jù)提取到的目標(biāo)實(shí)例像素塊的邊緣，采用旋轉(zhuǎn)卡殼算法，枚舉多邊形的邊，試做像素塊的外接矩形，比較外接矩形的面積，選擇面積最小的那個(gè)外接矩形作為目標(biāo)實(shí)例像素塊的最小外接矩形框。

3.根據(jù)權(quán)利要求1所述的一種基于復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)的像素級(jí)數(shù)據(jù)增強(qiáng)方法，其特征在于，所述高斯濾波函數(shù)計(jì)算公式為：

4.根據(jù)權(quán)利要求1所述的一種基于復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)的像素級(jí)數(shù)據(jù)增強(qiáng)方法，其特征在于，所述算子gx的數(shù)學(xué)表達(dá)式為：

5.根據(jù)權(quán)利要求1所述的一種基于復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)的像素級(jí)數(shù)據(jù)增強(qiáng)方法，其特征在于，對(duì)所述最小外接矩形框進(jìn)行坐標(biāo)轉(zhuǎn)換操作，根據(jù)yolo格式進(jìn)行坐標(biāo)歸一化，并新建txt文件，依據(jù)最小外接矩形框轉(zhuǎn)換后的坐標(biāo)信息，實(shí)現(xiàn)對(duì)粘貼實(shí)例目標(biāo)的標(biāo)簽轉(zhuǎn)成yolo格式標(biāo)簽操作，并將轉(zhuǎn)好的標(biāo)簽寫入新建的txt文件中，這里得到轉(zhuǎn)化為yolo格式后的實(shí)例數(shù)據(jù)，設(shè)其yolo格式標(biāo)注框的大小為h*w。設(shè)置隨機(jī)尺度抖動(dòng)閾值為α，因?yàn)樵鰪?qiáng)后的數(shù)據(jù)集是應(yīng)用在小目標(biāo)檢測(cè)，所以對(duì)粘貼的實(shí)例目標(biāo)采取縮放操作，設(shè)置α取值范圍為(0.2，0.8)，經(jīng)過隨機(jī)尺度抖動(dòng)后，粘貼的實(shí)例yolo格式標(biāo)注框的大小更新為hnew*wnew，其計(jì)算方式為：

技術(shù)總結(jié)
本發(fā)明提供一種基于復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)的像素級(jí)數(shù)據(jù)增強(qiáng)方法，包括以下步驟：S1、準(zhǔn)備數(shù)據(jù)；S2、隨機(jī)復(fù)制粘貼實(shí)例目標(biāo)；S3、更新增強(qiáng)后的數(shù)據(jù)標(biāo)簽及掩碼；S4、數(shù)據(jù)量是否足夠。本發(fā)明提供的一種基于復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)的像素級(jí)數(shù)據(jù)增強(qiáng)方法，通過簡(jiǎn)單的對(duì)目標(biāo)檢測(cè)數(shù)據(jù)進(jìn)行復(fù)制粘貼實(shí)例目標(biāo)，來擴(kuò)充數(shù)據(jù)集，突破了以往花費(fèi)大量人工標(biāo)注的局限性，同時(shí)在數(shù)據(jù)增強(qiáng)的效果相比現(xiàn)有增強(qiáng)手段更適合解決復(fù)雜場(chǎng)景下小目標(biāo)檢測(cè)問題，達(dá)到了一個(gè)像素級(jí)的數(shù)據(jù)增強(qiáng)，增強(qiáng)后的數(shù)據(jù)較為貼合原目標(biāo)檢測(cè)數(shù)據(jù)，在粘貼的目標(biāo)像素附近不會(huì)出現(xiàn)馬賽克樣式像素塊，解決了與低像素被檢測(cè)目標(biāo)混淆問題，避免了因數(shù)據(jù)背景環(huán)境復(fù)雜，數(shù)據(jù)增強(qiáng)的無效操作。

技術(shù)研發(fā)人員：梁佳雨,耿秋實(shí),敖乃翔,李獻(xiàn)偉,陳業(yè)坤,張文英,王猛,原振華,鄭俐娟,徐天琪
受保護(hù)的技術(shù)使用者：中電科電科院科技集團(tuán)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10