本發(fā)明涉及目標(biāo)檢測(cè)，具體涉及一種超輕量化遙感圖像在軌實(shí)時(shí)目標(biāo)檢測(cè)方法和裝置。

背景技術(shù)：

1、隨著深度學(xué)習(xí)技術(shù)在遙感領(lǐng)域的成功應(yīng)用，基于深度學(xué)習(xí)的遙感圖像目標(biāo)檢測(cè)已經(jīng)在軍事和民用領(lǐng)域發(fā)揮越來(lái)越重要的作用，并廣泛應(yīng)用于軍事制導(dǎo)、智能交通和海上救援等任務(wù)。深度學(xué)習(xí)方法很大程度上提升了目標(biāo)檢測(cè)的精度，但是由于檢測(cè)網(wǎng)絡(luò)參數(shù)量較大并且在軌平臺(tái)計(jì)算資源極低，將現(xiàn)有檢測(cè)網(wǎng)絡(luò)部署到在軌平臺(tái)上很難實(shí)現(xiàn)，所以急需一種高性能的在軌實(shí)時(shí)目標(biāo)檢測(cè)方法。

2、目前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要分為三類，第一類是以faster?r-cnn為代表的雙階段目標(biāo)檢測(cè)算法，在包含目標(biāo)的邊框上生成候選區(qū)域再進(jìn)行目標(biāo)檢測(cè)，檢測(cè)精度高但效率較低。第二類是單階段目標(biāo)檢測(cè)算法，主要以ssd(single?shot?multiboxdetector)和yolo(you?only?look?once)系列為代表，此類算法不生成候選區(qū)域，直接通過(guò)回歸的方式進(jìn)行目標(biāo)檢測(cè)，檢測(cè)效率相比第一類方法有了大幅提升。第三類是以detr(detection?transformer)為代表的端到端目標(biāo)檢測(cè)方法，這類算法采用transformer作為檢測(cè)頭部進(jìn)行稀疏預(yù)測(cè)，無(wú)需nms(非極大值抑制)等后處理方法直接得到檢測(cè)結(jié)果，提升了推理時(shí)的效率但transformer結(jié)構(gòu)較大的計(jì)算量給部署帶來(lái)一定難度。

3、目前的實(shí)時(shí)目標(biāo)檢測(cè)大多采用單階段的方案，單階段目標(biāo)檢測(cè)方法雖然在各種場(chǎng)景數(shù)據(jù)集上都表現(xiàn)優(yōu)異，且效率較高，但是將其進(jìn)行在軌實(shí)際部署仍然存在一些挑戰(zhàn)。單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)在在軌實(shí)時(shí)處理中主要面臨兩個(gè)問(wèn)題，一是網(wǎng)絡(luò)參數(shù)量和計(jì)算量大，而在軌硬件資源缺乏，難以滿足部署網(wǎng)絡(luò)的需求；二是對(duì)于通道維度并行處理模式，因圖像輸入通道數(shù)少，需擴(kuò)充通道，即對(duì)各個(gè)通道補(bǔ)零，浪費(fèi)計(jì)算資源。所以需要對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行輕量化并消除輸入擴(kuò)充通道對(duì)推理速度的影響，同時(shí)保證目標(biāo)檢測(cè)的精度下降在可接受的范圍內(nèi)，以完成高性能的在軌實(shí)時(shí)目標(biāo)檢測(cè)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種超輕量化遙感圖像在軌實(shí)時(shí)目標(biāo)檢測(cè)方法，能夠針對(duì)當(dāng)前檢測(cè)網(wǎng)絡(luò)在軌應(yīng)用時(shí)存在的問(wèn)題，采用網(wǎng)絡(luò)輕量化結(jié)構(gòu)設(shè)計(jì)和數(shù)據(jù)重組的方式在保證網(wǎng)絡(luò)性能的前提下提升推理速度并降低資源開(kāi)銷，完成在軌高效實(shí)時(shí)目標(biāo)檢測(cè)，解決現(xiàn)有技術(shù)中圖像輸入擴(kuò)充通道降低硬件推理效率的問(wèn)題。

2、為了解決上述技術(shù)問(wèn)題，本發(fā)明是這樣實(shí)現(xiàn)的。

3、一種超輕量化遙感圖像在軌實(shí)時(shí)目標(biāo)檢測(cè)方法，目標(biāo)檢測(cè)采用的深度學(xué)習(xí)網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)；該方法包括如下步驟：

4、步驟1：對(duì)高分辨率單通道圖像按特征提取網(wǎng)絡(luò)的輸入通道維度n1進(jìn)行數(shù)據(jù)重組，獲得n1個(gè)通道的低分辨率特征圖；

5、重組方式為：根據(jù)設(shè)定步長(zhǎng)r，將所述高分辨率單通道圖像分為大小為r2的塊，r2＝n1；同一個(gè)塊內(nèi)的r2個(gè)像素分配給n1個(gè)通道的低分辨率特征圖中相同位置；

6、步驟2：將所述n1個(gè)通道的低分辨率特征圖輸入特征提取網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)進(jìn)行多個(gè)階段的分組卷積和下采樣處理，然后按照與數(shù)據(jù)重組相反的方式進(jìn)行反向重組，獲得下采樣的特征圖；

7、步驟3：將步驟2獲得的所述特征圖輸入檢測(cè)網(wǎng)絡(luò)，得到目標(biāo)檢測(cè)結(jié)果。

8、優(yōu)選地，步驟1中，所述同一個(gè)塊內(nèi)的r2個(gè)像素分配給n1個(gè)通道的低分辨率特征圖中相同位置為：

9、設(shè)高分辨率單通道圖像中的點(diǎn)為初始點(diǎn)(h1,w1)，分配到低分辨率特征圖中的位置為對(duì)應(yīng)點(diǎn)(c2,h2,w2)，初始點(diǎn)(h1,w1)與對(duì)應(yīng)點(diǎn)(c2,h2,w2)的對(duì)應(yīng)關(guān)系計(jì)算方式為：

10、將初始點(diǎn)的位置與輸出特征通道數(shù)n1作取余運(yùn)算，得到對(duì)應(yīng)點(diǎn)的通道位置c2：

11、c2＝(w1+h1×w1)％n1

12、根據(jù)像素重排列的方式，計(jì)算得到輸出特征第c2個(gè)通道中對(duì)應(yīng)點(diǎn)的位置(c2,h2,w2)：

13、

14、h2＝h1/r。

15、優(yōu)選地，步驟2中，所述特征提取網(wǎng)絡(luò)包括4個(gè)下采樣階段和一個(gè)反向數(shù)據(jù)重組階段；

16、4個(gè)下采樣階段中：

17、一階段輸入為16個(gè)通道的低分辨率特征圖p0(w,h,16)，w和h表示特征圖的二維尺寸，數(shù)字16表示16個(gè)通道；低分辨率特征圖p0經(jīng)過(guò)第一分組卷積層，輸出16個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第一池化層，輸出16個(gè)通道的特征圖p1(w/2,h/2,16)；所述第一分組卷積層具有3×3卷積核，通道分組為2；所述第一池化層的池化窗口為2×2；

18、二階段輸入為16個(gè)通道的特征圖p1，經(jīng)過(guò)第二卷積層輸出32個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第二池化層，輸出32個(gè)通道的特征圖p2(w/4,h/4,32)；所述第二卷積層具有3×3卷積核，通道分組為2；所述第二池化層的池化窗口為2×2；

19、三階段輸入為32個(gè)通道的特征圖p2，經(jīng)過(guò)第三分組卷積層輸出32個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第四分組卷積層輸出32個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第三池化層，輸出32個(gè)通道的特征圖p3(w/8,h/8,32)；所述第三分組卷積層具有3×3卷積核，通道分組為2；所述第四分組卷積層具有3×3卷積核，通道分組為4；所述第三池化層的池化窗口為2×2；

20、四階段輸入為32個(gè)通道的特征圖p3，經(jīng)過(guò)第五分組卷積層輸出32個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第六分組卷積層輸出32個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第四池化層，輸出32個(gè)通道的特征圖p4(w/16,h/16,32)；所述第五分組卷積層具有3×3卷積核，通道分組為2；所述第六分組卷積層具有3×3卷積核，通道分組為4；所述第四池化層的池化窗口為2×2；

21、反向數(shù)據(jù)重組階段輸入為32個(gè)通道的特征圖p4，經(jīng)過(guò)第一卷積層輸出64個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第七分組卷積層輸出512通道的特征p5(w/16,h/16,512)，對(duì)特征p5進(jìn)行反向數(shù)據(jù)重組將其還原為32個(gè)通道的數(shù)據(jù)p6(w/16,h/16,32)，再輸入第二卷積層，輸出64個(gè)通道的特征pout(w/16,h/16,64)；其中，所述第七分組卷積層具有3×3卷積核，通道分組為8；第一卷積層和第二卷積層具有3×3卷積核。

22、優(yōu)選地，所述檢測(cè)網(wǎng)絡(luò)包括回歸分支和分類分支；回歸分支和分類分支都是由一個(gè)通道分組為8的3×3卷積組成，輸出通道為64。

23、優(yōu)選地，在步驟3的目標(biāo)檢測(cè)過(guò)程，檢測(cè)網(wǎng)絡(luò)輸出結(jié)果中置信度得分大于0.2的框作為目標(biāo)檢測(cè)結(jié)果。

24、優(yōu)選地，所述步驟2進(jìn)行分組卷積時(shí)，每個(gè)分組卷積層中的p個(gè)卷積核根據(jù)硬件處理能力分成n組，每次有p/n個(gè)卷積核并行處理。

25、本發(fā)明還提供了一種超輕量化遙感圖像在軌實(shí)時(shí)目標(biāo)檢測(cè)裝置，該裝置包括數(shù)據(jù)重組模塊、特征提取網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)；特征提取網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)組成了深度學(xué)習(xí)網(wǎng)絡(luò)；

26、數(shù)據(jù)重組模塊，用于對(duì)高分辨率單通道圖像按特征提取網(wǎng)絡(luò)的輸入通道維度n1進(jìn)行數(shù)據(jù)重組，獲得n1個(gè)通道的低分辨率特征圖；重組方式為：根據(jù)設(shè)定步長(zhǎng)r，將所述高分辨率單通道圖像分為大小為r2的塊，r2＝n1；同一個(gè)塊內(nèi)的r2個(gè)像素分配給n1個(gè)通道的低分辨率特征圖中相同位置；

27、特征提取網(wǎng)絡(luò)，用于對(duì)所述n1個(gè)通道的低分辨率特征圖進(jìn)行多個(gè)階段的分組卷積和下采樣處理，然后按照與數(shù)據(jù)重組相反的方式進(jìn)行反向重組，獲得下采樣的特征圖；

28、檢測(cè)網(wǎng)絡(luò)，用于根據(jù)來(lái)自特征提取網(wǎng)絡(luò)的下采樣的特征圖特征圖進(jìn)行目標(biāo)檢測(cè)，得到目標(biāo)檢測(cè)結(jié)果。

29、優(yōu)選地，所述特征提取網(wǎng)絡(luò)包括第一下采樣單元、第二下采樣單元、第三下采樣單元、第四下采樣單元和反向數(shù)據(jù)重組單元；

30、第一下采樣單元負(fù)責(zé)一階段下采樣，包括第一分組卷積層和第一池化層；第一分組卷積層的輸入為16個(gè)通道的低分辨率特征圖p0(w,h,16)，w和h表示特征圖的二維尺寸，數(shù)字16表示16個(gè)通道；低分辨率特征圖p0經(jīng)過(guò)第一分組卷積層，輸出16個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第一池化層，輸出16個(gè)通道的特征圖p1(w/2,h/2,16)；所述第一分組卷積層具有3×3卷積核，通道分組為2；所述第一池化層的池化窗口為2×2；

31、第二下采樣單元負(fù)責(zé)二階段下采樣，包括第二分組卷積層和第二池化層；第二分組卷積層的輸入為16個(gè)通道的特征圖p1，經(jīng)過(guò)第二卷積層輸出32個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第二池化層，輸出32個(gè)通道的特征圖p2(w/4,h/4,32)；所述第二卷積層具有3×3卷積核，通道分組為2；所述第二池化層的池化窗口為2×2；

32、第三下采樣單元負(fù)責(zé)三階段下采樣，包括第三分組卷積層、第四分組卷積層和第三池化層；第三分組卷積層的輸入為32個(gè)通道的特征圖p2，經(jīng)過(guò)第三分組卷積層輸出32個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第四分組卷積層輸出32個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第三池化層，輸出32個(gè)通道的特征圖p3(w/8,h/8,32)；所述第三分組卷積層具有3×3卷積核，通道分組為2；所述第四分組卷積層具有3×3卷積核，通道分組為4；所述第三池化層的池化窗口為2×2；

33、第四下采樣單元負(fù)責(zé)四階段下采樣，包括第五分組卷積層、第六分組卷積層和第四池化層；第五分組卷積層的輸入為32個(gè)通道的特征圖p3，經(jīng)過(guò)第五分組卷積層輸出32個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第六分組卷積層輸出32個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第四池化層，輸出32個(gè)通道的特征圖p4(w/16,h/16,32)；所述第五分組卷積層具有3×3卷積核，通道分組為2；所述第六分組卷積層具有3×3卷積核，通道分組為4；所述第四池化層的池化窗口為2×2；

34、反向數(shù)據(jù)重組單元包括第一卷積層、第七分組卷積層、反向重組單元和第二卷積層；第一卷積層的輸入為32個(gè)通道的特征圖p4，經(jīng)過(guò)第一卷積層輸出64個(gè)通道的數(shù)據(jù)，再經(jīng)過(guò)第七分組卷積層輸出512通道的特征p5(w/16,h/16,512)；反向重組單元對(duì)特征p5進(jìn)行反向數(shù)據(jù)重組將其還原為32個(gè)通道的數(shù)據(jù)p6(w/16,h/16,32)，再輸入第二卷積層；第二卷積層輸出64個(gè)通道的特征pxut(w/16,h/16,64)；其中，所述第七分組卷積層具有3×3卷積核，通道分組為8；第一卷積層和第二卷積層具有3×3卷積核。

35、有益效果：

36、(1)本發(fā)明在進(jìn)行多通道特征圖構(gòu)建時(shí)，沒(méi)有采用復(fù)制高分辨率單通道圖像并進(jìn)行卷積的方式，而是采用數(shù)據(jù)重組方式，將高分辨率單通道圖像直接重組為適應(yīng)特征提取網(wǎng)絡(luò)的多通道低分辨率特征圖，然后在特征提取網(wǎng)絡(luò)下采樣處理后，反向重組。在軌平臺(tái)通道維度并行處理模式下卷積計(jì)算采用的是分組計(jì)算，即單通道輸入數(shù)據(jù)計(jì)算時(shí)需要補(bǔ)齊通道數(shù)為最小分組通道數(shù)量，這會(huì)導(dǎo)致大量的計(jì)算資源的浪費(fèi)。而本發(fā)明通過(guò)這種像素重排列的方式，在不需要卷積處理的情況下減小特征圖的大小，避免通道擴(kuò)充帶來(lái)的冗余，從而提升在軌應(yīng)用的時(shí)效性。同時(shí)，這種方式數(shù)據(jù)信息損失極小，使得提取特征能有效地對(duì)遙感圖像中的目標(biāo)進(jìn)行表征。這種方法有效降低了輸入數(shù)據(jù)的尺寸，將數(shù)據(jù)分布到通道維度，使得計(jì)算資源得到了充分利用，同時(shí)充分、有效的利用數(shù)據(jù)信息。

37、(2)本發(fā)明針對(duì)在軌實(shí)時(shí)目標(biāo)檢測(cè)的目的，提供了一種基于分組卷積的超輕量化特征提取骨干網(wǎng)絡(luò)，對(duì)階段數(shù)量、每階段是否用分組卷積、分組數(shù)均進(jìn)行了設(shè)計(jì)，極大地降低了檢測(cè)網(wǎng)絡(luò)的參數(shù)量和計(jì)算量。