本發(fā)明屬于濕地鳥類群落，尤其涉及一種基于多維信息融合的廣域鳥群檢測與統(tǒng)計(jì)方法。

背景技術(shù)：

1、鳥類群落是濕地資源的重要組成部分之一。對濕地保護(hù)區(qū)的鳥類的種群數(shù)量和群落分布進(jìn)行定期動(dòng)態(tài)監(jiān)控是濕地鳥類群落保護(hù)的重要手段之一。目前的濕地保護(hù)區(qū)的鳥類數(shù)量統(tǒng)計(jì)以及群落分布監(jiān)控主要依靠人工手段，例如標(biāo)記重捕法，但這類的方法效率低，工作量大。隨著光電探測技術(shù)的進(jìn)步，研究人員開始使用光電探測設(shè)備攝錄并統(tǒng)計(jì)鳥群數(shù)量與群落的分布，統(tǒng)計(jì)并分析鳥群的數(shù)量。但目前缺少自動(dòng)化的分析手段，致使統(tǒng)計(jì)和分析鳥群的數(shù)量以及群落分布需要大量的人力及時(shí)間成本。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明創(chuàng)造旨在提供一種基于多維信息融合的廣域鳥群檢測與統(tǒng)計(jì)方法，以解決現(xiàn)有的統(tǒng)計(jì)和分析鳥群的數(shù)量以及群落分布的方法所存在的需要大量的人力及時(shí)間成本的缺點(diǎn)。

2、為達(dá)到上述目的，本發(fā)明創(chuàng)造的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、一種基于多維信息融合的廣域鳥群檢測與統(tǒng)計(jì)方法，具體包括如下步驟：

4、s1：將視場相同的可見相機(jī)、紅外相機(jī)和偏振相機(jī)搭載在無人飛行器上，對選定區(qū)域內(nèi)的飛鳥進(jìn)行多維圖像采集；

5、s2：利用步驟s1獲得的多維圖像采集結(jié)果制作飛鳥檢測數(shù)據(jù)集；

6、s3：構(gòu)建飛鳥檢測深度神經(jīng)網(wǎng)絡(luò)，利用飛鳥檢測數(shù)據(jù)集對飛鳥檢測深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練好的飛鳥檢測深度神經(jīng)網(wǎng)絡(luò)；

7、s4：對待測區(qū)域內(nèi)的飛鳥進(jìn)行多維圖像采集，并將多維圖像采集結(jié)果輸入至訓(xùn)練好的飛鳥檢測深度神經(jīng)網(wǎng)絡(luò)進(jìn)行飛鳥類型的檢測和飛鳥像素位置的檢測；

8、s5：根據(jù)步驟s4的檢測結(jié)果統(tǒng)計(jì)待測區(qū)域內(nèi)的飛鳥的種類與數(shù)量。

9、進(jìn)一步的，在步驟s1中，多維圖像包括紅外圖像、可見圖像和偏振圖像。

10、進(jìn)一步的，步驟s2具體包括如下步驟：

11、s21：利用雙線性插值法對紅外圖像進(jìn)行超分辨率操作，使每組視場相同的紅外圖像與可見圖像以及偏振圖像的分辨率相同：

12、ihigh(2x,2y)＝1/4[ilow(x,y)+ilow(x+1,y)+ilow(x,y+1)+ilow(x+1,y+1)]；

13、其中，ilow(x,y)為紅外圖像，ihigh(x,y)為可見圖像和偏振圖像；

14、s22：標(biāo)注各組視場相同的紅外圖像、可見圖像和偏振圖像，各自包含的飛鳥類型和飛鳥像素位置；

15、s23：將每組視場相同的紅外圖像、可見圖像和偏振圖像所包含的飛鳥像素位置的標(biāo)注框取并集；

16、s24：將取并集后的各組視場相同的紅外圖像、可見圖像和偏振圖像劃分為訓(xùn)練集和驗(yàn)證集，實(shí)現(xiàn)飛鳥檢測數(shù)據(jù)集的制作。

17、進(jìn)一步的，在步驟s3中，飛鳥檢測深度神經(jīng)網(wǎng)絡(luò)包括多維信息融合單元和基于尺度感知的雙向特征金字塔網(wǎng)絡(luò)單元，將各組視場相同的紅外圖像、可見圖像和偏振圖像按通道進(jìn)行堆疊，獲得堆疊圖像，并將堆疊圖像輸入至多維信息融合單元進(jìn)行圖像融合，獲得多維融合圖像，將多維融合圖像經(jīng)過基于尺度感知的雙向特征金字塔網(wǎng)絡(luò)單元進(jìn)行特征提取，獲得各組視場相同的多維圖像上的飛鳥類型和飛鳥像素位置。

18、進(jìn)一步的，多維信息融合單元包括第一1×1卷積模塊、第二1×1卷積模塊、第三1×1卷積模塊、第四1×1卷積模塊、第五1×1卷積模塊、softmax模塊、級聯(lián)的通道平均值模塊和通道最大值模塊，其中，堆疊圖像依次經(jīng)級聯(lián)的通道平均值模塊和通道最大值模塊、第一1×1卷積模塊、第二1×1卷積模塊和softmax模塊進(jìn)行處理后，獲得第一特征，堆疊圖像還經(jīng)第三1×1卷積模塊進(jìn)行卷積處理后，獲得第二特征，將第一特征與第二特征相乘，獲得第三特征，將第三特征輸入至第四1×1卷積模塊進(jìn)行卷積處理，獲得第四特征，將第四特征輸入至第五1×1卷積模塊進(jìn)行卷積處理，獲得第五特征，將第五特征與堆疊圖像相乘，獲得輸出特征。

19、進(jìn)一步的，偏振圖像具體為0°偏振圖像、45°偏振圖像、90°偏振圖像、135°偏振圖像，偏振度圖像以及偏振相位角圖像。

20、與現(xiàn)有技術(shù)相比，本發(fā)明創(chuàng)造能夠取得如下有益效果：

21、本發(fā)明創(chuàng)造所述的基于多維信息融合的廣域鳥群檢測與統(tǒng)計(jì)方法，基于紅外圖像、偏振圖像和可見圖像對飛鳥檢測深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并利用訓(xùn)練好的飛鳥檢測深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)廣域鳥群的檢測與統(tǒng)計(jì)，實(shí)現(xiàn)了對鳥類群落的自動(dòng)化識別，具有自動(dòng)化、精度高和快速化的優(yōu)點(diǎn)。

22、偏振圖像和可見圖像的融合易于在復(fù)雜背景下(水面，草地等)快速精準(zhǔn)的識別出鳥的種類，同時(shí)基于偏振特性，易于對體型相似的鳥進(jìn)行區(qū)分，融入的紅外圖像則利用鳥類的自輻射，實(shí)現(xiàn)對鳥類的全天候檢測。

23、附圖說明

24、構(gòu)成本發(fā)明創(chuàng)造的一部分的附圖用來提供對本發(fā)明創(chuàng)造的進(jìn)一步理解，本發(fā)明創(chuàng)造的示意性實(shí)施例及其說明用于解釋本發(fā)明創(chuàng)造，并不構(gòu)成對本發(fā)明創(chuàng)造的不當(dāng)限定。在附圖中：

25、圖1為本發(fā)明創(chuàng)造實(shí)施例所述的基于多維信息融合的廣域鳥群檢測與統(tǒng)計(jì)方法的流程示意圖；

26、圖2為本發(fā)明創(chuàng)造實(shí)施例所述的飛鳥檢測深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

27、圖3為本發(fā)明創(chuàng)造實(shí)施例所述的多維信息融合單元的網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

技術(shù)特征：

1.一種基于多維信息融合的廣域鳥群檢測與統(tǒng)計(jì)方法，其特征在于：具體包括如下步驟：

2.根據(jù)權(quán)利要求1所述的基于多維信息融合的廣域鳥群檢測與統(tǒng)計(jì)方法，其特征在于：在步驟s1中，多維圖像包括紅外圖像、可見圖像和偏振圖像。

3.根據(jù)權(quán)利要求2所述的基于多維信息融合的廣域鳥群檢測與統(tǒng)計(jì)方法，其特征在于：步驟s2具體包括如下步驟：

4.根據(jù)權(quán)利要求3所述的基于多維信息融合的廣域鳥群檢測與統(tǒng)計(jì)方法，其特征在于：在步驟s3中，飛鳥檢測深度神經(jīng)網(wǎng)絡(luò)包括多維信息融合單元和基于尺度感知的雙向特征金字塔網(wǎng)絡(luò)單元，將各組視場相同的紅外圖像、可見圖像和偏振圖像按通道進(jìn)行堆疊，獲得堆疊圖像，并將所述堆疊圖像輸入至所述多維信息融合單元進(jìn)行圖像融合，獲得多維融合圖像，將所述多維融合圖像經(jīng)過基于尺度感知的雙向特征金字塔網(wǎng)絡(luò)單元進(jìn)行特征提取，獲得各組視場相同的多維圖像上的飛鳥類型和飛鳥像素位置。

5.根據(jù)權(quán)利要求4所述的基于多維信息融合的廣域鳥群檢測與統(tǒng)計(jì)方法，其特征在于：所述多維信息融合單元包括第一1×1卷積模塊、第二1×1卷積模塊、第三1×1卷積模塊、第四1×1卷積模塊、第五1×1卷積模塊、softmax模塊、級聯(lián)的通道平均值模塊和通道最大值模塊，其中，所述堆疊圖像依次經(jīng)所述級聯(lián)的通道平均值模塊和通道最大值模塊、所述第一1×1卷積模塊、所述第二1×1卷積模塊和所述softmax模塊進(jìn)行處理后，獲得第一特征，所述堆疊圖像還經(jīng)所述第三1×1卷積模塊進(jìn)行卷積處理后，獲得第二特征，將所述第一特征與所述第二特征相乘，獲得第三特征，將所述第三特征輸入至所述第四1×1卷積模塊進(jìn)行卷積處理，獲得第四特征，將所述第四特征輸入至所述第五1×1卷積模塊進(jìn)行卷積處理，獲得第五特征，將所述第五特征與所述堆疊圖像相乘，獲得輸出特征。

6.根據(jù)權(quán)利要求5所述的基于多維信息融合的廣域鳥群檢測與統(tǒng)計(jì)方法，其特征在于：所述偏振圖像具體為0°偏振圖像、45°偏振圖像、90°偏振圖像、135°偏振圖像，偏振度圖像以及偏振相位角圖像。

技術(shù)總結(jié)
本發(fā)明屬于濕地鳥類檢測技術(shù)領(lǐng)域，尤其涉及一種基于多維信息融合的廣域鳥群檢測與統(tǒng)計(jì)方法。包括：S1：將視場相同的可見相機(jī)、紅外相機(jī)和偏振相機(jī)搭載在無人飛行器上，進(jìn)行多維圖像采集；S2：利用步驟S1獲得的多維圖像采集結(jié)果制作飛鳥檢測數(shù)據(jù)集；S3：構(gòu)建飛鳥檢測深度神經(jīng)網(wǎng)絡(luò)，利用飛鳥檢測數(shù)據(jù)集對飛鳥檢測深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練好的飛鳥檢測深度神經(jīng)網(wǎng)絡(luò)；S4：對待測區(qū)域內(nèi)的飛鳥進(jìn)行多維圖像采集，并將多維圖像采集結(jié)果輸入至訓(xùn)練好的飛鳥檢測深度神經(jīng)網(wǎng)絡(luò)進(jìn)行飛鳥類型的檢測和飛鳥像素位置的檢測；S5：根據(jù)步驟S4的檢測結(jié)果統(tǒng)計(jì)待測區(qū)域內(nèi)的飛鳥的種類與數(shù)量。本發(fā)明具有自動(dòng)化、精度高和快速化的優(yōu)點(diǎn)。

技術(shù)研發(fā)人員：姚東,戴朋章,晏春回,馬天翔,梁超,王中石,孟令通
受保護(hù)的技術(shù)使用者：中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10