本發(fā)明屬于但不限于深度學(xué)習(xí),尤其涉及一種基于輔助訓(xùn)練分支的輕量化山火檢測(cè)模型設(shè)計(jì)方法及系統(tǒng)。
背景技術(shù):
1、山火是一種破壞性極強(qiáng)的自然災(zāi)害,會(huì)摧毀大片森林、野生動(dòng)植物棲息地,危及人類生命、財(cái)產(chǎn)和環(huán)境。監(jiān)控云臺(tái)和巡檢無人機(jī)等邊緣設(shè)備是目前主流的山火監(jiān)控邊緣設(shè)備,可以通過可見光和熱成像技術(shù)捕捉到火源并及時(shí)推送預(yù)警信息。隨著目標(biāo)檢測(cè)算法在山火檢測(cè)領(lǐng)域的廣泛應(yīng)用,對(duì)于在邊緣設(shè)備上部署高效且準(zhǔn)確的山火檢測(cè)模型的需求日益增加。目前較廣泛使用的山火檢測(cè)方法大多依賴于結(jié)構(gòu)復(fù)雜、參數(shù)量龐大的深度學(xué)習(xí)模型,這些模型在邊緣設(shè)備上部署面臨計(jì)算資源受限、存儲(chǔ)容量受限等挑戰(zhàn)。因此,設(shè)計(jì)一種輕量化山火檢測(cè)模型成為一項(xiàng)迫切的需求。
2、現(xiàn)有的針對(duì)山火的檢測(cè)方法有以下幾種:
3、目前,山火的檢測(cè)方式主要有基于多傳感器融合的檢測(cè)、基于衛(wèi)星遙感的檢測(cè)和基于計(jì)算機(jī)視覺的檢測(cè)。其中,基于多傳感器融合的檢測(cè)探測(cè)范圍小、傳感器維護(hù)困難,基于衛(wèi)星遙感的檢測(cè)技術(shù)易受天氣狀況影響且啟動(dòng)成本較高。得益于電子和圖像技術(shù)的迅速發(fā)展,基于深度學(xué)習(xí)的山火檢測(cè)方法成為現(xiàn)實(shí),為山火監(jiān)視和探測(cè)提供了低成本、安全和便捷的解決方案,不僅可以用于地面端的監(jiān)控云臺(tái),還可以通過無人機(jī)實(shí)現(xiàn)航空端的監(jiān)測(cè)基于深度學(xué)習(xí)的森林火在檢測(cè)算法通過對(duì)大量數(shù)據(jù)進(jìn)行訓(xùn)練,建立火災(zāi)檢測(cè)模型?;谏疃葘W(xué)習(xí)的山火檢測(cè)方法通過無人機(jī)巡檢、鐵塔視頻監(jiān)控等方式獲取森林實(shí)時(shí)影像,通過識(shí)別影像中的火焰和煙霧對(duì)森林火災(zāi)進(jìn)行檢測(cè),具有部署靈活,覆蓋范圍廣的特點(diǎn),適合在開放式、大空間的森林環(huán)境下使用。
4、但傳統(tǒng)深度學(xué)習(xí)模型在邊緣設(shè)備上運(yùn)行時(shí)需要大量的計(jì)算資源,導(dǎo)致響應(yīng)速度較慢和計(jì)算效率較低;其次,大型模型的參數(shù)量和計(jì)算量較大,超出了邊緣設(shè)備的計(jì)算處理能力和存儲(chǔ)容量,極大地限制了模型的可部署設(shè)備;最為重要的是,山火的檢測(cè)通常需要實(shí)時(shí)快速的響應(yīng),以便及時(shí)采取措施,而傳統(tǒng)模型的復(fù)雜性往往會(huì)導(dǎo)致較高的檢測(cè)延遲,無法滿足實(shí)時(shí)檢測(cè)山火的要求。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)現(xiàn)有技術(shù)存在的問題,本發(fā)明提供了一種基于輔助訓(xùn)練分支的輕量化山火檢測(cè)模型設(shè)計(jì)方法及系統(tǒng)。
2、本發(fā)明是這樣實(shí)現(xiàn)的,一種基于輔助訓(xùn)練分支的輕量化山火檢測(cè)模型設(shè)計(jì)方法,該方法包括:
3、s1:由巡檢無人機(jī)和監(jiān)控云臺(tái)采集山火圖像樣本,構(gòu)建山火數(shù)據(jù)集。
4、s2:對(duì)采集的山火數(shù)據(jù)集使用mosaic-4數(shù)據(jù)增強(qiáng)方法,即采用4張圖片,并按照隨機(jī)裁剪和隨機(jī)排布的方式進(jìn)行拼接成一張圖片,同時(shí)合理地引入一些高斯噪聲,增強(qiáng)模型的魯棒性。
5、s3:對(duì)收集的完整數(shù)據(jù)集采用直方圖均衡化算法進(jìn)行預(yù)處理,并標(biāo)注預(yù)處理后的圖像樣本。
6、s4:將標(biāo)注后的圖像樣本按比例劃分為訓(xùn)練集和測(cè)試集。
7、s5:設(shè)計(jì)輕量化卷積神經(jīng)網(wǎng)絡(luò)主體模型結(jié)構(gòu),所述設(shè)計(jì)的輕量化卷積神經(jīng)網(wǎng)絡(luò)模型壓縮了模型結(jié)構(gòu)大??;提出的采用共享卷積的輕量化檢測(cè)頭可以使用共享卷積實(shí)現(xiàn)部分卷積參數(shù)共用,提高了模型的檢測(cè)效率。
8、s6:設(shè)計(jì)輔助訓(xùn)練分支結(jié)構(gòu),所述設(shè)計(jì)的輔助訓(xùn)練分支結(jié)構(gòu)可以聚合包含所有目標(biāo)對(duì)象的梯度信息,并保留深層特征的信息,從而獲得可靠的梯度,緩解深度監(jiān)督中的信息丟失問題。
9、s7:使用山火數(shù)據(jù)集對(duì)包含基于輔助訓(xùn)練分支的輕量化山火檢測(cè)模型進(jìn)行訓(xùn)練,將訓(xùn)練完成的模型中的輔助訓(xùn)練分支結(jié)構(gòu)去除,最終得到輕量化的山火檢測(cè)模型。
10、進(jìn)一步,所述s5中,設(shè)計(jì)的輕量化飛機(jī)艙門檢測(cè)模型的結(jié)構(gòu)包括:
11、(1)采用實(shí)時(shí)檢測(cè)目標(biāo)檢測(cè)網(wǎng)絡(luò)yolov8n構(gòu)建骨干網(wǎng)絡(luò),以提高模型的實(shí)時(shí)檢測(cè)速度。
12、(2)采用部分卷積算子構(gòu)建頸部網(wǎng)絡(luò)的特征提取與融合模塊,以提高模型的計(jì)算效率。
13、(3)采用共享卷積核構(gòu)建輸出檢測(cè)頭,通過模塊間參數(shù)共享減少檢測(cè)頭的參數(shù)量,提高模型的實(shí)時(shí)檢測(cè)速度,實(shí)現(xiàn)的山火的識(shí)別和定位。
14、進(jìn)一步,所述s6中,設(shè)計(jì)的輔助訓(xùn)練分支的結(jié)構(gòu),包括:
15、(1)采用包含卷積層、批量歸一化層和激活函數(shù)的歸一化層對(duì)原始圖像和經(jīng)過骨干網(wǎng)絡(luò)輸入的特征圖進(jìn)行歸一化處理,標(biāo)準(zhǔn)化卷積層的輸出,加快訓(xùn)練速度,提高模型穩(wěn)定性。
16、(2)采用可變形卷積算子構(gòu)建特征融合模塊,通過合并不同層級(jí)的特征圖,利用它們的互補(bǔ)信息增強(qiáng)模型對(duì)目標(biāo)的識(shí)別能力。
17、(3)將合并的特征圖傳遞給輸出檢測(cè)頭,在模型訓(xùn)練時(shí)為山火檢測(cè)提供額外輔助信息,提高模型的檢測(cè)準(zhǔn)確度。
18、進(jìn)一步,所述s7中,基于輔助訓(xùn)練分支的輕量化山火檢測(cè)模型,包括:
19、(1)由骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和輸出檢測(cè)頭構(gòu)成的主體結(jié)構(gòu)負(fù)責(zé)對(duì)輸入視頻圖像進(jìn)行處理和檢測(cè),實(shí)現(xiàn)山火的識(shí)別和定位。
20、(2)由歸一化層和特征融合模塊構(gòu)成的輔助訓(xùn)練分支負(fù)責(zé)在模型訓(xùn)練時(shí)提供額外輔助信息,輔助主體結(jié)構(gòu)學(xué)習(xí)圖像樣本的特征,提高模型的檢測(cè)準(zhǔn)確度。
21、(3)輔助訓(xùn)練分支在模型訓(xùn)練完成后會(huì)被去除,最終模型只剩下由骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和輸出檢測(cè)頭構(gòu)成的主體結(jié)構(gòu),在減少模型的參數(shù)量、計(jì)算量和提高模型的實(shí)時(shí)檢測(cè)速度的同時(shí),不降低模型的檢測(cè)準(zhǔn)確度。
22、本發(fā)明另一目的在于提供一種基于所述基于輔助訓(xùn)練分支的輕量化山火檢測(cè)模型設(shè)計(jì)方法的基于輔助訓(xùn)練分支的輕量化山火檢測(cè)模型設(shè)計(jì)系統(tǒng),該系統(tǒng)具體包括:
23、數(shù)據(jù)集構(gòu)建模塊,由巡檢無人機(jī)和監(jiān)控云臺(tái)采集山火圖像樣本,構(gòu)建山火數(shù)據(jù)集。
24、數(shù)據(jù)增強(qiáng)模塊,與數(shù)據(jù)集構(gòu)建模塊連接,對(duì)采集的山火數(shù)據(jù)集使用mosaic-4數(shù)據(jù)增強(qiáng)方法,即采用4張圖片,并按照隨機(jī)裁剪和隨機(jī)排布的方式進(jìn)行拼接成一張圖片,同時(shí)合理地引入一些高斯噪聲,增強(qiáng)模型的魯棒性。
25、預(yù)處理模塊,與數(shù)據(jù)增強(qiáng)模塊連接,對(duì)收集的完整數(shù)據(jù)集采用直方圖均衡化算法進(jìn)行預(yù)處理,并標(biāo)注預(yù)處理后的圖像樣本。
26、劃分模塊,與預(yù)處理模塊連接,將標(biāo)注后的圖像樣本按比例劃分為訓(xùn)練集和測(cè)試集。
27、結(jié)構(gòu)設(shè)計(jì)模塊,與劃分模塊連接,設(shè)計(jì)輕量化卷積神經(jīng)網(wǎng)絡(luò)主體模型結(jié)構(gòu),所述設(shè)計(jì)的輕量化卷積神經(jīng)網(wǎng)絡(luò)模型壓縮了模型結(jié)構(gòu)大??;提出的采用共享卷積的輕量化檢測(cè)頭可以使用共享卷積實(shí)現(xiàn)部分卷積參數(shù)共用,提高了模型的檢測(cè)效率。
28、分支結(jié)構(gòu)設(shè)計(jì)模塊,與結(jié)構(gòu)設(shè)計(jì)模塊連接,設(shè)計(jì)輔助訓(xùn)練分支結(jié)構(gòu),所述設(shè)計(jì)的輔助訓(xùn)練分支結(jié)構(gòu)可以聚合包含所有目標(biāo)對(duì)象的梯度信息,并保留深層特征的信息,從而獲得可靠的梯度,緩解深度監(jiān)督中的信息丟失問題。
29、模型訓(xùn)練模塊,與分支結(jié)構(gòu)設(shè)計(jì)模塊連接,使用山火數(shù)據(jù)集對(duì)包含基于輔助訓(xùn)練分支的輕量化山火檢測(cè)模型進(jìn)行訓(xùn)練,將訓(xùn)練完成的模型中的輔助訓(xùn)練分支結(jié)構(gòu)去除,最終得到輕量化的山火檢測(cè)模型。
30、本發(fā)明另一目的在于提供一種計(jì)算機(jī)設(shè)備,其特征在于,所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器,所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí),使得所述處理器執(zhí)行所述基于輔助訓(xùn)練分支的輕量化山火檢測(cè)模型設(shè)計(jì)方法的步驟。
31、本發(fā)明另一目的在于提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí),使得所述處理器執(zhí)行所述基于輔助訓(xùn)練分支的輕量化山火檢測(cè)模型設(shè)計(jì)方法的步驟。
32、本發(fā)明另一目的在于提供一種信息數(shù)據(jù)處理終端,所述信息數(shù)據(jù)處理終端用于實(shí)現(xiàn)所述基于輔助訓(xùn)練分支的輕量化山火檢測(cè)模型設(shè)計(jì)系統(tǒng)。
33、結(jié)合上述的技術(shù)方案和解決的技術(shù)問題,本發(fā)明所要保護(hù)的技術(shù)方案所具備的優(yōu)點(diǎn)及積極效果為:
34、第一、本發(fā)明設(shè)計(jì)了一種基于輔助訓(xùn)練分支的輕量化山火檢測(cè)模型設(shè)計(jì)方法,該模型結(jié)合使用輕量化卷積網(wǎng)絡(luò)設(shè)計(jì)和輔助訓(xùn)練分支設(shè)計(jì)等輕量化模型設(shè)計(jì)方法,并引入mosaic-4數(shù)據(jù)增強(qiáng)和直方圖均衡化算法,在保證檢測(cè)準(zhǔn)確率的情況下,大幅提升檢測(cè)速度;本發(fā)明注重模型的檢測(cè)實(shí)時(shí)性,使得山火檢測(cè)在邊緣設(shè)備上能夠?qū)崿F(xiàn)快速、實(shí)時(shí)的響應(yīng),以滿足山火檢測(cè)的實(shí)時(shí)任務(wù)需求,以便防控部門及時(shí)采取措施;本發(fā)明采用的輕量化模型設(shè)計(jì)方法和模型輔助訓(xùn)練分支能極大程度地降低模型參數(shù)量和運(yùn)算量,使其能在邊緣設(shè)備上進(jìn)行有效部署,保證在山火檢測(cè)邊緣設(shè)備上能高效進(jìn)行山火檢測(cè)任務(wù)。
35、第二,作為本發(fā)明的權(quán)利要求的創(chuàng)造性輔助證據(jù),還體現(xiàn)在以下幾個(gè)重要方面:
36、隨著全球氣候變化導(dǎo)致的山火頻發(fā),市場(chǎng)對(duì)高效、實(shí)時(shí)的山火檢測(cè)系統(tǒng)需求不斷增加。該發(fā)明能夠滿足這一需求,具有廣闊的市場(chǎng)前景。
37、本發(fā)明可以使模型參數(shù)量和運(yùn)算量的顯著降低,使其能夠在資源有限的邊緣設(shè)備上高效運(yùn)行。這為山火檢測(cè)系統(tǒng)的廣泛部署提供了可能性,特別是在偏遠(yuǎn)和資源受限的地區(qū)。
38、本發(fā)明使用的輕量化設(shè)計(jì)減少了模型的硬件需求和能耗,可以使用成本較低的低性能邊緣設(shè)備進(jìn)行部署,從而降低了整體系統(tǒng)的成本。這對(duì)于大規(guī)模部署和長期運(yùn)行具有重要的經(jīng)濟(jì)意義。
39、目前國內(nèi)外業(yè)內(nèi)對(duì)于山火檢測(cè)的模型設(shè)計(jì)主要采用參數(shù)量較大的傳統(tǒng)模型,而傳統(tǒng)模型在邊緣設(shè)備上運(yùn)行時(shí)需要大量的計(jì)算資源,導(dǎo)致響應(yīng)速度較慢和計(jì)算效率較低;其次,大型模型的參數(shù)量和計(jì)算量較大,超出了邊緣設(shè)備的計(jì)算處理能力和存儲(chǔ)容量,極大地限制了模型的可部署設(shè)備;最為重要的是,山火的檢測(cè)通常需要實(shí)時(shí)快速的響應(yīng),以便及時(shí)采取措施,而傳統(tǒng)模型的復(fù)雜性往往會(huì)導(dǎo)致較高的檢測(cè)延遲,無法滿足實(shí)時(shí)檢測(cè)山火的要求。
40、本發(fā)明通過輕量化卷積網(wǎng)絡(luò)設(shè)計(jì)的方法,通過顯著降低模型參數(shù)量和運(yùn)算量解決了傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算資源和內(nèi)存消耗方面的高需求問題,使得模型能夠在資源受限的邊緣設(shè)備上高效運(yùn)行。
41、本發(fā)明通過輔助訓(xùn)練分支的訓(xùn)練方法,在輔助訓(xùn)練分支上使用特征提取能力較強(qiáng)的可變形卷積算子,并在模型訓(xùn)練完成后去除輔助訓(xùn)練分支,在減少模型的參數(shù)量、計(jì)算量和提高模型的實(shí)時(shí)檢測(cè)速度的同時(shí),不降低模型的檢測(cè)準(zhǔn)確度。