本發(fā)明涉及海漂垃圾識(shí)別，具體涉及一種基于視頻監(jiān)控的海漂垃圾智能識(shí)別方法。

背景技術(shù)：

1、在海洋經(jīng)濟(jì)迅速發(fā)展的背景下，海洋垃圾污染已成為實(shí)現(xiàn)海洋經(jīng)濟(jì)高質(zhì)量發(fā)展面臨的重大挑戰(zhàn)之一。海洋垃圾污染不僅造成水質(zhì)污染視覺污染，還可能威脅航行安全，威脅海洋生物的生存，甚至?xí)ㄟ^食物鏈直接威脅人類健康，此外，海洋垃圾也會(huì)影響近海漁業(yè)的發(fā)展，進(jìn)而對(duì)海洋經(jīng)濟(jì)產(chǎn)生負(fù)面效應(yīng)?；谝曨l監(jiān)控技術(shù)的海漂垃圾監(jiān)測(cè)手段，能夠長(zhǎng)時(shí)間、連續(xù)地獲取特定海域海漂垃圾的動(dòng)態(tài)變化數(shù)據(jù)。因此，基于視頻監(jiān)控技術(shù)對(duì)海洋垃圾進(jìn)行監(jiān)控和管理，不僅有助于減少海洋垃圾對(duì)海洋生態(tài)環(huán)境的負(fù)面影響，還有助于海灣綜合治理和美麗海灣建設(shè)，具有重要的現(xiàn)實(shí)意義。

2、然而，由于海上環(huán)境復(fù)雜多變，加上海漂垃圾種類繁多且來源各異，迫切需要一種有效的智能識(shí)別方法對(duì)其進(jìn)行智能識(shí)別。隨著計(jì)算機(jī)運(yùn)算能力的顯著提升以及圖像識(shí)別算法技術(shù)的不斷發(fā)展，深度學(xué)習(xí)模型在圖像分類領(lǐng)域取得了許多重要的突破。其中，卷積神經(jīng)網(wǎng)絡(luò)(cnn)是深度學(xué)習(xí)技術(shù)領(lǐng)域的關(guān)鍵技術(shù)之一。cnn能夠自動(dòng)從數(shù)據(jù)中學(xué)習(xí)并提取特征，其在圖像處理上的泛化能力遠(yuǎn)超傳統(tǒng)方法。cnn不僅能夠有效地將大數(shù)據(jù)量的圖片降維成小數(shù)據(jù)量，并能夠有效地保留圖片特征，符合圖片處理的基本原則。因此，基于卷積神經(jīng)網(wǎng)絡(luò)的方法在海漂垃圾智能識(shí)別中具有較高的可行性。

3、在圖像識(shí)別領(lǐng)域，主要任務(wù)包括圖像分類、目標(biāo)檢測(cè)和語義分割三種。目標(biāo)檢測(cè)主要用于識(shí)別圖像中的明確物體，并確定其位置和類別，語義分割能對(duì)圖像中的對(duì)象進(jìn)行更為精確的理解，具有像素級(jí)的精度。然而，由于海漂垃圾種類復(fù)雜多樣且形態(tài)多變，單獨(dú)使用語義分割方法難以準(zhǔn)確區(qū)分大范圍內(nèi)混雜的垃圾，單獨(dú)使用目標(biāo)檢測(cè)方法則難以全部獲取海漂垃圾的屬性特征，且船只、浮標(biāo)以及船只航行或海面風(fēng)等產(chǎn)生的白浪也易被認(rèn)為是海漂垃圾，目前的海漂垃圾識(shí)別方法識(shí)別準(zhǔn)確率較差，容易產(chǎn)生誤判和漏判，較難滿足的實(shí)際使用需求。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述問題，本發(fā)明提出一種基于視頻監(jiān)控的海漂垃圾智能識(shí)別方法。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

3、一種基于視頻監(jiān)控的海漂垃圾智能識(shí)別方法，包括以下步驟：

4、s1、數(shù)據(jù)收集及預(yù)處理：從視頻監(jiān)控設(shè)備的監(jiān)控圖像中獲取圖像數(shù)據(jù)形成圖像數(shù)據(jù)庫，并對(duì)圖像數(shù)據(jù)進(jìn)行預(yù)處理；

5、s2、構(gòu)建模型樣本庫：基于研究海域的歷史觀測(cè)資料和相關(guān)文獻(xiàn)的記載，確定圖像分類的類別，制定標(biāo)注方案，再根據(jù)標(biāo)注方案進(jìn)行圖像標(biāo)注，得到模型訓(xùn)練樣本庫；

6、s3、模型構(gòu)建及優(yōu)化：針對(duì)海漂垃圾、明確目標(biāo)物體和白浪構(gòu)建相應(yīng)的識(shí)別算法模型，并通過增加樣本和遷移學(xué)習(xí)對(duì)識(shí)別算法模型進(jìn)行優(yōu)化；

7、s4、生成可視化信息產(chǎn)品：采用優(yōu)化后的識(shí)別算法模型對(duì)新的圖像數(shù)據(jù)進(jìn)行智能識(shí)別，刪除非海漂垃圾的識(shí)別結(jié)果，通過矩形框的方式對(duì)識(shí)別到的海漂垃圾進(jìn)行標(biāo)記和展示。

8、優(yōu)選地，步驟s1中所述預(yù)處理的具體過程為：

9、s11、對(duì)圖像數(shù)據(jù)進(jìn)行去噪、對(duì)比度增強(qiáng)、圖像分割和圖像變換，提高圖像的質(zhì)量和可用性；

10、s12、通過圖像旋轉(zhuǎn)、翻轉(zhuǎn)擴(kuò)展圖像數(shù)據(jù)集的規(guī)模；

11、s13、對(duì)圖像數(shù)據(jù)中的垃圾種類和背景地物進(jìn)行分類和統(tǒng)計(jì)分析，為后續(xù)的圖像標(biāo)注和識(shí)別過程提供分類依據(jù)。

12、優(yōu)選地，步驟s2中所述圖像標(biāo)注的具體過程為：

13、s21、基于研究海域的歷史觀測(cè)資料和相關(guān)文獻(xiàn)的記載，確定圖像分類的類別，制定標(biāo)注方案；

14、s22、打開labelme軟件，導(dǎo)入需要標(biāo)注的圖像文件夾；

15、s23、使用create?polygons功能框選取需要標(biāo)注的類別，對(duì)圖像文件夾中的圖像數(shù)據(jù)進(jìn)行標(biāo)注；

16、s24、完成標(biāo)注后保存文件，生成jason格式的標(biāo)注文件；

17、s25、將生成的jason格式的標(biāo)注文件分別轉(zhuǎn)換為txt格式的標(biāo)注文件和png格式的標(biāo)注圖，其中，txt格式的標(biāo)注文件用于目標(biāo)檢測(cè)任務(wù)，png格式的標(biāo)注圖用于語義分割任務(wù)；txt格式的標(biāo)注文件、png格式的標(biāo)注圖和原始的圖像數(shù)據(jù)共同構(gòu)建成模型訓(xùn)練樣本庫。

18、優(yōu)選地，步驟s3中所述識(shí)別算法模型的具體構(gòu)建過程為：

19、s31、采用語義分割模型構(gòu)建海漂垃圾的識(shí)別算法模型；

20、s32、采用目標(biāo)檢測(cè)模型構(gòu)建明確目標(biāo)物體的識(shí)別算法模型，明確目標(biāo)物體包括船只和浮標(biāo)；

21、s33、采用機(jī)器視覺方法構(gòu)建白浪的識(shí)別算法模型。

22、優(yōu)選地，步驟s31中所述語義分割模型采用segnet模型，segnet模型包括編碼器網(wǎng)絡(luò)、解碼器網(wǎng)絡(luò)和像素級(jí)分類層；在訓(xùn)練segnet模型過程中，將原始的圖像數(shù)據(jù)進(jìn)行重采樣，將圖像分辨率調(diào)整為416×416像素，以減少卷積操作的計(jì)算量，再將預(yù)處理后的圖像數(shù)據(jù)輸入segnet模型的網(wǎng)絡(luò)結(jié)構(gòu)中，設(shè)置訓(xùn)練超參數(shù)，并選用隨機(jī)梯度下降算法進(jìn)行訓(xùn)練；超參數(shù)的設(shè)置內(nèi)容為：沖量設(shè)定為0.5，學(xué)習(xí)率設(shè)定為0.001，批大小設(shè)定為40，迭代次數(shù)根據(jù)訓(xùn)練樣本集的規(guī)模進(jìn)行設(shè)定，其它參數(shù)采用模型的默認(rèn)值；

23、步驟s32中所述目標(biāo)檢測(cè)模型采用yolo模型，yolo模型通過使用1×1卷積層和3×3卷積層替代了googlenet網(wǎng)絡(luò)中的inception模塊，構(gòu)建一個(gè)由24個(gè)卷積層和2個(gè)全連接層組成的網(wǎng)絡(luò)架構(gòu)，在網(wǎng)絡(luò)架構(gòu)中，卷積層用于從輸入圖像中提取特征，而全連接層用于預(yù)測(cè)圖像中目標(biāo)的位置和類別概率；在訓(xùn)練yolo模型中，配置訓(xùn)練所需的yaml文件，yaml文件包括設(shè)置圖像訓(xùn)練的路徑和海漂垃圾種類的分類信息，根據(jù)輸入的圖像數(shù)據(jù)集調(diào)整批大小，根據(jù)訓(xùn)練樣本集的數(shù)量調(diào)整迭代次數(shù)，其它參數(shù)采用模型的默認(rèn)值；

24、步驟s33中所述機(jī)器視覺方法采用閾值法，將圖像的r通道的像素值作為白浪識(shí)別的依據(jù)，由于白浪在圖像的r通道中，像素值在210以上，則選擇像素值210作為閾值，r通道的像素值高于210認(rèn)為是白浪。

25、優(yōu)選地，步驟s4中所述識(shí)別算法模型識(shí)別到海漂垃圾后，對(duì)圖像進(jìn)行閾值化或使用canny邊緣檢測(cè)算法，將圖像轉(zhuǎn)換為二值化圖像，再對(duì)識(shí)別后的垃圾斑塊進(jìn)行輪廓確定，并采用外接矩形對(duì)垃圾斑塊進(jìn)行框定。

26、優(yōu)選地，垃圾斑塊的輪廓確定過程具體為：對(duì)于背景為黑色、目標(biāo)為白色的二值化圖像，如果圖像中某個(gè)白色點(diǎn)的8鄰域或4鄰域全部為白色，則白色點(diǎn)屬于目標(biāo)的內(nèi)部點(diǎn)，將白色點(diǎn)置為黑色，視覺呈現(xiàn)出內(nèi)部被掏空的效果；如果白色點(diǎn)的鄰域存在黑色點(diǎn)時(shí)，則保持白色不變，白色點(diǎn)是目標(biāo)的輪廓點(diǎn)。

27、采用上述技術(shù)方案后，本發(fā)明具有如下有益效果：本發(fā)明針對(duì)海漂垃圾的多樣性和復(fù)雜性，采用了分層次、多模型的識(shí)別策略，使用卷積神經(jīng)網(wǎng)絡(luò)cnn的segnet模型等語義分割模型進(jìn)行海漂垃圾的語義分割，以精確識(shí)別和分割垃圾區(qū)域；利用yolo模型等目標(biāo)檢測(cè)模型識(shí)別船只、浮標(biāo)等明確目標(biāo)；通過閾值法等機(jī)器視覺方法，識(shí)別和處理可能與海漂垃圾混淆的白浪現(xiàn)象；通過以上方式，可針對(duì)不同目標(biāo)特征，通過組合多種深度學(xué)習(xí)方法進(jìn)行海漂垃圾的智能識(shí)別并構(gòu)建相應(yīng)的技術(shù)流程，不僅能夠顯著提高海漂垃圾識(shí)別的準(zhǔn)確率和普適性，同時(shí)對(duì)于提升海漂垃圾識(shí)別系統(tǒng)的整體性能也具有重要意義，這種多層次的模型組合有效提高了海漂垃圾的識(shí)別準(zhǔn)確率，減少了誤判和漏判，能夠?yàn)楹Ｑ蟓h(huán)境污染監(jiān)測(cè)和治理提供了有力支持，也為海上環(huán)衛(wèi)作業(yè)提供了科學(xué)參考和決策依據(jù)。