本發(fā)明涉及一種面向小麥產量估計的圖像分割方法，屬于機器視覺和深度學習。

背景技術：

1、小麥作為中國主要的三大糧食作物之一，加強其研究對國家的農業(yè)經濟發(fā)展、社會穩(wěn)定具有重要的意義。小麥麥穗作為小麥主要表型特征，和小麥產量有直接聯(lián)系。因此，對小麥麥穗進行計數，并以成熟期小麥穗部為預測依據所估測的小麥產量與最終實際產量最接近，方便農業(yè)相關人員進行管理決策。

2、傳統(tǒng)的農作物計數主要通過人為的觀察測量獲得，這種測量方法得到的數據量十分有限且效率低下、主觀性強。隨著機器學習的快速發(fā)展，其被廣泛應用到農作物表型特征研究領域。深度學習作為機器學習一個分支，在圖像識別領域取得了重大突破。多項研究表明，基于深度學習的方法分析農作物表型特征比傳統(tǒng)機器學習性能更優(yōu)?，F(xiàn)階段，通過深度學習提取小麥穗部特征的研究相對較少，如何結合圖像處理技術對麥穗進行計數，繼而為小麥相關研究提供更為客觀、準確的依據，是當前亟需解決的問題。

技術實現(xiàn)思路

1、本發(fā)明提供一種面向小麥產量估計的圖像分割方法，該方法能夠高效準確地提取小麥穗部特征，提高小麥產量的估測精度，為小麥相關研究提供更為客觀、準確的依據。

2、為了實現(xiàn)上述目的，本發(fā)明提供一種面向小麥產量估計的圖像分割方法，包括如下步驟：

3、步驟一、小麥處于成熟期時，使用無人機采集田間小麥穗部圖像；

4、步驟二、通過步驟一采集到的圖像構建小麥穗部分割數據集，并進行標注，通過旋轉和圖像倒置處理方式擴充數據集；

5、步驟三、搭建基于改進yolov8網絡的小麥穗部圖像分割網絡，對圖像分割網絡進行訓練，得到預測模型；

6、步驟四、利用步驟三訓練好的圖像分割網絡對小麥穗部圖像進行分割，并根據分割情況對麥穗進行自動計數且計算小麥穗部掩膜面積；

7、步驟五、輸出經步驟四處理后的穗部圖像和分割結果；其中，處理后的穗部圖像標注出麥穗數量及穗部掩膜總像素。

8、進一步地，所述步驟一中的無人機采用大疆御2系列，有效像素1200萬，有變焦功能，圖傳分辨率1080p，既能保證了采集速度，也能確保圖像質量；由于成熟期小麥穗生長密集，所以設定飛行高度為1.4m，使得獲取到的圖像中小麥穗盡可能避免重疊，方便后續(xù)小麥穗計數及掩膜像素計算。

9、進一步地，所述步驟二中對采集到的圖像進行旋轉的旋角為15～25度，圖像倒置的概率為0.3～0.5；以0.3～0.5的概率對圖像進行圖像通道翻轉。

10、進一步地，所述步驟三中對改進后的yolov8網絡進行訓練，改進點包括使用c2f_simam模塊替代原本主干網絡中的c2f模塊、引入漸進特征金字塔網絡重構頸部網絡以及用asddet分割頭代替原yolov8分割頭。

11、進一步地，所述步驟三中對改進后的yolov8網絡進行訓練，使用c2f_simam模塊替代原主干網絡中部分c2f模塊，用于提高主干網絡特征提取能力，具體的特征提取過程為：

12、(1)輸入圖像大小為640×640×3，經過一個通道數為64、步長為2的cbs模塊，得到320×320×64的特征圖p1，p1進入一個通道數為128、步數為2的cbs模塊，得到160×160×128的特征圖p2，p2進入通道數為128的c2f模塊，初步提取160×160×128的特征圖特征，經過一個通道數為256、步長為2的cbs模塊，得到80×80×256的特征圖p3，p3進入通道數為128的c2f_simam模塊，提取到低層特征圖c3；

13、(2)c3經過一個通道數為512、步長為2的cbs模塊，得到80×80×512的特征圖p4，p4進入通道數為512的c2f_simam模塊，提取到中層特征圖c4；

14、(3)c4經過一個通道數為1024、步長為2的cbs模塊，得到80×80×1024的特征圖p5，p5進入通道數為1024的c2f_simam模塊，得到20×20×1024的特征圖，接著進入通道數為1024的sppf模塊，對特征圖進行池化操作，得到最終高層特征圖c5。

15、進一步地，所述的c2f_simam模塊是在c2f模塊最后一個卷積層之前加入無參數的注意力機制simam，對提取到的局部特征進行加權，增強特征表達能力，并對每個神經元定義了能量函數，且能量越低，神經元與周圍神經元區(qū)別越大、重要性越高，最小能量函數定義為：

16、

17、式中，用于評估神經元的重要性，t為當前輸入特征目標神經元，和分別為通道中所有神經元的均值和方差；

18、c2f_simam模塊使用縮放算子進行特征優(yōu)化，優(yōu)化公式為：

19、

20、式中，為縮放算子，e為所有跨通道和空間維度的匯總，sigmoid函數用于限制e值過大。

21、進一步地，所述步驟三中改進yolov8網絡通過引入漸進特征金字塔網絡重構頸部網絡進行特征融合，通過使用asddet分割頭代替原yolov8分割頭；其中，特征融合在多層次融合過程中，afpn網絡利用自適應特征融合為不同層的特征分配空間權重，具體特征融合操作過程為：

22、(1)從主干網絡中提取每個階段最后一層特征，從底部到頂部分別為c3、c4、c5，c3特征圖經過cbs模塊，獲得一個80×80×64的0級特征圖，c4特征圖經過cbs模塊獲得一個40×40×128的1級特征圖，將0級特征與1級特征進行中低層特征融合，得到新特征向量表示為：

23、

24、式中，分別表示0級特征和1級特征在等級l下的空間權重，l＝0、1，且滿足表示n等級到l等級的位置(i,j)的特征向量；

25、(2)融合后的0級和1級特征，進入basicblock模塊；

26、(3)c5特征圖經過cbs模塊，獲得一個20×20×256的2級特征圖；

27、(4)將步驟(2)得到的融合特征和2級特征一同依次進入低級特征空間，即asff_3-1模塊后，得到三個特征在低層融合的特征圖0級特征為p’3、通過中級特征空間，即asff_3-2模塊后，得到三個特征在中層融合的特征圖1級特征為p’4、通過高級特征空間，即asff_3-3模塊后得到三個特征在高層融合的特征圖2級特征為p’5，三個特征融合后得到新特征向量表示為：

28、

29、分別表示0級特征、1級特征和2級特征在等級l下的空間權重，l＝0、1、2，且滿足

30、(5)將得到的三個多層次融合的特征圖輸出頸部網絡；

31、使用asddet分割頭進行特征分割的具體過程為：

32、(1)將頸部網絡的輸出三個特征圖p’3、p’4、p’5作為三個asddet檢測頭的輸入；

33、(2)p’3作為分辨率最大的特征圖，多出一條proto分支進行原生掩碼預測，經過3×3、步長為1的卷積提取特征，進行上采樣提高分辨率，再經過3×3、步長為1的卷積提取高分辨率特征，以及1×1，步長為2的卷積改變通道，最后通過sigmoid函數輸出prototypemask特征圖；

34、(3)特征圖p’3、p’4、p’5均在head層分別生成預測box的特征圖、預測cls的特征圖和生成mask系數的特征圖，其中生成預測box分支和mask系數分支過程中，在第一個卷積層后加入一個shuffle模塊，通過群卷積對輸入特征圖劃分為多組進行卷積操作，然后對多組特征打亂重組得到清理過后得到預測box特征圖和mask系數特征圖；而生成cls分支過程中，第一個卷積層用dwconv卷積代替，減少了分類分支中的參數量，從而降低計算量。

35、進一步地，所述步驟四中對圖像進行分割及根據分割情況對麥穗進行自動計數且計算小麥穗部掩膜面積的具體過程為：

36、(1)將步驟三中訓練完成的模型權重文件best.pt文件文件包含了改進后的模型參數導入預測模型，對采集到的小麥圖像進行穗部預測分割，并對圖像中掩碼的數量進行累加，得到一張圖像中的麥穗數量，通過對小麥穗部圖像分割，提取出穗部掩碼圖；

37、(2)掩碼形狀表示為[n,h,w]，其中n表示掩碼個數，h,w表示掩碼位置信息，將[n,h,w]轉換成numpy數組計算掩碼像素；根據目標像素坐標計算圖像中單個掩碼像素并進行累加，得到一張圖像中的麥穗掩碼總像素，對所有圖像中掩碼個數和像素數累加，得到田間麥穗數和麥穗飽和度，通過以下公式得到產量：

38、

39、式中，sy為作物產量，num_wheat為小麥穗數，pixel_area為穗部像素面積，j表示采集的數據集。

40、進一步地，所述步驟五的具體過程為：對數據集預測完成后，將顯示穗部總數及穗部掩碼總像素的圖像及分割結果輸出，得到田間小麥穗的生長情況，包括麥穗數和麥穗飽和度；其中，麥穗飽和度是根據麥穗分割掩膜圖像素為依據判斷，為預測小麥產量提供數據信息。

41、本發(fā)明基于單階段yolov8分割算法，使用c2f_simam模塊替代原主干網絡中部分c2f模塊，提高主干網絡特征提取能力；通過引入漸進特征金字塔網絡重構頸部網絡進行特征融合，通過使用asddet分割頭代替原yolov8分割頭，有效提高了算法效率的同時，實現(xiàn)了對小麥穗部特征更為準確的提取，提高了小麥產量的估測精度，為小麥相關研究提供了更為客觀、準確的依據。