本發(fā)明屬于果蔬分揀，特別涉及一種基于大模型和識別學習的果蔬分揀雜物剔除智能分揀系統(tǒng)極其工作方法。

背景技術：

1、隨著科技的高速發(fā)展，人工智能進入農業(yè)領域，從果實的種植、養(yǎng)護到采摘、分級和運輸等環(huán)節(jié)都可以見到人工智能的影子。尤其在智能機器人和視覺識別技術飛速發(fā)展的基礎上，農業(yè)上開始推廣智能采摘機器人、農藥噴灑無人機系統(tǒng)和果實分揀包裝系統(tǒng)等智能系統(tǒng)。

2、然而現(xiàn)有的果蔬加工行業(yè)長期依賴人工進行雜物分揀，存在效率低下、成本高昂、分揀精度難以保證等問題，已成為制約行業(yè)轉型升級的瓶頸。尤其在果蔬收獲季節(jié)，人工分揀速度慢、作業(yè)連續(xù)性差，難以滿足大規(guī)模生產的需求，人工短缺問題更為突出。同時人工分揀受主觀因素影響較大，分揀質量難以保證一致性，容易出現(xiàn)漏檢和誤檢，影響果蔬品質和食品安全。

3、近年來，盡管機器視覺和自動化技術在果蔬分揀領域的應用取得了一定的進展，部分企業(yè)開始嘗試使用自動化分揀設備替代人工，但現(xiàn)有解決方案仍然存在以下問題：

4、第一、統(tǒng)人工分揀速度慢，難以滿足大規(guī)模生產的需求，分揀效率低下；

5、第二、人工成本不斷上升，勞動力成本高昂人工分揀受主觀因素影響較大，精度難以保證；

6、第三、機器識別能力有限，無法精確的將雜質剔除，影響果蔬的分揀質量；

7、第四、決策控制不夠智能，難以適應不同果蔬品種和雜物類型的分揀需求

8、第五、人機交互體驗不佳，操作復雜，學習成本高。

9、綜上所述，現(xiàn)有的果蔬分揀還有待于改進。

技術實現(xiàn)思路

1、發(fā)明目的：為了克服以上不足，本發(fā)明的目的是提供一種基于大模型和識別學習的果蔬分揀雜物剔除智能分揀系統(tǒng)，通過融合大模型技術、機器視覺技術、機器人控制技術和高速輸送技術,提高系統(tǒng)的識別精度和魯棒性，提升抓取精度與效率，拓展應用范圍、實現(xiàn)預測性控制與復雜環(huán)境下的智能路徑規(guī)劃，大大提高果蔬分揀精度、降低人工成本、提高生產效率和產品質量。

2、技術方案：為了實現(xiàn)上述目的，本發(fā)明提供一種基于大模型和識別學習的果蔬分揀雜物剔除智能分揀系統(tǒng)，包括：輸送裝置、視覺識別裝置、雜物剔除裝置、裝箱裝置和控制裝置，所述視覺識別裝置和雜物剔除裝置均設于輸送裝置上方，所述裝箱裝置設于輸送裝置的一側，并與雜物剔除裝置相配合，所述輸送裝置、視覺識別裝置、雜物剔除裝置和裝箱裝置均與控制裝置連接；

3、所述控制裝置內設有總控制系統(tǒng)，所述總控制系統(tǒng)包括輸送控制系統(tǒng)、視覺識別系統(tǒng)、雜物剔除控制系統(tǒng)、裝箱控制系統(tǒng)和控制系統(tǒng)，所述輸送控制系統(tǒng)與輸送裝置連接，所述視覺識別系統(tǒng)與視覺識別裝置連接，所述雜物剔除裝置與雜物剔除控制模塊連接，所述裝箱控制模塊與裝箱裝置連接，所述輸送控制系統(tǒng)、視覺識別系統(tǒng)、雜物剔除控制系統(tǒng)、裝箱控制系統(tǒng)均與控制系統(tǒng)連接。本發(fā)明所述的基于大模型和識別學習的果蔬分揀雜物剔除智能分揀系統(tǒng)通過機器視覺技術、機器人控制技術和高速輸送技術，大大提高果蔬分揀精度、降低人工成本、提高生產效率和產品質量。

4、進一步的，所述雜物剔除裝置包括蜘蛛手，所述蜘蛛手的下方通過蜘蛛手轉接機構與柔性機械手連接。

5、優(yōu)選地，所述的基于大模型和識別學習的果蔬分揀雜物剔除智能分揀系統(tǒng)，所述裝箱裝置包括裝箱輸送機構和一組裝箱機構，所述裝箱機構相對設于裝箱輸送機構上，且位于輸送裝置、雜物剔除裝置和裝箱裝置的外側設有保護機殼。

6、本發(fā)明所述的基于大模型和識別學習的果蔬分揀雜物剔除智能分揀系統(tǒng)，所述裝箱機構包括一組安裝支架、擺動軸、一組擺桿和擺動驅動缸，所述安裝支架相對設于裝箱輸送機構上，所述擺動軸兩端通過軸承座與安裝支架連接，所述擺桿設于擺動軸上，所述擺動驅動缸設于安裝支架的一側，且其輸出端通過氣缸鎖塊組件與擺動軸的一端連接。

7、本發(fā)明所述的基于大模型和識別學習的果蔬分揀雜物剔除智能分揀系統(tǒng)，所述視覺識別裝置包括識別安裝架和和高精度視覺傳感器，所述ccd相機和高精度視覺傳感器安裝于識別安裝架上。

8、本發(fā)明所述的基于大模型和識別學習的果蔬分揀雜物剔除智能分揀系統(tǒng)，所述視覺識別系統(tǒng)內設有大模型，所述大模型采用多模態(tài)深度學習模型，所述大模型內設有雜物圖像智能檢測模型，所述雜物圖像智能檢測模型包括unet、segnet、pspnet編碼器-解碼器結構的語義分割網絡，用圖像處理技術提取雜物輪廓連通區(qū)域的骨架信息,得到雜物的姿態(tài)信息，通過rs485通訊傳至控制系統(tǒng)。

9、本發(fā)明所述的基于大模型和識別學習的果蔬分揀雜物剔除智能分揀系統(tǒng)的分揀方法，具體的分揀方法如下：?1）：將果蔬放置到輸送裝置上進行輸送；

10、2）：果蔬通過輸送裝置輸送至視覺識別裝置的視覺識別區(qū)域；

11、3）：視覺識別裝置中的ccd相機和高精度視覺傳感器對果蔬的圖像進行采集，并將采集到的圖像傳送至視覺識別控制系統(tǒng)；

12、4）：視覺識別控制系統(tǒng)中的ai大模型對圖像進行分析，判斷畫面中是否有雜物，若有，則視覺識別系統(tǒng)分析圖像并識別出雜物的類型和位置，并將分析得出的信息發(fā)送至控制系統(tǒng)，若無，則進行資料格式校驗，若格式正確，則判斷是否還有果蔬需要分揀；

13、5）：控制系統(tǒng)將根據接收到的信息規(guī)劃雜物剔除裝置的運動軌跡；

14、6）：控制系統(tǒng)通過雜物剔除控制系統(tǒng)控制雜物剔除裝置移動至雜物上方；

15、7）：雜物剔除裝置的末端夾具抓取雜物，并將雜物移動至指定位置；

16、8）：控制系統(tǒng)通過雜物剔除控制系統(tǒng)控制雜物剔除裝置返回初始位置；

17、9）：若發(fā)現(xiàn)果蔬中還有雜物，則重復步驟3）至8），若果蔬中沒有雜物，則分揀結束，通過裝箱裝置對果蔬進行裝箱。

18、本發(fā)明所述的基于大模型和識別學習的果蔬分揀雜物剔除智能分揀系統(tǒng)的分揀方法，所述視覺識別裝置和視覺識別系統(tǒng)的具體工作過程如下：

19、301）：數據收集，即當輸送裝置將果蔬輸送至視覺識別裝置的下方，視覺識別裝置將把采集到的圖像輸送至視覺識別控制系統(tǒng)的數據庫，建立訓練樣本數據庫，并對樣本進行篩查和剔除；

20、302）：數據預處理，采用人工和半監(jiān)督方式對采集到的樣本進行像素級標注；

21、303）：模型選擇，通過ai大模型中基于語義分割網絡進行訓練，得到分割網絡模型；

22、304）：通過分割網絡模型獲得雜物類別和輪廓信息，利用圖像處理技術提取雜物骨架信息，得到雜物的姿態(tài)和質心位置信息；

23、305）：根據質心位置信息計算距離雜物剔除裝置的電爪位置，進而計算出時間信息；

24、306）：使用通訊模塊將雜物的類別信息、位置信息、姿態(tài)信息、時間信息傳遞給控制器；

25、307）：控制器對雜物剔除裝置的機械手發(fā)出指令，通過機械手將雜物抓取至雜物放置區(qū)，完成分揀任務。

26、本發(fā)明所述的基于大模型和識別學習的果蔬分揀雜物剔除智能分揀系統(tǒng)的分揀方法，所述步驟304）中圖像處理技術提取雜物骨架信息，得到雜物的姿態(tài)和質心位置信息的具體方式如下：

27、3041）：采用opencv工具，對捕獲的彩色圖像進行閾值處理，提取出目標產品的位置；

28、3042）：特征識別，通過特征提取和匹配，識別出目標產品的具體特征；使用深度學習框架pytorch來提高識別的準確性；

29、3043）：坐標計算，根據圖像的分辨率和相機的內參，將圖像中的像素坐標轉換為實際的空間坐標；

30、3044）：位置確定，確定產品在工作空間中的準確位置，包括x、y、z坐標系，從而得到準確的雜物的姿態(tài)和質心位置信息。

31、本發(fā)明所述的基于大模型和識別學習的果蔬分揀雜物剔除智能分揀系統(tǒng)的分揀方法，所述3044）中得到準確的雜物的姿態(tài)和質心位置信息后，控制系統(tǒng)將根據產品的位置，計算出機器人的抓取路徑和姿態(tài)還需要考慮抓取的角度；

32、并利用伺服控制算法計算出的抓取路徑和位置發(fā)送給控制系統(tǒng)，控制電爪進行抓取操作，與此同時，結合大模型的推理能力，確保機器人在復雜環(huán)境中自主導航與避障；

33、反饋與調整：機器抓手內置的智能算法會進行快速分析和計算，實現(xiàn)高精準靈活動態(tài)抓取，如自動調整夾爪的開合度、抓取角度或力度，在抓取過程中可能需要實時監(jiān)控和調整，以確保抓取的成功率。

34、上述技術方案可以看出，本發(fā)明具有如下有益效果：

35、1、本發(fā)明所述的基于大模型和識別學習的果蔬分揀雜物剔除智能分揀系統(tǒng)通過機器視覺技術、機器人控制技術和高速輸送技術，大大提高果蔬分揀精度、降低人工成本、提高生產效率和產品質量。

36、2、本發(fā)明通過融合大模型技術、機器視覺技術、機器人控制技術和高速輸送技術,提高系統(tǒng)的識別精度和魯棒性，提升抓取精度與效率，拓展應用范圍、實現(xiàn)預測性控制與復雜環(huán)境下的智能路徑規(guī)劃，最終實現(xiàn)多樣化的生產場景下自動識別和分揀樹葉、雜草、礦泉水瓶、紙片等多種雜物,有效提高果蔬品質和加工效率，推動果蔬加工行業(yè)的自動化和智能化升級。

37、3、本發(fā)明能夠顯著提高系統(tǒng)的識別精度和魯棒性，通過多模態(tài)學習、遷移學習和持續(xù)學習，構建構建果蔬和雜物的知識圖譜，從而提高系統(tǒng)的識別精度和適應性，拓展果蔬分揀應用范圍，減少對新任務所需標注數據量的依賴。

38、4、本發(fā)明高精準靈活動態(tài)抓?。夯赾cd相機和高精度視覺傳感器，實現(xiàn)被抓取雜物的形狀、尺寸、重量、位置等信息實時感知，并通過機器抓手內置的智能算法會進行快速分析和計算，實現(xiàn)高精準靈活動態(tài)抓取，如自動調整夾爪的開合度、抓取角度或力度，以確保穩(wěn)定、可靠的抓取效果，提高系統(tǒng)的自適應性。