一種花朵采摘機器人的采摘方法
【專利摘要】一種花朵采摘機器人的采摘方法，其步驟如下：通過步進控制運動至采摘區(qū)域；通過視覺傳感器觀測采摘區(qū)域，并通過顏色濾波算法快速實現(xiàn)在復雜背景下對目標的獲取，得到多個目標；通過尺寸學習算法，對多個目標進行篩選；利用立體視覺探測系統(tǒng)，通過左、右目相機獲取花朵的圖像信息，并進行信息提取、匹配，實現(xiàn)位置姿態(tài)檢測，生成可采摘目標位置姿態(tài)數(shù)據(jù)庫；采用多機械臂并聯(lián)協(xié)同運動控制算法，開展多并聯(lián)機構間的協(xié)調控制，生成可采摘目標位姿數(shù)據(jù)庫中的目標進行分工，并對獲得分工后的目標進行路徑優(yōu)化，尋找機械臂運動的最短路徑，作為單獨機械臂的運動規(guī)劃要求。本發(fā)明克服量了在農(nóng)業(yè)作業(yè)復雜環(huán)境下對作物目標無法有效識別及采摘的問題。
【專利說明】
一種花朵采摘機器人的采摘方法
技術領域
[0001]本發(fā)明涉及一種適用于花朵等農(nóng)作物的采摘機器人采摘方法，屬于農(nóng)業(yè)技術加工機械領域。
【背景技術】
[0002]隨著世界人口老齡化趨勢明顯，農(nóng)村勞動力逐步流失，人力成本已成為制約農(nóng)業(yè)發(fā)展的重要因素。我國是農(nóng)業(yè)大國，因此農(nóng)業(yè)機械的需要非常高，同時采摘作業(yè)所用的勞動力占整個生產(chǎn)過程作用勞動力的30%至50%，而我國目前的采摘主要還依靠人工，因此對采摘機器人的需求約來約迫切。
[0003]采摘機器人在具有較高經(jīng)濟價值的花朵領域非常少見，例如茉莉花等，其花朵采摘具有較大的市場，人工采摘成本目前已成為其產(chǎn)品成本組成的主要因素，因此迫切需要通過開展自主采摘技術研究降低產(chǎn)品成本。但受其目標環(huán)境較為復雜，單目標較小等難題，如何提高目標定位精度和采摘效率成為開發(fā)花朵采摘機器人的首要問題。
[0004]本發(fā)明可根據(jù)目標特性的不同，同時適應性改進完成對棉花、蘑菇等諸多農(nóng)作物的自主采摘，并可應用于工業(yè)自動分揀等操作中。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所解決的技術問題是:通過顏色濾波完成花朵在樹叢等復雜背景下的初步提取，實現(xiàn)對復雜作業(yè)背景的過濾；利用尺寸學習法，根據(jù)立體視覺探測系統(tǒng)確定與目標的相對位置關系，通過分析可采摘目標在立體視覺探測系統(tǒng)中所占像素及可分割區(qū)域的特性，確定目標篩選的閾值。采用立體視覺探測系統(tǒng)，通過對目標特征信息的檢測、匹配及位置重建，獲取目標相對于立體視覺探測系統(tǒng)的位置信息，進而建立目標的位置姿態(tài)數(shù)據(jù)庫，克服在農(nóng)業(yè)作業(yè)復雜環(huán)境下對作物目標無法有效識別及采摘的問題。
[0006]同時，通過多并聯(lián)機構協(xié)同運動控制，可實現(xiàn)對多目標的同時采摘，進一步提高工作效率，解決目前采摘機器人效率與人工存在較大差距的難題。
[0007]本發(fā)明為花朵采摘機器人的采摘方法，其步驟如下:
[0008]a.通過步進控制運動至相關區(qū)域；
[0009]b.通過視覺傳感器觀測目標區(qū)域，并通過顏色濾波算法快速實現(xiàn)在復雜背景下對目標的獲取，得到多個目標；
[0010]C.通過尺寸學習算法，對步驟b獲得的多個目標進行篩選；
[0011]d.利用立體視覺探測系統(tǒng)，通過左、右目相機獲取花朵的圖像信息，并對兩個相機內(nèi)的信息進行提取、匹配，進行光路逆向結算，實現(xiàn)對步驟C篩選后的目標進行位置姿態(tài)檢測，生成可采摘目標位姿數(shù)據(jù)庫；
[0012]e.采用多機械臂并聯(lián)協(xié)同運動控制算法，開展多并聯(lián)機構間的協(xié)調控制，對步驟d生成可采摘目標位姿數(shù)據(jù)庫中的目標進行快速分工及路徑優(yōu)化，得到運動規(guī)劃要求；
[0013]f.按照步驟e得到的運動規(guī)劃要求，控制機械臂完成對目標的包攏，并通過末端切割器快速切割目標；
[0014]g.在末端切割器中內(nèi)置吸氣式裝置，在進行切割的同時開啟吸氣式裝置；
[0015]h.吸氣式裝置吸力設置與目標重量基本保持一致，吸氣裝置直接連接到存儲箱中，完成對花朵的儲存。
[0016]所述的花朵采摘機器人的采摘方法，采摘目標為茉莉花或者棉花。
[0017]所述的花朵采摘機器人的采摘方法，其特征在于步驟b采用顏色濾波進行圖像分害J，通過分析背景樹叢與花朵在顏色特性上的區(qū)分度，利用顏色閾值濾波，完成對樹叢的過濾。
[0018]所述的花朵采摘機器人的采摘方法，其特征在于步驟c采用尺寸學習法，根據(jù)立體視覺探測系統(tǒng)與目標的相對位置關系，通過分析可采摘目標在探測器中所占像素及可分割區(qū)域的特性，確定目標篩選的閾值，實現(xiàn)采摘目標篩選。
[0019]所述的花朵采摘機器人的采摘方法，其特征在于步驟d針對篩選后的目標進行同步定位，利用立體視覺探測系統(tǒng)對多目標進行同步測量，實現(xiàn)對可采摘目標位置姿態(tài)的一次性覆蓋運算，并生成目標位置姿態(tài)信息數(shù)據(jù)庫。
[0020]所述的花朵采摘機器人的采摘方法，其特征在于其特征在于步驟e利用步驟d獲取的目標位置姿態(tài)信息數(shù)據(jù)庫獲取的目標位姿信息數(shù)據(jù)庫，通過對多并聯(lián)機構協(xié)同運動控制算法，對多條機械臂的運動路徑進行規(guī)劃，避免相互碰撞，并以效率為設計值進行優(yōu)化分析。
[0021]所述的花朵采摘機器人的采摘方法，其特征在于步驟g在完成步驟f對目標完成包攏及切割后，通過吸氣式裝置將花朵吸入到收集管，并納入儲存箱中儲存。
[0022]本發(fā)明給出了一種可以在復雜背景下完成對花朵這種非合作目標特征提取及位姿測量的方法，通過顏色濾波完成花朵在樹叢等復雜背景下的初步提取，實現(xiàn)對復雜作業(yè)背景的過濾、利用尺寸學習法，根據(jù)立體視覺探測系統(tǒng)與目標的相對位置關系，通過分析可采摘目標在立體視覺探測系統(tǒng)所占像素及可分割區(qū)域的特性，確定目標篩選的閾值。采用立體視覺探測系統(tǒng)，通過對目標特征信息的檢測、匹配及位置重建，獲取目標相對于探測器的位置信息，解決了在非結構環(huán)境下對非合作目標位姿信息難以測量的難題。有助于推進農(nóng)業(yè)自主作業(yè)技術發(fā)展。
[0023]本發(fā)明中采用圖像分割算法將茉莉花從非結構環(huán)境中進行分割，并利用尺寸學習法對可采摘目標進行篩選后利用立體視覺完成對目標位姿的測量，有效提高了對目標位姿信息測量的效率。
[0024]采用多并聯(lián)機構協(xié)同運動控制算法，通過避障及路徑最有規(guī)劃，最大程度的保障執(zhí)行效率，有效解決了傳統(tǒng)采摘機器人效率低下無法進行工程應用的難題。
[0025]本發(fā)明采用吸氣式裝置實現(xiàn)對采摘后目標的自動獲取及收集，進一步提高系統(tǒng)工作效率。項目通過適應性改進完成對棉花、蘑菇等諸多農(nóng)作物的自主采摘，并可應用于工業(yè)自動分揀等操作中。
【附圖說明】
[0026]
[0027]圖1為花朵采摘機器人的采摘流程；
[0028]圖2為花朵采摘機器人方案圖。
[0029]1-立體視覺探測系統(tǒng)，2-多機械臂，3-切割器及吸氣式裝置，4-儲存箱。
【具體實施方式】
[0030]下面結合附圖和【具體實施方式】對本發(fā)明的技術方案做進一步詳細說明。顯然，所描述的實施例僅僅是本發(fā)明的一部分實施例，而不是全部的實施例?；诒景l(fā)明的實施例，本領域技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明要求保護的范圍。
[0031]實施例1:
[0032]本發(fā)明為一種茉莉花采摘機器人的采摘方法，如圖1所示，本發(fā)明具體實施步驟如下:
[0033]a.利用行走機構實現(xiàn)在茉莉花叢上方的移動，并通過步進控制運動至采摘區(qū)域；
[0034]b.通過視覺傳感器觀測目標區(qū)域，并通過顏色濾波算法快速實現(xiàn)在復雜背景下對目標的獲取，得到多個目標；
[0035]c.通過尺寸學習算法，對步驟b獲得的多個目標進行篩選；
[0036]d.利用立體視覺探測系統(tǒng)，通過左、右目相機獲取花朵的圖像信息，并對兩個相機內(nèi)的信息進行提取、匹配，進行光路逆向結算，實現(xiàn)對步驟c篩選后的目標進行位置姿態(tài)檢測，生成可采摘目標位姿數(shù)據(jù)庫；
[0037]e.采用多機械臂并聯(lián)協(xié)同運動控制算法，開展多并聯(lián)機構間的協(xié)調控制，對步驟d生成可采摘目標位姿數(shù)據(jù)庫中的目標進行快速分工，并對獲得分工后的目標進行路徑優(yōu)化，尋找機械臂運動的最短路徑，作為單獨機械臂的運動規(guī)劃要求；
[0038]f.按照步驟e得到的運動規(guī)劃要求，控制機械臂完成對目標的包攏，并通過末端切割器快速切割目標；
[0039]g.在末端切割器中內(nèi)置吸氣式裝置，在進行切割的同時開啟吸氣式裝置；
[0040]h.吸氣式裝置吸力設置與目標重量基本保持一致，吸氣裝置直接連接到存儲箱中，完成對茉莉花的儲存。
[0041]實施例2:
[0042]本發(fā)明為一種棉花采摘機器人的采摘方法，如圖1所示，本發(fā)明具體實施步驟如下:
[0043]a.利用行走機構實現(xiàn)在棉花叢上方的移動，并通過步進控制運動至采摘區(qū)域；
[0044]b.通過視覺傳感器觀測目標區(qū)域，并通過顏色濾波算法快速實現(xiàn)在復雜背景下對目標的獲取，得到多個目標；
[0045]c.通過尺寸學習算法，對步驟b獲得的多個目標進行篩選；
[0046]d.利用立體視覺探測系統(tǒng)，通過左、右目相機獲取花朵的圖像信息，并對兩個相機內(nèi)的信息進行提取、匹配，進行光路逆向結算，實現(xiàn)對步驟c篩選后的目標進行位置姿態(tài)檢測，生成可采摘目標位姿數(shù)據(jù)庫；
[0047]e.采用多機械臂并聯(lián)協(xié)同運動控制算法，開展多并聯(lián)機構間的協(xié)調控制，對步驟d生成可采摘目標位姿數(shù)據(jù)庫中的目標進行快速分工，并對獲得分工后的目標進行路徑優(yōu)化，尋找機械臂運動的最短路徑，作為單獨機械臂的運動規(guī)劃要求；
[0048]f.按照步驟e得到的運動規(guī)劃要求，控制機械臂完成對目標的包攏，并通過末端切割器快速切割目標；
[0049]g.在末端切割器中內(nèi)置吸氣式裝置，在進行切割的同時開啟吸氣式裝置；
[0050]h.吸氣式裝置吸力設置與目標重量基本保持一致，吸氣裝置直接連接到存儲箱中，完成對棉花的儲存。
[0051 ] 對所公開的實施例的上述說明，使本領域技術人員能夠實現(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領域的專利技術人員來說是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明范圍的情況下，在其他實施例中實現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬范圍。
【主權項】
1.一種花朵采摘機器人的采摘方法，其步驟如下: a.通過步進控制運動至采摘區(qū)域； b.通過視覺傳感器觀測采摘區(qū)域，并通過顏色濾波算法快速實現(xiàn)在復雜背景下對目標的獲取，得到多個目標； c.通過尺寸學習算法，對步驟b獲取的多個目標進行篩選； d.利用立體視覺探測系統(tǒng)，通過左、右目相機獲取花朵的圖像信息，并對兩個相機內(nèi)的信息進行提取、匹配，進行光路逆向結算，實現(xiàn)對C篩選后的目標進行位置姿態(tài)檢測，生成可采摘目標位置姿態(tài)數(shù)據(jù)庫； e.采用多機械臂并聯(lián)協(xié)同運動控制算法，開展多并聯(lián)機構間的協(xié)調控制，對步驟d生成可采摘目標位姿數(shù)據(jù)庫中的目標進行分工，并對獲得分工后的目標進行路徑優(yōu)化，尋找機械臂運動的最短路徑，作為單獨機械臂的運動規(guī)劃要求； f.按照步驟e得到的運動規(guī)劃要求，控制機械臂完成對目標的包攏，并通過末端切割器快速切割目標； g.在末端切割器中內(nèi)置吸氣式裝置，在進行切割的同時，開啟吸氣式裝置； h.吸氣式裝置吸力設置與目標重量基本保持一致，吸氣裝置直接連接到存儲箱中，完成對花朵的儲存。2.如權利要求1所述的采摘機器人的采摘方法，其特征在于采摘目標為茉莉花或者棉花。3.如權利要求1所述的采摘機器人的采摘方法，其特征在于步驟b采用顏色濾波進行圖像分割，通過分析背景樹叢與花朵在顏色特性上的區(qū)分度，利用顏色閾值濾波，完成對樹叢的過濾。4.如權利要求1所述的采摘機器人的采摘方法，其特征在于步驟c采用尺寸學習法，根據(jù)立體視覺探測系統(tǒng)與目標的相對位置關系，通過分析可采摘目標在探測器中所占像素及可分割區(qū)域的特性，確定目標篩選的閾值，實現(xiàn)采摘目標篩選。5.如權利要求1所述的采摘機器人的采摘方法，其特征在于步驟d針對篩選后的目標進行同步定位，利用雙目立體視覺系統(tǒng)對多目標進行同步測量，實現(xiàn)對可采摘目標位置姿態(tài)的一次性覆蓋運算，并生成目標位置姿態(tài)信息數(shù)據(jù)庫。6.如權利要求1所述的采摘機器人的采摘方法，其特征在于步驟e利用步驟d獲取的目標位置姿態(tài)信息數(shù)據(jù)庫，通過對多并聯(lián)機構協(xié)同運動控制算法，對多條機械臂的運動路徑進行規(guī)劃，避免相互碰撞，并以效率為設計值進行優(yōu)化分析。7.如權利要求1所述的采摘機器人的采摘方法，其特征在于步驟g在完成步驟f對目標完成包攏及切割后，通過吸氣式裝置將花朵吸入到收集管，并納入儲存箱中儲存。8.一種花朵采摘機器人，其特征在于，包括:立體視覺探測系統(tǒng)(I)，多機械手臂(2)，末端切割器及吸氣式裝置(3)，存儲箱(4)，其中末端切割器中內(nèi)置吸氣式裝置(3)，吸氣裝置(3)直接連接到存儲箱(4)中。
【文檔編號】A01D46/30GK105993393SQ201510389142
【公開日】2016年10月12日
【申請日】2015年7月3日
【發(fā)明人】唐超, 高朝輝, 唐慶博, 李勇鵬, 魏明, 張霞, 張恒浩, 王小錠, 陳春燕
【申請人】中國運載火箭技術研究院