專利名稱：基于全景立體視覺的采摘對象的識別、分類和空間定位裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明屬于全景立體視覺技術(shù)、采摘機(jī)器人技術(shù)、數(shù)字圖像處理技術(shù)和模式識別技術(shù)在顆粒狀農(nóng)作物自動化采摘方面的應(yīng)用，尤其適用于采摘機(jī)器人的自動采摘作業(yè)。
背景技術(shù)：
農(nóng)作物采摘作業(yè)是農(nóng)作物生產(chǎn)鏈中最耗時(shí)、最費(fèi)力的一個環(huán)節(jié)。同時(shí)，采摘作業(yè)質(zhì)量的好壞還直接影響到產(chǎn)品的后 續(xù)加工和儲存。如何以低成本獲得高品質(zhì)的產(chǎn)品是農(nóng)作物生產(chǎn)環(huán)節(jié)中必須重視和考慮的問題。由于采摘作業(yè)的復(fù)雜性，目前我國采摘作業(yè)的規(guī)?；⒆詣踊椭悄芑潭热匀缓艿?，基本上農(nóng)作物采摘作業(yè)都是手工進(jìn)行，就棉花采摘這一項(xiàng)來說每年約需要人工采摘成本8個億。隨著人口的老齡化和農(nóng)業(yè)勞動力的減少，農(nóng)業(yè)生產(chǎn)成本也相應(yīng)提高，這樣會大大降低產(chǎn)品的市場競爭力。因此采摘機(jī)器人是未來智能農(nóng)業(yè)機(jī)械的發(fā)展方向。采摘機(jī)器人工作在高度非結(jié)構(gòu)化的環(huán)境下，采摘對象是有生命的生物體，具有以下的特點(diǎn)1)采摘對象嬌嫩、易脆，形狀復(fù)雜且個體之間的差異性大；2)采摘對象大多數(shù)被樹葉、樹枝等掩蓋，增大了機(jī)器人視覺定位難度，降低采摘成功率；3)采摘對象分布是隨機(jī)的，分布在采摘機(jī)器人的周圍，因此需要全方位的檢測方法；4)希望實(shí)現(xiàn)智能化自動分級技術(shù)邊采摘邊分級，即在采摘過程中進(jìn)行分類，以提高采摘物的品質(zhì)和減少后續(xù)的分揀工序。采摘對象的識別與定位，是實(shí)現(xiàn)采摘自動化的第一步?？紤]到采摘對象的生長環(huán)境、空間位置和分布狀態(tài)等要素，采用三維視覺進(jìn)行采摘對象的檢測是一種非常有前途的解決方案。所謂三維視覺信息包括從攝像機(jī)到物體之間的距離、物體的大小和形狀、各物體之間的關(guān)系等。對于采摘機(jī)器人視覺系統(tǒng)而言，在自然光條件下，不僅要探測到目標(biāo)的存在，還要計(jì)算出采摘對象的空間坐標(biāo)。目前，在園林生產(chǎn)和田間作業(yè)中，對于橙、橘、番茄、土豆、蘑菇、黃瓜、蘋果、西瓜、葡萄等果蔬的基于機(jī)器視覺的采摘技術(shù)，國內(nèi)外已有一些相關(guān)報(bào)道，但尚未檢索到棉花采摘機(jī)器人的相關(guān)報(bào)道。顏色、大小和形狀是反映采摘對象的重要視覺特征，是基于機(jī)器視覺的采摘對象的識別、分類的重要依據(jù)。每一種采摘對象都有其特有的顏色、大小和形狀特征，這些視覺信息是識別采摘對象的重要屬性特征；同時(shí)每一種采摘對象在其不同的生長期和不同的品質(zhì)上，其顏色、大小和形狀均有較大的差別，這些差別是基于機(jī)器視覺的分類和分級中各種判定指標(biāo)和閾值取值的根據(jù)。在采摘對象顏色測量中，應(yīng)選用一定的顏色模型來對采摘對象表面的顏色特征進(jìn)行研究。通過該研究建立多種各具特色的顏色模型，在機(jī)器視覺研究中，常用的RGB和HIS顏色模型，HIS顏色模型的描述更接近人的視覺對顏色的感知方式，它包含色相、飽和度和亮度三要素。根據(jù)對顏色的研究結(jié)果，結(jié)合有關(guān)評級標(biāo)準(zhǔn)，就可選定區(qū)別不同色度等級的色相閾值，計(jì)算出此值下的累計(jì)頻度值，就可完成顏色分級。
利用被采摘對象的顏色色差信息進(jìn)行圖像識別，對于有些被采摘對象，如果蔬的識別，采用HIS彩色模型用于顏色評價(jià)和圖像處理是非常有效的。對于棉桃的識別，主要是基于棉桃的R、G、B均值幾乎相等，而棉葉、棉枝的R、G、B均值相差較大。棉桃顏色差值絕大多數(shù)分布在45°線上，只有少量偏離45°線，且偏離程度較?。欢奕~和棉枝的顏色差值偏離45°線，且偏離程度較大，因此可以利用此特征差異進(jìn)行圖像識別。利用此色差模型可以有效地將棉桃從背景圖像中分離出來。機(jī)器視覺的作用是從三維環(huán)境圖像中獲得所需的信息并構(gòu)造出觀察對象的明確而有意義的描述。視覺包括三個過程圖像增強(qiáng)、特征提取和圖像理解。由視覺傳感器獲取數(shù)字圖像，經(jīng)圖像增強(qiáng)后提取顏色、形狀和紋理特征參數(shù)對棉花進(jìn)行分類、識別和描述。目前獲取采摘對象的三維坐標(biāo)的定位方法主要有下面4種類型1)多目立體視覺融合多個攝像機(jī)觀察到的目標(biāo)特征，重構(gòu)這些特征的三維原像，并計(jì)算出目標(biāo)的空間坐標(biāo)；2)時(shí)間差法利用一臺攝像機(jī)的多幅連續(xù)圖像序列實(shí)現(xiàn)“從運(yùn)動得到結(jié)構(gòu)”，由圖像匹 配估計(jì)匹配點(diǎn)的三維坐標(biāo)；3)結(jié)構(gòu)光法選擇激光、微波或超聲波等光源，采用光柵法、移動投光法獲取距離圖像和反射圖像，經(jīng)聯(lián)合分析測出物體的形狀和空間分布；4)傳感器融合由視覺傳感器獲取原始平面圖像，計(jì)算其形心坐標(biāo)，再利用測距傳感器測量目標(biāo)的深度信息。就上述4種定位方式來說，立體視覺具有投資小、能與采摘機(jī)器人的自動導(dǎo)航共用一套立體視覺系統(tǒng)、能與前期采摘對象的識別和分類等處理共用一種視頻源，因此是一種首選的解決方案。立體視覺系統(tǒng)一般可分為圖像采集、攝像系統(tǒng)標(biāo)定、特征選擇與提取、立體匹配、深度確定和內(nèi)插6個步驟。雙目立體視覺運(yùn)用兩個相同的攝像機(jī)對同一景物從不同位置成像，獲得景物的立體圖像對，通過各種算法匹配出相應(yīng)像點(diǎn)，從而計(jì)算出視差，然后采用基于三角測量的方法恢復(fù)深度信息。目前的立體視覺系統(tǒng)，利用立體攝像機(jī)獲取不同距離的采摘對象的立體圖像對，通過對圖像進(jìn)行灰度圖像處理，將彩色圖像轉(zhuǎn)換為灰度圖像.然后根據(jù)灰度圖像對中像素點(diǎn)的相關(guān)性進(jìn)行立體匹配，計(jì)算像素點(diǎn)的位置信息而獲得一幅深度圖像。最后對照采摘對象在深度圖像中的位置，獲取采摘對象的三維位置信息。但是目前的立體視覺系統(tǒng)在農(nóng)作物采摘的實(shí)際應(yīng)用中還存在著不少問題，其主要問題在于立體成像范圍有限，由于采摘機(jī)器人行走在農(nóng)田采摘作物環(huán)境中，采摘對象的生長區(qū)域是開放式的、隨機(jī)的、不規(guī)則的和全方位的，因此，需要轉(zhuǎn)動立體視覺系統(tǒng)來獲取周邊的采摘對象視頻信息；其次，立體成像攝像機(jī)標(biāo)定、特征提取和立體圖像匹配方面在實(shí)際應(yīng)用上仍然存在著一些難以解決的問題。另外由于固定的焦距只能在一定景深范圍內(nèi)清晰拍攝圖像，因而，它限制了在某些方面的應(yīng)用。此外，還存在著以下不足之處1)由于標(biāo)定技術(shù)不夠完善，立體視覺測量系統(tǒng)在采摘機(jī)器人運(yùn)動中其攝像機(jī)的內(nèi)外參數(shù)變化是不可避免的，因而限制了許多應(yīng)用；2)在各種shape from X過程中，涉及多次坐標(biāo)的轉(zhuǎn)換，造成計(jì)算量過大，難以進(jìn)行實(shí)時(shí)處理，限制了對采摘對象的實(shí)時(shí)識別等應(yīng)用；3)雙目視覺的對應(yīng)點(diǎn)匹配歧異性大，造成了匹配的誤差，影響了匹配精度。立體匹配屬于典型的視覺“病態(tài)”計(jì)算問題，目前的技術(shù)還很難對圖像進(jìn)行無歧義高準(zhǔn)確率的立體匹配。近年發(fā)展起來的全方位視覺傳感器，以下簡稱0DVS，為實(shí)時(shí)獲取場景的全景圖像提供了一種新的解決方案。ODVS的特點(diǎn)是視野廣(360度)，能把一個半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；獲取一個場景圖像時(shí)，ODVS在場景中的安放位置更加自由，為感知采摘機(jī)器人自身周圍狀態(tài)提供了一種新的重要手段；0DVS技術(shù)是以人為中心觀察的圖像獲取技術(shù)，能使人產(chǎn)生身臨其境的沉浸感，將ODVS技術(shù)應(yīng)用于采摘機(jī)器人的導(dǎo)航、采摘對象的識別、分類和定位，就相當(dāng)給予了采摘機(jī)器人具備了以采摘機(jī)器人為中心觀察的圖像獲取技術(shù)，特別的是單視點(diǎn)的全景成像鏡面的設(shè)計(jì)為構(gòu)建采摘機(jī)器人的雙目立體全景獲取技術(shù)提供了一個良好的技術(shù)基礎(chǔ)。

發(fā)明內(nèi)容
為了克服已有的農(nóng)作物采摘機(jī)器人的視覺系統(tǒng)難以同時(shí)完成自主導(dǎo)航、農(nóng)作物的識別、分類和空間定位等不足，本發(fā)明提供一種既能用于采摘機(jī)器人的自主導(dǎo)航，又能用于農(nóng)作物的識別、分類和空間定位的基于全景立體視覺的采摘對象的識別、分類和空間定位
>J-U ρ α 裝直。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是一種基于全景立體視覺的采摘對象的識別、分類和空間定位裝置，包括雙目立體全景視覺傳感器，用于對采摘對象的識別、分類和空間定位進(jìn)行分析處理的微處理器，所述的雙目立體全景視覺傳感器與所述的微處理器進(jìn)行連接；所述的雙目立體全景視覺傳感器，包括兩臺具有相同參數(shù)的固定單視點(diǎn)的全方位視覺裝置，全方位視覺裝置簡稱0DVS，兩臺ODVS按照全方位的極線平面要求以垂直連接固定，并保證兩個ODVS的主軸在同一直線上；所述的微處理器包括視頻圖像讀取單元，用于讀取兩個相同成像參數(shù)的ODVS的視頻圖像，并保存在指定的存儲設(shè)備中，其輸出與視頻圖像展開單元連接；視頻圖像展開單元，用于對ODVS獲取的原始視頻圖像進(jìn)行圖像預(yù)處理，圖像預(yù)處理中首先對全方位圖像進(jìn)行展開，展開全景圖保存在指定的存儲單元中，其輸出與采摘對象識別模塊和比較標(biāo)準(zhǔn)特征參數(shù)抽取模塊相連接；采摘對象識別模塊，用于根據(jù)采摘對象的顏色和外形特征對采摘機(jī)器人周圍的展開全景圖中的采摘對象進(jìn)行識別，其輸出與采摘對象分類模塊和采摘點(diǎn)匹配單元相連接；采摘對象分類模塊，用于根據(jù)各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫中相對應(yīng)的采摘對象的分類標(biāo)準(zhǔn)對采摘對象進(jìn)行分類分級，其輸出與采摘對象分類控制模塊相連接；各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫，用于存放各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)和顏色與外形特征值；采摘點(diǎn)匹配單元，用于找出同一時(shí)刻兩個不同視點(diǎn)的圖像中同一采摘對象的中心點(diǎn)對應(yīng)的兩個像點(diǎn)，其輸出與空間信息計(jì)算單元連接；空間信息計(jì)算單元，用于計(jì)算空間上的采摘對象的中心點(diǎn)到立體視覺測量裝置中心點(diǎn)的距離、方位角以及入射角，其輸出與機(jī)械手空間位置計(jì)算單元連接；機(jī)械手空間位置計(jì)算單元，用于計(jì)算機(jī)械手的采摘端的空間位置，其輸出控制機(jī)械手的動作，完成米摘任務(wù)；采摘對象分類控制模塊，用于控制將分類分級后的采摘對象收集或分揀到相對應(yīng)的采摘對象容器中。
進(jìn)一步，所述的采摘對象識別模塊中，通過被采摘對象的顏色特征進(jìn)行識別，利用被采摘對象的顏色色差信息進(jìn)行圖像識別，針對每種不同的采摘對象通過實(shí)驗(yàn)研究，將能對某種采摘對象進(jìn)行有效識別的特征值寫入到各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫中，每一種采摘對象在各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫中都有其相對應(yīng)的顏色或者外形特征的描述，所述的采摘對象識別模塊根據(jù)某個規(guī)定的采摘對象的描述從ODVS獲取的全景圖像中檢索出相似的對象，以實(shí)現(xiàn)采摘對象識別的目的。更進(jìn)一步，所述的采摘對象分類模塊，用于對識別出來的采摘對象進(jìn)行分類分級，對所采收的采摘對象進(jìn)行不同分級分倉歸類，以減少后續(xù)的人工分揀分級的勞動；所述的采摘對象分類模塊根據(jù) 采摘對象的分類分級標(biāo)準(zhǔn)進(jìn)行判斷，本發(fā)明中主要是根據(jù)采摘對象的視覺特征進(jìn)行分類；因此從某種程度上說所述的采摘對象分類模塊是所述的采摘對象識別模塊的升級；每種采摘對象的分類分級標(biāo)準(zhǔn)在視覺特征上都存在著相對應(yīng)的描述表達(dá)；所述的采摘對象分類模塊，在采摘對象分類過程中，首先讀取所述的各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫中相對應(yīng)的采摘對象特征參數(shù)值或者指標(biāo)值；接著采用數(shù)字圖像處理方法計(jì)算每個被采摘對象的各項(xiàng)指標(biāo)，分別取各指標(biāo)的平均值作為參考形狀的特征參數(shù)；然后對被采摘對象作相應(yīng)的參數(shù)計(jì)算，并與所述的各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫中相對應(yīng)的采摘對象特征參數(shù)值進(jìn)行比較，其差值即為被采摘對象的識別特征參數(shù)；最后根據(jù)識別特征參數(shù)對采摘對象進(jìn)行分類，分類的結(jié)果輸出給采摘對象分類控制模塊，采摘對象分類控制模塊控制機(jī)械手將采摘對象收集或分揀到相對應(yīng)的分類分級容器中；關(guān)于半徑指標(biāo)、曲率指標(biāo)、連續(xù)性指標(biāo)、半徑指標(biāo)的對稱性、曲率指標(biāo)的對稱性和連續(xù)性指標(biāo)的對稱性的判斷均采用數(shù)字圖像處理和模式識別技術(shù)進(jìn)行加工和處理。所述的各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫，用于存放各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)和特征參數(shù)，分類標(biāo)準(zhǔn)指標(biāo)和特征參數(shù)主要來源是O國家、行業(yè)的有關(guān)采摘對象的相關(guān)標(biāo)準(zhǔn)，對于棉花分級標(biāo)準(zhǔn)有《棉花顏色級檢驗(yàn)技術(shù)規(guī)范》；2)按某一種采摘對象的不同等級，對其的顏色和外形進(jìn)行圖像分析，得到該采摘對象的各種不同等級的特征參數(shù)；因此，寫入所述的各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫也有兩種對應(yīng)的方法，一種方法是人工輸入，即以采摘對象為主鍵、以采摘對象的分類分級識別代碼為第二關(guān)鍵詞，將該采摘對象某等級的標(biāo)準(zhǔn)指標(biāo)和特征參數(shù)寫入數(shù)據(jù)庫中；另一種方法是采用圖像識別和分析的方式，從給定的采摘對象等級實(shí)物圖像中抽取出該采摘對象等級的特征參數(shù)作為分類標(biāo)準(zhǔn)。所述的空間信息計(jì)算單元，依據(jù)所述的采摘對象識別模塊所得到的識別結(jié)果，通過全景立體ODVS所獲得的立體全景視頻圖像，從上ODVS圖像中所識別出的采摘對象通過物點(diǎn)的匹配找到下ODVS圖像中的對應(yīng)點(diǎn)，然后計(jì)算空間上的采摘對象的中心點(diǎn)到立體視覺測量裝置中心點(diǎn)的距離、方位角以及入射角；兩個ODVS的入射角，SP Φ1和Φ2和基線距AB的長度，就能計(jì)算出物點(diǎn)離視點(diǎn)中心的距離；基線距AB的長度d在設(shè)計(jì)雙目立體全方位視覺傳感器的結(jié)構(gòu)時(shí)已經(jīng)確定，公式
(7)為ODVS的入射角的計(jì)算方法，公式中的各參數(shù)是通過ODVS的標(biāo)定來確定的；
權(quán)利要求
1.一種基于全景立體視覺的采摘對象的識別、分類和空間定位裝置，其特征在于包括雙目立體全景視覺傳感器，用于對采摘對象的識別、分類和空間定位進(jìn)行分析處理的微處理器，所述的雙目立體全景視覺傳感器與所述的微處理器進(jìn)行連接； 所述的雙目立體全景視覺傳感器，包括兩臺具有相同參數(shù)的固定單視點(diǎn)的全方位視覺裝置，全方位視覺裝置簡稱ODVS，兩臺ODVS按照全方位的極線平面要求以垂直連接固定，并保證兩個ODVS的主軸在同一直線上； 所述的微處理器包括 視頻圖像讀取單元，用于讀取兩個相同成像參數(shù)的ODVS的視頻圖像，并保存在指定的存儲設(shè)備中，其輸出與視頻圖像展開單元連接； 視頻圖像展開單元，用于對ODVS獲取的原始視頻圖像進(jìn)行圖像預(yù)處理，圖像預(yù)處理中首先對全方位圖像進(jìn)行展開，展開全景圖保存在指定的存儲單元中，其輸出與采摘對象識別模塊和比較標(biāo)準(zhǔn)特征參數(shù)抽取模塊相連接； 采摘對象識別模塊，用于根據(jù)采摘對象的顏色和外形特征對采摘機(jī)器人周圍的展開全景圖中的采摘對象進(jìn)行識別，其輸出與采摘對象分類模塊和采摘點(diǎn)匹配單元相連接； 采摘對象分類模塊，用于根據(jù)各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫中相對應(yīng)的采摘對象的分類標(biāo)準(zhǔn)對采摘對象進(jìn)行分類分級，其輸出與采摘對象分類控制模塊相連接；各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫，用于存放各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)和顏色與外形特征值； 采摘點(diǎn)匹配單元，用于找出同一時(shí)刻兩個不同視點(diǎn)的圖像中同一采摘對象的中心點(diǎn)對應(yīng)的兩個像點(diǎn)，其輸出與空間信息計(jì)算單元連接； 空間信息計(jì)算單元，用于計(jì)算空間上的采摘對象的中心點(diǎn)到立體視覺測量裝置中心點(diǎn)的距離、方位角以及入射角，其輸出與機(jī)械手空間位置計(jì)算單元連接； 機(jī)械手空間位置計(jì)算單元，用于計(jì)算機(jī)械手的采摘端的空間位置，其輸出控制機(jī)械手的動作，完成采摘任務(wù)； 采摘對象分類控制模塊，用于控制將分類分級后的采摘對象收集或分揀到相對應(yīng)的采摘對象容器中。
2.如權(quán)利要求1所述的基于全景立體視覺的采摘對象的識別、分類和空間定位裝置，其特征在于所述的采摘對象識別模塊中，通過被采摘對象的顏色特征進(jìn)行識別，利用被采摘對象的顏色色差信息進(jìn)行圖像識別，針對每種不同的采摘對象通過實(shí)驗(yàn)研究，將能對某種采摘對象進(jìn)行有效識別的特征值寫入到各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫中，每一種采摘對象在各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫中都有其相對應(yīng)的顏色或者外形特征的描述，所述的采摘對象識別模塊根據(jù)某個規(guī)定的采摘對象的描述從ODVS獲取的全景圖像中檢索出相似的對象，以實(shí)現(xiàn)采摘對象識別的目的。
3.如權(quán)利要求1或2所述的基于全景立體視覺的采摘對象的識別、分類和空間定位裝置，其特征在于所述的采摘對象分類模塊，用于對識別出來的采摘對象進(jìn)行分類分級，對所采收的采摘對象進(jìn)行不同分級分倉歸類，以減少后續(xù)的人工分揀分級的勞動；所述的采摘對象分類模塊根據(jù)采摘對象的分類分級標(biāo)準(zhǔn)進(jìn)行判斷，本發(fā)明中主要是根據(jù)采摘對象的視覺特征進(jìn)行分類；因此從某種程度上說所述的采摘對象分類模塊是所述的采摘對象識別模塊的升級；每種采摘對象的分類分級標(biāo)準(zhǔn)在視覺特征上都存在著相對應(yīng)的描述表達(dá)； 所述的采摘對象分類模塊，在采摘對象分類過程中，首先讀取所述的各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫中相對應(yīng)的采摘對象特征參數(shù)值或者指標(biāo)值；接著采用數(shù)字圖像處理方法計(jì)算每個被采摘對象的各項(xiàng)指標(biāo)，分別取各指標(biāo)的平均值作為參考形狀的特征參數(shù)；然后對被采摘對象作相應(yīng)的參數(shù)計(jì)算，并與所述的各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫中相對應(yīng)的采摘對象特征參數(shù)值進(jìn)行比較，其差值即為被采摘對象的識別特征參數(shù)；最后根據(jù)識別特征參數(shù)對采摘對象進(jìn)行分類，分類的結(jié)果輸出給采摘對象分類控制模塊，采摘對象分類控制模塊控制機(jī)械手將采摘對象收集或分揀到相對應(yīng)的分類分級容器中；關(guān)于半徑指標(biāo)、曲率指標(biāo)、連續(xù)性指標(biāo)、半徑指標(biāo)的對稱性、曲率指標(biāo)的對稱性和連續(xù)性指標(biāo)的對稱性的判斷均采用數(shù)字圖像處理和模式識別技術(shù)進(jìn)行加工和處理。
4.如權(quán)利要求3所述的基于全景立體視覺的采摘對象的識別、分類和空間定位裝置，其特征在于所述的各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫，用于存放各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)和特征參數(shù)，分類標(biāo)準(zhǔn)指標(biāo)和特征參數(shù)主要來源是1)國家、行業(yè)的有關(guān)采摘對象的相關(guān)標(biāo)準(zhǔn)，對于棉花分級標(biāo)準(zhǔn)有《棉花顏色級檢驗(yàn)技術(shù)規(guī)范》；2)按某一種采摘對象的不同等級，對其的顏色和外形進(jìn)行圖像分析，得到該采摘對象的各種不同等級的特征參數(shù)；因此，寫入所述的各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫也有兩種對應(yīng)的方法，一種方法是人工輸入，即以采摘對象為主鍵、以采摘對象的分類分級識別代碼為第二關(guān)鍵詞，將該采摘對象某等級的標(biāo)準(zhǔn)指標(biāo)和特征參數(shù)寫入數(shù)據(jù)庫中；另一種方法是采用圖像識別和分析的方式，從給定的采摘對象等級實(shí)物圖像中抽取出該采摘對象等級的特征參數(shù)作為分類標(biāo)準(zhǔn)。
5.如權(quán)利要求1或2所述的基于全景立體視覺的采摘對象的識別、分類和空間定位裝置，其特征在于所述的空間信息計(jì)算單元，依據(jù)所述的采摘對象識別模塊所得到的識別結(jié)果，通過全景立體ODVS所獲得的立體全景視頻圖像，從上ODVS圖像中所識別出的采摘對象通過物點(diǎn)的匹配找到下ODVS圖像中的對應(yīng)點(diǎn)，然后計(jì)算空間上的采摘對象的中心點(diǎn)到立體視覺測量裝置中心點(diǎn)的距離、方位角以及入射角； 兩個ODVS的入射角，即Φ I和Φ 2和基線距AB的長度，就能計(jì)算出物點(diǎn)離視點(diǎn)中心的距離；基線距AB的長度d在設(shè)計(jì)雙目立體全方位視覺傳感器的結(jié)構(gòu)時(shí)已經(jīng)確定，公式(7)為ODVS的入射角的計(jì)算方法，公式中的各參數(shù)是通過ODVS的標(biāo)定來確定的；
6.如權(quán)利要求1或2所述的基于全景立體視覺的采摘對象的識別、分類和空間定位裝置，其特征在于所述的空間信息計(jì)算單元，得到采摘對象的中心點(diǎn)P在高斯坐標(biāo)系中的方位角βρ、入射角Φρ和采摘中心點(diǎn)的距離rp，根據(jù)高斯坐標(biāo)系與笛卡爾坐標(biāo)系的轉(zhuǎn)換關(guān)系，可以將采摘對象的中心點(diǎn)P用笛卡爾坐標(biāo)系表達(dá)，如公式(9)所示， xP=rP X COS ΦρΧ COS β ρ yp=rpX cos ΦΡΧ sin β p(9) zp=rp X sin<jip 式中，xp、Y1^Pzp分別為采摘對象的中心點(diǎn)P在笛卡爾坐標(biāo)系中的值，βρ、小1)和1'1)分別為采摘對象的中心點(diǎn)P在高斯坐標(biāo)系中的值。
7.如權(quán)利要求1或2所述的基于全景立體視覺的采摘對象的識別、分類和空間定位裝置，其特征在于所述的機(jī)械手空間位置計(jì)算單元，用于計(jì)算機(jī)械手的采摘端的空間位置；這里將所述的雙目立體ODVS的中點(diǎn)作為視覺坐標(biāo)系的原點(diǎn)，并建立XV、YV和Zv構(gòu)成的三維全景視覺坐標(biāo)系；將機(jī)械手的固定點(diǎn)作為機(jī)械手的坐標(biāo)原點(diǎn)，并建立\、1和Za構(gòu)成的三維機(jī)械手運(yùn)動坐標(biāo)系；由于雙目立體ODVS和機(jī)械手均固定在采摘機(jī)器人的行走部分的上面，因此，用公式(10)建立三維全景視覺坐標(biāo)系和三維采摘機(jī)械手運(yùn)動坐標(biāo)系的幾何關(guān)系； Xa = )CV + X^Κ,^Κ+y( ο)Ze =Zv +Z 式中，Xa、Ya和Za分別表示三維采摘機(jī)械手運(yùn)動坐標(biāo)系，Xv、Yv和Zv分別表示三維全景視覺坐標(biāo)系，X、y和Z分別表示兩個坐標(biāo)系原點(diǎn)之間在三維坐標(biāo)上的投影距離。
8.如權(quán)利要求1或2所述的基于全景立體視覺的采摘對象的識別、分類和空間定位裝置，其特征在于所述的視頻圖像展開單元，采用柱狀展開方式，設(shè)展開的圖像尺寸為mXl，則展開算法中水平方向的計(jì)算步長為，Λ β=2π/1 ;垂直方向的計(jì)算步長為Am=cKax-D ;式中，Φ_為全景原圖最大有效半徑Rmax對應(yīng)的場景光線入射角，Φ*為全景原圖最小有效半徑Rmin對應(yīng)的場景光線入射角； 與用極坐標(biāo)表示的全景原圖中的原像點(diǎn)Ρ(Φ，β )對應(yīng)的球面展開方式中的P點(diǎn)坐標(biāo)分別為 X= β / Δ β ；γ=φ-φηι η/ Am(6) 式中Λ β為水平方向的計(jì)算步長，β為方位角，Am為垂直方向的計(jì)算步長，φ全景原圖有效半徑R對應(yīng)的場景光線入射角，為全景原圖最小有效半徑Rmin對應(yīng)的場景光線入射角。
9.一種基于全景立體視覺的采摘對象的識別、分類和空間定位方法，其特征在于在對采摘對象的識別、分類前，首先需要建立一個各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫，同時(shí)也需要完成全景立體 ODVS的柱狀展開參數(shù)設(shè)定、標(biāo)定和極線校正的預(yù)備工作，設(shè)定、標(biāo)定和極線校正的參數(shù)均保存在存儲單元中，以便下一次使用采摘機(jī)器人時(shí)調(diào)用；接著，進(jìn)入采摘對象的識別、分類和空間定位處理流程； 步驟I):通過視頻圖像讀取單元讀取兩個相同成像參數(shù)的ODVS的兩幅全景視頻圖像；步驟2):根據(jù)保存在存儲單元中的設(shè)定、標(biāo)定和極線校正的參數(shù)對兩幅全景視頻圖像進(jìn)行柱狀展開處理； 步驟3):根據(jù)保存在各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫中的采摘對象的特征參數(shù)對上ODVS所獲取的全景圖像展開圖進(jìn)行檢索和識別，得到在上ODVS所獲取的全景圖像展開圖中的采摘對象中心點(diǎn)； 步驟4):根據(jù)保存在各種不同的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)庫以及采摘對象的特征庫中的采摘對象的分類標(biāo)準(zhǔn)指標(biāo)以及在步驟3)中檢索和識別的結(jié)果進(jìn)行分類分級處理，得到采摘對象的分級結(jié)果； 步驟5):根據(jù)在步驟3)中得到的在上ODVS所獲取的全景圖像展開圖中的采摘對象中心點(diǎn)對下ODVS所獲取的全景圖像展開圖進(jìn)行匹配計(jì)算，得到在下ODVS所獲取的全景圖像展開圖中的相應(yīng)匹配點(diǎn)； 步驟6):根據(jù)在步驟3)中得到的在上ODVS所獲取的全景圖像展開圖中的采摘對象中心點(diǎn)以及在步驟5)得到的在下ODVS所獲取的全景圖像展開圖中的相應(yīng)匹配點(diǎn)進(jìn)行采摘對象空間信息的計(jì)算，得到采摘對象的中心點(diǎn)到全景立體ODVS中心點(diǎn)的距離、方位角以及入射角；然后根據(jù)高斯坐標(biāo)系和笛卡爾坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，將采摘對象的中心點(diǎn)用笛卡爾坐標(biāo)系進(jìn)行表達(dá)； 步驟7):根據(jù)在步驟6)計(jì)算得到的采摘對象的中心點(diǎn)到全景立體ODVS中心點(diǎn)的坐標(biāo)值映射到采摘機(jī)器手的坐標(biāo)系中，然后根據(jù)在采摘機(jī)器手的坐標(biāo)系中的坐標(biāo) 值控制采摘機(jī)器手的動作； 步驟8):根據(jù)在步驟4)計(jì)算得到采摘對象的分級結(jié)果，控制采摘機(jī)械手將采摘對象收集或分揀到相對應(yīng)的分類分級容器中；跳轉(zhuǎn)到步驟2)。
全文摘要
一種基于全景立體視覺的采摘對象的識別、分類和空間定位裝置，包括雙目立體全景視覺傳感器，用于對采摘對象的識別、分類和空間定位進(jìn)行分析處理的微處理器，所述的雙目立體全景視覺傳感器與所述的微處理器進(jìn)行連接；所述的雙目立體全景視覺傳感器，包括兩臺具有相同參數(shù)的固定單視點(diǎn)的全方位視覺裝置，全方位視覺裝置簡稱ODVS，兩臺ODVS按照全方位的極線平面要求以垂直連接固定，并保證兩個ODVS的主軸在同一直線上。本發(fā)明具有采摘識別率高、邊采摘邊分級分類、空間定位計(jì)算量少、空間定位高等優(yōu)點(diǎn)。
文檔編號A01D46/00GK102986372SQ20121036755
公開日2013年3月27日 申請日期2012年9月28日 優(yōu)先權(quán)日2012年9月28日
發(fā)明者湯一平, 俞立 申請人:浙江工業(yè)大學(xué)