一種旋轉(zhuǎn)可調(diào)式雙目視覺的目標(biāo)識(shí)別定位裝置及其在農(nóng)業(yè)果實(shí)采摘機(jī)械的應(yīng)用的制作方法
【專利摘要】本發(fā)明公開了一種旋轉(zhuǎn)可調(diào)式雙目視覺的目標(biāo)識(shí)別定位裝置及其在農(nóng)業(yè)果實(shí)采摘機(jī)械中的應(yīng)用。目標(biāo)識(shí)別定位裝置包括支架、攝像機(jī)和圖像處理系統(tǒng)；所述支架包括兩根縱向?qū)к壓蛢筛鶛M向?qū)к?，橫向?qū)к壟c縱向?qū)к壊捎没瑒?dòng)連接以實(shí)現(xiàn)攝像機(jī)在Z軸方向的移動(dòng)；所述攝像機(jī)是通過底座固定于支架上的兩個(gè)左右對(duì)稱設(shè)置的攝像機(jī)，底座可以繞Y軸進(jìn)行旋轉(zhuǎn)，底座與橫向?qū)к壊捎没瑒?dòng)連接以實(shí)現(xiàn)攝像機(jī)在X軸方向的移動(dòng)。本發(fā)明的目標(biāo)識(shí)別定位裝置可以實(shí)現(xiàn)雙目視覺立體攝像機(jī)在三維空間內(nèi)多自由度的運(yùn)動(dòng)，實(shí)現(xiàn)雙目視覺多角度的識(shí)別定位，優(yōu)化識(shí)別定位效果；應(yīng)用于農(nóng)業(yè)果實(shí)采摘機(jī)械中，可以適用于多類農(nóng)業(yè)果實(shí)，具有一定的普遍性。
【專利說明】—種旋轉(zhuǎn)可調(diào)式雙目視覺的目標(biāo)識(shí)別定位裝置及其在農(nóng)業(yè)果實(shí)采摘機(jī)械的應(yīng)用
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及農(nóng)業(yè)采摘領(lǐng)域，特別涉及一種旋轉(zhuǎn)可調(diào)式雙目視覺的目標(biāo)識(shí)別定位裝置及其在農(nóng)業(yè)果實(shí)采摘機(jī)械的應(yīng)用。
【背景技術(shù)】
[0002]現(xiàn)有的農(nóng)業(yè)果實(shí)采摘機(jī)械多為人工采摘或手工操作簡(jiǎn)單機(jī)構(gòu)采摘，通常僅適宜小范圍內(nèi)作業(yè)，存在人工費(fèi)用高、采摘效率低、自動(dòng)化程度低等問題，很難適應(yīng)農(nóng)業(yè)果實(shí)的大規(guī)模種植和采摘要求。要提高農(nóng)業(yè)果實(shí)采摘機(jī)械的智能化水平，首先要提高對(duì)果實(shí)的識(shí)別和定位效率。生長(zhǎng)在植物或樹上的果實(shí)的形狀、尺寸、顏色、生長(zhǎng)位置等差異性很大，而且果實(shí)總是隨機(jī)分布生長(zhǎng)，但現(xiàn)有的農(nóng)業(yè)果實(shí)采摘機(jī)械一般采用固定的目標(biāo)識(shí)別定位裝置，只能在某一個(gè)角度范圍內(nèi)獲得果實(shí)的圖像信息，對(duì)自然生長(zhǎng)的果實(shí)的識(shí)別范圍受到限制?，F(xiàn)有目標(biāo)識(shí)別定位裝置主要包括:固定在機(jī)械手的未端執(zhí)行器械上或機(jī)械手上的單目、雙目識(shí)別系統(tǒng)，其視角無法調(diào)節(jié)，且僅適合對(duì)單個(gè)水果或包含少量果實(shí)的一串植株的識(shí)別。而且，現(xiàn)有目標(biāo)識(shí)別定位裝置中固定位置的攝像機(jī)很難一次性識(shí)別出一個(gè)植株長(zhǎng)度上的許多小果實(shí)，且當(dāng)植株豎直下垂生長(zhǎng)需要適當(dāng)調(diào)節(jié)視角時(shí)，也無法有效識(shí)別。因此，現(xiàn)有裝置無法讓采摘機(jī)構(gòu)在不損傷果實(shí)的前提下一次全部采下果實(shí)。對(duì)于這種生長(zhǎng)特殊的小林果實(shí)的采摘，需要采摘機(jī)械的視覺系統(tǒng)能不斷調(diào)整視覺范圍和角度，以獲得最佳的水果目標(biāo)識(shí)別定位環(huán)境和受到光照最小影響的視角，但現(xiàn)有的農(nóng)業(yè)果實(shí)采摘機(jī)械也無法滿足這一要求。因此，研究和開發(fā)具有可調(diào)式目標(biāo)識(shí)別定位裝置的農(nóng)業(yè)果實(shí)采摘機(jī)械，對(duì)于提高勞動(dòng)生產(chǎn)效率、降低成本、保證果蔬品質(zhì)要求具有重大意義。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于克服現(xiàn)有技術(shù)中存在的缺點(diǎn)，提供一種快速識(shí)別、準(zhǔn)確定位、成本低的旋轉(zhuǎn)可調(diào)式雙目視覺的目標(biāo)識(shí)別定位裝置。
[0004]本發(fā)明的另一目的在于提供上述目標(biāo)識(shí)別定位裝置在農(nóng)業(yè)果實(shí)采摘機(jī)械上的應(yīng)用。
[0005]本發(fā)明的目的通過下述技術(shù)方案實(shí)現(xiàn):
[0006]一種旋轉(zhuǎn)可調(diào)式雙目視覺的目標(biāo)識(shí)別定位裝置，包括支架、攝像機(jī)和圖像處理系統(tǒng)；所述支架包括兩根縱向?qū)к塈和兩根橫向?qū)к?，橫向?qū)к?與縱向?qū)к塈采用滑動(dòng)連接以實(shí)現(xiàn)攝像機(jī)在Z軸方向的移動(dòng)；所述攝像機(jī)是通過底座5固定于支架上的兩個(gè)左右對(duì)稱設(shè)置的攝像機(jī)7，底座5可以繞Y軸進(jìn)行旋轉(zhuǎn)，從而帶動(dòng)攝像機(jī)7在Y軸方向的旋轉(zhuǎn)以提高攝像機(jī)的觀測(cè)角度和范圍，底座5與橫向?qū)к?采用滑動(dòng)連接以實(shí)現(xiàn)攝像機(jī)在X軸方向的移動(dòng)。
[0007]所述圖像處理系統(tǒng)是指對(duì)圖像信息進(jìn)行處理的計(jì)算機(jī)軟件與硬件系統(tǒng)，包括圖像處理硬件和圖像處理軟件。所述圖像處理硬件包括圖像采集卡、PC機(jī)；所述圖像處理軟件包括圖像處理算法及其程序模塊。其中圖像采集卡的主要功能是對(duì)攝像機(jī)所獲取的圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)的量化，并將其轉(zhuǎn)換為數(shù)字圖像，同時(shí)提供與PC機(jī)的高速接口，將數(shù)字圖像存儲(chǔ)在計(jì)算機(jī)中。
[0008]所述兩個(gè)左右對(duì)稱設(shè)置的攝像機(jī)7是兩個(gè)CXD攝像機(jī)，鏡頭相距10?25cm，且它們之間的距離可以調(diào)節(jié)。
[0009]所述圖像處理系統(tǒng)的操作過程包括下述步驟:
[0010](I)攝像機(jī)標(biāo)定:確定攝像機(jī)的視覺成像系統(tǒng)的內(nèi)部參數(shù)和外部參數(shù),即視覺成像系統(tǒng)對(duì)應(yīng)的目標(biāo)由圖像坐標(biāo)到世界坐標(biāo)的映射關(guān)系；
[0011](2)圖像采集:將攝像機(jī)獲取的圖像進(jìn)行量化后轉(zhuǎn)換為數(shù)字圖像，并將其輸入、存儲(chǔ)到計(jì)算機(jī)中；
[0012](3)圖像預(yù)處理:對(duì)存儲(chǔ)到計(jì)算機(jī)中的數(shù)字圖像進(jìn)行對(duì)比度增強(qiáng)、平滑和圖像增強(qiáng)的預(yù)處理；
[0013](4)顏色空間轉(zhuǎn)換:將圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，用以適當(dāng)減弱在室外環(huán)境下太陽(yáng)光對(duì)圖像的干擾，獲取目標(biāo)最佳的顏色特征；
[0014](5)圖像分割與目標(biāo)提取:采用圖像分割算法，從獲取的包含復(fù)雜背景的圖像中分割出農(nóng)業(yè)果實(shí)圖像，然后從分割出的農(nóng)業(yè)果實(shí)圖像中識(shí)別和解譯有意義的物體實(shí)體；
[0015](6)目標(biāo)定位:目標(biāo)提取完成后，得到該目標(biāo)在圖像中的幾何位置信息，即獲得農(nóng)業(yè)果實(shí)在圖像中的坐標(biāo)位置，然后結(jié)合攝像機(jī)標(biāo)定結(jié)果及雙目視覺的視差原理，將二維坐標(biāo)轉(zhuǎn)換到真實(shí)三維空間坐標(biāo)，最終求取目標(biāo)的三維位置信息。
[0016]一種農(nóng)業(yè)果實(shí)采摘機(jī)械，包括上述目標(biāo)識(shí)別定位裝置、移動(dòng)平臺(tái)3、果箱2和夾持機(jī)械手6 ;所述移動(dòng)平臺(tái)3在水平Y(jié)軸方向上移動(dòng)；所述目標(biāo)識(shí)別定位裝置的縱向?qū)к塈固接于移動(dòng)平臺(tái)3的前部，夾持機(jī)械手6及其控制部分位于移動(dòng)平臺(tái)3的中部，果箱2位于移動(dòng)平臺(tái)3的尾部。
[0017]所述夾持機(jī)械手6包括后臂8、前臂9和夾持手爪10 ;夾持手爪10固接在前臂9上并由前臂9帶動(dòng)，用于夾緊農(nóng)業(yè)果實(shí)；前臂9與后臂8之間通過軸連接，且前臂9可以繞連接軸在豎直平面內(nèi)做旋轉(zhuǎn)運(yùn)動(dòng)，后臂8與移動(dòng)平臺(tái)3的主體連接。
[0018]在果實(shí)采摘過程中，移動(dòng)平臺(tái)3在指定的道路上行駛至果樹旁邊，目標(biāo)識(shí)別定位裝置開始工作。該裝置的兩部攝像機(jī)7對(duì)指定道路一側(cè)的農(nóng)業(yè)果實(shí)進(jìn)行圖像采集。圖像采集具體過程如下:由伺服電機(jī)帶動(dòng)橫向?qū)к?在縱向?qū)к塈上滑動(dòng)，以實(shí)現(xiàn)攝像機(jī)底座5在Z軸方向的移動(dòng)；另一同型號(hào)的伺服電機(jī)驅(qū)動(dòng)攝像機(jī)底座5在橫向?qū)к?上的滑動(dòng)，以實(shí)現(xiàn)攝像機(jī)在X軸方向的移動(dòng)；攝像機(jī)7被移動(dòng)到合適的空間位置，以獲得較好的視角，此時(shí)攝像機(jī)開始采集果實(shí)圖像。目標(biāo)識(shí)別定位裝置對(duì)農(nóng)業(yè)果實(shí)進(jìn)行識(shí)別定位后，控制移動(dòng)平臺(tái)3上的定位夾持機(jī)械手6進(jìn)行定位夾持和拉直。當(dāng)夾持機(jī)械手6完成定位夾持后，農(nóng)業(yè)果實(shí)采摘機(jī)械上的采摘機(jī)構(gòu)再對(duì)農(nóng)業(yè)果實(shí)進(jìn)行采摘。
[0019]本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)和效果:
[0020]1、本發(fā)明的標(biāo)識(shí)別定位裝置，具有旋轉(zhuǎn)可調(diào)式的雙目視覺，可以實(shí)現(xiàn)雙目視覺立體攝像機(jī)在三維空間內(nèi)多自由度的運(yùn)動(dòng)，實(shí)現(xiàn)雙目視覺多角度的識(shí)別定位，優(yōu)化識(shí)別定位效果，能夠快速識(shí)別和準(zhǔn)確定位目標(biāo)。
[0021]2、本發(fā)明的識(shí)別定位裝置應(yīng)用于農(nóng)業(yè)果實(shí)采摘機(jī)械中，可以適用于多類農(nóng)業(yè)果實(shí)，提高農(nóng)業(yè)果實(shí)采摘的效率和自動(dòng)化程度，具有一定的普遍性。
【專利附圖】

【附圖說明】
[0022]圖1中，a為安裝有旋轉(zhuǎn)可調(diào)式雙目視覺的目標(biāo)識(shí)別定位裝置的農(nóng)業(yè)果實(shí)采摘機(jī)械的結(jié)構(gòu)簡(jiǎn)圖，b為目標(biāo)識(shí)別定位裝置中的攝像機(jī)及其底座。
[0023]圖2中，a為夾持機(jī)械手的初始狀態(tài)結(jié)構(gòu)示意圖，b為夾持機(jī)械手的工作狀態(tài)結(jié)構(gòu)示意圖。
[0024]圖3為圖像處理系統(tǒng)的目標(biāo)識(shí)別定位操作過程流程圖。
[0025]圖中，1、縱向?qū)к墸?、果箱；3、移動(dòng)平臺(tái)；4、橫向?qū)к墸?、底座；6、夾持機(jī)械手；
7、攝像機(jī)；8、后臂；9、如臂；10、夾持手爪。
【具體實(shí)施方式】
[0026]下面結(jié)合實(shí)施例對(duì)本發(fā)明做進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式不限于此。
[0027]實(shí)施例
[0028]本實(shí)驗(yàn)例以枸杞果實(shí)采摘機(jī)械為例進(jìn)行說明。小林果的枸杞，其植株呈豎直垂下生長(zhǎng)，且高度和角度不一致，在采摘過程中，需要將枸杞植株拉到接近水平位置。與單個(gè)柑桔采摘不同，在一條樹枝(既植株)長(zhǎng)度上長(zhǎng)有很多枸杞小果，且長(zhǎng)在枝上不同的位置，農(nóng)業(yè)果實(shí)采摘機(jī)械需要一次把一條枝上的小果全部采摘下來。而每次采摘，因果枝高度和角度不同，需要調(diào)整視覺角度，擴(kuò)大檢測(cè)目標(biāo)的范圍，給出枝上果實(shí)及樹枝的空間坐標(biāo)，為農(nóng)業(yè)果實(shí)采摘機(jī)械提供定位坐標(biāo)數(shù)據(jù)。
[0029]如圖1的a和b所示，農(nóng)業(yè)果實(shí)采摘機(jī)械，包括旋轉(zhuǎn)可調(diào)式雙目視覺的目標(biāo)識(shí)別定位裝置、移動(dòng)平臺(tái)3、果箱2和夾持機(jī)械手6。其中，旋轉(zhuǎn)可調(diào)式雙目視覺的目標(biāo)識(shí)別定位裝置，包括支架、攝像機(jī)和圖像處理系統(tǒng)；所述支架包括兩根縱向?qū)к塈和兩根橫向?qū)к?，橫向?qū)к?與縱向?qū)к塈采用滑動(dòng)連接以實(shí)現(xiàn)攝像機(jī)在Z軸方向的移動(dòng)；所述攝像機(jī)是通過底座5固定于支架上的兩個(gè)左右對(duì)稱設(shè)置的兩個(gè)CXD攝像機(jī)7，鏡頭相距10?25cm，且它們之間的距離可以調(diào)節(jié)；底座5可以繞Y軸進(jìn)行旋轉(zhuǎn)，從而帶動(dòng)攝像機(jī)7在Y軸方向的旋轉(zhuǎn)以提高攝像機(jī)的觀測(cè)角度和范圍，底座5與橫向?qū)к?采用滑動(dòng)連接以實(shí)現(xiàn)攝像機(jī)在X軸方向的移動(dòng)。
[0030]所述移動(dòng)平臺(tái)3在水平Y(jié)軸方向上移動(dòng)。所述目標(biāo)識(shí)別定位裝置的縱向軌道I固接于移動(dòng)平臺(tái)3的前端，實(shí)現(xiàn)視覺部分的攝像機(jī)在Z軸方向的移動(dòng)，其橫向?qū)к?與攝像機(jī)底座5采用滑動(dòng)連接，實(shí)現(xiàn)了兩臺(tái)攝像機(jī)在X軸方向的移動(dòng)，兩臺(tái)攝像機(jī)滑動(dòng)連接于攝像機(jī)底座上，可隨著底座實(shí)現(xiàn)旋轉(zhuǎn)，攝像機(jī)的距離可通過滑塊調(diào)節(jié)。夾持機(jī)械手6及其控制部分位于移動(dòng)平臺(tái)3的中部，主要用于實(shí)現(xiàn)農(nóng)業(yè)果實(shí)的抓取、拉取、夾持等操作，如圖2所示，所述夾持機(jī)械手6包括后臂8、前臂9和夾持手爪10 ;夾持手爪10固接在前臂9上并由前臂9帶動(dòng)，用于夾緊農(nóng)業(yè)果實(shí)；前臂9與后臂8之間通過軸連接，且前臂9可以繞連接軸在豎直平面內(nèi)做旋轉(zhuǎn)運(yùn)動(dòng)，后臂8與移動(dòng)平臺(tái)3的主體連接。果箱2位于移動(dòng)平臺(tái)3的尾部，用于放置收獲果實(shí)。
[0031]所述圖像處理系統(tǒng)是指對(duì)圖像信息進(jìn)行處理的計(jì)算機(jī)軟件與硬件系統(tǒng)，包括圖像處理硬件和圖像處理軟件。所述圖像處理硬件包括圖像采集卡、PC機(jī)；所述圖像處理軟件包括圖像處理算法及其程序模塊。其中圖像采集卡的主要功能是對(duì)攝像機(jī)所獲取的圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)的量化，并將其轉(zhuǎn)換為數(shù)字圖像，同時(shí)提供與PC機(jī)的高速接口，將數(shù)字圖像存儲(chǔ)在計(jì)算機(jī)中。所述圖像處理系統(tǒng)的計(jì)算機(jī)根據(jù)從攝像機(jī)獲取的圖像信息，計(jì)算視場(chǎng)中物體的位置信息，并由此識(shí)別環(huán)境中的物體，最終完成對(duì)目標(biāo)物體的定位。如圖3所示，圖像處理系統(tǒng)的操作過程包括下述步驟:
[0032](I)攝像機(jī)標(biāo)定:攝像機(jī)標(biāo)定是指確定目標(biāo)圖像坐標(biāo)到世界坐標(biāo)的映射關(guān)系，也就是確定視覺成像系統(tǒng)的內(nèi)部參數(shù)和外部參數(shù)。因此，為了確定空間目標(biāo)的三維位置與二維圖像像素坐標(biāo)間的對(duì)應(yīng)關(guān)系，必須建立視覺成像的幾何模型，并求解幾何模型的參數(shù)。
[0033]攝像機(jī)標(biāo)定結(jié)果的精度對(duì)目標(biāo)定位結(jié)果的影響較大。根據(jù)標(biāo)定方式的不同，可大致將標(biāo)定方法歸納為三類:傳統(tǒng)標(biāo)定方法、自標(biāo)定方法和基于主動(dòng)視覺的標(biāo)定方法。其中，張正友的平面標(biāo)定方法是介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之間的一種方法，該方法有較好的魯棒性和實(shí)用性，故選用該方法進(jìn)行攝像機(jī)標(biāo)定。
[0034](2)圖像采集:圖像采集也就是圖像的數(shù)字化過程，即將圖像采集到計(jì)算機(jī)中的過程。在實(shí)際操作過程中，首先通過調(diào)整識(shí)別定位裝置使得雙目視覺攝像機(jī)處在一個(gè)合適的三維空間位置，然后雙目視覺的攝像機(jī)開始采集移動(dòng)平臺(tái)前方的枸杞植株圖像。攝像機(jī)獲取圖像后，便將圖像存儲(chǔ)在計(jì)算機(jī)中以便進(jìn)行后續(xù)的圖像處理工作。雙目攝像機(jī)對(duì)前方的枸杞植株僅進(jìn)行間斷的圖像采集。
[0035](3)圖像預(yù)處理:一般地，視覺系統(tǒng)獲取的圖像即是原始圖像。在自然環(huán)境下，由于受到光照、溫度、濕度等種種因素的影響，由CXD攝像機(jī)獲取的原始圖像往往包含著各種各樣的噪聲和畸變，因而不能在圖像處理系統(tǒng)中直接使用。為此需要對(duì)圖像進(jìn)行預(yù)處理，包括:對(duì)比度增強(qiáng)、平滑和圖像增強(qiáng)。必須在進(jìn)行圖像分析和識(shí)別前進(jìn)行灰度校正、噪聲過濾等圖像預(yù)處理，從而去掉這些使圖像質(zhì)量劣化的因素，并對(duì)信息微弱的圖像進(jìn)行增強(qiáng)，使圖像特征更加明顯或使圖像中的有用信息更容易被提取。因此需要對(duì)圖像進(jìn)行預(yù)處理，具體包括:對(duì)比度增強(qiáng)、圖像平滑和圖像增強(qiáng)等。
[0036](4)顏色空間轉(zhuǎn)換:在自然光環(huán)境下，需要一種適合該特定情景分析的顏色模型。通常由視覺系統(tǒng)獲取的原始圖像為RGB顏色模型，代表了紅、綠、藍(lán)三種顏色，受光線影響較大，該顏色空間模型不適合在自然場(chǎng)景下分割圖像。通過 申請(qǐng)人:反復(fù)實(shí)驗(yàn)表明YCbCr顏色模型可以有效抑制光照的影響，因此將RGB顏色模型轉(zhuǎn)換到Y(jié)CbCr顏色模型進(jìn)行處理。
[0037](5)圖像分割與目標(biāo)提取:由CXD攝像機(jī)獲取到的一副圖像中，通常包括枸杞果實(shí)、枸杞葉子、枸杞樹枝、室外背景等部分。圖像分割的主要目標(biāo)就是從一副包含上述復(fù)雜背景的圖像中分割出枸杞果實(shí)。現(xiàn)有的圖像分割算法包括:基于閾值的分割方法、基于區(qū)域的分割方法、基于邊緣的分割方法以及基于特定理論的分割方法等。
[0038]提取枸杞果實(shí)用到的圖像分割算法為基于閾值的圖像分割。具體的方法是:上一步中已經(jīng)將圖像轉(zhuǎn)換到Y(jié)CbCr顏色模型，使用該模型中的Cr分量，運(yùn)用大津法得到該幅圖像的一個(gè)閾值，以此為基礎(chǔ)可以得到初步只包含枸杞果實(shí)的二值圖像。最后，運(yùn)用恰當(dāng)?shù)男螒B(tài)學(xué)處理方法，對(duì)圖像進(jìn)行腐蝕、膨脹等操作，得到最終的只有枸杞果實(shí)的圖像。
[0039]目標(biāo)提取是指從單幅圖像或序列圖像中將感興趣的目標(biāo)與背景分割開來，并從圖像中識(shí)別和解譯有意義的物體實(shí)體而提取不同的圖像特征的操作。在完成目標(biāo)圖像分割后，目標(biāo)提取工作也就基本完成。[0040](6)目標(biāo)定位:目標(biāo)定位是指從一副采集的圖像中獲得目標(biāo)的空間三維位置的過程。在目標(biāo)提取完成后，得到該目標(biāo)在圖像中的幾何位置信息，即獲得枸杞果實(shí)在圖像中的二維坐標(biāo)位置，然后結(jié)合攝像機(jī)標(biāo)定結(jié)果及雙目視覺的視差原理，將二維坐標(biāo)轉(zhuǎn)換到三維空間坐標(biāo)，最終求取目標(biāo)的三維位置信息。
[0041]在農(nóng)業(yè)果實(shí)采摘過程中，移動(dòng)平臺(tái)3在指定的直線道路上行駛。當(dāng)移動(dòng)平臺(tái)3停留在果樹果枝有果實(shí)的某處時(shí)，目標(biāo)識(shí)別定位裝置開始工作，該裝置的兩部攝像機(jī)7對(duì)指定道路一側(cè)的農(nóng)業(yè)果實(shí)進(jìn)行圖像采集。如果分散長(zhǎng)在果枝上的一些小果實(shí)不在視覺系統(tǒng)檢測(cè)角度內(nèi)，則目標(biāo)識(shí)別定位裝置需要調(diào)整攝像機(jī)角度。此時(shí)，由伺服電機(jī)帶動(dòng)橫向?qū)к?在縱向?qū)к塈上滑動(dòng)，實(shí)現(xiàn)攝像機(jī)底座5在z軸方向的移動(dòng)；而另一同型號(hào)的伺服電機(jī)驅(qū)動(dòng)攝像機(jī)底座5在橫向?qū)к?上的滑動(dòng)，以實(shí)現(xiàn)攝像機(jī)在X軸方向的移動(dòng)。攝像機(jī)7被移動(dòng)到合適的空間位置(兩相機(jī)與果枝上的果實(shí)平行的位置)，以獲得較好的視野(視角)，此時(shí)攝像機(jī)開始采集果實(shí)圖像。目標(biāo)識(shí)別定位裝置對(duì)果實(shí)進(jìn)行識(shí)別定位后，控制移動(dòng)平臺(tái)3上的夾持機(jī)械手6將果樹的植株拉到接近水平位置進(jìn)行定位夾持和拉直，配合采摘機(jī)構(gòu)完成對(duì)植株上的這些果實(shí)的采摘任務(wù)。需要指出的是，當(dāng)植株上的一些果實(shí)在攝像機(jī)平行的視野內(nèi)，可以用夾持機(jī)械手定位夾持果枝，配合采摘機(jī)構(gòu)采摘。但如果目標(biāo)不處于攝像機(jī)視野范圍內(nèi)的時(shí)候，就需要控制移動(dòng)平臺(tái)3運(yùn)動(dòng)以及讓雙攝像機(jī)7在Y軸方向上旋轉(zhuǎn)，以獲得最恰當(dāng)?shù)囊晥?chǎng)。而該裝置中雙目視覺部分的攝像機(jī)旋轉(zhuǎn)可調(diào)，則正好可以滿足這一要求。當(dāng)雙目視覺的目標(biāo)識(shí)別定位裝置完成了對(duì)目標(biāo)物體的識(shí)別定位后，外接的計(jì)算機(jī)將目標(biāo)的位置信息由圖像坐標(biāo)系轉(zhuǎn)換為世界坐標(biāo)系后，就可以獲得該目標(biāo)在三維空間內(nèi)的坐標(biāo)。在將這些坐標(biāo)位置信息轉(zhuǎn)化為控制指令后，主控制器，即上位機(jī)，將指令通過網(wǎng)絡(luò)適配器傳遞給各個(gè)對(duì)應(yīng)的網(wǎng)絡(luò)驅(qū)動(dòng)器，再由各個(gè)網(wǎng)絡(luò)驅(qū)動(dòng)器控制各關(guān)節(jié)控制器，即下位機(jī)，帶動(dòng)機(jī)械手各關(guān)節(jié)的運(yùn)動(dòng)。移動(dòng)平臺(tái)3上的夾持機(jī)械手6將果樹的植株拉到接近水平位置進(jìn)行定位夾持和拉直。參照?qǐng)D2 (a)、(b)，這一過程的具體操作如下:初始狀態(tài)時(shí)，夾持機(jī)械手的夾持手爪處于張開狀態(tài)。首先，夾持機(jī)械手的夾持手爪10收到控制指令后，夾緊枸杞植株，此時(shí)小林果植株尚處于豎直下垂?fàn)顟B(tài)。然后，控制指令驅(qū)動(dòng)電機(jī)帶動(dòng)夾持機(jī)械手的前臂9繞著連接軸在豎直平面內(nèi)旋轉(zhuǎn)，夾持手爪10在此過程中將豎直垂下的小林果植株拉至近似水平位置時(shí)，如圖2 (b)所示。到達(dá)一定位置后，機(jī)械手前臂9停止運(yùn)動(dòng)，整個(gè)動(dòng)作完成。在整個(gè)過程中，機(jī)械手后臂8始終處于水平方向，最終實(shí)現(xiàn)對(duì)目標(biāo)物體的抓取、夾持、拉取等動(dòng)作。
【權(quán)利要求】
1.一種旋轉(zhuǎn)可調(diào)式雙目視覺的目標(biāo)識(shí)別定位裝置，其特征在于:包括支架、攝像機(jī)和圖像處理系統(tǒng)；所述支架包括兩根縱向?qū)к壓蛢筛鶛M向?qū)к?，橫向?qū)к壟c縱向?qū)к壊捎没瑒?dòng)連接以實(shí)現(xiàn)攝像機(jī)在Z軸方向的移動(dòng)；所述攝像機(jī)是通過底座固定于支架上的兩個(gè)左右對(duì)稱設(shè)置的攝像機(jī)，底座可以繞Y軸進(jìn)行旋轉(zhuǎn)，底座與橫向?qū)к壊捎没瑒?dòng)連接以實(shí)現(xiàn)攝像機(jī)在X軸方向的移動(dòng)。
2.根據(jù)權(quán)利要求1所述的旋轉(zhuǎn)可調(diào)式雙目視覺的目標(biāo)識(shí)別定位裝置，其特征在于:所述兩個(gè)攝像機(jī)是兩個(gè)CXD攝像機(jī)，鏡頭相距10?25cm，且它們之間的距離可以調(diào)節(jié)。
3.根據(jù)權(quán)利要求1所述的旋轉(zhuǎn)可調(diào)式雙目視覺的目標(biāo)識(shí)別定位裝置，其特征在于:所述圖像處理系統(tǒng)的操作過程包括下述步驟: (1)攝像機(jī)標(biāo)定:確定攝像機(jī)的視覺成像系統(tǒng)的內(nèi)部參數(shù)和外部參數(shù),即視覺成像系統(tǒng)對(duì)應(yīng)的目標(biāo)由圖像坐標(biāo)到世界坐標(biāo)的映射關(guān)系； (2)圖像采集:將攝像機(jī)獲取的圖像進(jìn)行量化后轉(zhuǎn)換為數(shù)字圖像，并將其輸入、存儲(chǔ)到計(jì)算機(jī)中； (3)圖像預(yù)處理:對(duì)存儲(chǔ)到計(jì)算機(jī)中的數(shù)字圖像進(jìn)行對(duì)比度增強(qiáng)、平滑和圖像增強(qiáng)的預(yù)處理； (4)顏色空間轉(zhuǎn)換:將圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，用以適當(dāng)減弱在室外環(huán)境下太陽(yáng)光對(duì)圖像的干擾，獲取目標(biāo)最佳的顏色特征； (5)圖像分割與目標(biāo)提取:采用圖像分割算法，從獲取的包含復(fù)雜背景的圖像中分割出農(nóng)業(yè)果實(shí)圖像，然后從分割出的農(nóng)業(yè)果實(shí)圖像中識(shí)別和解譯有意義的物體實(shí)體； (6)目標(biāo)定位:目標(biāo)提取完成后，得到該目標(biāo)在圖像中的幾何位置信息，即獲得農(nóng)業(yè)果實(shí)在圖像中的坐標(biāo)位置，然后結(jié)合攝像機(jī)標(biāo)定結(jié)果及雙目視覺的視差原理，將二維坐標(biāo)轉(zhuǎn)換到真實(shí)三維空間坐標(biāo)，最終求取目標(biāo)的三維位置信息。
4.一種農(nóng)業(yè)果實(shí)采摘機(jī)械，其特征在于:包括權(quán)利要求1?3任一項(xiàng)所述的目標(biāo)識(shí)別定位裝置、移動(dòng)平臺(tái)、果箱和夾持機(jī)械手；所述移動(dòng)平臺(tái)在水平Y(jié)軸方向上移動(dòng)；所述目標(biāo)識(shí)別定位裝置的縱向?qū)к壒探佑谝苿?dòng)平臺(tái)的前部，夾持機(jī)械手及其控制部分位于移動(dòng)平臺(tái)的中部，果箱位于移動(dòng)平臺(tái)的尾部。
5.根據(jù)權(quán)利要求4所述的農(nóng)業(yè)果實(shí)采摘機(jī)械，其特征在于:所述夾持機(jī)械手包括后臂、前臂和夾持手爪；夾持手爪固接在前臂上并由前臂帶動(dòng)，用于夾緊農(nóng)業(yè)果實(shí)；前臂與后臂之間通過軸連接，且前臂可以繞連接軸在豎直平面內(nèi)做旋轉(zhuǎn)運(yùn)動(dòng)，后臂與移動(dòng)操作平臺(tái)的主體連接。
【文檔編號(hào)】A01D46/30GK103529855SQ201310473133
【公開日】2014年1月22日 申請(qǐng)日期:2013年10月11日 優(yōu)先權(quán)日:2013年10月11日
【發(fā)明者】鄒湘軍, 劉念, 羅承宇, 林桂潮, 熊俊濤, 黎垣昌, 鐘偉奇 申請(qǐng)人:華南農(nóng)業(yè)大學(xué)