專(zhuān)利名稱(chēng)：成熟果實(shí)識(shí)別和定位的圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明實(shí)施例涉及圖像處理技術(shù)，特別涉及一種成熟果實(shí)識(shí)別和定位的 圖像處理方法。
背景技術(shù)：
隨著科學(xué)技術(shù)的不斷發(fā)展，基于圖像處理技術(shù)的果蔬采摘機(jī)器人已經(jīng)問(wèn) 世，果蔬采摘機(jī)器人的出現(xiàn)解決了果農(nóng)在采摘時(shí)節(jié)，由于種植面積大而不能 及時(shí)采摘的困擾，具有采摘成功率和采摘效率高的優(yōu)點(diǎn)，節(jié)省了人力。
目前，果蔬采摘機(jī)器人的視覺(jué)系統(tǒng)是果蔬采摘機(jī)器人的關(guān)鍵組成部分， 視覺(jué)系統(tǒng)的主要作用是識(shí)別果實(shí)并對(duì)其進(jìn)行三維定位以獲取其具體位置信 息，然后通知機(jī)械臂移動(dòng)到采摘果實(shí)的最佳位置并對(duì)其進(jìn)行采摘。目前已知 的果蔬采摘機(jī)器人的視覺(jué)系統(tǒng)基本釆用雙目立體視覺(jué)技術(shù)。在現(xiàn)有技術(shù)中，
完整的雙目立體視覺(jué)系統(tǒng)包括圖像獲取、攝像機(jī)標(biāo)定、特征提取、立體匹 配、三維信息恢復(fù)及后續(xù)處理。其中，特征提取和立體匹配是雙目立體^L覺(jué) 系統(tǒng)中，完成識(shí)別果實(shí)并對(duì)其進(jìn)行三維定位的關(guān)鍵步驟。正如本領(lǐng)域技術(shù)人 員所公知，特征提取是立體匹配的前提，但現(xiàn)有的特征提取方法通常是增加 算法的復(fù)雜度來(lái)提高特征提取的精度，如采用隨機(jī)Hough變換算法或遺傳算 法，在提高特征提取精度的同時(shí)，不斷增加的復(fù)雜度使這些算法的實(shí)時(shí)性受 到了嚴(yán)重的限制；進(jìn)一步地，立體匹配通過(guò)提取的特征實(shí)現(xiàn)了同一空間點(diǎn)在 不同圖像中像點(diǎn)的對(duì)應(yīng)關(guān)系以獲取果實(shí)的三維定位信息，由于立體匹配涉及 的問(wèn)題較多，至今仍未得到較好的解決，果實(shí)三維定位的精度有待進(jìn)一步提 高。而且目前的圖像識(shí)別方法對(duì)于果實(shí)處于相互遮擋狀態(tài)時(shí)的識(shí)別比較困難， 還沒(méi)有十分有效的分離方法，對(duì)成熟和未成熟果實(shí)也不能做較好的識(shí)別。現(xiàn) 有技術(shù)中雙目立體視覺(jué)系統(tǒng)的特征提取和立體匹配使得果實(shí)的識(shí)別速度和定位精度受到限制，同時(shí)也降低了采摘的效率和質(zhì)量。
發(fā)明人在從事本領(lǐng)域技術(shù)工作的長(zhǎng)期實(shí)踐中，進(jìn)行了深入的研究，發(fā) 現(xiàn)通過(guò)用三維視覺(jué)傳感器對(duì)果實(shí)圖像進(jìn)行掃描，能夠避開(kāi)現(xiàn)有技術(shù)中采用 復(fù)雜算法的特征提取以及存在不確定問(wèn)題較多的立體匹配，不但可以實(shí)時(shí)獲 取成熟果實(shí)精確的三維坐標(biāo)信息，而且還可以識(shí)別未成熟果實(shí)和成熟果實(shí) 以及相互遮擋的成熟果實(shí)，提高了果蔬采摘機(jī)器人采摘成熟果實(shí)的效率和質(zhì) 量。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例的第 一 目的是提供一種成熟果實(shí)識(shí)別和定位的圖像處理 方法，利用該方法能夠?qū)崟r(shí)獲取成熟果實(shí)精確的三維坐標(biāo)，提高了果蔬采 摘機(jī)器人采摘果實(shí)的效率和質(zhì)量。
本發(fā)明實(shí)施例的第二目的是提供 一種成熟果實(shí)識(shí)另'J和定位的圖像處理 方法，利用該裝置同樣能夠?qū)崟r(shí)獲取成熟果實(shí)精確的三維坐標(biāo)，并且提高 了果蔬采摘機(jī)器人采摘果實(shí)的效率和質(zhì)量。
為實(shí)現(xiàn)上述第 一 目的，本發(fā)明的一些實(shí)施例提供了 一種成熟果實(shí)識(shí)別和
定位的圖像處理方法，包括
獲取掃描圖像的數(shù)據(jù)矩陣，所述掃描圖像包含m"i個(gè)掃描點(diǎn)，使所述 數(shù)據(jù)矩陣中的元素與所述掃描圖像的m*n個(gè)掃描點(diǎn)在位置上相對(duì)應(yīng)，所述 數(shù)據(jù)矩陣為m行n列矩陣包括由所述m*n個(gè)掃描點(diǎn)對(duì)第 一激光的反射值 所構(gòu)成的第一數(shù)據(jù)矩陣；由所述m*n個(gè)掃描點(diǎn)對(duì)第二激光的反射值所構(gòu)成 的第二數(shù)據(jù)矩陣；由所述m*ii個(gè)掃描點(diǎn)到所述三維視覺(jué)傳感器中心的距離 所構(gòu)成的第三數(shù)據(jù)矩陣；其中m和n分別為不小于1的正整數(shù)；
根據(jù)所述數(shù)據(jù)矩陣生成所述掃描圖像的成熟果實(shí)二值圖像，所述成熟 果實(shí)二值圖像包含成熟果實(shí)圖像和背景圖像；
根據(jù)所述第 一 數(shù)據(jù)矩陣中所述m * n個(gè)掃描點(diǎn)對(duì)第 一 激光的反射值，以3*3元素窗口逐行或逐列對(duì)所述第一激光的反射值進(jìn)行掃描，判斷所述3*3 元素窗口中心元素反射值是否比所述3*3元素窗口其余8個(gè)元素反射值的 高出值均大于等于50，若是，則所述3*3元素窗口中心元素在第一數(shù)據(jù)矩 陣中的位置對(duì)應(yīng)所述成熟果實(shí)二值圖像中成熟果實(shí)圖像第一中心；
合并相鄰所述成熟果實(shí)圖像第一中心之間的距離小于第一預(yù)定閣值 的成熟果實(shí)圖像，并獲取成熟果實(shí)圖像第二中心；
根據(jù)所述成熟果實(shí)圖像第二中心和三維視覺(jué)傳感器的中心、掃描步距 角，獲取所述成熟果實(shí)圖像第二中心的三維坐標(biāo)。
為實(shí)現(xiàn)上述第二目的，本發(fā)明的另一些實(shí)施例還提供了一種成熟果實(shí)識(shí) 別和定位的圖像處理裝置，包括
第一獲取模塊，用于獲取掃描圖像的數(shù)據(jù)矩陣；
生成模塊，用于根據(jù)所述數(shù)據(jù)矩陣生成所述掃描圖像的成熟果實(shí)二值 圖像，所述成熟果實(shí)二值圖像包含成熟果實(shí)圖像和背景圖像；
第二獲取模塊，用于以3*3元素窗口逐行或逐列對(duì)所述數(shù)據(jù)矩陣中的 元素進(jìn)行掃描，用于根據(jù)所述數(shù)據(jù)矩陣獲取所述成熟果實(shí)二值圖像中成熟 果實(shí)圖像第一中心；
合并模塊，用于合并相鄰所述成熟果實(shí)圖像第一中心之間的距離小于 第一預(yù)定閾值的成熟果實(shí)圖像，并獲取成熟果實(shí)圖像第二中心；
第三獲取模塊，用于根據(jù)所述成熟果實(shí)圖像第二中心和三維視覺(jué)傳感 器的中心、掃描步距角，獲取所述成熟果實(shí)圖像第二中心的三維坐標(biāo)。
由上述技術(shù)方案可知，本發(fā)明實(shí)施例的所提供的 一種成熟果實(shí)識(shí)別和定 位的圖像處理方法，通過(guò)獲取掃描圖像的數(shù)據(jù)矩陣以生成成熟果實(shí)二值圖 像，并獲取成熟果實(shí)二值圖像中的成熟果實(shí)圖像第一中心，再根據(jù)成熟果 實(shí)圖像第一中心分離毗鄰重疊的成熟果實(shí)圖像獲取成熟果實(shí)圖像第二中 心，最后結(jié)合三維視覺(jué)傳感器的中心、掃描步距角，獲取所述成熟果實(shí)圖 像第二中心的三維坐標(biāo)，實(shí)現(xiàn)了成熟果實(shí)識(shí)別和定位，與現(xiàn)有技術(shù)采用雙目立體視覺(jué)系統(tǒng)的特征提取和立體匹配識(shí)別和定位果實(shí)相對(duì)比，本發(fā)明實(shí)施 例的成熟果實(shí)識(shí)別和定位的圖像處理方法，通過(guò)用三維視覺(jué)傳感器對(duì)果實(shí) 圖像進(jìn)行掃描，能夠避開(kāi)現(xiàn)有技術(shù)中采用復(fù)雜算法的特征提取以及存在不 確定問(wèn)題較多的立體匹配，不但可以實(shí)時(shí)獲取成熟果實(shí)精確的三維坐標(biāo)信 息，而且還可以識(shí)別未成熟果實(shí)和成熟果實(shí)以及相互遮擋的成熟果實(shí)，提高
了果蔬采摘機(jī)器人采摘成熟果實(shí)的效率和質(zhì)量；
本發(fā)明實(shí)施例所提供的一種成熟果實(shí)識(shí)別和定位的圖像處理裝置，通 過(guò)第一獲取模塊獲取掃描圖像的數(shù)據(jù)矩陣，生成模塊根據(jù)所述數(shù)據(jù)矩陣生
成所述掃描圖像的成熟果實(shí)二值圖像，由第二獲取模塊以3*3元素窗口逐 行或逐列對(duì)所述數(shù)據(jù)矩陣中的元素進(jìn)行掃描以獲取成熟果實(shí)圖像第 一 中 心，再由合并模塊合并相鄰所述成熟果實(shí)圖像第 一 中心之間的距離小于第 一預(yù)定閾值的成熟果實(shí)圖像并獲取成熟果實(shí)圖像第二中心，最后由第三獲 取模塊根據(jù)所述成熟果實(shí)圖像第二中心和三維視覺(jué)傳感器的中心、掃描步 距角，獲取所述成熟杲實(shí)圖像第二中心的三維坐標(biāo)。與現(xiàn)有技術(shù)采用雙目 立體視覺(jué)系統(tǒng)的特征提取和立體匹配識(shí)別和定位果實(shí)相對(duì)比，本發(fā)明實(shí)施例 的成熟果實(shí)識(shí)別和定位的圖像處理裝置，通過(guò)用三維視覺(jué)傳感器對(duì)果實(shí)圖 像進(jìn)行掃描，能夠避開(kāi)現(xiàn)有技術(shù)中采用復(fù)雜算法的特征提取以及存在不確 定問(wèn)題較多的立體匹配，不但可以實(shí)時(shí)獲取成熟果實(shí)精確的三維坐標(biāo)信息，
蔬采摘機(jī)器人采摘成熟果實(shí)的效率和質(zhì)量。


圖l為本發(fā)明實(shí)施例成熟果實(shí)識(shí)別和定位的圖像處理方法的流程圖； 圖2為本發(fā)明實(shí)施例建立成熟果實(shí)分割模型的方法流程圖； 圖3為本發(fā)明實(shí)施例成熟果實(shí)分割模型示意9圖4為本發(fā)明實(shí)施例成熟果實(shí)鏡面反射特征示意圖5為本發(fā)明實(shí)施例建立毗鄰重疊成熟果實(shí)分離模型的方法流程圖6為本發(fā)明實(shí)施例三維坐標(biāo)系統(tǒng)的示意圖7為本發(fā)明實(shí)施例成熟果實(shí)中心三維坐標(biāo)獲取方法的流程圖8為本發(fā)明實(shí)施例成熟果實(shí)識(shí)別和定位的圖像處理裝置的示意圖。
具體實(shí)施例方式
下面通過(guò)附圖和實(shí)施例，對(duì)本發(fā)明實(shí)施例的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
本發(fā)明實(shí)施例所提供的成熟果實(shí)識(shí)別和定位的圖像處理，主要是針對(duì)在 自然條件下，對(duì)已經(jīng)成熟的果實(shí)進(jìn)行識(shí)別和定位的圖像處理，以下各實(shí)施例 中果實(shí)可以選擇以紅富士蘋(píng)果為例。
圖1為本發(fā)明實(shí)施例成熟果實(shí)識(shí)別和定位的圖像處理方法的流程圖。 如圖l所示，本發(fā)明實(shí)施例成熟果實(shí)識(shí)別和定位的圖像處理方法，包括
步驟ll、獲取掃描圖像的數(shù)據(jù)矩陣；
該步驟可以具體為處理器獲取由三維視覺(jué)傳感器通過(guò)RS-2 32總線 輸出的對(duì)應(yīng)三維視覺(jué)傳感器掃描圖像的數(shù)據(jù)矩陣，所述三維視覺(jué)傳感器的 掃描圖像即為其掃描范圍，包含m"i個(gè)掃描點(diǎn)，對(duì)應(yīng)掃描圖像具有n"n個(gè) 掃描點(diǎn)，在所述三維視覺(jué)傳感器對(duì)其掃描圖像進(jìn)行掃描時(shí)，其垂直掃描步 距角和水平掃描步距角均為Q.225度，并且同時(shí)發(fā)出波長(zhǎng)為685nm的第一 激光(或簡(jiǎn)稱(chēng)685nm激光)和波長(zhǎng)為8 30nm的第二激光(或簡(jiǎn)稱(chēng)8 3 0nni激 光)對(duì)掃描圖像內(nèi)的每一個(gè)掃描點(diǎn)進(jìn)行逐行或逐列掃描；使所述數(shù)據(jù)矩陣 中的元素與所述掃描圖像的掃描點(diǎn)在位置上相對(duì)應(yīng)，所述數(shù)據(jù)矩陣為m行 n列矩陣，具體地，所述數(shù)據(jù)矩陣包括由所述m*n個(gè)掃描點(diǎn)對(duì)第一激光 的反射值所構(gòu)成的第一數(shù)據(jù)矩陣，由所述,n個(gè)掃描點(diǎn)對(duì)第二激光的反射 值所構(gòu)成的第二數(shù)據(jù)矩陣，由所述m * n個(gè)掃描點(diǎn)到所述三維視覺(jué)傳感器中心的距離所構(gòu)成的第三數(shù)據(jù)矩陣，其中m和n分別為不小于1的正整數(shù)。 步驟12、根據(jù)所述數(shù)據(jù)矩陣生成所述掃描圖像的成熟果實(shí)二值圖像， 所述成熟果實(shí)二值圖像包含成熟果實(shí)圖像和背景圖像；
該步驟可以具體為所述第一數(shù)據(jù)矩陣、第二數(shù)據(jù)矩陣和第三數(shù)據(jù)矩 陣中的元素與所述成熟果實(shí)二值圖像的像素在位置上相對(duì)應(yīng)，所述掃描圖 像中可包括成熟果實(shí)、未成熟果實(shí)、樹(shù)枝、樹(shù)葉正面和樹(shù)葉反面，根據(jù)所 述第一數(shù)據(jù)矩陣和所述第二數(shù)據(jù)矩陣中相同位置元素的比值，判斷所述比 值是否大于第二預(yù)定閾值，若是，則所生成的成熟果實(shí)二值圖像中對(duì)應(yīng)位 置的像素被設(shè)置為成熟果實(shí)圖像的像素，其值可為1，否則所生成的成熟 果實(shí)二值圖像中對(duì)應(yīng)位置的像素被設(shè)置為背景圖像的像素，其值可為0。
其中，所述第二預(yù)定閾值具體由成熟分割模型所提供。圖2為本發(fā)明實(shí)施 例建立成熟果實(shí)分割模型的方法流程圖。圖3為本發(fā)明實(shí)施例成熟果實(shí)分 割模型示意圖。如圖2、圖3所示，建立成熟果實(shí)分割模型的方法包括 步驟12Q1、獲if又坐標(biāo)點(diǎn)；
該步驟可以具體為掃描圖像中成熟果實(shí)和未成熟果實(shí)的掃描點(diǎn)在不 同距離下對(duì)所述第一激光和第二激光的反射值，以第一激光和第二激光的 反射值組合成坐標(biāo)點(diǎn)，建立成熟果實(shí)分割模型，具體地，分別獲取成熟紅 富士蘋(píng)果和未成熟紅富士蘋(píng)果在250咖、3G0mm、 35 0mm、 400i加i、 "Omm、 5 0Omni和5 5 Omm距離下對(duì)6 8 5nm激光和8 3Onni激光的反射值，橫坐標(biāo)為8 30腿 激光反射值，縱坐標(biāo)為685nm激光反射值，如圖2所示，標(biāo)識(shí)謹(jǐn)為以成熟紅 富士蘋(píng)果在2 5 0mm、 300mm、 35 0mm、 4 00mm、 4 5 0,i、 5 0 0mm和5 5 0mn^巨離下 對(duì)685nm激光和8 3Onra激光的反射值作為在所述成熟果實(shí)分割模型中的第 一坐標(biāo)點(diǎn)，標(biāo)識(shí)▲為以未成熟紅富士蘋(píng)果在25 0mm、 300mm、 35 0mm、 400mm、 45 Omm、 5 0Omm和55 Omm距離下對(duì)68 5nm激光和8 3Onm激光的反射值作為在所 述成熟果實(shí)分割模型中的第二坐標(biāo)點(diǎn)，建立成熟果實(shí)分割模型；進(jìn)一步地， 如圖2所示，在成熟果實(shí)分割模型中，還包括樹(shù)枝、樹(shù)葉正面和樹(shù)葉反面
ii在25 0mm、 300mm、 35 0mm、 400mm、 45 0mm、 5 00mm和5 5 0,距離下對(duì)685nm激 光和8 3 Onm激光的反射值作為在所述成熟果實(shí)分割模型中的坐標(biāo)點(diǎn)，分別 以標(biāo)識(shí)□、標(biāo)識(shí)*和標(biāo)識(shí)△表示。
步驟1202、用直線方程Y4X擬合坐標(biāo)點(diǎn)；
如圖3所示，擬合第一坐標(biāo)點(diǎn)的斜率為K0=2.1，擬合第二坐標(biāo)點(diǎn)的斜 率Kl-O. 96，斜率KO和Kl分別為成熟果實(shí)和未成熟果實(shí)斜率，為了提高 直線方程Y=KX擬合的精度，進(jìn)一步可以使上述不同的距離更加接近，這 樣取得坐標(biāo)點(diǎn)則更加多，例如；分別獲取成熟紅富士蘋(píng)果和未成熟紅富士 蘋(píng)果在250mm、 27 5麵、300mm、 325nm、 350mm、 375nra、 400mm、 425nm、 450mm、 475nm、 500mm、 525nm和550mm 3巨離下只于685nm夕效光和830nn"鼓光的反射 值，以構(gòu)成坐標(biāo)點(diǎn)；進(jìn)一步地，分別擬合以標(biāo)識(shí)口、標(biāo)識(shí)參和才示識(shí)A為坐 標(biāo)點(diǎn)的斜率分別為K2=0, 67， K3=0. 49 , K4-0. 23,斜率K2、 K3和K4分 別為樹(shù)枝、樹(shù)葉正面和樹(shù)葉反面的斜率。
步驟12Q3、確定分割成熟果實(shí)的閾值；
如圖3所示，根據(jù)第一坐標(biāo)點(diǎn)的斜率K0=2. 1和第二坐標(biāo)點(diǎn)的斜率 K1=0. 96確定斜率Kt= ( K0+K1 ) /2=1. 5 3,則Kt即為分割成熟果實(shí)第二預(yù) 定閾值，即成熟果實(shí)圖形像素點(diǎn)的斜率空間為(Kt, +~ ) = ( 1. 53， +~ )。
步驟13、以3*3元素窗口逐行或逐列對(duì)所述數(shù)據(jù)矩陣中的元素進(jìn)行掃 描，獲取所述成熟果實(shí)二值圖像中第一成熟果實(shí)圖像中心；
利用成熟果實(shí)的鏡面反射特征可以獲取成熟果實(shí)的中心，進(jìn) 一 步可以 獲取成熟果實(shí)的可能數(shù)目。所述成熟果實(shí)的鏡面反射特征是指 一般具有 類(lèi)圓特征的成熟果實(shí)，在所述三維視覺(jué)傳感器的掃描過(guò)程中，果實(shí)表面的 中心部位對(duì)所述兩種激光的反射值高于果實(shí)表面的其他部分；
因?yàn)槌墒旒t富士蘋(píng)果對(duì)685nm激光的反射率高于對(duì)830nm激光的反射 率，所以本實(shí)施例選擇掃描點(diǎn)對(duì)68 5nm激光的反射值，分析成熟紅富士蘋(píng) 果的鏡面反射特征，如圖4為本發(fā)明實(shí)施例成熟果實(shí)鏡面反射特征示意圖所示，如圖4所示，橫坐標(biāo)為掃描的位置，縱坐標(biāo)為685nm激光的反射值， 進(jìn)一步對(duì)應(yīng)到所述數(shù)據(jù)矩陣中，該步驟選擇由所述m*n個(gè)掃描點(diǎn)對(duì)波長(zhǎng) 685nm的第 一激光的反射值所構(gòu)成的第一數(shù)據(jù)矩陣，以分析成熟紅富士蘋(píng) 果的鏡面反射特征；
該步驟可以具體為根據(jù)所述第 一數(shù)據(jù)矩陣中所述m*n個(gè)掃描點(diǎn)對(duì)第 一激光(波長(zhǎng)為685nm)的反射值，以3*3元素窗口逐行對(duì)所述反射值進(jìn) 行掃描，判斷所述3*3元素窗口中心元素反射值是否比所述3*3元素窗口 其余8個(gè)元素反射值的高出值均大于等于50，若是，則所述3*3元素窗口 中心元素在第一數(shù)據(jù)矩陣中的位置對(duì)應(yīng)所述成熟果實(shí)二值圖像中成熟果 實(shí)圖像第一中心。
步驟14、合并相鄰所述成熟果實(shí)圖像第一中心之間的距離小于第一預(yù) 定閾值的成熟果實(shí)圖像，并獲取成熟果實(shí)圖像第二中心；
該步驟可以具體為在成熟果實(shí)二值圖像中，以像素為單位，獲取相 鄰兩個(gè)成熟果實(shí)圖像的成熟果實(shí)圖像第一中心之間的距離，如果所述相鄰 兩個(gè)成熟果實(shí)圖像的成熟果實(shí)圖像第一中心之間的距離大于第一預(yù)定闊 值，則為兩個(gè)成熟果實(shí)；進(jìn)一步地，對(duì)兩個(gè)所述成熟果實(shí)圖像第一中心之 間的距離小于第 一預(yù)定閾值的成熟果實(shí)圖像，則合并成一個(gè)成熟果實(shí)圖 像，并獲取對(duì)應(yīng)所述第一數(shù)據(jù)矩陣中元素反射值大的所述成熟果實(shí)圖像第 一中心作為所述成熟果實(shí)圖像第二中心。其中，所述第一預(yù)定閾值具體由
毗鄰重疊成熟果實(shí)分離模型所提供。圖5為本發(fā)明實(shí)施例建立毗鄰重疊成 熟果實(shí)分離模型的方法流程圖。如圖5所示，所述毗鄰重疊成熟果實(shí)分離 模型的方法包括
步驟1401、獲取成熟果實(shí)的平均直徑；
該步驟可以具體為在本實(shí)施例中對(duì)200個(gè)成熟紅富士蘋(píng)果的直徑作 統(tǒng)計(jì)分析，得到平均直徑D=9. 6cm。
步驟14 02 、根據(jù)成熟果實(shí)的平均直徑和成熟果實(shí)圖像第二中心到三維視覺(jué)傳感器中心的距離，確定第一預(yù)定閾值。
該步驟可以具體為根據(jù)成熟果實(shí)的平均直徑D和成熟果實(shí)圖像第二 中心到三維視覺(jué)傳感器中心的距離P，確定第一預(yù)定閾值4NT (K*D/P)， 其中，INT表示對(duì)K*D/P的值取整，K為比例系數(shù)，所述成熟果實(shí)圖像第二 中心到三維視覺(jué)傳感器中心的距離P具體為，以對(duì)應(yīng)所述成熟果實(shí)圖像第 二中心的所述第三數(shù)據(jù)矩陣中的元素為中心，3*3個(gè)元素的平均值。步驟 15、根據(jù)所述成熟果實(shí)圖像第二中心和三維視覺(jué)傳感器的中心、掃描步距 角，獲取所述成熟果實(shí)圖像第二中心的三維坐標(biāo)；
該步驟可以具體為圖6為本發(fā)明實(shí)施例三維坐標(biāo)系統(tǒng)的示意圖。如 圖6所示，本發(fā)明實(shí)施例的三維坐標(biāo)系統(tǒng)，以三維視覺(jué)傳感器中心作為坐 標(biāo)原點(diǎn)O,建立三維坐標(biāo)系統(tǒng)，三維坐標(biāo)系統(tǒng)的XOY平面與掃描圖像平面的 第100行(從上方0行開(kāi)始)掃描線相交，三維坐標(biāo)系統(tǒng)的YOZ平面與掃描 圖像平面的第60列(從左邊O列開(kāi)始)掃描線相交。圖7為本發(fā)明實(shí)施例成 熟果實(shí)中心三維坐標(biāo)獲取方法的流程圖。如圖5所示，成熟果實(shí)中心三維 坐標(biāo)獲耳又方法包4舌
步驟1501、獲取成熟果實(shí)圖像第二中心C點(diǎn)對(duì)應(yīng)二值圖像的平面坐標(biāo) (x， y)，平面坐標(biāo)(x， y)對(duì)應(yīng)在所述數(shù)據(jù)矩陣的表示，即為對(duì)應(yīng)成熟 果實(shí)圖像第二中心C的元素在所述數(shù)據(jù)矩陣中的第x行、第y列；
步驟1 5 02 、根據(jù)成熟果實(shí)圖像第二中心C點(diǎn)對(duì)應(yīng)二值圖像的平面坐標(biāo) (x, y)和三維視覺(jué)傳感器的掃描步距角0.225°,獲取成熟果實(shí)圖像第二中 心C點(diǎn)相對(duì)坐標(biāo)原點(diǎn)0的水平夾角a = 0.225° *(.)'-60)和垂直夾角 ^ = 0.225。 * (100 -義)，最后采用如下公式獲取成熟果實(shí)圖像第二中心C點(diǎn)的三 維坐標(biāo)(Uc,Zc):
14Zc =尸x tanx Vl + tan2 + tan2 a)(l + tan2 / );
上述公式中的P,為所述成熟果實(shí)圖像第二中心到三維視覺(jué)傳感器中 心的距離。
本實(shí)施例中所提供的 一 種成熟果實(shí)識(shí)別和定位的圖像處理方法，通過(guò) 獲取掃描圖像的數(shù)據(jù)矩陣以生成成熟果實(shí)二值圖像，并獲取成熟果實(shí)二值 圖像中的成熟果實(shí)圖像第一中心，再根據(jù)成熟果實(shí)圖像第一中心分離毗鄰 重疊的成熟果實(shí)圖像獲取成熟果實(shí)圖像第二中心，最后結(jié)合三維視覺(jué)傳感 器的中心、掃描步距角，獲取所述成熟果實(shí)圖像第二中心的三維坐標(biāo)，實(shí) 現(xiàn)了成熟果實(shí)識(shí)別和定位。本發(fā)明實(shí)施例的成熟果實(shí)識(shí)別和定位的圖像處 理方法，不但可以識(shí)別相互遮擋的果實(shí)，而且還可以未成熟果實(shí)和成熟果 實(shí)，實(shí)時(shí)獲取成熟果實(shí)精確的三維坐標(biāo)信息，提高了果蔬采摘機(jī)器人采摘 果實(shí)的效率和質(zhì)量。
圖8為本發(fā)明實(shí)施例成熟果實(shí)識(shí)別和定位的圖像處理裝置的示意圖。 如圖8所示，本發(fā)明實(shí)施例的成熟果實(shí)識(shí)別和定位的圖像處理裝置包括， 第一獲取模塊21、生成模塊22、第二獲取模塊23、第三獲取模塊M和合 并模塊25。
其中，第一獲取模塊21獲取掃描圖像的數(shù)據(jù)矩陣，所述三維視覺(jué)傳 感器的掃描范圍包含n"n個(gè)掃描點(diǎn)，因此掃描圖像具有m*n個(gè)掃面點(diǎn)，具 體地，第一獲取模塊21還包括第一構(gòu)成單元211、第二構(gòu)成單元212和第 三構(gòu)成單元213，第一構(gòu)成單元211根據(jù)所述m*n個(gè)掃描點(diǎn)對(duì)第一激光的 反射值構(gòu)成第一數(shù)據(jù)矩陣，第二構(gòu)成單元212根據(jù)所述mm個(gè)掃描點(diǎn)對(duì)第 二激光的反射值構(gòu)成第二數(shù)據(jù)矩陣，第三構(gòu)成單元213根據(jù)所述m*n個(gè)掃 描點(diǎn)到所述三維視覺(jué)傳感器中心距離構(gòu)成的第三數(shù)據(jù)矩陣；
生成模塊22包括比值單元221和第一判斷單元222,比值單元"1 與第一構(gòu)成單元211和第二構(gòu)成單元212連接，獲取所述第一數(shù)據(jù)矩陣和 所述第二數(shù)據(jù)矩陣中相同位置元素的比值；第一判斷單元2"與比值單元
15221,判斷所述比值是否大于第二預(yù)定閾，若大于，則所生成的成熟果實(shí) 二值圖像中對(duì)應(yīng)位置的像素為所述成熟果實(shí)的圖像的像素，其值可為1, 否則所生成的成熟果實(shí)二值圖像中對(duì)應(yīng)位置的像素為所述背景圖像的像 素，其值可為0;
第二獲取模塊23包括掃描單元231和第二判斷單元232，掃描單元 231與第一構(gòu)成單元211連接，對(duì)所述第一數(shù)據(jù)矩陣中所述m*n個(gè)掃描點(diǎn) 對(duì)第一激光的反射值，以3*3元素窗口逐行或逐列對(duì)所述反射值進(jìn)行掃描； 第二判斷單元232與第一判斷單元222和掃描單元231連接，判斷所述3*3 元素窗口中心元素反射值是否比所述3*3元素窗口其余8個(gè)元素反射值的 高出值均大于等于50,若是，則所述3*3元素窗口中心元素在第一數(shù)據(jù)矩 陣中的位置對(duì)應(yīng)所述成熟果實(shí)二值圖像中成熟果實(shí)圖像第一中心；
合并模塊25包括第三判斷單元251和第一獲取單元252，第三判斷單 元251與第一判斷單元222和第二判斷單元232連接，在成熟果實(shí)二值圖 像中，第三判斷單元251判斷相鄰所述成熟果實(shí)圖像第一中心之間的距離 小于第一預(yù)定閾值的成熟果實(shí)圖像合并成一個(gè)成熟果實(shí)圖像；第一獲取單 元252與第三判斷單元251連接，在所述相鄰所述成熟果實(shí)圖像第一中心 中，第一獲取單元2 52獲取對(duì)應(yīng)所述第一數(shù)據(jù)矩陣中元素反射值大的所述 成熟果實(shí)圖像第一中心為所述成熟果實(shí)圖像第二中心。
第三獲取模塊24包括建立三維坐標(biāo)系統(tǒng)單元M1和第二獲取單元242， 建立三維坐標(biāo)系統(tǒng)單元241以三維視覺(jué)傳感器的中心為三維坐標(biāo)的原點(diǎn)0 建立三維坐標(biāo)系統(tǒng)，三維坐標(biāo)系統(tǒng)的XOY平面與掃描圖像平面的第1 OO行 (從上方O行開(kāi)始)掃描線相交，三維坐標(biāo)系統(tǒng)的YOZ平面與掃描圖像平面 的第60列(從左邊O列開(kāi)始)掃描線相交；第二獲取單元242與建立三維坐 標(biāo)系統(tǒng)單元241所述第三構(gòu)成單元213和第一獲取單元252連接，結(jié)合圖6所 示，根據(jù)所述成熟果實(shí)圖像第二中心C在所述成熟果實(shí)二值圖像中的位置， 和所述成熟果實(shí)圖像第二中心C到所述三維視覺(jué)傳感器的中心0距離以及所述三維視覺(jué)傳感器的掃描步距角0.225。，獲取成熟果實(shí)圖像第二中心C點(diǎn) 相對(duì)坐標(biāo)原點(diǎn)0的水平夾角a = 0.225。 * (>> - 60)和垂直夾角- = 0.225° * (100 - ;c), 最后采用如下公式獲取成熟果實(shí)圖像第二中心C點(diǎn)的三維坐標(biāo)(Uc,Zc),
上述公式中的P,為所述成熟果實(shí)圖像第二中心到三維視覺(jué)傳感器中 心的距離。
本實(shí)施例中所提供的一種成熟果實(shí)識(shí)別和定位的圖像處理裝置，首先 由第一獲取模塊中的第一構(gòu)成單元、第二構(gòu)成單元和第三構(gòu)成單元獲取掃 描圖像的第一數(shù)據(jù)矩陣、第二數(shù)據(jù)矩陣和第三數(shù)據(jù)矩陣，生成模塊中的比 值單元利用第二數(shù)據(jù)矩陣和第三數(shù)據(jù)矩陣相同位置元素的比值，通過(guò)第一 判斷單元生成成熟果實(shí)二值圖像，并采用第二獲取模塊的掃描單元對(duì)第一 數(shù)據(jù)矩陣掃面以及第二判斷單元獲取成熟果實(shí)二值圖像中的成熟果實(shí)圖 像第一中心，再由合并模塊的第三判斷單元相鄰所述成熟果實(shí)圖像第一中 心之間的距離小于第一預(yù)定閾值的成熟果實(shí)圖像合并成一個(gè)成熟果實(shí)圖 像，第一獲取單元獲取成熟果實(shí)圖像第二中心，最后通過(guò)第三獲取模塊中
的建立三維坐標(biāo)系統(tǒng)單元以三維視覺(jué)傳感器的中心為三維坐標(biāo)的原點(diǎn)o建 立三維坐標(biāo)系統(tǒng)，并由其中第二獲取單元結(jié)合三維視覺(jué)傳感器的中心、掃 描步距角，獲取所述成熟果實(shí)圖像第二中心的三維坐標(biāo)，實(shí)現(xiàn)了成熟果實(shí) 識(shí)別和定位。與現(xiàn)有技術(shù)采用雙目立體視覺(jué)系統(tǒng)的特征提取和立體匹配識(shí)別 和定位果實(shí)相對(duì)比，本實(shí)施例通過(guò)用三維視覺(jué)傳感器對(duì)果實(shí)圖像進(jìn)行掃描， 可以避免采用復(fù)雜算法的特征提取以及存在不確定問(wèn)題較多的立體匹配，不 ^旦可以識(shí)別相互遮檔的果實(shí)，而且還可以未成熟果實(shí)和成熟果實(shí)，實(shí)時(shí)獲 取成熟果實(shí)精確的三維坐標(biāo)信息，提高了果蔬采摘機(jī)器人采摘果實(shí)的效率
Zc =尸x tancc/^/(1 + tan2 + tan2 / );
1和質(zhì)量。
最后應(yīng)說(shuō)明的是以上實(shí)施例僅用以說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案而非 對(duì)其進(jìn)行限制，盡管參照較佳實(shí)施例對(duì)本發(fā)明實(shí)施例進(jìn)行了詳細(xì)的說(shuō)明，本
領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解其依然可以對(duì)本發(fā)明實(shí)施例的技術(shù)方案進(jìn)行 修改或者等同替換，而這些修改或者等同替換亦不能使修改后的技術(shù)方案脫 離本發(fā)明實(shí)施例技術(shù)方案的精神和范圍。
權(quán)利要求
1、一種成熟果實(shí)識(shí)別和定位的圖像處理方法，其特征在于，包括獲取掃描圖像的數(shù)據(jù)矩陣，所述掃描圖像包含m*n個(gè)掃描點(diǎn)，使所述數(shù)據(jù)矩陣中的元素與所述掃描圖像的m*n個(gè)掃描點(diǎn)在位置上相對(duì)應(yīng)，所述數(shù)據(jù)矩陣為m行n列矩陣包括由所述m*n個(gè)掃描點(diǎn)對(duì)第一激光的反射值所構(gòu)成的第一數(shù)據(jù)矩陣；由所述m*n個(gè)掃描點(diǎn)對(duì)第二激光的反射值所構(gòu)成的第二數(shù)據(jù)矩陣；由所述m*n個(gè)掃描點(diǎn)到所述三維視覺(jué)傳感器中心的距離所構(gòu)成的第三數(shù)據(jù)矩陣；其中m和n分別為不小于1的正整數(shù)；根據(jù)所述數(shù)據(jù)矩陣生成所述掃描圖像的成熟果實(shí)二值圖像，所述成熟果實(shí)二值圖像包含成熟果實(shí)圖像和背景圖像；根據(jù)所述第一數(shù)據(jù)矩陣中所述m*n個(gè)掃描點(diǎn)對(duì)第一激光的反射值，以3*3元素窗口逐行或逐列對(duì)所述第一激光的反射值進(jìn)行掃描，判斷所述3*3元素窗口中心元素反射值是否比所述3*3元素窗口其余8個(gè)元素反射值的高出值均大于等于50，若是，則所述3*3元素窗口中心元素在第一數(shù)據(jù)矩陣中的位置對(duì)應(yīng)所述成熟果實(shí)二值圖像中成熟果實(shí)圖像第一中心；合并相鄰所述成熟果實(shí)圖像第一中心之間的距離小于第一預(yù)定閾值的成熟果實(shí)圖像，并獲取成熟果實(shí)圖像第二中心；根據(jù)所述成熟果實(shí)圖像第二中心和三維視覺(jué)傳感器的中心、掃描步距角，獲取所述成熟果實(shí)圖像第二中心的三維坐標(biāo)。
2、 根據(jù)權(quán)利要求1所述的成熟果實(shí)識(shí)別和定位的圖像處理方法，其 特征在于，所述根據(jù)所述數(shù)據(jù)矩陣生成所述掃描圖像的成熟果實(shí)二值圖像 包括使所述第 一 數(shù)據(jù)矩陣、第二數(shù)據(jù)矩陣和第三數(shù)據(jù)矩陣中的元素與所述 成熟果實(shí)二值圖像的像素在位置上相對(duì)應(yīng)；獲取所述第一數(shù)據(jù)矩陣和所述第二數(shù)據(jù)矩陣中相同位置元素的比值；判斷所述比值是否大于第二預(yù)定閾值，若是，則所生成的成熟果實(shí)二值圖像中對(duì)應(yīng)位置的像素被設(shè)置為所述成熟杲實(shí)的圖像的像素，否則所生 成的成熟果實(shí)二值圖像中對(duì)應(yīng)位置的像素被設(shè)置為所述背景圖像的像素。
3、 根據(jù)權(quán)利要求2所述的成熟果實(shí)識(shí)別和定位的圖像處理方法，其特 征在于，所述獲取成熟果實(shí)圖像第二中心包括在所述成熟果實(shí)二值圖像中，對(duì)相鄰所述成熟果實(shí)圖像第一中心之間 距離小于第一預(yù)定閾值的兩個(gè)成熟果實(shí)圖像合并成一個(gè)成熟果實(shí)圖像，并 獲取在位置上對(duì)應(yīng)所述第一數(shù)據(jù)矩陣中對(duì)第一激光反射值大的成熟果實(shí) 圖像第一中心為所述成熟果實(shí)圖像第二中心。
4、 根據(jù)權(quán)利要求3所述的成熟果實(shí)識(shí)別和定位的圖像處理方法，其 特征在于，所述根據(jù)所述成熟果實(shí)圖像第二中心和三維視覺(jué)傳感器的中 心、掃描步距角，獲取所述成熟果實(shí)圖像第二中心的三維坐標(biāo)包括以三維視覺(jué)傳感器的中心為三維坐標(biāo)的原點(diǎn)建立三維坐標(biāo)系統(tǒng)，根據(jù)所述成熟果實(shí)圖像第二中心在所述成熟果實(shí)二值圖像中的位置，和所述成 熟果實(shí)圖像第二中心到所述三維視覺(jué)傳感器的中心距離以及所述三維視 覺(jué)傳感器的掃描步距角，獲取所述成熟果實(shí)圖像第二中心的三維坐標(biāo)，所 述成熟果實(shí)圖像第二中心到所述三維視覺(jué)傳感器的中心距離為，在第三數(shù) 據(jù)矩陣中以在位置上對(duì)應(yīng)所述成熟果實(shí)圖像第二中心的所述第三數(shù)據(jù)矩 陣中的元素為中心，該元素以及與之毗鄰8個(gè)元素的平均值。
5、 一種成熟果實(shí)識(shí)別和定位的圖像處理裝置，其特征在于，包括 第一獲取模塊，用于獲取掃描圖像的數(shù)據(jù)矩陣；生成模塊，用于根據(jù)所述數(shù)據(jù)矩陣生成所述掃描圖像的成熟果實(shí)二值 圖像，所述成熟果實(shí)二值圖像包含成熟果實(shí)圖像和背景圖像；第二獲取模塊，用于以3*3元素窗口逐行或逐列對(duì)所述數(shù)據(jù)矩陣中的 元素進(jìn)行掃描，用于根據(jù)所述數(shù)據(jù)矩陣獲取所述成熟果實(shí)二值圖像中成熟 果實(shí)圖像第一中心；合并模塊，用于合并相鄰所述成熟果實(shí)圖像第一中心之間的距離小于第一預(yù)定閾值的成熟果實(shí)圖像，并獲取成熟果實(shí)圖像第二中心；第三獲取模塊，用于根據(jù)所述成熟果實(shí)圖像第二中心和三維視覺(jué)傳感 器的中心、掃描步距角，獲取所述成熟果實(shí)圖像第二中心的三維坐標(biāo)。
6、 根據(jù)權(quán)利要求5所述的成熟果實(shí)識(shí)別和定位的圖像處理裝置，其 特征在于，所述掃描圖像包含,n個(gè)掃描點(diǎn)，使所述數(shù)據(jù)矩陣中的元素與 所述掃描圖像的掃描點(diǎn)在位置上相對(duì)應(yīng)，所述數(shù)據(jù)矩陣為ffl行n列矩陣， 所述第一獲取模塊還包括第一構(gòu)成單元，用于根據(jù)所述nmi個(gè)掃描點(diǎn)對(duì)第一激光的反射值構(gòu)成 第一數(shù)據(jù)矩陣；第二構(gòu)成單元，用于根據(jù)所述n^n個(gè)掃描點(diǎn)對(duì)第二激光的反射值構(gòu)成 第二數(shù)據(jù)矩陣；第三構(gòu)成單元，用于根據(jù)所述,n個(gè)掃描點(diǎn)到所述三維視覺(jué)傳感器中 心距離構(gòu)成的第三數(shù)據(jù)矩陣。
7、 根據(jù)權(quán)利要求6所述的成熟果實(shí)識(shí)別和定位的圖像處理裝置，其 特征在于，使所述第一數(shù)據(jù)矩陣、第二數(shù)據(jù)矩陣和第三數(shù)據(jù)矩陣中的元素 與所述成熟果實(shí)二值圖像的像素在位置上相對(duì)應(yīng)，所述生成模塊還包括比值單元，與所述第一數(shù)據(jù)矩陣和所述第二數(shù)據(jù)矩陣連接，用于獲取 所述第一數(shù)據(jù)矩陣和所述第二數(shù)據(jù)矩陣中相同位置元素的比值；第一判斷單元，與所述比值單元連接，判斷所述比值是否大于第二預(yù) 定閾值，若是，則所生成的成熟果實(shí)二值圖像中對(duì)應(yīng)位置的像素被設(shè)置為 所述成熟果實(shí)的圖像的像素，否則所生成的成熟果實(shí)二值圖像中對(duì)應(yīng)位置 的像素被設(shè)置為所述背景圖像的像素。
8、 根據(jù)權(quán)利要求7所述的成熟果實(shí)識(shí)別和定位的圖像處理裝置，其 特征在于，所述第二獲取模塊包括掃描單元，與所述第一構(gòu)成單元連接，用于對(duì)所述第一數(shù)據(jù)矩陣中所 述n"n個(gè)掃描點(diǎn)對(duì)第一激光的反射值，以3*3元素窗口逐行或逐列對(duì)所述反射值進(jìn)行掃描；第二判斷單元，與所述第一判斷單元和所述掃描單元連接，用于判斷所 述3*3元素窗口中心元素反射值是否比所述3*3元素窗口其余8個(gè)元素反射 值的高出值均大于等于50，若是，則所述3*3元素窗口中心元素在第一數(shù) 據(jù)矩陣中的位置對(duì)應(yīng)所述成熟果實(shí)二值圖像中成熟果實(shí)圖像第 一 中心。
9、 根據(jù)權(quán)利要求8所述的成熟果實(shí)識(shí)別和定位的圖像處理裝置，其 特征在于，所述合并模塊包括第三判斷單元，與所述第一判斷單元和所述第二判斷單元連接，用于 在成熟果實(shí)二值圖像中，判斷相鄰所述成熟果實(shí)圖像第 一 中心之間距離是 否小于第一預(yù)定閾值，若是，則將相鄰所述成熟果實(shí)圖像第一中心之間距 離小于第一預(yù)定閾值的兩個(gè)成熟果實(shí)圖像合并成一個(gè)成熟果實(shí)圖像；第一獲取單元，與所述第三判斷單元連接，用于獲取在位置上對(duì)應(yīng)所 述第 一數(shù)據(jù)矩陣中對(duì)第 一激光反射值大的成熟果實(shí)圖像第 一 中心為所述 成熟杲實(shí)圖像第二中心。
10、 根據(jù)權(quán)利要求9所述的成熟果實(shí)識(shí)別和定位的圖像處理裝置，其 特征在于，所述第三獲取模塊包括建立三維坐標(biāo)系統(tǒng)單元，用于以三維視覺(jué)傳感器的中心為三維坐標(biāo)的 原點(diǎn)建立三維坐標(biāo)系統(tǒng)；第二獲取單元，與所述建立三維坐標(biāo)系統(tǒng)單元、所述第三構(gòu)成單元和 第一獲取單元連接，用于根據(jù)所述成熟果實(shí)圖像第二中心在所述成熟果實(shí) 二值圖像中的位置，和所述成熟果實(shí)圖像第二中心到所述三維視覺(jué)傳感器 的中心距離以及所述三維視覺(jué)傳感器的掃描步距角，獲取所述成熟果實(shí)圖 像第二中心的三維坐標(biāo)，所述成熟果實(shí)圖像第二中心到所述三維視覺(jué)傳感 器的中心距離為，在第三數(shù)據(jù)矩陣中以在位置上對(duì)應(yīng)所述成熟果實(shí)圖像第 二中心的所述第三#:據(jù)矩陣中的元素為中心，該元素以及與之毗鄰8個(gè)元 素的平均值。
全文摘要
本發(fā)明實(shí)施例公開(kāi)了一種成熟果實(shí)識(shí)別和定位的圖像處理方法，其中該方法包括獲取掃描圖像的數(shù)據(jù)矩陣；根據(jù)所述數(shù)據(jù)矩陣生成所述掃描圖像的成熟果實(shí)二值圖像；以3*3元素窗口逐行或逐列對(duì)所述數(shù)據(jù)矩陣中的元素進(jìn)行掃描，獲取所述成熟果實(shí)二值圖像中成熟果實(shí)圖像第一中心；合并相鄰所述成熟果實(shí)圖像第一中心之間的距離小于第一預(yù)定閾值的成熟果實(shí)圖像，并獲取成熟果實(shí)圖像第二中心；根據(jù)所述成熟果實(shí)圖像第二中心和三維視覺(jué)傳感器的中心、掃描步距角，獲取所述成熟果實(shí)圖像第二中心的三維坐標(biāo)。本發(fā)明實(shí)施例可以避免采用復(fù)雜算法的特征提取以及存在不確定問(wèn)題較多的立體匹配，能夠?qū)崟r(shí)獲取成熟果實(shí)精確的三維坐標(biāo)信息。
文檔編號(hào)G01B11/00GK101493313SQ20091007838
公開(kāi)日2009年7月29日 申請(qǐng)日期2009年2月27日 優(yōu)先權(quán)日2009年2月27日
發(fā)明者軍 喬, 剛 劉, 劉兆祥 申請(qǐng)人:中國(guó)農(nóng)業(yè)大學(xué)