一種電動輪椅運動下的單運動目標實時檢測方法
【專利摘要】本發(fā)明涉及一種電動輪椅運動下的單運動目標實時檢測方法。本發(fā)明先通過固定在電動輪椅上的視覺采集裝置采集運動目標視頻序列；再取視頻序列中的連續(xù)三幀圖像，并根據(jù)電動輪椅的運動狀態(tài)，結(jié)合相位相關(guān)和Fourier-Mellin變換配準首尾幀相對于中間幀的縮放和平移量；然后通過連續(xù)三幀配準圖像差分相乘檢測出運動區(qū)域輪廓；接著結(jié)合形態(tài)學腐蝕、膨脹操作和投影法生成前景和背景標記模板；再根據(jù)前景和背景標記模板，通過分層投影法提取出前景和背景標記；最后根據(jù)重構(gòu)的梯度圖像，用分水嶺分割出完整的運動區(qū)域。本發(fā)明適用于運動狀態(tài)下的電動輪椅，同時對光照具有較好的魯棒性，能夠快速準確完整地檢測出運動目標。
【專利說明】—種電動輪椅運動下的單運動目標實時檢測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機視覺和智能輪椅領(lǐng)域，涉及一種電動輪椅運動下的單運動目標實時檢測方法。
【背景技術(shù)】
[0002]視頻序列圖像中運動目標檢測是計算機視覺領(lǐng)域的一個重要的研究課題，是基于視覺智能系統(tǒng)的重要組成部分。在現(xiàn)實生活中，大量有意義的視覺信息包含在運動之中，把運動目標從實時變化的背景中快速、準確地分離出來是對圖像進一步分析處理的關(guān)鍵。運動目標檢測在機器人技術(shù)、人工智能、人機接口、意圖識別、軍事系統(tǒng)等領(lǐng)域都有著廣泛的應(yīng)用，其效果好壞將直接影響后續(xù)工作。因此視頻序列圖像運動目標檢測技術(shù)具有重要的研究價值和應(yīng)用意義。
[0003]近年來由于機器人技術(shù)的迅猛發(fā)展，基于視覺的移動機器人平臺運動目標檢測已成為研究的熱點。電動輪椅就屬于移動機器人平臺的范疇。在智能輪椅領(lǐng)域中，基于視覺的人機接口研究較多，該類接口中往往需要通過頭部運動或者手部運動來驅(qū)動電動輪椅，這就首先需要對運動部分進行檢測定位；或者，在智能輪椅的意圖判別過程中，首先需要檢測出運動目標，再通過分析運動目標的運動規(guī)律來判定其意圖行為。因此，運動目標的檢測是智能輪椅領(lǐng)域中一個非常重要和關(guān)鍵的部分，具有重要的技術(shù)研發(fā)價值和廣泛的市場應(yīng)用前景。
[0004]然而，電動輪椅運動過程中獲取的序列圖像背景是動態(tài)的，必須先對動態(tài)的背景圖像進行配準補償。目前，對動態(tài)背景下的運動目標準確完整的檢測成了運動目標檢測領(lǐng)域的一個普遍性難點。常見的動態(tài)背景下運動目標檢測方法主要有光流法和基于運動補償方法。光流法能夠克服復(fù)雜無規(guī)律的運動背景，較完整的檢測出運動目標，但其計算耗時，實時性差，并不適用于電動輪椅平臺的運動目標檢測。基于運動補償?shù)姆椒☉?yīng)用較廣，是一種通過運動補償將動態(tài)背景運動目標檢測轉(zhuǎn)為趨于成熟的靜態(tài)運動目標檢測的方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供了一種電動輪椅運動下的單運動目標實時檢測方法，能夠解決電動輪椅運動時圖像序列的實時配準，運動目標輪廓的提取，運動目標的檢測問題，對光照具有較好的魯棒性，同時能夠快速準確完整地將運動目標從圖像中提取出來，為后期意圖行為的分析和處理提供基礎(chǔ)。
[0006]本發(fā)明提供的一種電動輪椅運動下的單運動目標實時檢測方法，包括背景圖像配準策略、分水嶺分割前前景和背景標記提取等發(fā)明點。
[0007]基于標記提取的分水嶺分割是一種有效的運動目標分割方法，通過提取與運動區(qū)域相關(guān)的標記，可以提高分割的精確性。標記約束分水嶺是從標記指定區(qū)域開始浸水，只要對運動區(qū)域進行合適的標記就可以對其進行準確提取。運動區(qū)域最直觀的信息是運動區(qū)域邊緣輪廓，因此，運動區(qū)域的標記選取可以通過其輪廓信息來獲得。[0008]前景標記和背景標記提取的好壞將直接影響到最后運動區(qū)域分割的完整性。為了保證算法的實時性和運動區(qū)域分割的完整性，本發(fā)明提出了一種基于運動輪廓和分層投影的方法來提取前景和背景標記。先用連續(xù)三幀配準圖像差分相乘方法檢測出運動區(qū)域輪廓，然后結(jié)合形態(tài)學膨脹、腐蝕和投影法生成前景和背景標記模板，再分別利用分層投影法提取前景和背景標記。
[0009]為了實現(xiàn)以上目的，本發(fā)明方法主要包括以下步驟:
[0010]步驟(I)運動目標視頻序列獲取。運動目標視覺信息是通過固定在電動輪椅上的光學鏡頭或CMOS圖像傳感器組件獲取。
[0011]步驟(2)圖像縮放和平移配準。取步驟(I)中視覺信號的連續(xù)三幀序列圖像，并根據(jù)電動輪椅的運動狀態(tài)，結(jié)合相位相關(guān)和Fourier-Mellin變換將其中的首尾兩幀相對于中間幀進行平移和縮放配準。
[0012]步驟(3)差分相乘運動區(qū)域輪廓檢測。對步驟(2)配準后的三幀圖像進行差分相乘，檢測出運動區(qū)域輪廓。
[0013]步驟(4)前景和背景標記模版的生成。對步驟(3)檢測出的運動目標輪廓圖像分別進行形態(tài)學膨脹和腐蝕操作，再用投影法分別得到運動區(qū)域輪廓的外接矩形區(qū)域，生成前景和背景標記模板。
[0014]步驟(5)前景和背景標記的提取。根據(jù)步驟(4)得到的前景和背景標記模版，分別利用分層投影法提取出前景和背景標記。
[0015]步驟(6)分水嶺運動目標分割。將步驟(5)提取的前景和背景標記進行“并”操作得到標記掩膜，再用強制最小技術(shù)重構(gòu)梯度圖像，并利用標記約束分水嶺算法分割出完整的運動區(qū)域。
[0016]本發(fā)明與已有的動態(tài)背景下運動目標檢測方法相比，具有以下特點:
[0017]1、比較準確完整的檢測出運動目標。
[0018]本發(fā)明主要是通過標記約束分水嶺算法對運動目標進行檢測，只要對運動區(qū)域進行合適的標記就可以對其進行準確完整地提取。而本發(fā)明中前景和背景標記是在以運動目標的運動區(qū)域輪廓為基礎(chǔ)的前提下再通過結(jié)合形態(tài)學圖像處理及分層投影法來提取的。其中，分層投影是對前景和背景標記模板中運動區(qū)域輪廓的外接矩形區(qū)域先進行分層，再對每一層進行投影定位出邊界。當分的層數(shù)越多時，獲得的邊界信息就越接近實際運動區(qū)域的輪廓，提取出的前景和背景標記就越能代表實際的運動目標和背景，因而，通過標記約束分水嶺算法就能較準確完整的檢測出運動目標。
[0019]2、本發(fā)明能夠適應(yīng)規(guī)則和非規(guī)則運動目標的檢測。
[0020]本發(fā)明對檢測的對象沒有限制，也就是都能夠完整地檢測出規(guī)則和非規(guī)則的運動目標，同時，檢測出的運動目標邊緣比較平滑，不存在目標運動時產(chǎn)生的拖影現(xiàn)象，比較適合于一些高要求的應(yīng)用場合。
【專利附圖】

【附圖說明】
[0021]圖1為本發(fā)明的實施流程圖；
[0022]圖2a為電動輪椅右轉(zhuǎn)時較規(guī)則頭部運動的原始第一幀；
[0023]圖2b為電動輪椅右轉(zhuǎn)時較規(guī)則頭部運動的原始第二幀；[0024]圖2c為電動輪椅右轉(zhuǎn)時較規(guī)則頭部運動的原始第三幀；
[0025]圖2d為電動輪椅右轉(zhuǎn)時較規(guī)則頭部運動的輪廓及其外接矩形；
[0026]圖2e為電動輪椅右轉(zhuǎn)時較規(guī)則頭部運動的標記提前；
[0027]圖2f為電動輪椅右轉(zhuǎn)時較規(guī)則頭部運動的檢測結(jié)果；
[0028]圖3a為電動輪椅前進時非規(guī)則手部運動的原始第一幀；
[0029]圖3b為電動輪椅前進時非規(guī)則手部運動的原始第二幀；
[0030]圖3c為電動輪椅前進時非規(guī)則手部運動的原始第三幀；
[0031]圖3d為電動輪椅前進時非規(guī)則手部運動的輪廓及其外接矩形；
[0032]圖3e為電動輪椅前進時非規(guī)則手部運動的標記提前；
[0033]圖3f為電動輪椅前進時非規(guī)則手部運動的檢測結(jié)果。
【具體實施方式】
[0034]下面結(jié)合附圖詳細描述本發(fā)明提供的一種電動輪椅運動下的單運動目標實時檢測方法，圖1為實施流程圖。
[0035]如圖1，本發(fā)明方法的實施主要包括六個步驟:(I)通過固定在電動輪椅上的光學鏡頭或CMOS圖像傳感器組件獲取頭部視覺信息；(2)取(I)中視覺信號的連續(xù)三幀序列圖像，并根據(jù)電動輪椅的運動狀態(tài)，結(jié)合相位相關(guān)和Fourier-Mellin變換將其中的首尾兩幀相對于中間幀進行平移和縮放配準；(3)對(2)配準后的三幀圖像進行差分相乘，檢測出運動區(qū)域輪廓；(4)對(3)檢測出的運動目標輪廓圖像分別進行形態(tài)學膨脹和腐蝕操作，再用投影法分別得到運動區(qū)域輪廓的外接矩形區(qū)域，生成前景和背景標記模板；(5)根據(jù)(4)得到的前景和背景標記模版，分別利用分層投影法提取出前景和背景標記；(6)將(5)提取的前景和背景標記進行“并”操作得到標記掩膜，再用強制最小技術(shù)重構(gòu)梯度圖像，并利用標記約束分水嶺算法分割出完整的運動區(qū)域。
[0036]步驟一:運動目標視頻序列獲取
[0037]運動目標視覺信息通過固定在電動輪椅上的光學鏡頭或CMOS圖像傳感器組件獲取。
[0038]步驟二:圖像縮放和平移配準
[0039]由于相位信息包含了大量的圖像特征信息，并且相位相關(guān)算法對光照變化、圖像內(nèi)容、部分遮擋、加性噪聲等影響因素具有很強的魯棒性，而且算法計算量小，因此本發(fā)明用該算法對步驟一中視覺信息的連續(xù)三幀進行配準。
[0040]I)圖像平移量估計
[0041]當電動輪椅進行原地左右轉(zhuǎn)動時，序列圖像幀間背景可以近似作平移變化，其平移變化用下面式子表示:
[0042]Ia (x, y) = Ib (χ_ Δ x, y- Δ y)(I)
[0043]式中，(Δχ, Ay)表示圖像Ia和圖像Ib之間X軸和y軸方向的平移量。
[0044]由傅里葉時移性質(zhì)可得圖像Ia和圖像Ib對應(yīng)的傅里葉變換Fa(u，v) ^PFB(u, v)的關(guān)系如下:
[0045]Fa (U，V) = Fb (U，V) eH2"(uX Δχ+νΧ Δ?))(2)
[0046]則兩幅圖像的互功率譜為:
【權(quán)利要求】
1.一種電動輪椅運動下的單運動目標實時檢測方法，其特征在于該方法包括如下步驟: 步驟(1)運動目標視頻序列獲取:通過固定在電動輪椅上的光學鏡頭或CMOS圖像傳感器組件獲?。? 步驟⑵圖像縮放和平移配準:取步驟⑴中視覺信號的連續(xù)三幀序列圖像，并根據(jù)電動輪椅的運動狀態(tài)，結(jié)合相位相關(guān)和Fourier-Mellin變換將其中的首尾兩幀相對于中間幀進行平移和縮放配準； 步驟(3)差分相乘運動區(qū)域輪廓檢測:對步驟(2)配準后的三幀圖像進行差分相乘，檢測出運動區(qū)域輪廓； 步驟(4)前景和背景標記模版的生成:對步驟(3)檢測出的運動目標輪廓圖像分別進行形態(tài)學膨脹和腐蝕操作，再用投影法分別得到運動區(qū)域輪廓的外接矩形區(qū)域，生成前景和背景標記模板； 步驟(5)前景和背景標記的提取:根據(jù)步驟(4)得到的前景和背景標記模版，分別利用分層投影法提取出前景和背景標記； 步驟(6)分水嶺運動目標分割:將步驟(5)提取的前景和背景標記進行“并”操作得到標記掩膜，再用強制最小技術(shù)重構(gòu)梯度圖像，并利用標記約束分水嶺算法分割出完整的運動區(qū)域。
【文檔編號】G06T7/20GK103942813SQ201410106818
【公開日】2014年7月23日 申請日期:2014年3月21日 優(yōu)先權(quán)日:2014年3月21日
【發(fā)明者】佘青山, 楊偉健, 陳希豪, 李前戎 申請人:杭州電子科技大學