專利名稱：基于立體視覺三維手指運動軌跡跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于立體視覺三維手指運動軌跡跟蹤方法，用于智能圖像分析與目標提取。屬于智能信息處理技術(shù)領(lǐng)域。
背景技術(shù)：
隨著計算機技術(shù)的不斷發(fā)展，計算機能力得到了極大提高，利用計算機實現(xiàn)人類的視覺功能，成為必然。其中，視覺目標跟蹤，是實現(xiàn)對圖像序列中的運動目標檢測、提取、識別和跟蹤，獲取運動目標運動參數(shù)和運動軌跡，從而進一步處理與分析、實現(xiàn)對運動目標的行為理解，完成更高一級任務(wù)。視覺目標跟蹤在視頻監(jiān)視、虛擬現(xiàn)實、增強現(xiàn)實、人機交互、動畫運動捕獲、視頻壓縮、視頻會議、智能交通、軍事制導(dǎo)等方面具有廣泛應(yīng)用前景，也是行為識別等高級機器視覺的基礎(chǔ)。
同時，人們一直尋求自然、直觀的人機交互方式，以擺脫鍵盤、鼠標、觸摸屏等人機交互方式的局限。而手指是人類最直接也是最有效的人機交互工具，通過視頻采集，獲取手指運動信息，實現(xiàn)自然、直觀的人機交互。
目前手指跟蹤系統(tǒng)，需要使用者佩帶有顏色的手套，或基于使用者膚色，或借助于三維攝像機或紅外攝像機或激光筆等。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有手指跟蹤系統(tǒng)需要使用者佩帶有顏色的手套，或基于使用者膚色，或借助于三維攝像機或紅外攝像機或激光筆等，提供一種基于立體視覺三維手指跟蹤方法。它是基于場景中任何可察覺目標運動都會體現(xiàn)在場景圖像序列的變化中，通過建立自適應(yīng)背景模型，從復(fù)雜背景中提取運動對象。并通過立體匹配，獲取手指三維坐標信息。從而實現(xiàn)對運動手指的行為理解及自然、直觀的人機交互。
為達到上述目的，本發(fā)明的構(gòu)思是(1)背景建模與運動手指目標分割基于場景中任何可察覺的目標運動都會體現(xiàn)在場景圖像序列的變化中，以及彩色圖像中紅、綠、藍三分量光強度在陰影區(qū)域存在差異，設(shè)時間間隔Δt內(nèi)，分別獲得tn-1與tn兩時刻的兩幀圖像f(tn-1，x，y)，f(tn，x，y)，將兩幅圖像逐象素求差值，得差分圖像Diff(x，y)。
DiffR(x，y)＝|fR(tn，x，y)-fR(tn-1，x，y)|DiffG(x，y)＝|fG(tn，x，y)-fG(tn-1，x，y)| (1)DiffB(x，y)＝|fB(tn，x，y)-fB(tn-1，x，y)|其中，DiffR，DiffG，DiffB分別對應(yīng)差分圖像紅、綠、藍三分量，|f|為f的絕對值。
Backf(x，y)＝DiffR(x，y)≤T|DiffG(x，y)≤T|DiffB(x，y)≤T+ΔT (2)其中，T為閾值，ΔT為消除陰影的補償閾值，|為或運算符。
當時間間隔Δt內(nèi)的兩序列圖像f(tn-1，x，y)，f(tn，x，y)滿足式(2)時，表明該時間間隔內(nèi)沒有任何變化物體，從而可將tn/tn-1之間任意時刻圖像作為背景圖像?；谒帽尘皥D像，利用當前幀圖像減去背景圖像得差分圖像I，分割出運動目標區(qū)域。
為消除光照及其它干擾噪聲影響，對差分圖像I進行數(shù)學(xué)形態(tài)學(xué)濾波，確定運動目標區(qū)域。具體方法如下對所得差分圖像I作二值處理，采用某個大小的濾波算子對該二值圖像進行濾波后，與初始二值圖像相加，得到一個封閉的二值圖像。對該二值圖像作閉運算，獲取二值運動目標分割區(qū)域。
(2)手指點特征提取與三維手指尖坐標基于二值運動目標分割區(qū)域，采用自適應(yīng)矩形形狀結(jié)構(gòu)元素，作數(shù)學(xué)形態(tài)學(xué)開運算，分割出手指或手臂對象?；谑种冈诙S圖像空間中的位置關(guān)系，確定手指尖特征點位置?；诜指畛龅氖种富蚴直蹖ο?，確定手指或手臂軸線?；谑种讣狻⑹种富蚴直圯S線及外極線關(guān)系，確定手指尖的對應(yīng)匹配。采用求解出的手指尖對應(yīng)點與相應(yīng)手指尖點的距離小于某閾值Th，作為求解的手指尖匹配點為正確匹配對應(yīng)指尖點判據(jù)?；谑种讣鈱?yīng)特征點和攝像機投影矩陣，重建手指尖三維坐標。
根據(jù)上述的發(fā)明構(gòu)思，本發(fā)明采用如下技術(shù)方案一種基于立體視覺三維手指運動軌跡跟蹤方法，其特征在于基于場景中任何可察覺的目標運動都會體現(xiàn)在場景圖像序列的變化中，及彩色圖像中紅、綠、藍三分量光強度在陰影區(qū)域存在差異，進行自適應(yīng)背景建模；基于建立的背景模型，提取前景運動對象，從前景對象中分割出手指或手臂對象，提取手指尖特征點；基于手指尖、手指或手臂軸線及外極線的多幾何約束關(guān)系，確定手指尖的對應(yīng)匹配；采用求解出的手指尖對應(yīng)點與相應(yīng)手指點的距離小于某閾值Th，作為手指尖匹配點為正確匹配對應(yīng)指尖點判據(jù)；基于手指尖對應(yīng)特征點和攝像機投影矩陣，重建手指尖三維坐標；具體步驟如下(1)啟動計算機及攝像機圖像采集系統(tǒng)對由攝像機采集到的標定用圖像進行攝像機標定，確定攝像機投影矩陣；(2)獲取背景圖像連續(xù)采集不包含目標的場景圖像，當一設(shè)定時間間隔內(nèi)兩圖像差小于某個設(shè)定閾值時，則獲取背景場景作為背景圖像，否則重新采集，直到滿足設(shè)定的時間間隔內(nèi)的兩圖像差小于某個設(shè)定閾值；(3)運動目標分割由攝像機采集的當前幀圖像與步驟(2)取的背景圖像相減，分割出運動目標區(qū)域；(4)采用數(shù)學(xué)形態(tài)學(xué)濾波方法，獲取完整的運動目標；(5)根據(jù)手指在采集到的二維圖像中的空間位置關(guān)系，分割出手臂、手指對象，并確定手指尖在圖像中的位置；(6)基于手指尖、手指或手臂軸線以及攝像機采集圖像的外極線之間的幾何關(guān)系，確定手指尖的匹配對應(yīng)；(7)若求解出的手指尖匹配對應(yīng)點與相應(yīng)的手指尖位置的距離小于設(shè)定閾值，則求解的手指尖為正確匹配對應(yīng)手指尖；否則，轉(zhuǎn)入步驟(3)，重新根據(jù)當前采集到的圖像，確定手指尖位置；(8)基于手指尖位置和攝像機投影矩陣，重建手指尖三維坐標。
本發(fā)明與現(xiàn)有技術(shù)相比較，具有如下顯而易見的突出實質(zhì)性特點和顯著優(yōu)點本發(fā)明根據(jù)基于場景中任何可察覺的目標運動都會體現(xiàn)在場景圖像序列的變化中及彩色圖像中紅、綠、藍三分量光強度在陰影區(qū)域存在差異，實現(xiàn)背景建模，解決了現(xiàn)有技術(shù)前景分割不完整或陰影區(qū)域分割困難的局限性，提高了前景分割的魯棒性，不需借助任何外界輔助手段或設(shè)備，可適應(yīng)光照、陰影、噪聲等的干擾影響?；谑种讣馓卣鼽c、手指或手臂軸線及外極線等多幾何約束關(guān)系，求解手指尖特征點對應(yīng)匹配，有效解決了匹配搜索中的盲目性、歧義性，保證了手指尖對應(yīng)匹配的魯棒性。本發(fā)明通過視頻采集，獲取手指運動信息，實現(xiàn)自然、直觀的人機交互。


圖1是本發(fā)明的程序流程框圖。
圖2是本發(fā)明一個實施例的操作者未手指前方目標時的場景圖像。
圖3是圖2示例操作者徒手指向前方一目標時(前方目標被點亮—方框)的場景圖像。
具體實施例方式
本發(fā)明的一個實施例是對圖2所示的背景圖像下，手指運動軌跡的跟蹤方法，本方法的程序流程如圖1所示。
本基于立體視覺三維手指運動軌跡跟蹤方法，其特征在于基于場景中任何可察覺的目標運動都會體現(xiàn)在場景圖像序列的變化中，及彩色圖像中紅、綠、藍三分量光強度在陰影區(qū)域存在差異，進行自適應(yīng)背景建模；基于建立的背景模型，提取前景運動對象，從前景對象中分割出手指或手臂對象，提取手指尖特征點；基于手指尖、手指或手臂軸線及外極線的多幾何約束關(guān)系，確定手指尖的對應(yīng)匹配；采用求解出的手指尖對應(yīng)點與相應(yīng)手指點的距離小于某閾值Th，作為手指尖匹配點為正確匹配對應(yīng)指尖點判據(jù)；基于手指尖對應(yīng)特征點和攝像機投影矩陣，重建手指尖三維坐標；具體步驟如下(1)啟動計算機及攝像機圖像采集系統(tǒng)對由攝像機采集到的標定用圖像進行攝像機標定，確定攝像機投影矩陣；(2)獲取背景圖像連續(xù)采集不包含目標的場景圖像，當一設(shè)定時間間隔內(nèi)兩圖像差小于某個設(shè)定閾值時，則獲取背景場景作為背景圖像，否則重新采集，直到滿足設(shè)定的時間間隔內(nèi)的兩圖像差小于某個設(shè)定閾值；(3)運動目標分割由攝像機采集的當前幀圖像與步驟(2)取的背景圖像相減，分割出運動目標區(qū)域；(4)采用數(shù)學(xué)形態(tài)學(xué)濾波方法，獲取完整的運動目標；(5)根據(jù)手指在采集到的二維圖像中的空間位置關(guān)系，分割出手臂、手指對象，并確定手指尖在圖像中的位置；(6)基于手指尖、手指或手臂軸線以及攝像機采集圖像的外極線之間的幾何關(guān)系，確定手指尖的匹配對應(yīng)；(7)若求解出的手指尖匹配對應(yīng)點與相應(yīng)的手指尖位置的距離小于設(shè)定閾值，則求解的手指尖為正確匹配對應(yīng)手指尖；否則，轉(zhuǎn)入步驟(3)，重新根據(jù)當前采集到的圖像，確定手指尖位置；(8)基于手指尖位置和攝像機投影矩陣，重建手指尖三維坐標。
圖2示出操作者徒手指前方目標時前方目標(方框)被點亮的場景圖像。
權(quán)利要求
1.一種基于立體視覺三維手指運動軌跡跟蹤方法，其特征在于基于場景中任何可察覺的目標運動都會體現(xiàn)在場景圖像序列的變化中，及彩色圖像中紅、綠、藍三分量光強度在陰影區(qū)域存在差異，進行自適應(yīng)背景建模；基于建立的背景模型，提取前景運動對象，從前景對象中分割出手指或手臂對象，提取手指尖特征點；基于手指尖、手指或手臂軸線及外極線的多幾何約束關(guān)系，確定手指尖的對應(yīng)匹配；采用求解出的手指尖對應(yīng)點與相應(yīng)手指點的距離小于某閾值Th，作為手指尖匹配點為正確匹配對應(yīng)指尖點判據(jù)；基于手指尖對應(yīng)特征點和攝像機投影矩陣，重建手指尖三維坐標；具體步驟如下(1)啟動計算機及攝像機圖像采集系統(tǒng)對由攝像機采集到的標定用圖像進行攝像機標定，確定攝像機投影矩陣；(2)獲取背景圖像連續(xù)采集不包含目標的場景圖像，當一設(shè)定時間間隔內(nèi)兩圖像差小于某個設(shè)定閾值時，則獲取背景場景作為背景圖像，否則重新采集，直到滿足設(shè)定的時間間隔內(nèi)的兩圖像差小于某個設(shè)定閾值；(3)運動目標分割由攝像機采集的當前幀圖像與步驟(2)取的背景圖像相減，分割出運動目標區(qū)域；(4)采用數(shù)學(xué)形態(tài)學(xué)濾波方法，獲取完整的運動目標；(5)根據(jù)手指在采集到的二維圖像中的空間位置關(guān)系，分割出手臂、手指對象，并確定手指尖在圖像中的位置；(6)基于手指尖、手指或手臂軸線以及攝像機采集圖像的外極線之間的幾何關(guān)系，確定手指尖的匹配對應(yīng)；(7)若求解出的手指尖匹配對應(yīng)點與相應(yīng)的手指尖位置的距離小于設(shè)定閾值，則求解的手指尖為正確匹配對應(yīng)手指尖；否則，轉(zhuǎn)入步驟(3)，重新根據(jù)當前采集到的圖像，確定手指尖位置；(8)基于手指尖位置和攝像機投影矩陣，重建手指尖三維坐標。
全文摘要
一種基于立體視覺三維手指運動軌跡跟蹤方法。為從復(fù)雜背景中分割運動目標，基于場景中任何可察覺目標運動都會體現(xiàn)在場景圖像序列變化中，建立自適應(yīng)背景模型，采用背景差分法從復(fù)雜背景中提取運動對象，并基于手指在圖像空間中的位置關(guān)系，分割出手指或手臂區(qū)域。為解決手指尖特征點對應(yīng)匹配，基于手指尖特征點、手指或手臂軸線及外極線等多幾何約束關(guān)系，確定手指尖特征對應(yīng)點。采用求解反對應(yīng)方法，確保手指尖匹配對應(yīng)的正確性?；谑种讣鈱?yīng)特征點和攝像機投影矩陣，重建手指尖三維坐標。本發(fā)明通過視頻采集，獲取手指運動信息，實現(xiàn)自然、直觀的人機交互。
文檔編號G06T15/00GK101038671SQ20071003994
公開日2007年9月19日 申請日期2007年4月25日 優(yōu)先權(quán)日2007年4月25日
發(fā)明者管業(yè)鵬, 潘志浩 申請人:上海大學(xué)