專利名稱：一種用于目標(biāo)跟蹤的人機交互裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及目標(biāo)跟蹤技術(shù)領(lǐng)域，特別是涉及一種用于目標(biāo)跟蹤的人機交互裝置及方法。
背景技術(shù)：
目前已有的目標(biāo)跟蹤設(shè)備大部分都是固定的攝像機設(shè)備，通過固定攝像機設(shè)備的旋轉(zhuǎn)，單角度實時檢測和跟蹤目標(biāo)物體。例如，通過固定的攝像頭或網(wǎng)絡(luò)攝像機獲取場景中的圖像，采集的圖像視頻數(shù)據(jù)通過處理器進行存儲，并采用特定的算法對獲得的圖像進行處理、實時分析，快速檢測出目標(biāo)物體，并進行跟蹤。這種目標(biāo)跟蹤需要依賴目標(biāo)物體的選取，選取條件需要通過軟件提前設(shè)置。然而，很多時候可能由于角度問題無法實時對目標(biāo)物體進行檢測跟蹤，或者檢測到錯誤的目標(biāo)物體進行跟蹤，無法實現(xiàn)實時篩選和跟蹤不同目標(biāo)。專利公開號為CN101144716A的中國專利公開了一種多視角運動目標(biāo)檢測、定位與對應(yīng)方法，屬于視頻監(jiān)控技術(shù)領(lǐng)域。該方法包括如下步驟對多個視角的視頻圖像進行前景檢測，得到二值前景圖像；根據(jù)所述二值前景圖像，建立空間場模型，在所述空間場模型中進行三維重建，得到運動目標(biāo)的三維重建結(jié)果；對所述三維重建結(jié)果進行分析，在空間場中檢測并定位運動目標(biāo)，得到運動目標(biāo)的空間位置；根據(jù)所述運動目標(biāo)的空間位置，向各視角投影，確定多個視角間運動目標(biāo)的對應(yīng)關(guān)系。專利公開號為CN101751677A的中國專利公開了一種基于多攝像機的目標(biāo)連續(xù)跟蹤方法，基于多路視頻，包括目標(biāo)檢測，目標(biāo)跟蹤，目標(biāo)特征提取，計算到達區(qū)域和離開區(qū)域，計算攝像機區(qū)域連接關(guān)系，目標(biāo)匹配、數(shù)據(jù)關(guān)聯(lián)以及目標(biāo)連續(xù)跟蹤步驟。結(jié)合攝像機區(qū)域連接關(guān)系和目標(biāo)匹配信息，判斷攝像機下出現(xiàn)的目標(biāo)是新出現(xiàn)目標(biāo)還是其它攝像機下已出現(xiàn)過的目標(biāo)，從而實現(xiàn)運動目標(biāo)連續(xù)跟蹤。上述專利以及現(xiàn)有的目標(biāo)跟蹤系統(tǒng)，其設(shè)備一般都是固定裝置，體積相對比較龐大，移動性差，跟蹤的范圍有限，且在多目標(biāo)情況下無法根據(jù)需要實現(xiàn)人為自由選擇目標(biāo)物體進行跟蹤，跟蹤目標(biāo)丟失率較大，精度較低。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)的上述缺陷，提供一種用于目標(biāo)跟蹤的人機交互裝置及方法，能可移動、多角度地拍攝周圍場景，通過顯示裝置實時顯示周圍場景，可通過人眼實現(xiàn)人與裝置的交互，自由、實時地選擇需要跟蹤的目標(biāo)，并可以360度無盲點地檢測、跟蹤目標(biāo)物體，跟蹤丟失率低，精度聞。本發(fā)明采用如下技術(shù)方案一種用于目標(biāo)跟蹤的人機交互裝置，所述裝置包括頭盔設(shè)備，在所述頭盔設(shè)備上設(shè)置有第一信息處理單元、顯示裝置、視線追蹤系統(tǒng)和多個攝像頭；所述攝像頭安裝于頭盔設(shè)備四周并與第一信息處理單元連接，攝像頭實時拍攝頭盔設(shè)備周圍的場景視頻并將拍攝的場景視頻傳輸給第一信息處理單元；所述第一信息處理單元分別與攝像頭和顯示裝置連接，第一信息處理單元接收和處理所述場景視頻，并將處理后的場景視頻發(fā)送給顯示裝置；所述顯示裝置與第一信息處理單元連接，用于顯示處理后的場景視頻；所述視線追蹤系統(tǒng)與第一信息處理單元連接，視線追蹤系統(tǒng)通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定所述目標(biāo)并進行實時跟蹤。優(yōu)選地，所述攝像頭為至少4個，分別安裝于頭盔設(shè)備四周的前后左右四面。優(yōu)選地，所述第一信息處理單元處理所述場景視頻具體為所述第一信息處理單元將接收到的場景視頻進行融合拼接，得到場景的360度全景視頻。 優(yōu)選地，所述顯示裝置為眼鏡式微型顯示屏。優(yōu)選地，所述視線追蹤系統(tǒng)包括紅外光源、攝像機和第二信息處理單元；所述紅外光源交替亮暗；所述攝像機與第二信息處理單元連接，拍攝人眼的亮瞳暗瞳交替視頻幀并將拍攝的視頻幀發(fā)送給第二信息處理單元；所述第二信息處理單元分別與攝像機和第一信息處理單元連接，對所述視頻幀進行分析和處理從而實現(xiàn)對使用者的人眼視線追蹤，并與所述第一信息處理單元互動從而確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定所述目標(biāo)并進行實時跟蹤；或者，所述視線追蹤系統(tǒng)包括紅外光源和攝像機；所述紅外光源交替亮暗；所述攝像機與第一信息處理單元連接，拍攝人眼的亮瞳暗瞳交替視頻幀并將拍攝的視頻幀發(fā)送給第一信息處理單元；所述第一信息處理單元對所述視頻幀進行分析和處理從而實現(xiàn)對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定所述目標(biāo)并進行實時跟蹤。優(yōu)選地，所述第一信息處理單元和第二信息處理單元采用微處理器；所述視線追蹤系統(tǒng)還包括一存儲單元；當(dāng)所述視線追蹤系統(tǒng)包括第二信息處理單元時，所述存儲單元與第二信息處理單元連接；當(dāng)所述視線追蹤系統(tǒng)不包括第二信息處理單元時，所述存儲單元與第一信息處理單元連接；存儲單元用于存儲目標(biāo)物體的特征、運動軌跡、所在區(qū)域范圍以及丟失的位置和區(qū)域。優(yōu)選地，所述第一信息處理單元還對場景中的異常情況進行分析，并根據(jù)所述分析的結(jié)果發(fā)出警告信號。本發(fā)明還提供了一種用于目標(biāo)跟蹤的人機交互方法，其特征在于，所述方法包括如下步驟實時拍攝頭藍設(shè)備周圍的場景視頻；對所述場景視頻進行處理；在顯示屏上顯示處理后的場景視頻；通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定所述目標(biāo)并進行實時跟蹤。優(yōu)選地，所述實時拍攝頭盔設(shè)備周圍的場景視頻的步驟通過多個攝像頭完成；所述對所述場景視頻進行處理的步驟具體為對每一個攝像頭所拍攝的視頻圖像序列進行場景融合拼接，得到場景的360度全景視頻。所述在顯示屏上顯示處理后的場景視頻的步驟具體為在眼鏡式微型顯示屏上顯示處理后的360度全景視頻。優(yōu)選地，所述通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定所述目標(biāo)并進行實時跟蹤的步驟通過視線追蹤系統(tǒng)完成，該步驟具體包括跟蹤使用者眼睛，提取眼睛參數(shù)，確定使用者的視線焦點在顯示屏上的位置，并通過對使用者的眼睛動作分析對應(yīng)的控制指令，鎖定顯示屏上待跟蹤目標(biāo)物體，提取目標(biāo)物體特征并存儲；采用粒子濾波算法跟蹤運動的所述目標(biāo)物體，提取目標(biāo)物體特征并匹配，當(dāng)在一個攝像頭所拍攝的圖像序列中目標(biāo)物體匹配成功時，鎖定跟蹤目標(biāo)物體，更新目標(biāo)物體特征，計算目標(biāo)物體的位移和速度，記錄目標(biāo)物體的運動軌跡，更新目標(biāo)物體所在區(qū)域范圍；當(dāng)在一個攝像頭所拍攝的圖像序列中目標(biāo)物體匹配不成功時，對所述攝像頭相鄰的攝像頭所拍攝的圖像序列與所述攝像頭交叉的區(qū)域進行融合，當(dāng)在所述相鄰的攝像頭檢測到目標(biāo)物體時，匹配成功，鎖定跟蹤目標(biāo)物體，更新目標(biāo)物體特征，計算目標(biāo)物體的位移和速度，記錄目標(biāo)物體的運動軌跡，更新目標(biāo)物體所在區(qū)域范圍； 當(dāng)在所有的攝像頭所拍攝的圖像序列中目標(biāo)物體均匹配不成功時，目標(biāo)物體跟蹤丟失，記錄目標(biāo)物體丟失的位置和區(qū)域，存儲目標(biāo)物體的跟蹤數(shù)據(jù)。優(yōu)選地，所述目標(biāo)物體為多個，所述方法還包括通過對使用者的眼睛動作分析對應(yīng)的控制指令，解除對顯示屏上已跟蹤目標(biāo)物體的跟蹤。本發(fā)明利用頭盔裝置的可移動性，通過多個攝像頭可多角度拍攝周圍場景，通過顯示裝置實時顯示周圍場景，通過視線追蹤系統(tǒng)可實現(xiàn)人與裝置的交互，人眼可自由、實時地選擇需要跟蹤的目標(biāo)，并可以360度無盲點地進行檢測、跟蹤目標(biāo)物體，跟蹤丟失率低，精度聞。


圖1為本發(fā)明實施例1用于目標(biāo)跟蹤的人機交互裝置正面示意圖；圖2為本發(fā)明實施例1用于目標(biāo)跟蹤的人機交互裝置俯視示意圖；圖3為本發(fā)明實施例1中人機交互裝置的結(jié)構(gòu)框圖；圖4為本發(fā)明實施例2中人機交互裝置的結(jié)構(gòu)框圖；圖5為本發(fā)明實施例3用于目標(biāo)跟蹤的人機交互方法流程圖；圖6為本發(fā)明實施例3用于目標(biāo)跟蹤的人機交互方法詳細流程圖。圖標(biāo)說明I頭盔設(shè)備，2第一信息處理單元，3顯示裝置，4視線追蹤系統(tǒng)，41紅外光源，42攝像機，43第二信息處理單元，5攝像頭，6存儲單元。
具體實施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
實施例1 請參閱圖1和圖2所示，圖1為本發(fā)明實施例1用于目標(biāo)跟蹤的人機交互裝置正面示意圖，圖2為本發(fā)明實施例1用于目標(biāo)跟蹤的人機交互裝置俯視示意圖。本實施例提供了一種用于目標(biāo)跟蹤的人機交互裝置，該裝置包括頭盔設(shè)備1，在頭盔設(shè)備I上設(shè)置有第一信息處理單元2、顯示裝置3、視線追蹤系統(tǒng)4和多個攝像頭5。攝像頭5安裝于頭盔設(shè)備I四周并與第一信息處理單元2連接，實時拍攝頭盔設(shè)備I周圍的場景視頻并將拍攝的場景視頻傳輸給第一信息處理單元2，攝像頭5設(shè)置至少4個，分別安裝于頭盔設(shè)備I四周的前后左右四面，本實施例中，設(shè)置有4個攝像頭5。第一信息處理單元2分別與攝像頭5和顯示裝置3連接，接收和處理場景視頻，并將處理后的場景視頻發(fā)送給顯示裝置3，本實施例中，第一信息處理單元2將接收到的場景視頻進行融合拼接，得到場景的360度全景視頻，以完成對場景視頻的處理。當(dāng)然，第一信息處理單元2還可以有其他的功能，比如對場景中的異常情況進行分析，并根據(jù)分析的結(jié)果發(fā)出警告信號，如當(dāng)有人靠近時，發(fā)出警告信號提醒設(shè)備使用者等。顯示裝置3與第一信息處理單元2連接，用于顯示處理后的場景視頻，本實施例中，顯示裝置3為眼鏡式微型顯示屏。視線追蹤系統(tǒng)4與第一信息處理單元2連接，通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標(biāo)(如行人)，鎖定目標(biāo)并進行實時跟蹤。下面對視線追蹤系統(tǒng)進行詳細描述。請參閱圖3所示，為本發(fā)明實施例1中人機交互裝置的結(jié)構(gòu)框圖。本實施例中，視線追蹤系統(tǒng)4包括紅外光源41、攝像機42和第二信息處理單元43。紅外光源41交替亮暗。攝像機42與第二信息處理單元43連接，拍攝人眼的亮瞳暗瞳交替視頻幀并將拍攝的視頻幀發(fā)送給第二信息處理單元43。第二信息處理單元43分別與攝像機42和第一信息處理單元2連接，對視頻幀進行分析和處理從而實現(xiàn)對使用者的人眼視線追蹤，并與第一信息處理單元2互動從而確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定目標(biāo)并進行實時跟蹤。第一信息處理單元2和第二信息處理單元43均可采用微處理器實現(xiàn)。優(yōu)選地，視線追蹤系統(tǒng)4還包括一存儲單元6。存儲單元6與第二信息處理單元43連接，用于存儲目標(biāo)物體的特征、運動軌跡、所在區(qū)域范圍以及丟失的位置和區(qū)域等目標(biāo)物體的跟蹤數(shù)據(jù)。視線追蹤系統(tǒng)4的工作原理是獲取使用者的眼睛瞳孔區(qū)域，提取瞳孔特征，定位使用者的視線焦點在眼鏡式微型顯示屏上的位置，通過使用者的眼睛動作分析對應(yīng)的控制指令以鎖定或解除跟蹤目標(biāo)，例如通過眨左眼鎖定跟蹤目標(biāo)，眨右眼解除跟蹤目標(biāo)，或者眨眼一次鎖定跟蹤目標(biāo)，眨眼兩次解除跟蹤目標(biāo)等等，這些方式是多種多樣的，可根據(jù)使用者的使用習(xí)慣而設(shè)定，此處不做限制。鎖定運動的目標(biāo)物體后，提取目標(biāo)物體的顏色直方圖、目標(biāo)物體面積、形狀等特征進行存儲。如果鎖定目標(biāo)物體失敗，則采用粒子濾波算法對目標(biāo)物體進行實時跟蹤，如果在一個攝像頭下目標(biāo)匹配失敗、跟蹤目標(biāo)丟失，則視線追蹤系統(tǒng)將對相鄰攝像頭的圖像序列交叉區(qū)域進行融合，再次檢測目標(biāo)物體，檢測到目標(biāo)物體時，與檢測到目標(biāo)物體的攝像頭進行匹配，重新定位跟蹤目標(biāo)物體，達到360度連續(xù)跟蹤目標(biāo)物體，記錄目標(biāo)物體運動軌跡及速度等參數(shù)。本實施例利用頭盔設(shè)備I的可移動性，作為一種頭戴式設(shè)備，使用者可將整個設(shè)備戴在頭上，設(shè)備可以跟隨使用者移動。通過多個攝像頭5可多角度拍攝周圍場景，通過眼鏡式微型顯示屏實時顯示周圍場景，因此使用者可以看到周圍的不同角度的場景，通過視線追蹤系統(tǒng)4可實現(xiàn)人與裝置的交互(即人機交互)，人眼可自由、實時地選擇需要跟蹤的目標(biāo)，實時鎖定目標(biāo)物體進行跟蹤，并可以360度無盲點地進行檢測、連續(xù)跟蹤目標(biāo)物體，跟蹤丟失率低，精度高。整個裝置具有非接觸式人機交互、使用簡單方便、便攜、移動性好、跟蹤范圍廣等優(yōu)點。實施例2 本實施例與實施例1的區(qū)別在于本實施中，視線追蹤系統(tǒng)4不具備第二信息處理單元43，實施例1中的第二信息處理單元43的功能在本實施例中通過第一信息處理單元2來實現(xiàn)，也即將第一信息處理單元2與第二信息處理單元43集成在一起，降低了裝置的成本。其他與實施例1相同或相似的部分，此處不再贅述。請參閱圖4所示，為本發(fā)明實施例2中人機交互裝置的結(jié)構(gòu)框圖。該視線追蹤系統(tǒng)4包括紅外光源41和攝像機42。紅外光源41交替亮暗。攝像機42與第一信息處理單元2連接，拍攝人眼的亮瞳暗瞳交替視頻幀并將拍攝的視頻幀發(fā)送給第一信息處理單元2。第一信息處理單元2對視頻幀進行分析和處理從而實現(xiàn)對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定目標(biāo)并進行實時跟蹤。優(yōu)選地，視線追蹤系統(tǒng)4還包括一存儲單元6。存儲單元6與第一信息處理單元2連接，用于存儲目標(biāo)物體的特征、運動軌跡、所在區(qū)域范圍以及丟失的位置和區(qū)域等目標(biāo)物體的跟蹤數(shù)據(jù)。實施例3 請參閱圖3所示，為本發(fā)明實施例3用于目標(biāo)跟蹤的人機交互方法流程圖。該方法可在實施例1或2的用于目標(biāo)跟蹤的人機交互裝置上實現(xiàn)。該方法包括如下步驟步驟S1:實時拍攝頭盔設(shè)備周圍的場景視頻。在本步驟中，通過多個攝像頭實時拍攝頭盔設(shè)備周圍的場景視頻，例如4個攝像頭。步驟S2 :對場景視頻進行處理。在本步驟中，對每一個攝像頭所拍攝的視頻圖像序列進行場景融合拼接，得到場景的360度全景視頻。步驟S3 :在顯示屏上顯示處理后的場景視頻。在本步驟中，在眼鏡式微型顯示屏上顯示處理后的360度全景視頻。步驟S4 :通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定目標(biāo)并進行實時跟蹤。該步驟是通過實施例1或2中的視線追蹤系統(tǒng)4完成的。下面對整個方法的詳細流程進行描述。請參閱圖4所示，為本發(fā)明實施例3用于目標(biāo)跟蹤的人機交互方法詳細流程圖。步驟Al :捕犾圖像序列。在本步驟中，通過4個攝像頭實時拍攝頭盔設(shè)備周圍的場景視頻，捕獲圖像序列。步驟A2 :視頻融合、顯示。對每一個攝像機所捕獲的圖像序列進行場景融合、聯(lián)接，得到場景的360度全景視頻，并在眼鏡式微型顯示屏上顯示場景視頻。步驟A3 :視線追蹤，判斷是否鎖定目標(biāo)。通過視線追蹤系統(tǒng)跟蹤使用者的眼睛，獲取眼睛瞳孔區(qū)域，提取眼睛參數(shù)，定位使用者的視線焦點在顯示屏上的位置，并通過對使用者的眼睛動作分析對應(yīng)的控制指令，判斷是否鎖定顯示屏上待跟蹤目標(biāo)物體。當(dāng)然，除了通過眼睛動作鎖定目標(biāo)物體，還可以通過眼睛動作解除目標(biāo)跟蹤。例如使用者可通過眨左眼鎖定跟蹤目標(biāo)，眨右眼解除跟蹤目標(biāo)，或者眨眼一次鎖定跟蹤目標(biāo)，眨眼兩次解除跟蹤目標(biāo)等等，這些方式是多種多樣的，可根據(jù)使用者的使用習(xí)慣而設(shè)定，此處不做限制。若鎖定目標(biāo)成功，執(zhí)行步驟A4，同時返回執(zhí)行步驟Al，從捕獲圖像序列重新開始本方法的流程；若鎖定目標(biāo)失敗，則執(zhí)行步驟A5。
步驟A4 :提取特征、存儲。鎖定運動的目標(biāo)物體后，提取目標(biāo)物體特征并存儲。目標(biāo)物體的特征包括顏色直方圖、目標(biāo)物體面積、形狀等特征。步驟A5 :粒子濾波跟蹤、匹配。在本步驟中，采用粒子濾波算法實時跟蹤運動的目標(biāo)物體，提取目標(biāo)物體的特征進行匹配。步驟A6 :判斷是否匹配成功。本步驟判斷步驟A5是否匹配成功，若是，則更新目標(biāo)物體特征，執(zhí)行步驟A4，提取更新后的特征并存儲，同時執(zhí)行步驟A7 ;否則，執(zhí)行步驟A9。步驟A7 鎖定跟蹤目標(biāo)。當(dāng)步驟A5中匹配成功時，鎖定跟蹤目標(biāo)。步驟A8 計算目標(biāo)位移、速度。在本步驟中，計算運動的目標(biāo)物體位移、速度，記錄其運動軌跡，更新目標(biāo)物體所在區(qū)域t[!圍。在執(zhí)彳了完步驟A4之后，也繼續(xù)執(zhí)彳了步驟A5、A8。步驟A9 :與其他攝像頭圖像融合、跟蹤、匹配。如果在一個攝像頭下目標(biāo)匹配失敗、跟蹤目標(biāo)丟失，將對相鄰攝像頭圖像序列交叉區(qū)域進行融合，檢測目標(biāo)運動物體，利用不同攝像頭的位置關(guān)系、時間關(guān)聯(lián)度進行跟蹤、匹配。步驟AlO :判斷是否匹配成功。在本步驟中，判斷步驟A9是否匹配成功，若是，返回執(zhí)行步驟A7，鎖定跟蹤目標(biāo)；否則，執(zhí)行步驟Al I。步驟Al1:跟蹤丟失。如果所有攝像頭的圖像序列均匹配不成功，則說明目標(biāo)物體跟蹤丟失。步驟A12 :記錄存儲目標(biāo)軌跡。 在本步驟中，記錄目標(biāo)物體的丟失位置、區(qū)域，存儲目標(biāo)物體的跟蹤數(shù)據(jù)。本實施例通過多個攝像頭可多角度拍攝周圍場景，通過眼鏡式微型顯示屏實時顯示周圍場景，因此使用者可以看到周圍的不同角度的場景，可實現(xiàn)人與裝置的交互(即人機交互)，人眼可自由、實時地選擇需要跟蹤的目標(biāo)，實時鎖定目標(biāo)物體進行跟蹤，并可以360度無盲點地進行檢測、連續(xù)跟蹤目標(biāo)物體，跟蹤丟失率低，精度高。以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種用于目標(biāo)跟蹤的人機交互裝置，其特征在于，所述裝置包括頭盔設(shè)備，在所述頭盔設(shè)備上設(shè)置有第一信息處理單元、顯示裝置、視線追蹤系統(tǒng)和多個攝像頭；所述攝像頭安裝于頭盔設(shè)備四周并與第一信息處理單元連接，攝像頭實時拍攝頭盔設(shè)備周圍的場景視頻并將拍攝的場景視頻傳輸給第一信息處理單元；所述第一信息處理單元分別與攝像頭和顯示裝置連接，第一信息處理單元接收和處理所述場景視頻，并將處理后的場景視頻發(fā)送給顯示裝置；所述顯示裝置與第一信息處理單元連接，用于顯示處理后的場景視頻；所述視線追蹤系統(tǒng)與第一信息處理單元連接，視線追蹤系統(tǒng)通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定所述目標(biāo)并進行實時跟蹤。
2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述攝像頭為至少4個，分別安裝于頭盔設(shè)備四周的前后左右四面。
3.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述第一信息處理單元處理所述場景視頻具體為所述第一信息處理單元將接收到的場景視頻進行融合拼接，得到場景的360度全景視頻。
4.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述顯示裝置為眼鏡式微型顯示屏。
5.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述視線追蹤系統(tǒng)包括紅外光源、攝像機和第二信息處理單元；所述紅外光源交替亮暗；所述攝像機與第二信息處理單元連接，拍攝人眼的亮瞳暗瞳交替視頻幀并將拍攝的視頻幀發(fā)送給第二信息處理單元；所述第二信息處理單元分別與攝像機和第一信息處理單元連接，對所述視頻幀進行分析和處理從而實現(xiàn)對使用者的人眼視線追蹤，并與所述第一信息處理單元互動從而確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定所述目標(biāo)并進行實時跟蹤；或者， 所述視線追蹤系統(tǒng)包括紅外光源和攝像機；所述紅外光源交替亮暗；所述攝像機與第一信息處理單元連接，拍攝人眼的亮瞳暗瞳交替視頻幀并將拍攝的視頻幀發(fā)送給第一信息處理單元；所述第一信息處理單元對所述視頻幀進行分析和處理從而實現(xiàn)對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定所述目標(biāo)并進行實時跟蹤。
6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述第一信息處理單元和第二信息處理單元采用微處理器； 所述視線追蹤系統(tǒng)還包括一存儲單元；當(dāng)所述視線追蹤系統(tǒng)包括第二信息處理單元時，所述存儲單元與第二信息處理單元連接；當(dāng)所述視線追蹤系統(tǒng)不包括第二信息處理單元時，所述存儲單元與第一信息處理單元連接；存儲單元用于存儲目標(biāo)物體的特征、運動軌跡、所在區(qū)域范圍以及丟失的位置和區(qū)域。
7.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述第一信息處理單元還對場景中的異常情況進行分析，并根據(jù)所述分析的結(jié)果發(fā)出警告信號。
8.一種用于目標(biāo)跟蹤的人機交互方法，其特征在于，所述方法包括如下步驟 實時拍攝頭盔設(shè)備周圍的場景視頻； 對所述場景視頻進行處理； 在顯示屏上顯示處理后的場景視頻； 通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定所述目標(biāo)并進行實時跟蹤。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述實時拍攝頭盔設(shè)備周圍的場景視頻的步驟通過多個攝像頭完成； 所述對所述場景視頻進行處理的步驟具體為對每一個攝像頭所拍攝的視頻圖像序列進行場景融合拼接，得到場景的360度全景視頻。
所述在顯示屏上顯示處理后的場景視頻的步驟具體為在眼鏡式微型顯示屏上顯示處理后的360度全景視頻。
10.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定所述目標(biāo)并進行實時跟蹤的步驟通過視線追蹤系統(tǒng)完成，該步驟具體包括 跟蹤使用者眼睛，提取眼睛參數(shù)，確定使用者的視線焦點在顯示屏上的位置，并通過對使用者的眼睛動作分析對應(yīng)的控制指令，鎖定顯示屏上待跟蹤目標(biāo)物體，提取目標(biāo)物體特征并存儲； 采用粒子濾波算法跟蹤運動的所述目標(biāo)物體，提取目標(biāo)物體特征并匹配，當(dāng)在一個攝像頭所拍攝的圖像序列中目標(biāo)物體匹配成功時，鎖定跟蹤目標(biāo)物體，更新目標(biāo)物體特征，計算目標(biāo)物體的位移和速度，記錄目標(biāo)物體的運動軌跡，更新目標(biāo)物體所在區(qū)域范圍； 當(dāng)在一個攝像頭所拍攝的圖像序列中目標(biāo)物體匹配不成功時，對所述攝像頭相鄰的攝像頭所拍攝的圖像序列與所述攝像頭交叉的區(qū)域進行融合，當(dāng)在所述相鄰的攝像頭檢測到目標(biāo)物體時，匹配成功，鎖定跟蹤目標(biāo)物體，更新目標(biāo)物體特征，計算目標(biāo)物體的位移和速度，記錄目標(biāo)物體的運動軌跡，更新目標(biāo)物體所在區(qū)域范圍； 當(dāng)在所有的攝像頭所拍攝的圖像序列中目標(biāo)物體均匹配不成功時，目標(biāo)物體跟蹤丟失，記錄目標(biāo)物體丟失的位置和區(qū)域，存儲目標(biāo)物體的跟蹤數(shù)據(jù)。
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述目標(biāo)物體為多個，所述方法還包括 通過對使用者的眼睛動作分析對應(yīng)的控制指令，解除對顯示屏上已跟蹤目標(biāo)物體的跟足示O
全文摘要
本發(fā)明涉及目標(biāo)跟蹤技術(shù)領(lǐng)域，提供了一種用于目標(biāo)跟蹤的人機交互裝置，該裝置包括頭盔設(shè)備，在頭盔設(shè)備上設(shè)置有第一信息處理單元、顯示裝置、視線追蹤系統(tǒng)和多個攝像頭；攝像頭實時拍攝頭盔設(shè)備周圍的場景視頻并將拍攝的場景視頻傳輸給第一信息處理單元；第一信息處理單元接收和處理場景視頻，并將處理后的場景視頻發(fā)送給顯示裝置；顯示裝置用于顯示處理后的場景視頻；視線追蹤系統(tǒng)通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標(biāo)，鎖定目標(biāo)并進行實時跟蹤。本發(fā)明還提供了一種用于目標(biāo)跟蹤的人機交互方法。本發(fā)明可自由、實時地選擇需要跟蹤的目標(biāo)，并可以360度無盲點地進行檢測、跟蹤目標(biāo)物體，跟蹤丟失率低，精度高。
文檔編號H04N7/18GK103020983SQ20121033649
公開日2013年4月3日 申請日期2012年9月12日 優(yōu)先權(quán)日2012年9月12日
發(fā)明者程俊, 陶大程, 陳裕華, 姜軍, 張子銳 申請人:深圳先進技術(shù)研究院