專利名稱：基于立體視覺的游戲控制系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺與識(shí)別技術(shù)領(lǐng)域，特別是一種基于立體視覺的游戲控制系統(tǒng)及方法。
背景技術(shù)：
近年來，隨著計(jì)算機(jī)技術(shù)的革新，以計(jì)算機(jī)游戲?yàn)榇淼臄?shù)字娛樂產(chǎn)業(yè)飛速發(fā)展。作為一類特殊的應(yīng)用軟件，計(jì)算機(jī)游戲通過向游戲用戶提供一系列的菜單選項(xiàng)和操作指令，實(shí)現(xiàn)用戶與游戲之間的交互操作。用于游戲的傳統(tǒng)人機(jī)交互方式有鼠標(biāo)鍵盤、游戲桿及專用游戲設(shè)備等，以手動(dòng)和有線連接為主。伴隨計(jì)算機(jī)游戲種類與內(nèi)容的不斷擴(kuò)展豐富，其操作復(fù)雜性劇增，仍然僅采用傳統(tǒng)交互方式，越來越難于控制。游戲用戶期望能以更自然、更智能的新方式進(jìn)行交互操作，如采用自身姿體動(dòng)作等，由此可使游戲更具交互性和沉浸感。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，應(yīng)用視覺進(jìn)行自然的人機(jī)交互已經(jīng)成為可能，由于攝像裝置已經(jīng)成為計(jì)算機(jī)常用的配置，這種技術(shù)的應(yīng)用也就具有廣闊的前景。目前已有一些基于運(yùn)動(dòng)或特征的游戲控制系統(tǒng)，但是僅僅提供簡(jiǎn)單的二維位置信息，更多維度的信息將更具有吸引力。

發(fā)明內(nèi)容
針對(duì)背景技術(shù)的游戲控制方法僅僅提供簡(jiǎn)單的二維位置信息，本發(fā)明的目的在于運(yùn)用立體視覺技術(shù)對(duì)目標(biāo)姿態(tài)進(jìn)行分析識(shí)別，對(duì)通過多個(gè)攝像裝置設(shè)備捕獲到的圖像進(jìn)行處理，并實(shí)時(shí)地、魯棒地檢測(cè)出特定姿態(tài)的空間位置和方向，轉(zhuǎn)換為控制指令，提供一種基于立體視覺的游戲控制系統(tǒng)及方法。
為實(shí)現(xiàn)上述目的，本發(fā)明的第一個(gè)方面，一種基于立體視覺的游戲控制系統(tǒng)，步驟包括
標(biāo)定裝置，將多攝像裝置標(biāo)定的內(nèi)外參數(shù)輸出；同步圖像獲取裝置，對(duì)標(biāo)定內(nèi)外參數(shù)的多個(gè)攝像裝置實(shí)時(shí)、同步控制，輸出實(shí)時(shí)同步圖像；二維特征分析裝置，提取、分析多個(gè)攝像裝置實(shí)時(shí)同步圖像中人體姿態(tài)運(yùn)動(dòng)的時(shí)間和空間特征信息，并輸出二維特征信息；三維特征獲取裝置，用于識(shí)別多個(gè)攝像裝置的實(shí)時(shí)同步圖像間特征的對(duì)應(yīng)關(guān)系，并輸出實(shí)時(shí)、同步圖像的三維特征參數(shù)控制命令；視頻控制參數(shù)提取與轉(zhuǎn)化裝置，將三維特征獲取裝置識(shí)別的多維信息結(jié)果轉(zhuǎn)化并輸出游戲控制信息；控制接口，用于實(shí)現(xiàn)游戲的角色和場(chǎng)景控制。
所述標(biāo)定裝置包括內(nèi)參數(shù)標(biāo)定單元和外參數(shù)標(biāo)定單元內(nèi)參數(shù)標(biāo)定單元，用于標(biāo)定多個(gè)攝像裝置內(nèi)參數(shù)并存儲(chǔ)記錄；外參數(shù)標(biāo)定單元，用于攝像裝置位置改變后重新標(biāo)定并存儲(chǔ)多個(gè)攝像裝置的外參數(shù)。
所述同步圖像獲取裝置包括高速圖像捕獲單元，對(duì)標(biāo)定的多個(gè)攝像裝置進(jìn)行實(shí)時(shí)、同步控制；同步圖像存儲(chǔ)單元，用于存儲(chǔ)并實(shí)時(shí)、同步輸出多個(gè)攝像裝置的幀圖像。
所述二維特征分析裝置包括二維特征分析單元，用于對(duì)同步圖像獲取裝置存儲(chǔ)的幀圖像進(jìn)行二維特征分析并輸出二維特征分析結(jié)果；提取特征單元，用于對(duì)二維特征分析單元輸出幀圖像的二維特征分析結(jié)果提取具有旋轉(zhuǎn)縮放不變性的特征，獲得幀圖像的姿態(tài)特征點(diǎn)位置、方向及幀圖像組成的基本形狀參數(shù)；跟蹤校驗(yàn)及預(yù)測(cè)單元，用于通過對(duì)上一時(shí)刻的二維特征分析結(jié)果進(jìn)行跟蹤校驗(yàn)及預(yù)測(cè)，實(shí)時(shí)、同步輸出二維特征信息。
所述三維特征獲取裝置包括二維特征匹配單元，用于匹配并輸出不同攝像裝置幀圖像的二維特征位置對(duì)應(yīng)關(guān)系信息；三維特征獲取單元，用于從二維特征匹配單元輸出的二維特征位置對(duì)應(yīng)關(guān)系信息，計(jì)算得到幀圖像的三維空間位置和三維姿態(tài)參數(shù)，輸出三維控制信息命令。
所述視頻控制參數(shù)提取與轉(zhuǎn)化裝置包括
命令映射設(shè)定單元，根據(jù)程序的設(shè)置要求，將三維特征的控制信息映射到游戲中需要的控制命令；三維特征轉(zhuǎn)化單元，通過預(yù)先定義好的命令映射關(guān)系，將三維控制信息轉(zhuǎn)換成游戲控制信息并輸出。
所述控制接口驅(qū)動(dòng)裝置，驅(qū)動(dòng)本系統(tǒng)接口和游戲的控制接口，將游戲控制信息傳送到游戲中，實(shí)現(xiàn)游戲控制。
為實(shí)現(xiàn)上述目的，本發(fā)明的第二個(gè)方面，提供一種基于立體視覺的游戲控制方法，該控制方法步驟包括對(duì)多攝像裝置的內(nèi)外參數(shù)的標(biāo)定；對(duì)從攝像裝置獲得的圖像進(jìn)行預(yù)處理，通過對(duì)多個(gè)攝像裝置實(shí)時(shí)同步的獲取圖像；利用圖像姿態(tài)特征的時(shí)空信息，通過其相關(guān)性進(jìn)行區(qū)域選擇和二維圖像特征提?。粚?duì)多圖像間的特征進(jìn)行相關(guān)性分析，獲得圖像三維位置和姿態(tài)信息；提取圖像三維信息的視頻控制參數(shù)，將圖像三維信息映射轉(zhuǎn)化為相應(yīng)的游戲控制命令；建立控制接口，實(shí)現(xiàn)游戲的角色和場(chǎng)景控制。
所述攝像裝置標(biāo)定步驟包括對(duì)多個(gè)攝像裝置的內(nèi)外參數(shù)進(jìn)行標(biāo)定，對(duì)內(nèi)參數(shù)一次性標(biāo)定并記錄，外參數(shù)則需要每次改變攝像裝置位置后重新標(biāo)定。
所述同步獲取圖像的具體步驟如下通過高速圖像捕獲模塊與多個(gè)攝像裝置實(shí)時(shí)、同步獲取幀圖像，并對(duì)幀圖像進(jìn)行光線校正、去噪等預(yù)處理。
所述二維特征提取的具體實(shí)現(xiàn)步驟如下基于捕獲的圖像，利用人體姿態(tài)運(yùn)動(dòng)的時(shí)間和空間特征進(jìn)行特征分析，結(jié)合時(shí)空相關(guān)性信息，分別對(duì)局部區(qū)域進(jìn)行特征分析，提取出具有旋轉(zhuǎn)縮放不變性的特征，并通過上一時(shí)刻的結(jié)果進(jìn)行跟蹤校驗(yàn)及預(yù)測(cè)。
所述獲取三維特征具體實(shí)現(xiàn)步驟如下通過不同攝像裝置圖像的特征的相關(guān)性，結(jié)合攝像裝置位置信息，根據(jù)立體視覺的原理，先對(duì)單個(gè)攝像裝置圖像的目標(biāo)位置、特征進(jìn)行分析計(jì)算；再通過多個(gè)攝像裝置特征之間的關(guān)系，計(jì)算識(shí)別圖像目標(biāo)的三維空間位置和姿態(tài)參數(shù)，形成游戲人物或場(chǎng)景的三維控制信息。
所述游戲控制命令的具體實(shí)現(xiàn)步驟如下根據(jù)三維特征控制信息命令對(duì)識(shí)別的多維信息結(jié)果提取視頻控制參，通過預(yù)先定義好的命令集進(jìn)行映射轉(zhuǎn)換，得到游戲的控制信息。
所述控制接口驅(qū)動(dòng)的具體實(shí)現(xiàn)步驟如下通過驅(qū)動(dòng)系統(tǒng)和游戲的控制接口，將游戲控制信息傳送到游戲，實(shí)現(xiàn)模擬游戲人物和場(chǎng)景漫游的實(shí)時(shí)控制功能。
本發(fā)明的有益效果，基于立體視覺的游戲控制是通過多個(gè)攝像裝置，捕獲玩家的姿態(tài)及運(yùn)動(dòng)狀態(tài)，以取代或輔助傳統(tǒng)的鍵盤鼠標(biāo)。通過攝像裝置捕獲玩家姿態(tài)及其運(yùn)動(dòng)狀態(tài)圖像，在計(jì)算機(jī)中進(jìn)行分析和識(shí)別，結(jié)合標(biāo)定的攝像裝置位置信息，確定目標(biāo)的空間位置與姿態(tài)，并將結(jié)果轉(zhuǎn)化為游戲的控制指令，實(shí)現(xiàn)對(duì)游戲中場(chǎng)景和人物的直接控制，以代替或輔助傳統(tǒng)的游戲交互方式。由于游戲?qū)?shí)時(shí)性要求高，因此視頻檢測(cè)方法必需同步、實(shí)時(shí)、魯棒。為便于用戶使用，這種控制方法還必需易于實(shí)現(xiàn)和操作。多個(gè)攝像裝置的內(nèi)外參數(shù)進(jìn)行標(biāo)定，內(nèi)參數(shù)可以一次性標(biāo)定并記錄，外參數(shù)則需要每次改變攝像裝置位置后重新標(biāo)定，這樣即簡(jiǎn)化標(biāo)定操作，提高標(biāo)定精度，也提供了一定的靈活性。
通過以下結(jié)合附圖的詳細(xì)描述，本發(fā)明的上述和其它方面、特征和優(yōu)點(diǎn)將變得更加顯而易見。


圖1是本發(fā)明基于立體視覺的游戲控制系統(tǒng)框2是本發(fā)明基于立體視覺的游戲控制系統(tǒng)中標(biāo)定裝置示意3是本發(fā)明基于立體視覺的游戲控制系統(tǒng)中同步圖像獲取裝置示意4是本發(fā)明基于立體視覺的游戲控制系統(tǒng)中二維特征分析裝置示意5是本發(fā)明基于立體視覺的游戲控制系統(tǒng)中三維特征獲取裝置示意6是本發(fā)明基于立體視覺的游戲控制系統(tǒng)中視頻控制參數(shù)提取與轉(zhuǎn)化裝置示意7是本發(fā)明基于立體視覺的游戲控制方法流程8是采用本發(fā)明基于立體視覺的游戲控制方法的游戲控制示意9是本發(fā)明中視頻識(shí)別結(jié)果映射到相應(yīng)的游戲控制中的流程圖具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明作具體說明。應(yīng)該指出，所描述的實(shí)施例僅僅是為說明的目的，而不是對(duì)本發(fā)明的限制。
根據(jù)本發(fā)明圖1，一種基于立體視覺的游戲控制系統(tǒng)框圖所示包括標(biāo)定裝置1、同步圖像獲取裝置2、二維圖特征分析裝置3、三維特征獲取裝置4、視頻控制參數(shù)提取與轉(zhuǎn)化裝置5、控制接口6，其中標(biāo)定裝置1，由計(jì)算機(jī)算法實(shí)現(xiàn)，通過攝像頭采集的棋盤格圖像，用于標(biāo)定多攝像裝置的內(nèi)外參數(shù)；同步圖像獲取裝置2，由計(jì)算機(jī)算法實(shí)現(xiàn)，通過攝像頭及其底層驅(qū)動(dòng)程序，用于將多個(gè)攝像裝置實(shí)時(shí)、同步控制，實(shí)時(shí)、同步獲取圖像；二維特征分析裝置3，由計(jì)算機(jī)算法實(shí)現(xiàn)，用于提取、分析多個(gè)攝像裝置實(shí)時(shí)、同步圖像中的人體姿態(tài)運(yùn)動(dòng)的時(shí)間和空間特征信息；三維特征獲取裝置4，由計(jì)算機(jī)算法實(shí)現(xiàn)，用于匹配多個(gè)攝像裝置圖像間的特征對(duì)應(yīng)關(guān)系，計(jì)算得到圖像三維特征參數(shù)，并輸出實(shí)時(shí)、同步圖像的三維特征參數(shù)控制命令；視頻控制參數(shù)提取與轉(zhuǎn)化裝置5，由計(jì)算機(jī)算法實(shí)現(xiàn)，用于將識(shí)別好的多維信息結(jié)果轉(zhuǎn)化得到游戲控制信息；控制接口6，通過游戲接口，由計(jì)算機(jī)算法實(shí)現(xiàn)，用于實(shí)現(xiàn)游戲的角色和場(chǎng)景控制。
根據(jù)本發(fā)明圖2，基于立體視覺的游戲控制系統(tǒng)中標(biāo)定裝置示意圖所示所述標(biāo)定裝置1包括內(nèi)參數(shù)標(biāo)定存儲(chǔ)單元1.1和外參數(shù)標(biāo)定存儲(chǔ)單元1.2，用于對(duì)多個(gè)攝像裝置的內(nèi)、外參數(shù)進(jìn)行標(biāo)定內(nèi)參數(shù)標(biāo)定單元1.1，通過確定標(biāo)準(zhǔn)物體的采集圖像，通過攝像頭模型，標(biāo)定并存儲(chǔ)記錄多個(gè)攝像裝置的內(nèi)參數(shù)；外參數(shù)標(biāo)定單元1.2，通過確定標(biāo)準(zhǔn)物體的采集圖像，投影模型，在每次改變攝像裝置位置后，重新計(jì)算并存儲(chǔ)多個(gè)攝像裝置的外參數(shù)。標(biāo)定裝置1的輸入端為攝像裝置給入的圖像信息，輸出端為具有標(biāo)定的內(nèi)、外參數(shù)。
根據(jù)本發(fā)明圖3，基于立體視覺的游戲控制系統(tǒng)中同步圖像獲取裝置示意圖所示所述同步圖像獲取裝置2包括高速圖像捕獲單元2.1，通過攝像頭驅(qū)動(dòng)程序及其機(jī)制，實(shí)時(shí)同步控制多個(gè)攝像裝置；同步圖像存儲(chǔ)單元2.2，通過緩存技術(shù)，存儲(chǔ)多個(gè)攝像裝置同步、實(shí)時(shí)的幀圖像。高速圖像捕獲單元2.1的輸入為攝像裝置采集的圖像信息，同步圖像存儲(chǔ)單元2.2輸出多個(gè)攝像裝置同步、實(shí)時(shí)的幀圖像。
根據(jù)本發(fā)明圖4，基于立體視覺的游戲控制系統(tǒng)中二維特征分析裝置示意圖所示所述二維特征分析裝置3包括二維特征分析單元3.1，通過對(duì)運(yùn)動(dòng)，顏色，紋理等信息的綜合運(yùn)用，對(duì)同步圖像獲取裝置存儲(chǔ)的幀圖像的二維特征分析，獲得感興趣的區(qū)域和原始特征；提取特征單元3.2，通過具有高效和不變性優(yōu)點(diǎn)的算法，對(duì)二維特征分析結(jié)果提取具有旋轉(zhuǎn)縮放不變性的特征，獲得姿態(tài)特征點(diǎn)位置，方向及它們組成的基本形狀參數(shù)；跟蹤校驗(yàn)及預(yù)測(cè)單元3.3，采用基于濾波方法的跟蹤技術(shù)，通過對(duì)此前時(shí)刻的二維特征分析結(jié)果進(jìn)行跟蹤校驗(yàn)及預(yù)測(cè)。同步圖像存儲(chǔ)單元2.2輸出的幀圖像給入二維特征分析單元3.1的輸入端經(jīng)提取特征單元3.2和跟蹤校驗(yàn)及預(yù)測(cè)單元3.3實(shí)時(shí)、同步輸出二維特征分析結(jié)果。
根據(jù)本發(fā)明圖5，基于立體視覺的游戲控制系統(tǒng)中三維特征獲取裝置示意圖所示所述三維特征獲取裝置4包括二維特征匹配單元4.1，通過全局特征點(diǎn)對(duì)應(yīng)關(guān)系尋優(yōu)的辦法，匹配并輸出不同攝像裝置幀圖像的二維特征位置對(duì)應(yīng)關(guān)系信息；三維特征獲取單元4.2，通過立體視覺三角關(guān)系的算法，通過二維特征匹配單元的特征點(diǎn)匹配信息，計(jì)算圖像的三維空間位置和三維姿態(tài)參數(shù)，輸出三維控制信息命令。跟蹤校驗(yàn)及預(yù)測(cè)單元3.3輸出二維特征分析結(jié)果給入二維特征匹配單元4.1經(jīng)三維特征獲取單元4.2輸出三維控制信息命令。
根據(jù)本發(fā)明圖6，基于立體視覺的游戲控制系統(tǒng)中視頻控制參數(shù)提取與轉(zhuǎn)化裝置所示所述視頻控制參數(shù)提取與轉(zhuǎn)化裝置5包括命令映射設(shè)定單元5.1，根據(jù)程序的設(shè)置要求，將三維特征的控制信息映射到游戲中需要的控制命令；三維特征轉(zhuǎn)化單元5.2，通過命令映射設(shè)定單元定義好的命令映射關(guān)系，將三維控制信息轉(zhuǎn)換成游戲控制信息并輸出。三維特征獲取單元4.2輸出三維控制信息給入命令映射設(shè)定單元5.1經(jīng)三維特征轉(zhuǎn)化單元5.2輸出游戲控制信息。
所述控制接口驅(qū)動(dòng)裝置6，三維特征轉(zhuǎn)化單元5.2輸出游戲控制信息給入控制接口驅(qū)動(dòng)裝置6，通過系統(tǒng)和游戲的控制接口，將游戲控制信息傳送到游戲，實(shí)現(xiàn)游戲控制。
根據(jù)本發(fā)明的圖7，一種基于立體視覺的游戲控制方法流程圖所示，圖中為本發(fā)明的具體實(shí)施例步驟如下步驟S1步驟開始，通過標(biāo)準(zhǔn)棋盤格，一次性對(duì)多個(gè)攝像裝置進(jìn)行標(biāo)定，求得內(nèi)參數(shù)；并在每次獨(dú)立運(yùn)行前，設(shè)想裝置位置改變后，實(shí)現(xiàn)對(duì)多攝像裝置的外參數(shù)的標(biāo)定；步驟S2循環(huán)進(jìn)行同步圖像獲取，對(duì)從攝像裝置獲得的圖像進(jìn)行預(yù)處理，通過高速圖像捕獲模塊從多個(gè)攝像裝置實(shí)時(shí)、同步獲取圖像，考慮到控制的精度，要求采集速度達(dá)到實(shí)時(shí)；步驟S3二維特征分析，利用人體姿態(tài)運(yùn)動(dòng)的時(shí)間和空間特征通過其相關(guān)性進(jìn)行區(qū)域選擇和特征提取、分析，求得姿態(tài)特征點(diǎn)位置，方向及它們組成的基本形狀參數(shù)；步驟S4對(duì)多攝像裝置間圖像及運(yùn)動(dòng)特征相關(guān)性分析，計(jì)算匹配概率，通過全局優(yōu)化方法，確定最終匹配關(guān)系，以獲得三維位置和姿態(tài)信息；步驟S5視頻控制參數(shù)提取與轉(zhuǎn)化，將圖像的三維信息，映射為相應(yīng)的游戲控制命令，得到游戲的控制信息；步驟S6控制接口輸出，通過系統(tǒng)和游戲的控制接口，將游戲控制信息傳送到游戲，實(shí)現(xiàn)模擬游戲人物和場(chǎng)景漫游的實(shí)時(shí)控制功能，結(jié)束控制。
采用基于立體視覺的游戲控制方法具有簡(jiǎn)便、自然的特點(diǎn)，其實(shí)施例可參見圖8是采用本發(fā)明基于立體視覺的游戲控制方法的游戲控制示意圖。
根據(jù)本發(fā)明的圖9，是立體視覺的識(shí)別結(jié)果映射到相應(yīng)的游戲控制中的流程圖，將多維信息識(shí)別結(jié)果，映射到相應(yīng)的游戲控制中，其具體步驟如下步驟開始同時(shí)進(jìn)入如步驟S31和步驟S32其中程序運(yùn)行初始化一次性實(shí)現(xiàn)步驟S31，以后每次循環(huán)進(jìn)入步驟S32，其中步驟S31初始化進(jìn)入命令集預(yù)處理，首先按照程序設(shè)定要求，對(duì)場(chǎng)景控制命令進(jìn)行分類，根據(jù)視頻快速、具有連續(xù)模擬輸出但比較簡(jiǎn)單直觀的特點(diǎn)，對(duì)所需的命令集進(jìn)行選擇，用位置信息的控制場(chǎng)景的方向，用深度信息控制場(chǎng)景的運(yùn)動(dòng)，如加速，減速，用方向信息控制場(chǎng)景的轉(zhuǎn)動(dòng)等命令操作，形成比較完整的控制方式；步驟S32承接上一步驟S31進(jìn)入視覺控制轉(zhuǎn)換，基于姿態(tài)的控制，首先需要設(shè)定各姿態(tài)及其相對(duì)位置與對(duì)應(yīng)游戲場(chǎng)景控制的對(duì)應(yīng)關(guān)系，然后通過多個(gè)攝像裝置，實(shí)時(shí)采集人體的姿態(tài)及其運(yùn)動(dòng)狀態(tài)，在線進(jìn)行分析和識(shí)別，獲得三維位置和狀態(tài)，根據(jù)當(dāng)前的狀態(tài)，采用一定的預(yù)測(cè)跟蹤算法，輸出相應(yīng)的控制量；步驟S33控制接口輸出，通過游戲控制接口，將視覺控制命令，實(shí)時(shí)整合到游戲的人物和場(chǎng)景控制中，或者直接調(diào)整模型達(dá)到控制的目的，步驟結(jié)束。
上面描述是用于實(shí)現(xiàn)本發(fā)明及其實(shí)施例，本領(lǐng)域普通技術(shù)人員可以根據(jù)實(shí)際情況確定多種實(shí)現(xiàn)方法，因此，本發(fā)明的范圍不應(yīng)由該描述來限定。本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫離本發(fā)明的范圍的任何修改或局部替換，均屬于本發(fā)明權(quán)利要求來限定的范圍。
權(quán)利要求
1.一種基于立體視覺的游戲控制系統(tǒng)，其特征在于，步驟包括標(biāo)定裝置，將多攝像裝置標(biāo)定的內(nèi)外參數(shù)輸出；同步圖像獲取裝置，對(duì)標(biāo)定內(nèi)外參數(shù)的多個(gè)攝像裝置實(shí)時(shí)、同步控制，輸出實(shí)時(shí)同步圖像；二維特征分析裝置，提取、分析多個(gè)攝像裝置實(shí)時(shí)、同步圖像中人體姿態(tài)運(yùn)動(dòng)的時(shí)間和空間特征信息，并輸出二維特征信息；三維特征獲取裝置，用于識(shí)別多個(gè)攝像裝置的實(shí)時(shí)同步圖像間特征的對(duì)應(yīng)關(guān)系，并輸出實(shí)時(shí)、同步圖像的三維特征參數(shù)控制命令；視頻控制參數(shù)提取與轉(zhuǎn)化裝置，將三維特征獲取裝置識(shí)別的多維信息結(jié)果轉(zhuǎn)化并輸出游戲控制信息；控制接口，用于實(shí)現(xiàn)游戲的角色和場(chǎng)景控制。
2.根據(jù)權(quán)利要求1的基于立體視覺的游戲控制系統(tǒng)，其特征在于，所述標(biāo)定裝置包括內(nèi)參數(shù)標(biāo)定單元和外參數(shù)標(biāo)定單元內(nèi)參數(shù)標(biāo)定單元，用于標(biāo)定多個(gè)攝像裝置內(nèi)參數(shù)并存儲(chǔ)記錄；外參數(shù)標(biāo)定單元，用于攝像裝置位置改變后重新標(biāo)定并存儲(chǔ)多個(gè)攝像裝置的外參數(shù)。
3.根據(jù)權(quán)利要求1的基于立體視覺的游戲控制系統(tǒng)，其特征在于，所述同步圖像獲取裝置包括高速圖像捕獲單元，對(duì)標(biāo)定的多個(gè)攝像裝置進(jìn)行實(shí)時(shí)、同步控制；同步圖像存儲(chǔ)單元，用于存儲(chǔ)并實(shí)時(shí)、同步輸出多個(gè)攝像裝置的幀圖像。
4.根據(jù)權(quán)利要求1的基于立體視覺的游戲控制系統(tǒng)，其特征在于，所述二維特征分析裝置包括二維特征分析單元，用于對(duì)同步圖像獲取裝置存儲(chǔ)的幀圖像進(jìn)行二維特征分析并輸出二維特征分析結(jié)果；提取特征單元，用于對(duì)二維特征分析單元輸出幀圖像的二維特征分析結(jié)果提取具有旋轉(zhuǎn)縮放不變性的特征，獲得幀圖像的姿態(tài)特征點(diǎn)位置、方向及幀圖像組成的基本形狀參數(shù)；跟蹤校驗(yàn)及預(yù)測(cè)單元，用于通過對(duì)此前時(shí)刻的二維特征分析結(jié)果進(jìn)行跟蹤校驗(yàn)及預(yù)測(cè)，實(shí)時(shí)、同步輸出二維特征信息。
5.根據(jù)權(quán)利要求1的基于立體視覺的游戲控制系統(tǒng)，其特征在于，所述三維特征獲取裝置包括二維特征匹配單元，用于匹配并輸出不同攝像裝置幀圖像的二維特征位置對(duì)應(yīng)關(guān)系信息；三維特征獲取單元，用于從二維特征匹配單元輸出的二維特征位置對(duì)應(yīng)關(guān)系信息，計(jì)算得到幀圖像的三維空間位置和三維姿態(tài)參數(shù)，輸出三維控制信息命令。
6.根據(jù)權(quán)利要求1的基于立體視覺的游戲控制系統(tǒng)，其特征在于，所述視頻控制參數(shù)提取與轉(zhuǎn)化裝置包括命令映射設(shè)定單元，根據(jù)程序的設(shè)置要求，將三維特征的控制信息映射到游戲中需要的控制命令；三維特征轉(zhuǎn)化單元，通過預(yù)先定義好的命令映射關(guān)系，將三維控制信息轉(zhuǎn)換成游戲控制信息并輸出。
7.根據(jù)權(quán)利要求1的基于立體視覺的游戲控制系統(tǒng)，其特征在于，所述控制接口驅(qū)動(dòng)裝置，驅(qū)動(dòng)本系統(tǒng)接口和游戲的控制接口，將游戲控制信息傳送到游戲中，實(shí)現(xiàn)游戲控制。
8.一種基于立體視覺的游戲控制方法，其特征在于，該方法的控制步驟如下對(duì)多攝像裝置的內(nèi)外參數(shù)的標(biāo)定；對(duì)從攝像裝置獲得的圖像進(jìn)行預(yù)處理，通過對(duì)多個(gè)攝像裝置實(shí)時(shí)同步的獲取圖像；利用圖像姿態(tài)特征的時(shí)空信息，通過其相關(guān)性進(jìn)行區(qū)域選擇和二維圖像特征提??；對(duì)多圖像間的特征進(jìn)行相關(guān)性分析，獲得圖像三維位置和姿態(tài)信息；提取圖像三維信息的視頻控制參數(shù)，將圖像三維信息映射轉(zhuǎn)化為相應(yīng)的游戲控制命令；建立控制接口，實(shí)現(xiàn)游戲的角色和場(chǎng)景控制。
9.根據(jù)權(quán)利要求8的基于立體視覺的游戲控制系統(tǒng)，其特征在于，所述攝像裝置標(biāo)定步驟包括對(duì)多個(gè)攝像裝置的內(nèi)外參數(shù)進(jìn)行標(biāo)定，對(duì)內(nèi)參數(shù)一次性標(biāo)定并記錄，外參數(shù)則需要每次改變攝像裝置位置后重新標(biāo)定。
10.根據(jù)權(quán)利要求8的基于立體視覺的游戲控制方法，其特征在于，所述同步獲取圖像的具體步驟如下通過高速圖像捕獲模塊與多個(gè)攝像裝置實(shí)時(shí)、同步獲取幀圖像，并對(duì)幀圖像進(jìn)行光線校正、去噪等預(yù)處理。
11.根據(jù)權(quán)利要求8的基于立體視覺的游戲控制方法，其特征在于，所述二維特征提取的具體實(shí)現(xiàn)步驟如下基于捕獲的圖像，利用人體姿態(tài)運(yùn)動(dòng)的時(shí)間和空間特征進(jìn)行特征分析，結(jié)合時(shí)空相關(guān)性信息，分別對(duì)局部區(qū)域進(jìn)行特征分析，提取出具有旋轉(zhuǎn)縮放不變性的特征，并通過上一時(shí)刻的結(jié)果進(jìn)行跟蹤校驗(yàn)及預(yù)測(cè)。
12.根據(jù)權(quán)利要求8的基于立體視覺的游戲控制方法，其特征在于，所述獲取三維特征具體實(shí)現(xiàn)步驟如下通過不同攝像裝置圖像的特征的相關(guān)性，結(jié)合攝像裝置位置信息，根據(jù)立體視覺的原理，先對(duì)單個(gè)攝像裝置圖像的目標(biāo)位置、特征進(jìn)行分析計(jì)算；再通過多個(gè)攝像裝置特征之間的關(guān)系，計(jì)算識(shí)別圖像目標(biāo)的三維空間位置和姿態(tài)參數(shù)，形成游戲人物或場(chǎng)景的三維控制信息。
13.根據(jù)權(quán)利要求8的基于立體視覺的游戲控制方法，其特征在于，所述游戲控制命令的具體實(shí)現(xiàn)步驟如下根據(jù)三維特征控制信息命令對(duì)識(shí)別的多維信息結(jié)果提取視頻控制參數(shù)，通過預(yù)先定義好的命令集進(jìn)行映射轉(zhuǎn)換，得到游戲的控制信息。
14.根據(jù)權(quán)利要求8的基于立體視覺的游戲控制方法，其特征在于，所述控制接口驅(qū)動(dòng)的具體實(shí)現(xiàn)步驟如下通過驅(qū)動(dòng)系統(tǒng)和游戲的控制接口，將游戲控制信息傳送到游戲，實(shí)現(xiàn)模擬游戲人物和場(chǎng)景漫游的實(shí)時(shí)控制功能。
15.根據(jù)權(quán)利要求13的基于立體視覺的游戲控制方法，其特征在于，將多維信息識(shí)別結(jié)果，映射到相應(yīng)的游戲控制中的具體步驟如下S31步驟命令集預(yù)處理步驟，首先對(duì)場(chǎng)景控制命令進(jìn)行分類，根據(jù)視頻對(duì)所需的命令集進(jìn)行選擇，用位置信息的控制場(chǎng)景的方向，用深度信息控制場(chǎng)景的運(yùn)動(dòng)，用方向信息控制場(chǎng)景的轉(zhuǎn)動(dòng)命令操作；S32步驟視覺控制轉(zhuǎn)換步驟，基于姿態(tài)的控制，通過多個(gè)攝像裝置，同步、實(shí)時(shí)采集人體的姿態(tài)及其運(yùn)動(dòng)狀態(tài)，在線進(jìn)行分析和識(shí)別，獲得三維位置和狀態(tài)，再根據(jù)當(dāng)前的狀態(tài)，采用一定的預(yù)測(cè)跟蹤算法，輸出相應(yīng)的控制量；S33步驟接口控制輸出，通過游戲控制接口，將控制參數(shù)實(shí)時(shí)整合到游戲的人物和場(chǎng)景控制中，或者直接調(diào)整模型達(dá)到控制的目的。
全文摘要
本發(fā)明公開一種基于立體視覺的游戲控制系統(tǒng)及方法，系統(tǒng)包括標(biāo)定裝置、同步圖像獲取裝置、二維、三維特征獲取裝置、視頻提取與轉(zhuǎn)化裝置、控制接口。方法包括對(duì)攝像裝置內(nèi)外參數(shù)標(biāo)定；獲得圖像并預(yù)處理；用姿態(tài)特征時(shí)空信息及其相關(guān)性進(jìn)行區(qū)域選擇和特征提?。猾@得三維位置和姿態(tài)信息并映射為游戲控制命令，由系統(tǒng)和游戲控制接口，實(shí)現(xiàn)模擬游戲人物和場(chǎng)景漫游的實(shí)時(shí)控制功能。本發(fā)明以取代或輔助傳統(tǒng)的鍵盤鼠標(biāo)。通過攝像裝置捕獲玩家姿態(tài)及其運(yùn)動(dòng)狀態(tài)圖像，在計(jì)算機(jī)中分析和識(shí)別，結(jié)合標(biāo)定的攝像裝置位置信息，確定目標(biāo)的空間位置與姿態(tài)，并將結(jié)果轉(zhuǎn)化為游戲的控制指令，實(shí)現(xiàn)對(duì)游戲中場(chǎng)景和人物的直接控制，以代替或輔助傳統(tǒng)的游戲交互方式。
文檔編號(hào)G06F19/00GK101086681SQ200610083199
公開日2007年12月12日 申請(qǐng)日期2006年6月9日 優(yōu)先權(quán)日2006年6月9日
發(fā)明者王陽生, 陳宇峰, 魯鵬 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所