一種基于立體視覺的動作采集和反饋方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于立體視覺的動作采集和反饋方法及系統(tǒng)，所述方法包括以下步驟：采集前方空間內(nèi)附件裝置上紅外光源的空間位置，并將該空間位置映射入虛擬空間中，控制虛擬物體的位置和方向；當(dāng)虛擬物體與虛擬環(huán)境發(fā)生交互行為時，無線控制附件裝置發(fā)生震動，模擬力的回饋感。本發(fā)明的優(yōu)點(diǎn)：1.定位迅速、精準(zhǔn)、運(yùn)行穩(wěn)定；2.硬件成本極其低廉，結(jié)構(gòu)簡單且體積非常小；3.可實現(xiàn)力反饋：力反饋能大大加強(qiáng)交互行為的真實感，提升用戶體驗；4.能實現(xiàn)增強(qiáng)現(xiàn)實功能，增加人機(jī)交互方式。
【專利說明】一種基于立體視覺的動作采集和反饋方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于立體視覺的動作采集和反饋方法及系統(tǒng)，屬于虛擬現(xiàn)實和增 強(qiáng)現(xiàn)實【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002] 采集手部動作并將其作為輸入信號用于計算機(jī)控制，從而可以在虛擬環(huán)境中還原 該手部動作用以人機(jī)交互。此類人機(jī)交互方式通常有如下的實現(xiàn)途徑：
[0003] 1、激光掃描：激光掃描前方的范圍，傳感器采集每個方向的反射光，計算距離，即 得前方每個點(diǎn)位的深度信息，組成一幅深度圖。如果將手放至傳感器前方，手的輪廓即可在 深度圖上顯示出來；而如果采用激光連續(xù)掃描前方范圍，那么手的空間位置、運(yùn)動軌跡和姿 態(tài)均可被計算機(jī)連續(xù)采集。采集的數(shù)據(jù)輸入計算機(jī)后，形成控制數(shù)據(jù)，進(jìn)而進(jìn)行人機(jī)交互。 該方法的優(yōu)點(diǎn)是得到的空間環(huán)境信息精確，缺點(diǎn)是若想實現(xiàn)低延時的動作快速捕捉需要較 昂貴的設(shè)備，且設(shè)備總體體積較大；
[0004] 2、紅外光斑掃描：使用紅外光源向前方射出隨機(jī)形狀的光斑，該光斑照射于前方 外形不同的物體上時，光斑形狀會相應(yīng)的發(fā)生改變；攝像頭將采集到的光斑形狀與存儲的 形狀進(jìn)行對比，并通過特殊算法進(jìn)行解算，從而得到設(shè)備前方每個點(diǎn)位的深度信息，組成深 度圖。若將手放在設(shè)備前，同樣可實現(xiàn)手部動作的連續(xù)采集。該方法適用于KINECT等成熟 的娛樂設(shè)備，技術(shù)成熟可靠，價格中等，設(shè)備總體積中等，但是其算法復(fù)雜，占用的系統(tǒng)資源 較多，總體延時較大，因而降低了使用的舒適程度；
[0005] 3、電磁感應(yīng)：設(shè)備向前方發(fā)射電磁波，當(dāng)手等物體進(jìn)入電磁場時，會形成擾動；設(shè) 備通過特殊算法將擾動還原為手部動作，實現(xiàn)動作采集。該方法延時小，成本低，但是還原 精度和穩(wěn)定性較差，且只能實現(xiàn)動作采集，無法實現(xiàn)圖像采集用于增強(qiáng)現(xiàn)實用途；
[0006] 4、視覺識別：通過單攝像頭或雙攝像頭采集圖像，并通過圖形學(xué)算法采集手部動 作，進(jìn)行人機(jī)交互。但是由于手部輪廓復(fù)雜，特征不明顯，因而該方法的運(yùn)算量較大，會產(chǎn)生 一定的延遲，影響用戶體驗。
[0007] 綜上，以上現(xiàn)有的解決方案均無法同時解決成本、延時、精確穩(wěn)定性的問題。最重 要的是沒有反饋機(jī)制，當(dāng)人手與虛擬世界物體發(fā)生交互時，僅僅由視覺感知動作，無法產(chǎn)生 觸覺等力的反饋，真實性大打折扣。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于，提供一種基于立體視覺的動作采集和反饋方法及系統(tǒng)，它可 以有效解決現(xiàn)有技術(shù)中存在的問題，尤其是現(xiàn)有技術(shù)無法同時解決成本、延時、精確穩(wěn)定性 的問題及無法產(chǎn)生力反饋的問題。
[0009] 為解決上述技術(shù)問題，本發(fā)明采用如下的技術(shù)方案：一種基于立體視覺的動作采 集和反饋方法，包括以下步驟：采集前方空間內(nèi)附件裝置上紅外光源的空間位置，并將該空 間位置映射入虛擬空間中，控制虛擬物體的位置和方向；當(dāng)虛擬物體與虛擬環(huán)境發(fā)生交互 行為時，無線控制附件裝置發(fā)生震動，模擬力的回饋感。
[0010] 優(yōu)選的，所述的采集前方空間內(nèi)附件裝置上紅外光源的空間位置具體包括：固定 在頭戴式顯示器上的雙攝像頭裝置分開左右采集前方的圖像，并將左右兩路圖像數(shù)據(jù)傳入 計算機(jī)中，計算機(jī)對兩路圖像數(shù)據(jù)進(jìn)行處理，即得附件裝置上紅外光源的空間位置。
[0011] 更優(yōu)選的，所述的雙攝像頭裝置分開左右采集前方的圖像，并將左右兩路圖像數(shù) 據(jù)傳入計算機(jī)中具體包括：雙攝像頭裝置通過左右兩側(cè)的CMOS或CCD傳感器采集前方的圖 像數(shù)據(jù)，該圖像數(shù)據(jù)經(jīng)過A/D轉(zhuǎn)換器后成為數(shù)字信號進(jìn)入DSP處理器，進(jìn)行曝光、增益、白平 衡處理；處理后的數(shù)字信號進(jìn)入編碼芯片中進(jìn)行信號編碼；編碼后，兩路視頻信號進(jìn)入數(shù) 據(jù)總線合成一路并通過USB數(shù)據(jù)線輸出至計算機(jī)，從而能得到穩(wěn)定、清晰的數(shù)字圖像。
[0012] 所述的USB數(shù)據(jù)線也可為雙攝像頭裝置自帶的數(shù)據(jù)線。
[0013] 更優(yōu)選的，所述的計算機(jī)對兩路圖像數(shù)據(jù)進(jìn)行處理，即得附件裝置上紅外光源的 空間位置具體包括：計算機(jī)對兩路視頻信號進(jìn)行解碼，并采集兩路視頻信號中紅外光源在 圖像中的X、Y坐標(biāo)值；將每個鏡頭采集的紅外光源的坐標(biāo)值換算成紅外光源相對于鏡頭的 方位角；當(dāng)已知相對兩個鏡頭的方位角及兩個鏡頭的間距時，計算即得紅外光源的X、Y、Z 坐標(biāo)值；將紅外光源的X、Y、Z坐標(biāo)值經(jīng)鏡頭畸變數(shù)學(xué)經(jīng)驗?zāi)Ｐ驼{(diào)整后，即得紅外光源相對 于攝像頭的真實空間坐標(biāo)。該方法能夠以較高精度和效率得到紅外光源點(diǎn)的空間位置，從 而實現(xiàn)目標(biāo)物體的高速穩(wěn)定捕捉。
[0014] 本發(fā)明所述方法還包括：將附件裝置上多個紅外光源的相對位置（即相對于攝像 頭的真實空間坐標(biāo)）與計算機(jī)中存儲的模型進(jìn)行耦合對比，判斷所述紅外光源對應(yīng)的附件 裝置的種類以及紅外光源在該附件裝置上的具體位置，從而判斷這些附件裝置的空間位置 和姿態(tài)，而連續(xù)的坐標(biāo)采集也能計算出這些裝置的移動軌跡和速率，并以此作為人機(jī)交互 的控制手段。
[0015] 本發(fā)明所述方法還包括：計算機(jī)對兩路視頻信號解碼后，分左右眼進(jìn)行顯示，形 成對周圍真實空間的立體視覺；在該立體視覺中，分左右眼疊加虛擬物體或場景；同時計 算機(jī)采集兩路視頻信號中紅外光源的X、Y坐標(biāo)值，獲得視野中附件裝置的控制命令（即位 置和動作命令），實現(xiàn)在增強(qiáng)現(xiàn)實環(huán)境下的互動體驗，比如戴上手套形附件裝置，能直接點(diǎn) 擊并控制桌面小戰(zhàn)場中的微縮虛擬戰(zhàn)士，且這些點(diǎn)擊觸碰行為一樣可觸發(fā)前述的力回饋事 件，大大提升使用者的控制體驗。
[0016] 實現(xiàn)前述方法的基于立體視覺的動作采集和反饋系統(tǒng)，包括：雙攝像頭裝置、基 座、附件裝置和計算機(jī)，所述的基座上設(shè)有A藍(lán)牙模塊和USB數(shù)據(jù)線，USB數(shù)據(jù)線與計算機(jī) 連接；所述的附件裝置上設(shè)有B藍(lán)牙模塊，B藍(lán)牙模塊與A藍(lán)牙模塊無線連接；所述的附件 裝置上還設(shè)有紅外LED或者紅外LED、震動模組與驅(qū)動盒，驅(qū)動盒分別與A藍(lán)牙模塊和震動 模組連接。
[0017] 優(yōu)選的，所述雙攝像頭裝置的鏡頭采用120度及以上廣角鏡頭，從而可以實現(xiàn)較 大面積的動作采集。
[0018] 優(yōu)選的，所述系統(tǒng)還包括：頭戴式顯示器，雙攝像頭裝置分開左右固定于頭戴式顯 示器上。
[0019] 本發(fā)明中，所述的附件裝置為手套形附件裝置、指環(huán)形附件裝置、槍形附件裝置或 手柄附件裝置，所述的手套形附件裝置、指環(huán)形附件裝置、槍形附件裝置或手柄附件裝置上 分別設(shè)有紅外LED，手套形附件裝置上還設(shè)有震動模組和驅(qū)動盒，槍形附件裝置、手柄附件 裝置上還設(shè)有扳機(jī)及按鍵，扳機(jī)及按鍵與B藍(lán)牙模塊連接。
[0020] 前述的基于立體視覺的動作采集和反饋系統(tǒng)中，所述的雙攝像頭裝置包括：CM0S 或C⑶傳感器、A/D轉(zhuǎn)換器、DSP處理器和編碼芯片，CMOS或C⑶傳感器、A/D轉(zhuǎn)換器、DSP處 理器和編碼芯片順次連接，編碼芯片通過數(shù)據(jù)總線及USB數(shù)據(jù)線與計算機(jī)連接。
[0021] 本發(fā)明中，所述的基座上還包括：充電線，充電線與附件裝置連接。
[0022] 與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：
[0023] 1.定位迅速、精準(zhǔn)、運(yùn)行穩(wěn)定：通過立體視覺運(yùn)用上述兩眼視差原理對紅外光源 點(diǎn)進(jìn)行空間定位，由于紅外光源點(diǎn)在空間環(huán)境中的特征非常清晰，因此定位運(yùn)算簡單，且精 度較高，加上雙攝像頭裝置最高支持120Hz幀率，在目標(biāo)物高速運(yùn)動的情況下，也能保持穩(wěn) 定追蹤，因此整體延時很低，用戶體驗較好；
[0024] 2.硬件成本極其低廉，結(jié)構(gòu)簡單且體積非常?。罕景l(fā)明通過采用雙攝像頭裝置采 集前方的圖像，進(jìn)而計算前方空間內(nèi)附件裝置上紅外光源的空間位置，其中，雙攝像頭裝置 采用微型模塊化CMOS、CCD圖像傳感器搭建，不僅價格極低，模塊高度集成，而且體積和重 量非常小，即使掛在頭戴式顯示器上使用，也不會形成負(fù)擔(dān)；
[0025] 3.可實現(xiàn)力反饋：力反饋能大大加強(qiáng)交互行為的真實感，提升用戶體驗；
[0026] 4.動作采集范圍廣：由于鏡頭采用120度及以上廣角鏡頭，能實現(xiàn)較大面積的動 作米集；
[0027] 5.可同步實現(xiàn)增強(qiáng)現(xiàn)實功能：本發(fā)明中采用雙攝像頭裝置作為傳感器，設(shè)備采集 的立體視覺除了用于空間定位，還能輸出至頭戴式顯示器重現(xiàn)真實視覺，而且在真實視覺 中也可疊加信息或是虛擬物體；另外本發(fā)明還能通過手部動作與這些信息或物體互動，實 現(xiàn)增強(qiáng)現(xiàn)實功能。

【專利附圖】

【附圖說明】
[0028] 圖1是指環(huán)形附件裝置的結(jié)構(gòu)示意圖；
[0029] 圖2是槍形附件裝置的結(jié)構(gòu)示意圖；
[0030] 圖3是手柄附件裝置的結(jié)構(gòu)示意圖；
[0031 ] 圖4是基座的結(jié)構(gòu)不意圖；
[0032] 圖5是手套形附件裝置的結(jié)構(gòu)示意圖；
[0033] 圖6是雙攝像頭裝置和頭戴式顯示器的連接方式示意圖；
[0034] 圖7是本發(fā)明的一種實施例的方法流程圖；
[0035] 圖8是實施例2的結(jié)構(gòu)示意圖；
[0036] 圖9是實施例3的結(jié)構(gòu)示意圖；
[0037] 圖10是實施例4的結(jié)構(gòu)示意圖；
[0038] 圖11是實施例5的結(jié)構(gòu)示意圖；
[0039] 圖12是實施例6的結(jié)構(gòu)示意圖。
[0040] 附圖標(biāo)記：1-雙攝像頭裝置，2-頭戴式顯示器，3-手套形附件裝置，4-震動模組， 5-驅(qū)動盒，6-指環(huán)形附件裝置，7-槍形附件裝置，8-紅外LED，9-扳機(jī)及按鍵，10-手柄附件 裝置，11-基座，12-充電線，13-USB數(shù)據(jù)線，14-附件裝置，15-計算機(jī)，16-A藍(lán)牙模塊，17-B 藍(lán)牙模塊，18-CM0S或CCD傳感器，19-A/D轉(zhuǎn)換器，20-DSP處理器，21-編碼芯片，22-數(shù)據(jù)總 線。
[0041] 下面結(jié)合附圖和【具體實施方式】對本發(fā)明作進(jìn)一步的說明。

【具體實施方式】
[0042] 本發(fā)明的實施例1 :一種基于立體視覺的動作采集和反饋方法，如圖7所示，包括 以下步驟：采集前方空間內(nèi)附件裝置14上紅外光源的空間位置：固定在頭戴式顯示器2前 方的雙攝像頭裝置1通過左右兩側(cè)的CMOS或(XD傳感器18采集前方的圖像數(shù)據(jù)，該圖像數(shù) 據(jù)經(jīng)過A/D轉(zhuǎn)換器19后成為數(shù)字信號進(jìn)入DSP處理器20,進(jìn)行曝光、增益、白平衡處理；處 理后的數(shù)字信號進(jìn)入編碼芯片21中進(jìn)行信號編碼；編碼后，兩路視頻信號進(jìn)入數(shù)據(jù)總線22 合成一路并通過雙攝像頭裝置1自帶的USB數(shù)據(jù)線輸出至計算機(jī)15 ;計算機(jī)15對兩路視頻 信號進(jìn)行解碼，并采集兩路視頻信號中紅外光源在圖像中的X、Y坐標(biāo)值；將每個鏡頭采集 的紅外光源的坐標(biāo)值換算成紅外光源相對于鏡頭的方位角；當(dāng)已知相對兩個鏡頭的方位角 及兩個鏡頭的間距時，計算即得紅外光源的X、Y、Z坐標(biāo)值；將紅外光源的X、Y、Z坐標(biāo)值經(jīng) 鏡頭畸變數(shù)學(xué)經(jīng)驗?zāi)Ｐ驼{(diào)整后，即得紅外光源相對于攝像頭的真實空間坐標(biāo)；以此類推，通 過以上方法可以獲得附件裝置14上多個紅外光源的坐標(biāo)，將這些坐標(biāo)的相對位置與計算 機(jī)15中存儲的模型進(jìn)行耦合對比，從而可以判斷出所述紅外光源對應(yīng)的附件裝置14的種 類（手套形附件或指環(huán)形附件等）以及紅外光源在該附件裝置14上的具體位置，進(jìn)而判斷 這些附件裝置14的空間位置和姿態(tài)；連續(xù)的進(jìn)行坐標(biāo)采集即可計算得出這些附件裝置14 的移動軌跡和速率；將所述的附件裝置空間位置、移動軌跡和速率映射入虛擬空間中，控制 虛擬物體的位置和方向；當(dāng)虛擬物體與虛擬環(huán)境發(fā)生交互行為時，無線控制附件裝置14發(fā) 生震動，模擬力的回饋感。計算機(jī)15對兩路視頻信號解碼后，分左右眼進(jìn)行顯示，形成對周 圍真實空間的立體視覺；在該立體視覺中，分左右眼疊加虛擬物體或場景；同時計算機(jī)15 采集兩路視頻信號中紅外光源的X、Y坐標(biāo)值，獲得視野中附件裝置14的位置和動作命令， 實現(xiàn)在增強(qiáng)現(xiàn)實環(huán)境下的互動。
[0043] 實施例2 :實現(xiàn)實施例1中所述方法的基于立體視覺的動作采集和反饋系統(tǒng)，如圖 8所示，包括：雙攝像頭裝置1、基座11、附件裝置14和計算機(jī)15,所述的基座11 (如圖4所 示）上設(shè)有A藍(lán)牙模塊16和USB數(shù)據(jù)線13, USB數(shù)據(jù)線13與計算機(jī)15連接；所述的附件 裝置14上設(shè)有B藍(lán)牙模塊17, B藍(lán)牙模塊17與A藍(lán)牙模塊16無線連接；雙攝像頭裝置1 與計算機(jī)15連接；所述的附件裝置14為手套形附件裝置3 (如圖5所示），手套形附件裝 置3上還設(shè)有紅外LED8、震動模組4與驅(qū)動盒5,驅(qū)動盒5分別與A藍(lán)牙模塊16和震動模 組4連接；所述的雙攝像頭裝置1包括：CMOS或(XD傳感器18、A/D轉(zhuǎn)換器19、DSP處理器 20和編碼芯片21，CMOS或(XD傳感器18、A/D轉(zhuǎn)換器19、DSP處理器20和編碼芯片21順 次連接，編碼芯片21通過數(shù)據(jù)總線22及USB數(shù)據(jù)線13與計算機(jī)15連接；還包括：頭戴式 顯示器2,雙攝像頭裝置1分開左右固定于頭戴式顯示器2前方（如圖6所示）。
[0044] 實施例3 :實現(xiàn)實施例1中所述方法的基于立體視覺的動作采集和反饋系統(tǒng)，如圖 9所示，包括：雙攝像頭裝置1、基座11、附件裝置14和計算機(jī)15,所述的基座11 (如圖4所 示）上設(shè)有A藍(lán)牙模塊16和USB數(shù)據(jù)線13, USB數(shù)據(jù)線13與計算機(jī)15連接；所述的附件 裝置14上設(shè)有B藍(lán)牙模塊17, B藍(lán)牙模塊17與A藍(lán)牙模塊16無線連接；雙攝像頭裝置1 與計算機(jī)15連接；所述的附件裝置14為指環(huán)形附件裝置6 (如圖1所示），指環(huán)形附件裝 置6上還設(shè)有紅外LED8 ;所述的雙攝像頭裝置1包括：CMOS或(XD傳感器18、A/D轉(zhuǎn)換器 19、DSP處理器20和編碼芯片21，CMOS或CCD傳感器18、A/D轉(zhuǎn)換器19、DSP處理器20和 編碼芯片21順次連接，編碼芯片21通過數(shù)據(jù)總線22及USB數(shù)據(jù)線13與計算機(jī)15連接； 還包括：頭戴式顯示器2,雙攝像頭裝置1分開左右固定于頭戴式顯示器2前方（如圖6所 示）。
[0045] 實施例4 :實現(xiàn)實施例1中所述方法的基于立體視覺的動作采集和反饋系統(tǒng)，如圖 10所示，包括：雙攝像頭裝置1、基座11、附件裝置14和計算機(jī)15,所述的基座11 (如圖4 所示）上設(shè)有A藍(lán)牙模塊16和USB數(shù)據(jù)線13, USB數(shù)據(jù)線13與計算機(jī)15連接；所述的附 件裝置14上設(shè)有B藍(lán)牙模塊17, B藍(lán)牙模塊17與A藍(lán)牙模塊16無線連接；雙攝像頭裝置 1與計算機(jī)15連接；所述的附件裝置14為槍形附件裝置7 (如圖2所示），槍形附件裝置7 上設(shè)有紅外LED8、扳機(jī)及按鍵9,扳機(jī)及按鍵9與B藍(lán)牙模塊17連接；所述的雙攝像頭裝置 1包括：CMOS或(XD傳感器18、A/D轉(zhuǎn)換器19、DSP處理器20和編碼芯片21，CMOS或(XD 傳感器18、A/D轉(zhuǎn)換器19、DSP處理器20和編碼芯片21順次連接，編碼芯片21通過數(shù)據(jù)總 線22及USB數(shù)據(jù)線13與計算機(jī)15連接；還包括：頭戴式顯示器2,雙攝像頭裝置1分開左 右固定于頭戴式顯示器2前方（如圖6所示）。
[0046] 實施例5 :實現(xiàn)實施例1中所述方法的基于立體視覺的動作采集和反饋系統(tǒng)，如圖 11所示，包括：雙攝像頭裝置1、基座11、附件裝置14和計算機(jī)15,所述的基座11 (如圖4 所示）上設(shè)有A藍(lán)牙模塊16和USB數(shù)據(jù)線13, USB數(shù)據(jù)線13與計算機(jī)15連接；所述的附 件裝置14上設(shè)有B藍(lán)牙模塊17, B藍(lán)牙模塊17與A藍(lán)牙模塊16無線連接；雙攝像頭裝置 1與計算機(jī)15連接；所述的附件裝置14為手柄附件裝置10 (如圖3所示），手柄附件裝置 10上設(shè)有紅外LED8、扳機(jī)及按鍵9,扳機(jī)及按鍵9與B藍(lán)牙模塊17連接；所述的雙攝像頭 裝置1包括：CMOS或(XD傳感器18、A/D轉(zhuǎn)換器19、DSP處理器20和編碼芯片21，CMOS或 (XD傳感器18、A/D轉(zhuǎn)換器19、DSP處理器20和編碼芯片21順次連接，編碼芯片21通過數(shù) 據(jù)總線22及USB數(shù)據(jù)線13與計算機(jī)15連接；還包括：頭戴式顯示器2,雙攝像頭裝置1分 開左右固定于頭戴式顯示器2前方（如圖6所示）。
[0047] 實施例6 :-種基于立體視覺的動作采集和反饋系統(tǒng)，如圖12所示，包括：雙攝像 頭裝置1、基座11、附件裝置14和計算機(jī)15,所述的基座11上設(shè)有A藍(lán)牙模塊16和USB數(shù) 據(jù)線13, USB數(shù)據(jù)線13與計算機(jī)15連接；所述的附件裝置14上設(shè)有B藍(lán)牙模塊17, B藍(lán) 牙模塊17與A藍(lán)牙模塊16無線連接；所述的附件裝置14上還設(shè)有紅外LED8。
[0048] 工作原理：
[0049] 1、手套形附件裝置3 :在手套指尖等關(guān)鍵節(jié)點(diǎn)設(shè)有紅外LED8和震動模組4 (紅外 LED8和震動模組4是在一起的），手套指肚位置內(nèi)藏微型偏心電機(jī)或是超聲波震動發(fā)生器 一類震動模組4,手套手背位置有驅(qū)動盒5,驅(qū)動盒5內(nèi)包含電池、B藍(lán)牙模塊17、震動模塊 驅(qū)動電路和微型充電接口等。電池通過微型充電接口與充電線12連接充電后，為裝置供 電；B藍(lán)牙模塊17與基座11上的A藍(lán)牙模塊16無線連接，計算機(jī)15通過基座11上的A藍(lán) 牙模塊16向B藍(lán)牙模塊17傳送信號，由B藍(lán)牙模塊17將控制信號傳送至震動模塊驅(qū)動電 路，最終由震動模塊驅(qū)動電路驅(qū)動震動模組4產(chǎn)生震動；
[0050] 2、指環(huán)形附件裝置6 :僅包括電池、微型充電接口、微型開關(guān)和紅外LED8,電池經(jīng) 微型充電接口與充電線12連接充電后向紅外LED8供電；
[0051] 3、槍形附件裝置7 :槍背脊部排列有兩個或多個紅外LED8,槍身上設(shè)有扳機(jī)及按 鍵9,按鍵可在軟件中實現(xiàn)行走控制等多種操作，扳機(jī)可實現(xiàn)模擬開火等操作，槍身內(nèi)包含 電池、B藍(lán)牙模塊17、震動模塊驅(qū)動電路和微型充電接口等，電池通過微型充電接口與充電 線12連接充電后，為裝置供電；B藍(lán)牙模塊17與基座11上的A藍(lán)牙模塊16無線連接，一 是由計算機(jī)15通過基座11上的A藍(lán)牙模塊16向B藍(lán)牙模塊17傳送信號，由B藍(lán)牙模塊 17將控制信號傳送至震動模塊驅(qū)動電路，最終由震動模塊驅(qū)動電路驅(qū)動震動模組4產(chǎn)生震 動，二是按下槍身按鍵或扳機(jī)時，B藍(lán)牙模塊17將按鍵信號通過基座11傳回計算機(jī)15 ;
[0052] 4、手柄附件裝置10 :當(dāng)應(yīng)用軟件環(huán)境同時需要空間定位和復(fù)雜的按鍵操作時，可 采用手柄附件裝置10或其他異形裝置，裝置上既設(shè)有紅外光源用于空間位置標(biāo)定，由于各 類按鍵實現(xiàn)操作功能，同時內(nèi)置力回饋震動模組4,裝置通過B藍(lán)牙模塊17和基座11與計 算機(jī)15相連，實現(xiàn)原理與其他幾類裝置相同；
[0053] 5、基座11 :基座11通過USB數(shù)據(jù)線13與計算機(jī)15連接，通過微型充電接口與充 電線12連接為附件裝置充電，并通過A藍(lán)牙模塊16與附件裝置進(jìn)行無線通信、交換信號或 實施控制；
[0054] 6、紅外光源點(diǎn)的空間位置定位原理：雙攝像頭裝置1通過左右兩側(cè)的CMOS或(XD 傳感器18采集前方的圖像數(shù)據(jù)，該圖像數(shù)據(jù)經(jīng)過A/D轉(zhuǎn)換器19后成為數(shù)字信號進(jìn)入DSP 處理器20,進(jìn)行曝光、增益、白平衡處理；處理后的數(shù)字信號進(jìn)入編碼芯片21中進(jìn)行信號編 碼；編碼后，兩路視頻信號進(jìn)入數(shù)據(jù)總線22合成一路并通過USB數(shù)據(jù)線13輸出至計算機(jī) 15 ;在計算機(jī)15獲得雙攝像頭裝置1輸入的兩路視頻信號后，對兩路視頻信號解碼，并采集 兩路視頻中紅外光源點(diǎn)在圖像中的X、Y坐標(biāo)值，每個鏡頭采集紅外光源的坐標(biāo)可換算為光 源相對鏡頭方位角，在已知相對兩個鏡頭方位角和兩個鏡頭間距的情況下，可算出光源的 X、Y、Z坐標(biāo)值，該坐標(biāo)經(jīng)過鏡頭畸變數(shù)學(xué)經(jīng)驗?zāi)Ｐ驼{(diào)整后，得到光源點(diǎn)相對于攝像頭的真實 空間坐標(biāo)。通過以上方法可以獲得多個光源點(diǎn)的坐標(biāo)，這些坐標(biāo)的相對位置可與計算機(jī)存 儲的模型進(jìn)行耦合對比，以判斷這些光源點(diǎn)對應(yīng)的是手套還是其他附件裝置14,進(jìn)而判斷 這些裝置的空間位置和姿態(tài)。而連續(xù)的坐標(biāo)采集能算出這些裝置的移動軌跡和速率，并以 此作為人機(jī)交互的控制手段；
[0055] 7、力反饋原理：當(dāng)使用者通過雙攝像頭裝置1和附件裝置14對虛擬環(huán)境內(nèi)虛擬人 物或虛擬物體進(jìn)行控制時，虛擬人物或虛擬物體會與虛擬環(huán)境發(fā)生交互行為，在某些預(yù)設(shè) 的交互發(fā)生時，計算機(jī)15會向附件裝置基座11發(fā)送信號以控制某個震動模組4進(jìn)行力的 反饋。比如虛擬人物手指觸碰了虛擬環(huán)境的一塊石頭，軟件引擎就會向附件裝置基座11的 驅(qū)動軟件發(fā)出信號，由基座11通過Α藍(lán)牙模塊16無線控制手套形附件裝置3手指上的震 動模組4產(chǎn)生震動，以模擬虛擬的碰觸感；
[0056] 8、增強(qiáng)現(xiàn)實原理：當(dāng)計算機(jī)15獲得雙攝像頭裝置1輸入的兩路視頻信號后，對 兩路視頻信號解碼，并分左右眼在頭戴式顯示器2上進(jìn)行顯示，形成對周圍真實空間的立 體視覺，在這一立體視覺中，可以疊加虛擬的物體或場景，比如在桌面顯示出一個小型的戰(zhàn) 場；同時計算機(jī)15對兩路視頻中的紅外光源X、Y坐標(biāo)值進(jìn)行采集，按前述的空間位置計算 原理和附件裝置14運(yùn)作原理得出視野中附件裝置14的位置和動作命令，從而實現(xiàn)在增強(qiáng) 現(xiàn)實環(huán)境下的互動體驗，比如戴上手套形附件裝置3,能直接點(diǎn)擊并控制桌面小戰(zhàn)場中的微 縮虛擬戰(zhàn)士，且這些點(diǎn)擊觸碰行為一樣可觸發(fā)前述的力回饋事件，大大提升使用者的控制 體驗。
【權(quán)利要求】
1. 一種基于立體視覺的動作采集和反饋方法，其特征在于，包括以下步驟：采集前方 空間內(nèi)附件裝置（14)上紅外光源的空間位置，并將該空間位置映射入虛擬空間中，控制虛 擬物體的位置和方向；當(dāng)虛擬物體與虛擬環(huán)境發(fā)生交互行為時，無線控制附件裝置（14)發(fā) 生震動，模擬力的回饋感。
2. 根據(jù)權(quán)利要求1所述的基于立體視覺的動作采集和反饋方法，其特征在于，所述的 采集前方空間內(nèi)附件裝置（14)上紅外光源的空間位置具體包括：固定在頭戴式顯示器（2) 上的雙攝像頭裝置（1)分開左右采集前方的圖像，并將左右兩路圖像數(shù)據(jù)傳入計算機(jī)（15) 中，計算機(jī)（15)對兩路圖像數(shù)據(jù)進(jìn)行處理，即得附件裝置（14)上紅外光源的空間位置。
3. 根據(jù)權(quán)利要求2所述的基于立體視覺的動作采集和反饋方法，其特征在于，所述的 雙攝像頭裝置（1)分開左右采集前方的圖像，并將左右兩路圖像數(shù)據(jù)傳入計算機(jī)（15)中具 體包括：雙攝像頭裝置（1)通過左右兩側(cè)的CMOS或CCD傳感器（18)采集前方的圖像數(shù)據(jù)， 該圖像數(shù)據(jù)經(jīng)過A/D轉(zhuǎn)換器（19)后成為數(shù)字信號進(jìn)入DSP處理器（20)，進(jìn)行曝光、增益、白 平衡處理；處理后的數(shù)字信號進(jìn)入編碼芯片（21)中進(jìn)行信號編碼；編碼后，兩路視頻信號 進(jìn)入數(shù)據(jù)總線（22)合成一路并通過USB數(shù)據(jù)線（13)輸出至計算機(jī)（15)。
4. 根據(jù)權(quán)利要求3所述的基于立體視覺的動作采集和反饋方法，其特征在于，所述的 計算機(jī)（15)對兩路圖像數(shù)據(jù)進(jìn)行處理，即得附件裝置（14)上紅外光源的空間位置具體包 括：對兩路視頻信號進(jìn)行解碼，并采集兩路視頻信號中紅外光源在圖像中的X、Y坐標(biāo)值；將 每個鏡頭采集的紅外光源的坐標(biāo)值換算成紅外光源相對于鏡頭的方位角；當(dāng)已知相對兩個 鏡頭的方位角及兩個鏡頭的間距時，計算即得紅外光源的X、Υ、Ζ坐標(biāo)值；將紅外光源的X、 Υ、Ζ坐標(biāo)值經(jīng)鏡頭畸變數(shù)學(xué)經(jīng)驗?zāi)Ｐ驼{(diào)整后，即得紅外光源相對于攝像頭的真實空間坐標(biāo)。
5. 根據(jù)權(quán)利要求4所述的基于立體視覺的動作采集和反饋方法，其特征在于，所述方 法還包括：將附件裝置（14)上多個紅外光源的相對位置與計算機(jī)（15)中存儲的模型進(jìn)行 耦合對比，判斷所述紅外光源對應(yīng)的附件裝置（14)的種類。
6. 根據(jù)權(quán)利要求4所述的基于立體視覺的動作采集和反饋方法，其特征在于，所述方 法還包括：計算機(jī)（15)對兩路視頻信號解碼后，分左右眼進(jìn)行顯示，形成對周圍真實空間 的立體視覺；在該立體視覺中，疊加虛擬物體或場景；同時計算機(jī)（15)采集兩路視頻信號 中紅外光源的Χ、Υ坐標(biāo)值，獲得視野中附件裝置（14)的控制命令，實現(xiàn)在增強(qiáng)現(xiàn)實環(huán)境下 的互動。
7. 實現(xiàn)權(quán)利要求1?6所述方法的基于立體視覺的動作采集和反饋系統(tǒng)，其特征在于， 包括：雙攝像頭裝置（1)、基座（11)、附件裝置（14)和計算機(jī)（15)，所述的基座（11)上設(shè)有 Α藍(lán)牙模塊（16)和USB數(shù)據(jù)線（13)，USB數(shù)據(jù)線（13)與計算機(jī)（15)連接；所述的附件裝 置（14)上設(shè)有B藍(lán)牙模塊（17)，B藍(lán)牙模塊（17)與A藍(lán)牙模塊（16)無線連接；所述的附 件裝置（14)上還設(shè)有紅外LED (8)或紅外LED (8)、震動模組（4)和驅(qū)動盒（5)，驅(qū)動盒（5) 分別與A藍(lán)牙模塊（16)和震動模組（4)連接。
8. 根據(jù)權(quán)利要求7所述的基于立體視覺的動作采集和反饋系統(tǒng)，其特征在于，還包括： 頭戴式顯示器（2)，雙攝像頭裝置（1)分開左右固定于頭戴式顯示器（2)上。
9. 根據(jù)權(quán)利要求7或8所述的基于立體視覺的動作采集和反饋系統(tǒng)，其特征在于，所述 的附件裝置（14)為手套形附件裝置（3)、指環(huán)形附件裝置（6)、槍形附件裝置（7)或手柄附 件裝置（10)，所述的手套形附件裝置（3)、指環(huán)形附件裝置（6)、槍形附件裝置（7)或手柄附 件裝置（10)上分別設(shè)有紅外LED (8)，手套形附件裝置（3)上還設(shè)有震動模組（4)和驅(qū)動盒 (5)，槍形附件裝置（7)、手柄附件裝置（10)上還設(shè)有扳機(jī)及按鍵（9)，扳機(jī)及按鍵（9)與B 藍(lán)牙模塊（17)連接。
10.根據(jù)權(quán)利要求9所述的基于立體視覺的動作采集和反饋系統(tǒng)，其特征在于，所述的 雙攝像頭裝置⑴包括：CMOS或(XD傳感器（18)、A/D轉(zhuǎn)換器（19)、DSP處理器（20)和編 碼芯片（21)，01?5或0!)傳感器（18)4/1)轉(zhuǎn)換器（19)、05?處理器（20)和編碼芯片（21) 順次連接，編碼芯片（21)通過數(shù)據(jù)總線（22)及USB數(shù)據(jù)線（13)與計算機(jī)（15)連接。
【文檔編號】G06F3/01GK104090660SQ201410329067
【公開日】2014年10月8日 申請日期:2014年7月10日 優(yōu)先權(quán)日:2014年5月30日
【發(fā)明者】賀杰, 洪健鈞 申請人:賀杰, 洪健鈞