一種基于普適計(jì)算的混合現(xiàn)實(shí)游戲系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于普適計(jì)算的混合現(xiàn)實(shí)游戲系統(tǒng)及方法。
【背景技術(shù)】
[0002]虛擬現(xiàn)實(shí)是一種能夠提供沉浸式體驗(yàn)的計(jì)算機(jī)系統(tǒng)，可以模仿我們周圍的世界。通過三維立體顯示，用戶可以完全沉浸在計(jì)算機(jī)生成的虛擬世界里。在2012年電子娛樂博覽會上，Oculus公司展出了基于虛擬現(xiàn)實(shí)技術(shù)的頭戴式顯示器Oculus Rift。它通過安裝在頭盔上的運(yùn)動傳感器跟蹤頭部運(yùn)動，并調(diào)節(jié)顯示視角，給用戶帶來逼真的沉浸式體驗(yàn)。但是，虛擬現(xiàn)實(shí)技術(shù)使用戶沉浸到一個完全虛擬的世界中去，把用戶與真實(shí)世界完全隔離，用戶完全沉浸其中而感受不到真實(shí)世界。
[0003]混合現(xiàn)實(shí)技術(shù)是虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展，該技術(shù)通過在虛擬環(huán)境中引入現(xiàn)實(shí)場景信息，在虛擬世界、現(xiàn)實(shí)世界和用戶之間搭起一個交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感。韓國的Live Park(4D虛擬現(xiàn)實(shí)主題公園)，玩家在入場前可以自行創(chuàng)造一個虛擬的角色，然后通過手上的RFID手環(huán)與園區(qū)內(nèi)的東西互動，充分感受虛擬與現(xiàn)實(shí)世界整合的樂趣。美國一家創(chuàng)新科技公司發(fā)表了一個全新娛樂設(shè)施“The VOID (The Vis1n ofInfinite Dimens1ns) ”，玩家將通過穿戴虛擬現(xiàn)實(shí)裝備進(jìn)入虛擬世界，搭配以該虛擬場景為主題搭建的實(shí)體場景，玩家可以在其中自由行動，體驗(yàn)虛擬現(xiàn)實(shí)的樂趣。這類游戲需要真實(shí)場景的配合。但是，相關(guān)真實(shí)環(huán)境的建造是一個復(fù)雜的過程，而且耗時較長、成本較高。此外，穿戴的虛擬現(xiàn)實(shí)裝備一般比較昂貴，并非消費(fèi)級的家庭裝備。

【發(fā)明內(nèi)容】

[0004]本發(fā)明為了解決上述問題，提出了一種基于普適計(jì)算的混合現(xiàn)實(shí)游戲系統(tǒng)及方法，該系統(tǒng)允許玩家在任意空閑空間、隨時隨地設(shè)計(jì)迷宮布局，通過繪圖工具繪制迷宮平面圖；利用手機(jī)拍照快速建立相應(yīng)的三維虛擬場景；利用虛擬現(xiàn)實(shí)眼鏡，通過玩家頭部的真實(shí)轉(zhuǎn)動即可感受沉浸式體驗(yàn)；利用體感設(shè)備對玩家真實(shí)姿態(tài)的跟蹤和識別，實(shí)現(xiàn)玩家對虛擬場景的移動輸入控制和自然交互。本系統(tǒng)不需要專門的物理空間、昂貴的虛擬現(xiàn)實(shí)設(shè)備，用戶也不需要訓(xùn)練，而且可以在任何時間任何地方游戲。
[0005]為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案:
[0006]—種基于普適計(jì)算的混合現(xiàn)實(shí)游戲系統(tǒng)，包括場景設(shè)計(jì)模塊、校正模塊、建模模塊、跟蹤與動作識別模塊、跟蹤注冊模塊和交互模塊，其中，所述場景設(shè)計(jì)模塊，通過繪圖工具利用輪廓線繪畫迷宮平面圖，建立迷宮場景；
[0007]所述校正模塊，用于采集拍攝的迷宮平面圖，對其進(jìn)行校正，導(dǎo)入建模模塊；
[0008]所述建模模塊，接收校正后的圖片，進(jìn)行迷宮布局的繪制，將迷宮真實(shí)物體的信息作為建模輸入，發(fā)送到各個玩家的客戶端，完成虛擬場景的建立；
[0009]所述跟蹤與動作識別模塊，利用體感設(shè)備將捕獲的使用者位置信息與動作信息映射到虛擬場景中，為虛擬場景中相應(yīng)使用者的位置和動作提供數(shù)據(jù)，并發(fā)送到服務(wù)器端；
[0010]所述跟蹤注冊模塊，用于對使用者視場與視點(diǎn)的跟蹤，確定當(dāng)前視場中的目標(biāo)物、用戶視點(diǎn)的位置和朝向；
[0011]所述交互模塊，用于實(shí)現(xiàn)用戶與真實(shí)場景中的虛擬對象的交互，確定用戶對虛擬對象發(fā)出的指令，對其解釋，給出相應(yīng)的反饋結(jié)果，通過虛擬現(xiàn)實(shí)眼鏡給玩家反映虛擬世界的景象。
[0012]基于上述系統(tǒng)的工作方法，包括以下步驟:
[0013](1)通過繪圖工具在真實(shí)空間中設(shè)計(jì)迷宮平面圖，拍攝迷宮平面圖，并對拍攝時因透視原因?qū)е碌膱D片變形進(jìn)行校正，建立虛擬迷宮；
[0014](2)判斷多個玩家的情況下是否異地參與，如果是，跳轉(zhuǎn)步驟(3)，否則，跳轉(zhuǎn)步驟
(4);
[0015](3)玩家根據(jù)服務(wù)器端發(fā)送的平面圖在真實(shí)場地繪制同一結(jié)構(gòu)的迷宮；
[0016](4)根據(jù)所有玩家接收到的迷宮信息，服務(wù)器端接收虛擬迷宮建模模塊發(fā)送來的迷宮墻體信息，并發(fā)送到各個玩家的客戶端，完成虛擬場景的建立，建立三維場景；
[0017](5)利用跟蹤與動作識別模塊，將捕獲到的玩家位置信息與動作信息映射到虛擬場景中，為虛擬場景中玩家的位置和動作提供數(shù)據(jù)，并發(fā)送到服務(wù)器端，完成虛擬場景中玩家的漫游與交互；
[0018](6)根據(jù)基于傳感器的注冊方法，獲取用戶頭部的轉(zhuǎn)動角度，從而確定用戶視點(diǎn)的位置和朝向，利用虛擬現(xiàn)實(shí)眼鏡作為輸出設(shè)備，向使用者呈現(xiàn)虛擬世界的景象；
[0019](7)對每個玩家的位置實(shí)時跟蹤與姿態(tài)識別，并捕獲到的玩家位置信息與動作信息映射到虛擬場景中，為虛擬場景中所有玩家的位置和動作提供數(shù)據(jù)，并發(fā)送到服務(wù)器端，跳轉(zhuǎn)步驟(5)。
[0020]所述步驟(1)中，校正方法為將圖片矩形的四個角進(jìn)行拖拽，使圖片中迷宮墻體形狀與實(shí)際繪畫情況一致。
[0021]所述步驟(1)中，建立虛擬迷宮的具體方法包括:
[0022](1-1)利用攝像機(jī)對繪制的平面圖拍照，并完成圖片的校正；
[0023](1-2)將校正后的圖片導(dǎo)入手機(jī)建模部分，在4*4的網(wǎng)格內(nèi)進(jìn)行迷宮布局的繪制；
[0024](1-3)將得到的迷宮墻體信息作為建模部分的輸入，發(fā)送到服務(wù)器端。
[0025]所述步驟(5)中，利用Kinect進(jìn)行跟蹤與動作識別，具體步驟包括:
[0026](5-1)坐標(biāo)校正，在真實(shí)空間內(nèi)選取多組不同位置的樣本點(diǎn)，使樣本點(diǎn)均勻分布，并測量出每個樣本點(diǎn)在虛擬場景中的位置，在Kinect坐標(biāo)系中的位置；
[0027](5-2)利用最小二乘法計(jì)算得到Kinect對于虛擬場景坐標(biāo)系的變換矩陣T ；
[0028](5-3)通過捕獲用戶手部關(guān)節(jié)點(diǎn)和頭部的位置信息，計(jì)算用戶位置和動作識別。
[0029]所述步驟(5-3)中，用戶位置計(jì)算的具體方法為:令第k幀Kinect獲取的用戶位置信息SPjk) = {Xlk，yik，Zlk}，其中，i表示Kinect可跟蹤的人數(shù)，0彡i彡6;則用戶在虛擬現(xiàn)實(shí)中的位置V—Pjk) = ΡΑΙΟ*!1，用來控制虛擬主角的移動。
[0030]所述步驟(5-3)中，動作識別的具體方法為:通過Kinect捕獲用戶手部關(guān)節(jié)點(diǎn)和頭部的位置信息判斷用戶動作:令(XLH, Ylh, Zlh)、(XRH, YRH, ZRH)、(XH, YH, zH)分別為用戶的左手、右手、頭部的空間位置；
[0031]定義動作標(biāo)志'AY'=Y LH-YH, Δ Υ2= Υ RH-YH,
[0032]如果Λ Υ^Ο或者Λ Υ2>0，表示用戶做出舉手動作，通過動作標(biāo)志控制用戶與虛擬場景中物體的交互。
[0033]所述步驟￠)中，將手機(jī)放置在虛擬現(xiàn)實(shí)眼鏡中，佩戴并調(diào)整好眼鏡位置，使用戶看到的場景與現(xiàn)實(shí)中保持一致；利用手機(jī)自帶的陀螺儀或重力感應(yīng)，通過轉(zhuǎn)動頭部調(diào)整用戶在虛擬系統(tǒng)中的視角，完成對用戶視場與視點(diǎn)的跟蹤。
[0034]本發(fā)明的工作原理為:用戶在任意空閑空間通過繪圖工具(如粉筆、彩帶等)繪制迷宮結(jié)構(gòu)，不受其他因素的約束；然后利用手機(jī)拍照快速建立對應(yīng)的三維虛擬場景；利用虛擬現(xiàn)實(shí)眼鏡(如小宅魔鏡、暴風(fēng)魔鏡)，通過玩家頭部的真實(shí)轉(zhuǎn)動即可感受沉浸式體驗(yàn)；利用體感設(shè)備(如Kinect)對玩家真實(shí)姿態(tài)的跟蹤和識別，實(shí)現(xiàn)玩家對虛擬場景的移動輸入控制和自然交互。該發(fā)明提供兩種游戲模式:單人模式；多人模式。其中，多個玩家包括同地多個玩家和異地多個玩家的方式，玩家之間采用客戶端服務(wù)器模式完成通訊，由一個玩家繪制游戲場景，所有玩家共享同一個虛擬游戲場景。
[0035]本發(fā)明的有益效果為:
[0036](1)本發(fā)明的方法使用方便、易操作、成本較低；
[0037](2)對空間的限制較少，只要有空的場地，不論大小，即可實(shí)現(xiàn)無處不在的沉浸式游戲體驗(yàn)；
[0038](3)場景設(shè)計(jì)主觀性較強(qiáng)，只需在場地上繪制出平面圖即可。而且，用輪廓線代表真實(shí)物體，減少建造成本、提尚空間占用率；
[0039](4)不需要昂貴的虛擬現(xiàn)實(shí)設(shè)備，所米用的設(shè)備適合家庭和個人體驗(yàn)；
[0040](5)用戶不需要額外的訓(xùn)練，使用自然的交互方式即可；
[0041](6)支持多人操作，異地用戶可以達(dá)到同地用戶的體驗(yàn)效果；
[0042](7)除了在游戲娛樂方面有廣泛應(yīng)用外，也可將類似技術(shù)用于教育、軍事訓(xùn)練等領(lǐng)域。如在消防訓(xùn)練中，根據(jù)地上畫出的室內(nèi)平面圖，快速建立三維虛擬場景，消防員可完成走路、跑步、匍匐等。
【附圖說明】
[0043]圖1為本發(fā)明的硬件組成結(jié)構(gòu)圖；
[0044]圖2為本發(fā)明游戲系統(tǒng)流程圖；
[0045]圖3(a)為迷宮平面圖；
[0046]圖3 (b)為對獲取的迷宮圖片進(jìn)行校正；
[0047]圖3(c)為導(dǎo)入校正好的迷宮圖片，進(jìn)行虛擬迷宮的繪制示意圖；
[0048]