混合現(xiàn)實(shí)仿真方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明總體上涉及混合現(xiàn)實(shí)仿真，更具體地涉及用于訓(xùn)練目的的混合現(xiàn)實(shí)仿真裝 置和系統(tǒng)，例如在醫(yī)療領(lǐng)域。
[0002] 相關(guān)申請(qǐng)的交叉引用
[0003] 本申請(qǐng)要求于2012年9月12日申請(qǐng)的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)序列號(hào)US61/700, 222 的權(quán)益，其發(fā)明人是 Stefan Tuchschmid、Jonas SpillmanruMatthias Harders，發(fā)明名稱(chēng) 是"具有被動(dòng)觸覺(jué)反饋的混合現(xiàn)實(shí)仿真器、方法和系統(tǒng)"，在本文出于各種目的將其作為參 考全文引入。
[0004] 發(fā)明背景
[0005] 在傳統(tǒng)的虛擬現(xiàn)實(shí)應(yīng)用中，視覺(jué)仿真主要用于給終端用戶(hù)提供與虛擬環(huán)境交互的 視覺(jué)假象。在混合的現(xiàn)實(shí)場(chǎng)景中，用戶(hù)與在物理環(huán)境（真實(shí)環(huán)境）和相關(guān)的虛擬環(huán)境中的真 實(shí)對(duì)象共同相互影響，觸覺(jué)使得虛擬環(huán)境（VE)內(nèi)部的導(dǎo)航非常容易，盡管用戶(hù)仍然不能通 過(guò)明顯的固體表面，但是混合現(xiàn)實(shí)提高了浸入程度和技能獲取水平。通常物理觸摸用主動(dòng) 觸覺(jué)反饋裝置模擬，例如兩個(gè)觸覺(jué)裝置，其設(shè)置有美國(guó)專(zhuān)利申請(qǐng)公開(kāi)2010/0086905中描述 的關(guān)節(jié)鏡檢查模擬器中的移動(dòng)部件。那種模擬器包括真實(shí)尺寸的關(guān)節(jié)或器官的人體解剖模 型和模仿真實(shí)醫(yī)療操作裝置的模擬醫(yī)療器械；模型還與傳感器和移動(dòng)部件相配合以引導(dǎo)、 跟蹤和控制該醫(yī)療器械在解剖模型中的操作。然而，主動(dòng)式觸覺(jué)反饋從商業(yè)和計(jì)算的角度 上看是昂貴的，特別是如果模擬剛性接觸。由于裝置的機(jī)械配置，該工具的可能的運(yùn)動(dòng)程度 是有限的；它們還承受各種機(jī)械限制，例如摩擦和慣性，并且力和力矩的最大可用量通常不 夠。另外，當(dāng)今的裝置十分巨大且不能容易地集成到模擬器硬件中。當(dāng)必須支持不同的訓(xùn) 練場(chǎng)景時(shí)，例如在多目的培訓(xùn)教室中，對(duì)每種不同的訓(xùn)練模型需要不同的硬件設(shè)置。最后但 同樣重要的，從操作的角度來(lái)看，主動(dòng)式觸覺(jué)反饋系統(tǒng)在操作之前需要特殊的設(shè)置和校準(zhǔn)； 并且在實(shí)踐中，隨著時(shí)間的流逝該設(shè)置不穩(wěn)定，因此需要定期的維護(hù)以避免誘發(fā)訓(xùn)練錯(cuò)誤。
[0006] 被動(dòng)式觸覺(jué)解決方案，也被稱(chēng)為觸覺(jué)增強(qiáng)或者混合現(xiàn)實(shí)，對(duì)于主動(dòng)式觸覺(jué)反饋來(lái) 說(shuō)，提供了一種價(jià)格可取的替代場(chǎng)景。被動(dòng)式觸覺(jué)技術(shù)包括將真實(shí)的物理對(duì)象加入到虛擬 環(huán)境模擬器中，引起了非常強(qiáng)烈的觸感。與主動(dòng)式觸覺(jué)反饋相比，被動(dòng)式觸覺(jué)引起非常真實(shí) 的觸感，特別是與硬環(huán)境結(jié)合。然而，虛擬環(huán)境的修改需要物理對(duì)應(yīng)事物的修改，因?yàn)樘摂M 環(huán)境與相關(guān)聯(lián)的物理對(duì)象之間的映射通常是一對(duì)一以避免虛擬與觸覺(jué)信號(hào)之間的錯(cuò)配。這 種與下層物理環(huán)境的一對(duì)一映射使得虛擬環(huán)境缺乏靈活性。在被動(dòng)式觸覺(jué)手術(shù)模擬器的背 景中，這可能妨礙在模擬器中模擬不同的虛擬病人或者動(dòng)態(tài)改變訓(xùn)練場(chǎng)景。
[0007] 參考圖1能更好地理解這種限制。圖1表示模擬真實(shí)世界A的用戶(hù)物理操作器 IOOa(Hp)與真實(shí)環(huán)境A中的物理對(duì)象IlOa(Ep)的交互的兩種不同的混合現(xiàn)實(shí)場(chǎng)景B和C。根 據(jù)兩個(gè)不同的場(chǎng)景B和C，用戶(hù)物理操作器100a (Hp)可以由操作器的具體化100b、100c (Hv) 表示，同時(shí)物理對(duì)象IlOa(Ep)可以由虛擬環(huán)境中的物理對(duì)象的具體化IlObUlOc(E v)來(lái)表 示。在場(chǎng)景B中，物理對(duì)象的具體化IlOb(Ev)大于真實(shí)的對(duì)象110a，同時(shí)操作器的具體化 100b (Hv)具有原始操作器IOOa相同的尺寸，這樣在虛擬環(huán)境B中默認(rèn)的用戶(hù)交互導(dǎo)致操作 器具體化IOOb和對(duì)象具體化IlOb在偏差接觸交互點(diǎn)120b碰撞和穿透。當(dāng)操作器具體化 的尖端觸碰對(duì)象具體化IlOb(Ev)的點(diǎn)120b時(shí)，在它被手感受到之前，該碰撞在屏幕上能被 看見(jiàn)。這樣，在這個(gè)點(diǎn)沒(méi)有接收到觸覺(jué)刺激，這擾亂了用戶(hù)，因?yàn)橐曈X(jué)和觸覺(jué)刺激感知不同 步的結(jié)果。相反地，在場(chǎng)景C中，物理對(duì)象具體化110c (Ev)小于真實(shí)的對(duì)象110a，這樣終端 用戶(hù)看不見(jiàn)在虛擬環(huán)境C中操作器100c (Hv)與對(duì)象具體化IlOc在差異接觸交互點(diǎn)120c碰 撞，然而因?yàn)樵谡鎸?shí)環(huán)境中真實(shí)的操作器IOOa在接觸點(diǎn)120a被阻擋，所以終端用戶(hù)感覺(jué)到 來(lái)自真實(shí)對(duì)象交互的碰撞，導(dǎo)致不逼真的混合的現(xiàn)實(shí)感受。
[0008] 為了克服這種局限，近來(lái)的產(chǎn)品提出了空間彎曲技術(shù)，其中通過(guò)允許虛擬和物理 對(duì)象之間的映射存在差異，虛擬空間被扭曲以致于多種虛擬環(huán)境能被映射到一個(gè)單獨(dú)的物 理環(huán)境上。為此，虛擬空間被彎曲，導(dǎo)致在真實(shí)和虛擬世界中的用戶(hù)導(dǎo)向工具的運(yùn)動(dòng)之間的 差異，這可能不會(huì)被終端用戶(hù)注意到，只要在他的/她的感覺(jué)閾值之下。正如本領(lǐng)域技術(shù) 人員所知道的，彎曲可以通過(guò)在其表面上表現(xiàn)3D模型來(lái)實(shí)現(xiàn)，例如，多邊形表面表示，控制 該表示并且把該控制的表示轉(zhuǎn)換回改進(jìn)的3D模型，但是其他的彎曲技術(shù)也是可能的。圖 2示出了這樣的例子，其中用戶(hù)導(dǎo)向的裝置IOOa在真實(shí)環(huán)境A中的平面IlOa上以恒定速 度移動(dòng)，并且該平面彎曲成虛擬環(huán)境B中的曲面110b。相應(yīng)地，在虛擬環(huán)境中相應(yīng)的用戶(hù) 導(dǎo)向裝置具體化IOOb的速度不是恒定的以維持運(yùn)動(dòng)期間連貫的感覺(jué)。在"再定向的接觸： 彎曲空間以再測(cè)量被動(dòng)式觸覺(jué)（Redirected touching :warping space to remap passive haptics)，公開(kāi)在IEEE 3D用戶(hù)界面專(zhuān)題討論會(huì)，129-130頁(yè)，2010年"中，Kohli提出用空 間彎曲改進(jìn)虛擬現(xiàn)實(shí)訓(xùn)練系統(tǒng)以在給定的真實(shí)環(huán)境基礎(chǔ)上增加訓(xùn)練場(chǎng)景的數(shù)量。然而，特 別當(dāng)虛擬環(huán)境參數(shù)根據(jù)要被模擬的混合現(xiàn)實(shí)場(chǎng)景隨著時(shí)間和/或空間改變時(shí)，還不適應(yīng)。

【發(fā)明內(nèi)容】

[0009] 這里描述的混合現(xiàn)實(shí)仿真方法和系統(tǒng)一方面可以有效地和自動(dòng)地適應(yīng)虛擬環(huán)境 中的仿真場(chǎng)景，另一方面可以跟蹤底層的物理環(huán)境，同時(shí)當(dāng)他/她與硬件模擬器的物理組 件交互時(shí)，提供逼真的被動(dòng)觸感反饋?zhàn)鳛橐恢碌挠|覺(jué)和視覺(jué)提示給終端用戶(hù)。
[0010] 注意到盡管這里描述的實(shí)施例用于被動(dòng)式觸覺(jué)反饋場(chǎng)景，下面說(shuō)明的系統(tǒng)和方法 在一些實(shí)施例中也可以應(yīng)用于主動(dòng)式觸覺(jué)反饋場(chǎng)景。
[0011] 本發(fā)明提出了一種用于在顯示器上呈現(xiàn)與物理環(huán)境相適應(yīng)的虛擬環(huán)境的混合現(xiàn) 實(shí)場(chǎng)景的混合現(xiàn)實(shí)仿真方法，該方法包括 ：
[0012] 用傳感器獲取物理環(huán)境對(duì)象的位置；
[0013] 識(shí)別物理環(huán)境表面和虛擬環(huán)境表面之間的錯(cuò)配，所述錯(cuò)配取決于物理環(huán)境對(duì)象位 置和混合現(xiàn)實(shí)場(chǎng)景參數(shù)；以及
[0014] 基于識(shí)別的錯(cuò)配計(jì)算虛擬環(huán)境表面的映射位移。
[0015] 本發(fā)明還提出了一種用于在顯示器上呈現(xiàn)與物理環(huán)境相適應(yīng)的虛擬環(huán)境的混合 現(xiàn)實(shí)場(chǎng)景的混合現(xiàn)實(shí)仿真器系統(tǒng)，該系統(tǒng)包括：
[0016] 物理對(duì)象；
[0017] 配置獲取該物理對(duì)象位置的傳感器；
[0018] 顯示器；
[0019] 配置存儲(chǔ)虛擬環(huán)境的存儲(chǔ)器；和
[0020] 處理器電路，配置為：
[0021] 從所述傳感器接收物理對(duì)象的位置；
[0022] 識(shí)別虛擬環(huán)境表面和物理環(huán)境表面之間的錯(cuò)配，所述錯(cuò)配取決于物理對(duì)象位置和 混合現(xiàn)實(shí)場(chǎng)景參數(shù)；以及
[0023] 基于識(shí)別的錯(cuò)配計(jì)算虛擬環(huán)境表面的映射位移。
[0024] 當(dāng)虛擬環(huán)境的至少一個(gè)參數(shù)不匹配相應(yīng)的物理環(huán)境參數(shù)時(shí)，物理和虛擬環(huán)境之間 的錯(cuò)配被確定?？梢砸鹨曈X(jué)和觸覺(jué)錯(cuò)配的具體參數(shù)例子包括對(duì)象表面或者體積，但是其 他特征也可以引起錯(cuò)配，例如對(duì)象紋理。
[0025] 一種用于跟蹤至少一個(gè)物理操作器與物理環(huán)境中至少一個(gè)物理對(duì)象的交互并且 呈現(xiàn)虛擬環(huán)境的混合現(xiàn)實(shí)仿真方法，包括提供至少一個(gè)虛擬操作器。虛擬環(huán)境可以與物理 環(huán)境分開(kāi)和/或虛擬操作器可以與物理操作器分開(kāi)，以這種方式終端用戶(hù)所感覺(jué)的視覺(jué)和 觸覺(jué)保持一致。
[0026] 在一些實(shí)施例中，仿真方法可以包括：識(shí)別虛擬環(huán)境和物理環(huán)境表面之間的至少 一個(gè)錯(cuò)配；基于原始的和彎曲的表面幾何形狀之間的差異計(jì)算至少一個(gè)虛擬環(huán)境表面的映 射位移；推算虛擬環(huán)境中操作器具體化的映射位移；把推算到操作器具體化的映射位移加 到原始的具體化表面的至少一個(gè)差異接觸交互點(diǎn)以建模扭曲的具體化表面；以及在仿真顯 示器上呈現(xiàn)扭曲的操作器具體化和靜態(tài)空間彎曲虛擬環(huán)境對(duì)象給終端用戶(hù)。
[0027] 從原始到扭曲的虛擬現(xiàn)實(shí)具體化的映射可以通過(guò)自適應(yīng)的空間彎曲實(shí)現(xiàn)。最大扭 曲模型和物理復(fù)制模型之間的扭曲量進(jìn)一步可以由附加的參數(shù)控制，例如但不限于標(biāo)量參 數(shù)或者復(fù)合參數(shù)。
[0