(捕捉或估計(jì)的結(jié)果是幾何變換TD:gTD，其中D代表"顯示器"，T代表"軀干"）
[0118] 2)計(jì)算顯示設(shè)備上的圖像，其坐標(biāo)和2D失真取決于：
[0119] i .想要在相對(duì)于用戶的方向上在他的W自我為中屯、的坐標(biāo)系統(tǒng)中顯示的內(nèi)容 ("W自我為中屯、的內(nèi)容"），在該實(shí)施例中，其為圖像；
[0120] ii.幾何變換TD:gTD，其中D代表"顯示器"，T代表"軀干"；
[0121] 第二變型在于將所顯示的圖像坐標(biāo)系統(tǒng)鏈接到用戶的W自我為中屯、的坐標(biāo)系統(tǒng)， 通過：
[0122] 1)獲取(通過捕捉和/或估計(jì))用戶的頭部相對(duì)于用戶的身體/軀干的空間位置(3D 位置）；
[0123] (捕捉或估計(jì)的結(jié)果是幾何變換TH:gTH，其中T代表"軀干"，Η代表"頭部"）
[0124] 2)獲取(通過捕捉和/或估計(jì))顯示設(shè)備相對(duì)于用戶的頭部的空間位置(3D位置）； [012引（捕捉或估計(jì)的結(jié)果是幾何變換皿:gHD，其中D代表"顯示器"，Η代表"頭部"）
[0126] 3)計(jì)算顯示設(shè)備上的圖像，其坐標(biāo)和2D失真取決于
[0127] i .想要在相對(duì)于用戶的方向上在他的W自我為中屯、的坐標(biāo)系統(tǒng)中顯示的內(nèi)容 ("W自我為中屯、的內(nèi)容"），在該實(shí)施例中，其為圖像；
[012引 ii.幾何變換TH gTH和幾何變換皿削D的組合；
[0129] 與第一解決方案相比，第二解決方案添加頭部位置的知識(shí)，其在如頸部彎曲（向前 彎曲頸部)運(yùn)樣的一些情況下修改相對(duì)方向感知。
[0130] 第Ξ解決方案對(duì)于考慮影響相對(duì)方向的身體姿勢(shì)(例如，頭部在枕頭上，與更高或 更小的人交談)或者身體運(yùn)動(dòng)(例如，行走、跑步)可能是有必要的。
[0131] 參考坐標(biāo)系統(tǒng)是軀干坐標(biāo)系統(tǒng)(化Μχτ MyT Μζτ)，例如如圖3所示。還示出頭部和顯 示設(shè)備坐標(biāo)系統(tǒng)（顯示器坐標(biāo)系統(tǒng)為(化Mxd MyD Mzd))。用戶可W佩戴附接到軀干或頭部的 剛性部分的各種形式的位置傳感器，并且類似傳感器可W嵌入在手持或佩戴的顯示器中， 如圖4所示。 巧132] 2.2第一變型的詳細(xì)解釋
[0133]該示例變型假設(shè)在gTD可W通過僅3D旋轉(zhuǎn)和3D平移的組合來建模的意義上沒有所 感知的W自我為中屯、的空間的失真。更一般地，可W使用針對(duì)剛性對(duì)象的齊性變換，包括3D 空間中的旋轉(zhuǎn)平移、縮放、修剪和透視投影。在參考坐標(biāo)系統(tǒng)(運(yùn)里為軀干坐標(biāo)系統(tǒng)(Οτ Μχτ MyT Μζτ))中，顯示設(shè)備W按照幾何變換gTD描述的方式移動(dòng)和旋轉(zhuǎn)(在該示例中，3D旋轉(zhuǎn)和3D 平移），并且連接到顯示設(shè)備的坐標(biāo)系統(tǒng)(〇D Mxd MyD Mzd)中的點(diǎn)的位置Xd，Yd，Zd由下面等式 給出，其中Χτ,Υτ，幻是參考坐標(biāo)系統(tǒng)(Οτ Μχτ MyT Μζτ)中的該相同點(diǎn)的坐標(biāo)：
[0136] 具有參數(shù)
：平移向量)的上述gTD變換允許 將W自我為中屯、的內(nèi)容從W自我為中屯、的坐標(biāo)系統(tǒng)(參考軀干的)轉(zhuǎn)變到顯示器坐標(biāo)系統(tǒng)。
[0137] 對(duì)于顯示設(shè)備，該實(shí)施例的方法在于定義如圖5所示的球S(中屯、C，半徑R)，在其上 可W重新表示W(wǎng)自我為中屯、的內(nèi)容信息，例如通過像素網(wǎng)格（圖像)!巧，帶)，其中針對(duì)W軀 干坐標(biāo)系統(tǒng)(化Μχτ MyT Μζτ)中的坐標(biāo)(xc，yc，zc)的點(diǎn)C本身為中屯、的球坐標(biāo)系統(tǒng)中的極角白 和方位角舉來定義每個(gè)像素。球S定義在具有該設(shè)備的用戶的可到達(dá)的工作空間內(nèi)部。
[0138] 用于HMD(例如透視型眼鏡）的上述球?qū)㈦S著指點(diǎn)/交互不同而具有不同的特征，但 是所解釋的原理和公式仍然是相似的。
[0139] 為了計(jì)算坐標(biāo)(i，j)的顯示像素 P的密度或色彩，首先計(jì)算該像素在軀干坐標(biāo)系統(tǒng) 中的位置，首先W顯示器坐標(biāo)來定位該像素，然后應(yīng)用逆變換gDT= (gT〇ri。
[0140] 然后通過下式計(jì)算出點(diǎn)P的球坐標(biāo)點(diǎn)C為中屯、）：
[0144] 并且，對(duì)于手持設(shè)備的情況，如果昨炸-R (例如，<鱗），則對(duì)顯示像素 P給 出坐標(biāo)如,,化,處的W自我為中屯、的內(nèi)容像素的密度或色彩。
[0145] P(i,j) ~ ?(0ρ/〇Φρ/χ)
[0146] 如果球S相對(duì)于用戶的工作空間良好地被定義，則像素 Ρ和球S之間的過大的距離 (例如，!擇f%，燃）將不會(huì)出現(xiàn)。然而，在該情況下，應(yīng)當(dāng)分別在單眼視圖或立體視覺的情況 下在獨(dú)眼或左右眼的方向上執(zhí)行像素 P到球S上的投影。應(yīng)當(dāng)注意的是，知道在軀干坐標(biāo)系 統(tǒng)中的頭部位置則是必要的(gTH幾何變換）。
[0147] 2.3管理第一變型中的感知空間的可能失真
[0148] 要注意的是，空間方向的感知是復(fù)雜的視覺和精神運(yùn)動(dòng)任務(wù)。在一些情況下，相關(guān) 的感知方向和W自我為中屯、的內(nèi)容可能比使用位于相對(duì)于用戶固定空間位置處的球作為 顯示表面更加復(fù)雜。例如，移動(dòng)眼睛或頭部可能修改方向的感知，運(yùn)不僅是在裸眼的情況 下，在佩戴矯正眼鏡時(shí)更是如此，因?yàn)檫\(yùn)些使射線偏離，并且因此使對(duì)象空間和其在視網(wǎng)膜 上的投影之間的關(guān)系失真。
[0149] 為了解決所感知的空間的可能的失真，解決方案是保持上述的球表面，W表示W(wǎng) 自我為中屯、的內(nèi)容，但是在定義W自我為中屯、的內(nèi)容的巧，φ)空間中應(yīng)用特定變形（圖像變 形)。
[0150] W上等式：P(i,D - !如,化-,φρ,,Ο
[0151] 于是變成Ρ議0二卿'?機(jī))，其中炒P/C，舉'P/C) == Mor蛾(θρ,,'ο齡託)。
[015引（θ'，φ') === Morph化φ)是考慮方向感知的非線性的變形函數(shù)。其可W取決于頭部 和身體運(yùn)動(dòng)，并且例如取決于佩戴矯正眼鏡的用戶的校正和未校正的視野之間的界限。
[0153] 巧>，φ') = ΜοΓ抑化φ)可W由不同的數(shù)據(jù)公式表示，包括各種度數(shù)、樣條或球諧的 多項(xiàng)式表示。（滬===城or|?A.(慶f轉(zhuǎn)可W通過下面呈現(xiàn)的方法來校準(zhǔn)。
[0154] 另外，為了管理感知空間的可能失真，可W考慮W下：
[0155] -可W使用一些輔助變換，W考慮例如從軀干傳感器到軀干參考點(diǎn)的剛性平移或 者從顯示器坐標(biāo)系統(tǒng)到W像素的圖像坐標(biāo)系統(tǒng)的變換。
[0156] -幾何變換取決于在跟蹤用戶的移動(dòng)時(shí)的時(shí)間。
[0157] -取決于矯正眼鏡度數(shù)的視野調(diào)節(jié)/縮放可能是有必要的。
[0158] -如果手持設(shè)備具有一個(gè)或若干前相機(jī)和3D頭部姿態(tài)估計(jì)功能，則可W根據(jù)圖像 分析來估計(jì)幾何變換皿:邑皿。
[0159] 2.4 校準(zhǔn)
[0160] 在一些情況下，幾何變換可能需要校準(zhǔn)，并且該校準(zhǔn)可能是用戶相關(guān)的，因?yàn)槊總€(gè) 用戶將具有他的相對(duì)自我為中屯、的）方向的不同的感知。根據(jù)情況，可W使用若干校準(zhǔn) 方法。校準(zhǔn)的目標(biāo)是獲取適合用戶的一組幾何變換。在本文中所呈現(xiàn)的具體實(shí)施例中，校準(zhǔn) 針對(duì)獲取稍后在處理要顯示的視覺數(shù)據(jù)時(shí)使用的變換矩陣。
[0161] 校準(zhǔn)方法1:
[0162] 在該第一校準(zhǔn)方法中，通過針對(duì)平均或標(biāo)準(zhǔn)用戶生成的默認(rèn)幾何變換或者假設(shè)通 用顯示幾何形狀(例如球），向用戶顯示W(wǎng)自我為中屯、的內(nèi)容。然后，校準(zhǔn)處理根據(jù)在專用的 窗口小部件上的用戶動(dòng)作來更新幾何變換TD或TH和皿(球拉長(zhǎng)、平移、旋轉(zhuǎn)）。窗口小部件比 較用戶的感知內(nèi)容與期望的內(nèi)容，并且相應(yīng)地更新內(nèi)容變換。
[016引校準(zhǔn)方法2:
[0164]在該第二校準(zhǔn)方法中，通過針對(duì)平均或標(biāo)準(zhǔn)用戶生成的默認(rèn)幾何變換或者假設(shè)通 用顯示幾何(例如球），向用戶顯示W(wǎng)自我為中屯、的內(nèi)容。然后，校準(zhǔn)處理根據(jù)在系統(tǒng)分析的 正常使用中的用戶交互來更新幾何變換TD或TH和皿，標(biāo)識(shí)相比于期望的W自我為中屯、的內(nèi) 容幾何形狀的顯示設(shè)備的誤差。
[01巧]校準(zhǔn)方法3:
[0166] 在該第Ξ校準(zhǔn)方法中，通過W下步驟完成所顯示的圖像坐標(biāo)系統(tǒng)與用戶的W自我 為中屯、的坐標(biāo)系統(tǒng)之間的關(guān)系的校準(zhǔn)：
[0167] 1)在所顯示的圖像上放置和移動(dòng)作為W自我為中屯、的內(nèi)容的所關(guān)注的點(diǎn)（例如十 字或點(diǎn)）；
[0168] 2)要求用戶視覺地(對(duì)于手持設(shè)備，手動(dòng)地)跟隨所關(guān)注的點(diǎn)（用戶將必須根據(jù)所 關(guān)注的點(diǎn)來修改其姿勢(shì)）；
[0169] 3)捕捉若干時(shí)刻的用戶姿勢(shì)，通過：
[0170] a.捕捉鏈接到所顯示的圖像的坐標(biāo)系統(tǒng)相對(duì)于鏈接到用戶的身體/軀干的坐標(biāo)系 統(tǒng)的位置(幾何變換TD);或者
[0171] 捕捉鏈接到所顯示的圖像的坐標(biāo)系統(tǒng)相對(duì)于鏈接到用戶的頭部的坐標(biāo)系統(tǒng)的位 置(幾何變換皿）；
[0172] b.捕捉頭部坐標(biāo)系統(tǒng)相對(duì)于鏈接到用戶的身體/軀干的坐標(biāo)系統(tǒng)的位置(幾何變 換吼。
[0173] 4)根據(jù)所捕捉的圖像相對(duì)身體/軀干位置或者根據(jù)所捕捉的圖像相對(duì)頭部相對(duì)身 體/軀干位置來校準(zhǔn)相對(duì)于用戶的方向（在他/她的W自我為中屯、的坐標(biāo)系統(tǒng)中）：
[0174] a.校準(zhǔn)可W在于確定一般化所采樣的姿勢(shì)捕捉的模型(模型擬合)并且計(jì)算逆模 型。
[0175] 然后，W自我為中屯、的坐標(biāo)系統(tǒng)中的隨后的所顯示的圖像的穩(wěn)定化基于該校準(zhǔn)。
[0176] 2.5交互
[0177] 高iSk操作W自我為中屯、的內(nèi)容，例如，對(duì)于用戶，移動(dòng)巧肩部上"存儲(chǔ)的應(yīng)用 (例如Skype應(yīng)用似面對(duì)他/她，并且使用它。手持設(shè)備本身可W是指點(diǎn)設(shè)備，并且觸摸功能 可W觸發(fā)在W自我為中屯、的內(nèi)容環(huán)境中的例如拖拽動(dòng)作。另外，例如剛性固定在手背上或 W指環(huán)的形式的可佩戴的跟蹤設(shè)備可W允許指定或指點(diǎn)在W自我為中屯、的環(huán)境中的內(nèi)容。 如果用戶