具有與移動(dòng)計(jì)算設(shè)備介接的接口的頭戴式設(shè)備(hmd)系統(tǒng)的制作方法
【專利說明】
[0001 ]優(yōu)先權(quán)要求
[0002] 本申請(qǐng)是2014年5月30日提交的美國(guó)臨時(shí)專利申請(qǐng)第62/006,022號(hào)的非臨時(shí)申 請(qǐng)，且所述美國(guó)臨時(shí)專利申請(qǐng)以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0003] 本發(fā)明涉及用于觀看媒體內(nèi)容的頭戴式耳機(jī)，并且更特定來說，涉及可集成智能 設(shè)備并且處理用于3D呈現(xiàn)的圖像數(shù)據(jù)的頭戴式耳機(jī)。
【背景技術(shù)】
[0004] 計(jì)算行業(yè)和視頻游戲行業(yè)這些年已經(jīng)發(fā)生了許多變化。隨著計(jì)算能力的擴(kuò)展，視 頻游戲的開發(fā)者已經(jīng)創(chuàng)建了適合于提高的計(jì)算能力的游戲軟件。為此目的，視頻游戲開發(fā) 者一直在譯碼并入有復(fù)雜操作和數(shù)學(xué)運(yùn)算的游戲，以產(chǎn)生非常逼真的游戲體驗(yàn)。
[0005] 這些游戲被呈現(xiàn)為包括游戲控制臺(tái)、便攜式游戲設(shè)備的游戲系統(tǒng)的一部分，和/或 被提供為服務(wù)器或云上的服務(wù)。眾所周知，游戲控制臺(tái)被設(shè)計(jì)成連接到監(jiān)視器(通常是電視 機(jī)），并且通過手持式控制器/輸入設(shè)備實(shí)現(xiàn)用戶交互。游戲控制臺(tái)可包括專門處理硬件以 及其它膠連硬件、固件和軟件，所述專門處理硬件包括CPU、用于處理密集圖形操作的圖形 處理器、用于執(zhí)行幾何變換的向量單元。游戲控制臺(tái)可進(jìn)一步被設(shè)計(jì)成具有用于接納游戲 壓縮光盤的光盤托盤，以便通過游戲控制臺(tái)進(jìn)行本地游戲。在線游戲和多玩家游戲也是可 能的，其中用戶可通過互聯(lián)網(wǎng)與其他用戶交互地比賽或一起玩游戲。隨著游戲復(fù)雜性不斷 地激起玩家的興趣，游戲和硬件制造商不斷進(jìn)行革新來實(shí)現(xiàn)額外且更逼真的交互性。
[0006] 計(jì)算機(jī)游戲行業(yè)的發(fā)展趨勢(shì)在于開發(fā)增加用戶與游戲系統(tǒng)之間的交互的游戲。實(shí) 現(xiàn)更豐富的交互體驗(yàn)的一種方式是使用無線游戲控制器，所述無線游戲控制器的移動(dòng)和示 意動(dòng)作被游戲系統(tǒng)跟蹤。這些移動(dòng)和示意動(dòng)作被用作游戲的輸入。示意動(dòng)作輸入一般來說 涉及使如計(jì)算系統(tǒng)、視頻游戲控制臺(tái)、智能家電等電子設(shè)備對(duì)用戶在玩游戲時(shí)做出的被電 子設(shè)備捕獲的一些示意動(dòng)作做出反應(yīng)。
[0007] 實(shí)現(xiàn)更具沉浸式的交互體驗(yàn)的另一種方式是使用頭戴式顯示器(HMD)。頭戴式顯 示器由用戶佩戴，并且可被配置來在HMD的顯示部分中呈現(xiàn)各種圖形，如虛擬空間的視圖。 呈現(xiàn)在頭戴式顯示器上的圖形可覆蓋用戶視野的很大一部分或甚至全部。因此，頭戴式顯 示器可向用戶提供沉浸式體驗(yàn)。隨著對(duì)互聯(lián)網(wǎng)的連通性持續(xù)增加，已經(jīng)引入了 HMD系統(tǒng)的更 多配置，并且每個(gè)配置具有某些優(yōu)點(diǎn)和相關(guān)聯(lián)的局限性。
[0008] 正是在這種情況下，本發(fā)明的實(shí)施方案應(yīng)運(yùn)而生。

【發(fā)明內(nèi)容】

[0009] 描述關(guān)于能夠?qū)?nèi)容呈現(xiàn)到顯示屏幕并且特定來說呈現(xiàn)在頭戴式顯示器(HMD)上 的系統(tǒng)、方法和裝置的實(shí)施方案。所呈現(xiàn)的內(nèi)容可包括豐富的三維內(nèi)容，所述三維內(nèi)容可在 沉浸式虛擬現(xiàn)實(shí)內(nèi)容的環(huán)境下呈現(xiàn)。
[0010]在一個(gè)實(shí)施方案中，提供一種設(shè)備，所述設(shè)備包括用于接納智能電話的狹槽或保 持器。所述設(shè)備被配置有皮帶或頭部附接結(jié)構(gòu)，使得智能電話可被定位在狹槽或保持器中。 在一個(gè)配置中，智能電話的屏幕對(duì)于用戶是可視的，很大程度上以與具有集成在其中的屏 幕的傳統(tǒng)HMD相同的方式可視。因此，所述設(shè)備不包括顯示屏，而是使用智能電話的顯示屏 來呈現(xiàn)將由用戶觀看的圖像。在一個(gè)實(shí)現(xiàn)方式中，智能電話將與互聯(lián)網(wǎng)通信，以訪問內(nèi)容或 訪問來自智能電話的存儲(chǔ)器的內(nèi)容。在連接模式下，智能電話可獲得流式內(nèi)容或已下載內(nèi) 容，當(dāng)智能電話正作為頭戴式設(shè)備運(yùn)行時(shí)，所述內(nèi)容可被呈現(xiàn)在智能電話上。在一個(gè)實(shí)施方 案中，使呈現(xiàn)在電話的顯示器上的內(nèi)容失真以產(chǎn)生三維圖像，并且智能電話保持設(shè)備的光 學(xué)器件可使所述圖像去失真，使得智能電話所顯示的內(nèi)容在經(jīng)由設(shè)備的光學(xué)器件觀看時(shí)， 將表現(xiàn)為豐富的三維圖像/視頻/交互式數(shù)據(jù)。在一個(gè)配置中，頭戴式設(shè)備將包括快門控制 邏輯，所述快門控制邏輯將允許控制設(shè)備的右眼和左眼光學(xué)器件，使得圖像數(shù)據(jù)被快速開 閉以展示左、右、左、右、左、右……等圖像，從而實(shí)質(zhì)上使頭戴式顯示器（即，保持設(shè)備和智 能電話)所呈現(xiàn)的圖像數(shù)據(jù)能夠?yàn)槿S、豐富且沉浸式的。
[0011 ]提供一種頭戴式顯不器(HMD)系統(tǒng)。所述系統(tǒng)包括外殼以及安置在外殼中的光學(xué) 器件。所述系統(tǒng)還包括安置在外殼中的處理器，以及與處理器介接的快門控制邏輯。所述快 門控制邏輯被配置來操作以在打開光學(xué)器件的左眼側(cè)和關(guān)閉光學(xué)器件的右眼側(cè)與打開光 學(xué)器件的所述右眼側(cè)和關(guān)閉光學(xué)器件的所述左眼側(cè)之間交替。保持器部分與外殼集成。保 持器部分被配置來接納具有顯示屏的智能設(shè)備。當(dāng)用戶佩戴HMD系統(tǒng)時(shí)，所述顯示屏在朝向 用戶的臉的方向上朝外殼的光學(xué)器件定向。操作中的快門控件被配置來實(shí)現(xiàn)：當(dāng)通過外殼 的光學(xué)器件觀看時(shí)，呈現(xiàn)在智能設(shè)備的顯示屏上的圖像數(shù)據(jù)的三維視圖。
[0012] 在另一個(gè)實(shí)施方案中，提供一種用于呈現(xiàn)虛擬現(xiàn)實(shí)內(nèi)容的系統(tǒng)。所述系統(tǒng)包括經(jīng) 由皮帶附接到用戶的頭部的外殼。所述系統(tǒng)還包括集成在外殼中的光學(xué)器件。顯示光學(xué)器 件定向在外殼的內(nèi)側(cè)上，當(dāng)外殼附接到用戶的頭部時(shí)，外殼被配置成朝用戶的眼睛定向。保 持器集成在外殼中。保持器被配置來接納智能電話或智能設(shè)備（即，平板計(jì)算機(jī)或具有屏幕 的設(shè)備）。在一個(gè)實(shí)例中，智能電話的屏幕朝向外殼的顯示光學(xué)器件定向。智能電話與保持 器具有數(shù)據(jù)連接，以實(shí)現(xiàn)外殼的電子設(shè)備與智能電話的電子設(shè)備之間的數(shù)據(jù)通信?？扉T控 制邏輯與外殼的電子設(shè)備介接。光學(xué)控制邏輯與光學(xué)器件介接。處理器被配置來與快門控 制邏輯和光學(xué)控制邏輯介接。處理器被配置來設(shè)置快門控制邏輯，以便在將從智能電話的 屏幕獲得的圖像數(shù)據(jù)僅呈現(xiàn)到光學(xué)器件的左眼側(cè)與隨后僅呈現(xiàn)到光學(xué)器件的右眼側(cè)之間 相繼地切換。處理器進(jìn)一步被配置來與光學(xué)控制邏輯介接，使得對(duì)于當(dāng)圖像數(shù)據(jù)被提供到 光學(xué)器件的左眼側(cè)和右眼側(cè)時(shí)來說，呈現(xiàn)被最佳化?？扉T控制邏輯實(shí)現(xiàn):當(dāng)通過外殼的光學(xué) 器件觀看時(shí)，根據(jù)呈現(xiàn)在智能電話的屏幕上的圖像數(shù)據(jù)的三維圖像的顯示（如用戶所感 知）。
[0013] 在一些實(shí)現(xiàn)方式中，所述系統(tǒng)包括用于將智能電話連接到外殼的設(shè)備接口（有線 或無線）。
[0014] 在一些實(shí)現(xiàn)方式中，所述系統(tǒng)包括外殼的慣性傳感器。所述慣性傳感器提供外殼 的移動(dòng)和定向數(shù)據(jù)，并且外殼的移動(dòng)和定向數(shù)據(jù)被傳送到智能電話。智能電話使用外殼的 移動(dòng)和定向數(shù)據(jù)以及智能電話的慣性傳感器所產(chǎn)生的移動(dòng)和定向來微調(diào)外殼的移動(dòng)和定 向，以便影響或更新進(jìn)入智能電話所呈現(xiàn)的虛擬現(xiàn)實(shí)場(chǎng)景中的觀看方向和視角。
[0015] 在一些實(shí)現(xiàn)方式中，所述系統(tǒng)包括將來自外殼的慣性傳感器的至少一些數(shù)據(jù)與來 自智能電話的慣性傳感器的數(shù)據(jù)組合來改進(jìn)對(duì)外殼的跟蹤。
[0016] 在一些實(shí)現(xiàn)方式中，所述系統(tǒng)包括多個(gè)發(fā)光二極管，其被安置在外殼的表面上，所 述發(fā)光二極管用于使用至少一個(gè)攝像頭跟蹤外殼的位置。
[0017] 在一些實(shí)現(xiàn)方式中，所述系統(tǒng)包括多個(gè)光電二極管，其被安置在外殼的表面上，所 述光電二極管用于使用位于將在其內(nèi)跟蹤外殼的空間中的至少一個(gè)發(fā)光設(shè)備來跟蹤外殼 的位置。
[0018]在一些實(shí)現(xiàn)方式中，所述系統(tǒng)包括外殼的用于處理透視模式的電子設(shè)備的電路， 在透視模式下，智能電話的前置攝像頭被激活。當(dāng)處于所述透視模式時(shí)，快門控制邏輯被暫 停，并且光學(xué)控制邏輯實(shí)現(xiàn)根據(jù)智能電話的屏幕的圖像數(shù)據(jù)的顯示，所述顯示經(jīng)由智能電 話的前置攝像頭展示現(xiàn)實(shí)世界視野。
[0019] 在一些實(shí)現(xiàn)方式中，所述系統(tǒng)包括外殼的用于處理透視模式的電子設(shè)備的電路， 在透視模式下，外殼的前置攝像頭被激活。當(dāng)處于所述透視模式時(shí)，快門控制邏輯被暫停， 并且光學(xué)控制邏輯實(shí)現(xiàn)根據(jù)智能電話的屏幕的圖像數(shù)據(jù)的顯示，所述顯示經(jīng)由外殼的前置 攝像頭展示真實(shí)世界視圖。
[0020] 在一些實(shí)現(xiàn)方式中，所述系統(tǒng)包括與外殼集成的網(wǎng)絡(luò)接口。所述網(wǎng)絡(luò)接口提供對(duì) 用于連接到具有數(shù)字內(nèi)容的互聯(lián)網(wǎng)站點(diǎn)的網(wǎng)絡(luò)的訪問權(quán)。數(shù)字內(nèi)容是流式內(nèi)容或交互式流 式內(nèi)容之一，并且其中流式交互式內(nèi)容將由智能電話呈現(xiàn)，以供經(jīng)由外殼的光學(xué)器件顯示。
[0021] 在一些實(shí)現(xiàn)方式中，所述系統(tǒng)包括智能電話所提供的網(wǎng)絡(luò)接口。所述網(wǎng)絡(luò)接口提 供對(duì)用于連接到具有數(shù)字內(nèi)容的互聯(lián)網(wǎng)站點(diǎn)的網(wǎng)絡(luò)的訪問權(quán)。數(shù)字內(nèi)容是流式內(nèi)容或交互 式流式內(nèi)容之一，其中流式交互式內(nèi)容將由智能電話呈現(xiàn)，以供經(jīng)由外殼的光學(xué)器件顯示。
[0022] 在一些實(shí)施方案中，被集成到外殼中的光學(xué)器件包括左眼光學(xué)器件和右眼光學(xué)器 件。
[0023] 在一些實(shí)施方案中，外殼包括設(shè)備輸入端（即，用于與輸入設(shè)備或信息通信的接 口）。設(shè)備輸入端被配置成用于接收用戶輸入，所述用戶輸入用于控制在智能電話所產(chǎn)生的 圖像數(shù)據(jù)中呈現(xiàn)的交互式內(nèi)容場(chǎng)景的至少一部分。
[0024] 在一個(gè)實(shí)施方案中，用戶輸入是經(jīng)由控制器、手部示意動(dòng)作、觸摸示意動(dòng)作或語音 控制或其組合。
【附圖說明】
[0025] 圖1A示出根據(jù)一個(gè)實(shí)施方案的佩戴設(shè)備的用戶，所述設(shè)備例如為可接納智能電話 或智能設(shè)備的外殼，所述設(shè)備呈眼鏡或頭戴式設(shè)備(HMD)的形式。
[0026] 圖1B示出根據(jù)一個(gè)實(shí)施方案的眼鏡的側(cè)視圖，所述眼鏡包括電子設(shè)備和用于智能 電話的保持器。
[0027] 圖1C示出根據(jù)一個(gè)實(shí)施方案的具有用于保持智能電話的狹槽的眼鏡的透視圖。
[0028] 圖1D示出根據(jù)一個(gè)實(shí)施方案的示例性智能電話，所述智能電話還可包括智能設(shè) 備、平板設(shè)備或具有用于顯示內(nèi)容的屏幕的任何設(shè)備。
[0029] 圖2示出根據(jù)一個(gè)實(shí)施方案的佩戴HMD設(shè)備的用戶，圖2包括智能電話以及與HMD設(shè) 備所呈現(xiàn)的場(chǎng)景的交互。
[0030] 圖3A示出外殼的示例性形狀因子，例如可保持智能電話的接納器單元，其中智能 電話的攝像頭是前置的。
[0031] 圖3B示出根據(jù)一個(gè)實(shí)施方案的示例性配置，其中通過導(dǎo)線將智能電話連接到外殼 接納單元以及所述接納單元/外殼的光學(xué)器件。
[0032] 圖4A示出根據(jù)一個(gè)實(shí)施方案的作為接納器單元或外殼的一部分的示例性電子設(shè) 備，以及所述電子設(shè)備與光學(xué)器件和智能電話的接口。
[0033]圖4B示出根據(jù)一個(gè)實(shí)施方案的實(shí)例，其中智能電話的軟件被配置來處理幀選擇和 左/右眼選擇，包括擴(kuò)大呈現(xiàn)(按比例放大），以及對(duì)顯示的處理和通過HMD外殼的光學(xué)器件 的觀看。
[0034]圖4C示出根據(jù)一個(gè)實(shí)施方案的實(shí)例，其中快門邏輯將光學(xué)器件設(shè)置為左/右交替 觀看。
[0035] 圖5不出根據(jù)一個(gè)實(shí)施方案的外殼的電氣系統(tǒng)的實(shí)例，所述外殼的電氣系統(tǒng)可包 括快門控制邏輯、控制器光學(xué)器件、處理器、網(wǎng)絡(luò)接口、慣性傳感器、存儲(chǔ)器、幀緩沖器以及 用于與智能電話連接的設(shè)備接口，以及對(duì)數(shù)字內(nèi)容的互聯(lián)網(wǎng)訪問。
[0036] 圖6示出根據(jù)一個(gè)實(shí)施方案的實(shí)例，其中位于同一地點(diǎn)的用戶可在本地共享內(nèi)容 (例如對(duì)等），包括與云系統(tǒng)共享內(nèi)容。
[0037]圖7示出VR體驗(yàn)中的HMD系統(tǒng)的另一個(gè)實(shí)例，所述HMD系統(tǒng)使用智能電話和快門邏 輯來提供豐富的3D內(nèi)容。
[0038]圖8A示出根據(jù)一個(gè)實(shí)施方案的佩戴HMD的用戶的實(shí)例，所述HMD與計(jì)算設(shè)備和用于 跟蹤的攝像頭介接。
[0039]圖8B示出根據(jù)一個(gè)實(shí)施方案的多個(gè)LED，所述LED可用于攝像頭跟蹤，并且在一些 狀況下，光電二極管可集成到外殼表面上，以使用激光或光發(fā)射源提供跟蹤。
[0040] 圖9示出使用客戶端系統(tǒng)的游戲玩法的一個(gè)實(shí)例。
[0041] 圖10示出根據(jù)一個(gè)實(shí)施方案的HMD的實(shí)例，所述HMD經(jīng)由游戲控制臺(tái)進(jìn)行跟蹤和玩 游戲。
[0042]圖11不出根據(jù)一個(gè)實(shí)施方案的可被制作成外殼或HMD系統(tǒng)的一部分的不例性電子 設(shè)備。
[0043] 圖12提供根據(jù)一個(gè)實(shí)施方案的數(shù)據(jù)中心以及例如經(jīng)由網(wǎng)絡(luò)訪問到與多個(gè)用戶的 接口來進(jìn)行多玩家交互、通信和/或玩游戲的實(shí)例。
【具體實(shí)施方式】
[0044] 描述關(guān)于實(shí)現(xiàn)將內(nèi)容呈現(xiàn)到顯示屏幕的系統(tǒng)、方法和裝置的實(shí)施方案。所呈現(xiàn)的 內(nèi)容可包括豐富的三維內(nèi)容，所述三維內(nèi)容可在沉浸式虛擬現(xiàn)實(shí)內(nèi)容的環(huán)境下呈現(xiàn)。所述 內(nèi)容可以是游戲相關(guān)、娛樂相關(guān)、通信相關(guān)、社交通信或共享相關(guān)，或這些和其它類型的媒 體和信息的組合。在參考圖1A到圖7所述的一些實(shí)例中，示出可被配置來與第二計(jì)算設(shè)備通 信的頭戴式耳機(jī)設(shè)備。在一個(gè)實(shí)例中，第二計(jì)算設(shè)備可以是智能電話、平板計(jì)算機(jī)、計(jì)算機(jī)、 手表，或可通信以獲得圖像內(nèi)容并且實(shí)現(xiàn)此類圖像內(nèi)容的呈現(xiàn)的某一設(shè)備。
[0045] 在一個(gè)實(shí)現(xiàn)方式中，提供一種頭戴式設(shè)備，所述頭戴式設(shè)備包括狹槽或保持器，其 用于接納智能電話，以便允許所述智能電話的屏幕作為頭戴式設(shè)備的顯示器。因此，在這個(gè) 實(shí)例中，頭戴式設(shè)備不包括顯示屏，而是替代地在智能電話被插入或放置在頭戴式設(shè)備的 保持器中時(shí)，將使用智能電話的顯示屏?？山?jīng)由有線或無線連接將智能電話連接到頭戴式 設(shè)備。在此類實(shí)現(xiàn)方式中，智能電話將與互聯(lián)網(wǎng)通信以訪問內(nèi)容，如流式內(nèi)容或已下載內(nèi) 容，所述內(nèi)容在智能電話被插入或耦合到頭戴式設(shè)備時(shí)，可被呈現(xiàn)在智能電話上。在基本形 式中，頭戴式設(shè)備將包括用于與智能電話有線或無線通信的電子設(shè)備。所述頭戴式設(shè)備可 包括用于實(shí)現(xiàn)被呈現(xiàn)在顯示器上的內(nèi)容的觀看的光學(xué)器件。
[0046] 在一個(gè)實(shí)施方案中，使被呈現(xiàn)在電話顯示器上的內(nèi)容失真以產(chǎn)生三維圖像，并且 頭戴式顯示器的光學(xué)器件可使所述圖像去失真，使得智能電話所顯示的內(nèi)容在經(jīng)由頭戴式 設(shè)備的光學(xué)器件觀看時(shí)，將表現(xiàn)為豐富的三維圖像/視頻/交互式數(shù)據(jù)。在另一個(gè)實(shí)施方案 中，在被插入頭戴式設(shè)備中時(shí)，智能電話的顯示器上所呈現(xiàn)的內(nèi)容將呈現(xiàn)圖像，所述圖像可 由頭戴式設(shè)備處理以表現(xiàn)為三維。在一個(gè)實(shí)施方案中，所述頭戴式設(shè)備將包括快門控制邏 輯，所述快門控制邏輯將允許控制頭戴式設(shè)備的右眼和左眼光學(xué)器件，使得圖像數(shù)據(jù)被快 速開閉以展示左、右、左、右、左、右……等圖像，這實(shí)質(zhì)上使頭戴式顯示器所呈現(xiàn)的圖像數(shù) 據(jù)能夠?yàn)槿S、豐富且沉浸式的。
[0047] 圖1A示出佩戴頭戴式設(shè)備的用戶的實(shí)例，所述頭戴式設(shè)備可包括保持、插入、