本公開(kāi)一般涉及頭戴式顯示器(head-mountabledisplay，HMD)。更具體的說(shuō)，本公開(kāi)涉及用于HMD的三維(3D)用戶界面(UI)。
背景技術(shù)：
：：盡管HMD技術(shù)已經(jīng)發(fā)展很長(zhǎng)時(shí)間并且可穿戴技術(shù)產(chǎn)品越來(lái)越可見(jiàn)，但是缺乏一種用于虛擬現(xiàn)實(shí)(VR)應(yīng)用和增強(qiáng)現(xiàn)實(shí)(AR)應(yīng)用兩者的HMD的專門的UI框架。當(dāng)前HMD技術(shù)專注于主內(nèi)容顯示器(maincontentdisplay)的實(shí)施和處理，而對(duì)UI的關(guān)注很少。技術(shù)實(shí)現(xiàn)要素：提供了用于虛擬現(xiàn)實(shí)模式中的應(yīng)用選擇的方法。所述方法包括接收應(yīng)用的選擇。所述方法還包括確定用戶設(shè)備的顯示器是否處于虛擬現(xiàn)實(shí)模式。所述方法還包括，響應(yīng)于用戶設(shè)備處于虛擬現(xiàn)實(shí)模式，確定所選擇的應(yīng)用是否被包括在應(yīng)用的分組(groupingofapplications)中。所述分組包括與所選擇的應(yīng)用有關(guān)的一個(gè)或多個(gè)應(yīng)用。所述方法還包括，響應(yīng)于所選擇的應(yīng)用被包括在應(yīng)用的分組中，運(yùn)行應(yīng)用的分組。所述方法還包括將所運(yùn)行的應(yīng)用的分組提供給顯示器。提供了用于虛擬現(xiàn)實(shí)模式中的應(yīng)用選擇的裝置。所述裝置包括存儲(chǔ)器元件、顯示器、和處理電路。存儲(chǔ)器元件被配置為存儲(chǔ)應(yīng)用的分組。所述顯示器被配置為顯示應(yīng)用的分組。處理電路被配置為接收應(yīng)用的選擇。處理電路還被配置為確定用戶設(shè)備是否處于虛擬現(xiàn)實(shí)模式。處理電路還被配置為，響應(yīng)于用戶設(shè)備處于虛擬現(xiàn)實(shí)模式，確定所選擇的應(yīng)用是否被包括在應(yīng)用的分組中。所述分組包括與所選擇的應(yīng)用有關(guān)的一個(gè)或多個(gè)應(yīng)用。處理電路還被配置為，響應(yīng)于所選擇的應(yīng)用被包括在應(yīng)用的分組中，運(yùn)行應(yīng)用的分組。處理電路還被配置為將所運(yùn)行的應(yīng)用的分組提供給用戶設(shè)備的顯示器。從下面的附圖、描述、和權(quán)利要求，本領(lǐng)域技術(shù)人員可以容易地清楚其它技術(shù)特征。在進(jìn)行下面的詳細(xì)描述之前，闡述貫穿本專利文檔使用的一定詞語(yǔ)和短語(yǔ)的定義可能是有利的。術(shù)語(yǔ)“耦合”和它的衍生詞指代兩個(gè)或更多個(gè)元素之間的任何直接或者間接通信，不管那些元素是否彼此物理接觸。術(shù)語(yǔ)“發(fā)送”、“接收”、和“通信”以及它們的衍生詞包含直接通信和間接通信兩者。術(shù)語(yǔ)“包括”和“包含”以及它們的衍生詞意味著包括但不限于。術(shù)語(yǔ)“或者”是包括性的，意味著和/或。短語(yǔ)“與...相關(guān)聯(lián)”以及它的衍生詞意味著包括、被包括在...內(nèi)、與...互連、包含、被包含在...內(nèi)、連接到...或者與...相連接、耦合到...或者與...耦合、可與...通信、與...協(xié)作、交織、并列、接近于、綁定到...或者與...綁定、具有、具有...屬性、和...有關(guān)系或者與...有關(guān)系、等等。術(shù)語(yǔ)“控制器”意味著控制至少一個(gè)操作的任何設(shè)備、系統(tǒng)、或者它們的一部分。這樣的控制器可以以硬件、或者硬件和軟件的組合、和/或固件來(lái)實(shí)施。與任何特殊控制器相關(guān)聯(lián)的功能可以是集中式的或者分布式的，無(wú)論在本地還是遠(yuǎn)程地。短語(yǔ)“...中的至少一個(gè)”當(dāng)與一列項(xiàng)目一起使用時(shí)，意味著所列出的項(xiàng)目中的一個(gè)或多個(gè)的不同組合可以被使用，并且所述列中的僅僅一個(gè)項(xiàng)目可能被需要。例如，“A、B、和C中的至少一個(gè)”包括以下組合中的任何一個(gè)：A、B、C、A和B、A和C、B和C、以及A和B和C。而且，下面描述的各種功能可以通過(guò)一個(gè)或多個(gè)計(jì)算機(jī)程序來(lái)實(shí)施或支持，所述計(jì)算機(jī)程序中的每一個(gè)由計(jì)算機(jī)可讀程序代碼形成并且被具體實(shí)現(xiàn)在計(jì)算機(jī)可讀介質(zhì)中。術(shù)語(yǔ)“應(yīng)用”和“程序”指的是被適配以便以合適的計(jì)算機(jī)可讀程序代碼來(lái)實(shí)施的一個(gè)或多個(gè)計(jì)算機(jī)程序、軟件組件、指令集、程序、功能、對(duì)象、類、實(shí)例、相關(guān)數(shù)據(jù)、或者它們的一部分。短語(yǔ)“計(jì)算機(jī)可讀程序代碼”包括任何類型的計(jì)算機(jī)代碼，包括源代碼、目標(biāo)代碼、和可執(zhí)行代碼。短語(yǔ)“計(jì)算機(jī)可讀介質(zhì)”包括能夠被計(jì)算機(jī)存取的任何類型的介質(zhì)，諸如只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、硬盤驅(qū)動(dòng)器、光盤(CD)、數(shù)字視頻盤(DVD)、或者任何其它類型的存儲(chǔ)器?！胺撬矔r(shí)性”計(jì)算機(jī)可讀介質(zhì)排除傳輸瞬時(shí)性的電信號(hào)或者其它信號(hào)的有線、無(wú)線、光學(xué)、或者其它通信鏈路。非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)包括數(shù)據(jù)可以被永久地存儲(chǔ)在其中的介質(zhì)和數(shù)據(jù)可以被存儲(chǔ)在其中并且稍后被重寫的介質(zhì)，諸如可再寫光盤或者可擦除存儲(chǔ)器設(shè)備。貫穿本專利文檔提供了其它一定詞語(yǔ)和短語(yǔ)的定義。本領(lǐng)域普通技術(shù)人員應(yīng)該理解，在許多實(shí)例(即使不是大多數(shù)實(shí)例)中，這樣的定義適用于這樣定義的詞語(yǔ)和短語(yǔ)的現(xiàn)有使用和將來(lái)使用。附圖說(shuō)明為了能對(duì)本公開(kāi)和它的優(yōu)點(diǎn)有更完整的理解，現(xiàn)在參考結(jié)合附圖的以下描述，其中類似的參考標(biāo)號(hào)代表類似的部分：圖1示出了根據(jù)本公開(kāi)的實(shí)施例的示例HMD，并且本公開(kāi)實(shí)施例可以在該HMD中被實(shí)施；圖2示出了根據(jù)本公開(kāi)實(shí)施例的示例HMD；圖3示出了根據(jù)本公開(kāi)實(shí)施例的HMD中的示例視圖；圖4示出了根據(jù)本公開(kāi)實(shí)施例的多窗口視圖；圖5示出了根據(jù)本公開(kāi)實(shí)施例的應(yīng)用的分組；和圖6示出了根據(jù)本公開(kāi)實(shí)施例的虛擬現(xiàn)實(shí)模式下的應(yīng)用選擇的過(guò)程。具體實(shí)施方式下文所討論的圖1到6、以及本專利文檔中用于描述本公開(kāi)的原理的各種實(shí)施例只是以例示的方式，而不應(yīng)該以任何方式解釋為限制本公開(kāi)的范圍。本領(lǐng)域的技術(shù)人員將理解，本公開(kāi)的原理可以在適當(dāng)安排的系統(tǒng)或設(shè)備中被實(shí)施。圖1示出了根據(jù)本公開(kāi)實(shí)施例的、并且可以在其中實(shí)施本公開(kāi)實(shí)施例的示例HMD100。圖1中示出的HMD100的實(shí)施例只是為了例示，HMD100可以具有多種配置，并且圖1不會(huì)將本公開(kāi)的范圍限制于HMD的任何特定實(shí)施方式。在各種實(shí)施例中，HMD100可以采取不同形式，并且本公開(kāi)不會(huì)限制在任何特定形式。例如，HMD100可以是可安裝在用于VR應(yīng)用和/或AR應(yīng)用的耳機(jī)(headset)內(nèi)的移動(dòng)通信設(shè)備，諸如，例如，移動(dòng)設(shè)備、用戶設(shè)備、移動(dòng)臺(tái)、用戶站、無(wú)線終端、智能電話、平板計(jì)算機(jī)等等。在其它的示例中，HMD100可以包括耳機(jī)并且可以采取可穿戴電子設(shè)備的形式(諸如，例如，眼鏡、護(hù)目鏡、頭盔等等)以用于VR應(yīng)用和/或AR應(yīng)用。如圖1中所示，HMD100包括天線105、射頻(RF)收發(fā)器110、發(fā)送(TX)處理電路115、麥克風(fēng)120和接收(RX)處理電路125。HMD100還包括揚(yáng)聲器130、處理器140、輸入/輸出(I/O)接口(IF)145、觸摸屏150、顯示器155、存儲(chǔ)器160以及一個(gè)或多個(gè)傳感器165。存儲(chǔ)器160包括操作系統(tǒng)(OS)161和一個(gè)或多個(gè)應(yīng)用162。RF收發(fā)器110從天線105接收由用于網(wǎng)絡(luò)(例如，WiFi、藍(lán)牙、蜂窩網(wǎng)絡(luò)、5G、LTE、LTE-A、WiMAX，或任何其它類型的無(wú)線網(wǎng)絡(luò))的接入點(diǎn)(例如，基站、WiFi路由器、藍(lán)牙設(shè)備)發(fā)送的傳入RF信號(hào)。RF收發(fā)器110將傳入RF信號(hào)下變頻以生成中頻(IF)或基帶信號(hào)。IF或基帶信號(hào)被發(fā)送到RX處理電路125，RX處理電路125通過(guò)濾波、解碼和/或數(shù)字化所述基帶或IF信號(hào)來(lái)生成經(jīng)處理的基帶信號(hào)。RX處理電路125向揚(yáng)聲器130(例如針對(duì)音頻數(shù)據(jù))或向處理器140(諸如，針對(duì)網(wǎng)絡(luò)瀏覽數(shù)據(jù))發(fā)送經(jīng)處理的基帶信號(hào)以用于進(jìn)一步處理。TX處理電路115從麥克風(fēng)120接收模擬或者數(shù)字語(yǔ)音數(shù)據(jù)，或者從處理器140接收其它傳出基帶數(shù)據(jù)(諸如網(wǎng)絡(luò)數(shù)據(jù)、電子郵件、或者交互式視頻游戲數(shù)據(jù))。TX處理電路115對(duì)所述傳出基帶數(shù)據(jù)進(jìn)行編碼、復(fù)用、和/或數(shù)字化以生成經(jīng)處理的基帶或者IF信號(hào)。RF收發(fā)器110從TX處理電路115接收傳出的經(jīng)處理的基帶或者IF信號(hào)，并且將該基帶或者IF信號(hào)上變頻為經(jīng)由天線105發(fā)送的RF信號(hào)。處理器140能夠包括一個(gè)或多個(gè)處理器或者其它處理設(shè)備，并且運(yùn)行存儲(chǔ)在存儲(chǔ)器160中的OS161以便控制HMD100的總體操作。例如，處理器140能夠根據(jù)熟知的原理，通過(guò)RF收發(fā)器110、RX處理電路125、和TX處理電路115來(lái)控制正向信道信號(hào)的接收和反向信道信號(hào)的發(fā)送。在一些實(shí)施例中，處理器140包括至少一個(gè)微處理器或者微控制器。處理器140還能夠運(yùn)行駐留在存儲(chǔ)器160中的其它進(jìn)程和程序。處理器140能夠按照正在運(yùn)行的進(jìn)程的要求，將數(shù)據(jù)移動(dòng)到存儲(chǔ)器160中或者將數(shù)據(jù)從存儲(chǔ)器160移出。在一些實(shí)施例中，處理器140被配置為基于OS161或者響應(yīng)于從eNB或運(yùn)營(yíng)商接收的信號(hào)，來(lái)運(yùn)行應(yīng)用162。處理器140還耦合到I/O接口145，其為HMD100提供連接到其它設(shè)備(諸如膝上型計(jì)算機(jī)和手持計(jì)算機(jī))的能力。I/O接口145是這些附件和處理器140之間的通信路徑。處理器140還耦合到觸摸屏150和顯示器155。HMD100的操作者能夠使用觸摸屏150來(lái)輸入數(shù)據(jù)和/或輸入到HMD100中。顯示器155可以是液晶顯示器、發(fā)光二極管(LED)顯示器、光學(xué)LED(OLED)、有源矩陣OLED(AMOLED)、或者能夠渲染諸如來(lái)自網(wǎng)站、視頻、游戲等等的文本和/或圖形的其它顯示器。存儲(chǔ)器160耦合到處理器140。存儲(chǔ)器160的一部分能夠包括隨機(jī)存取存儲(chǔ)器(RAM)，而存儲(chǔ)器160的另一部分能夠包括快閃存儲(chǔ)器或者其它只讀存儲(chǔ)器(ROM)。HMD100還包括一個(gè)或多個(gè)傳感器165，其能夠計(jì)量物理量或者檢測(cè)HMD100的激活狀態(tài)，并且將所計(jì)量的或者所檢測(cè)的信息轉(zhuǎn)換成電信號(hào)。例如，傳感器165可以包括例如位于以下各項(xiàng)上的用于觸摸輸入的一個(gè)或多個(gè)按鈕：耳機(jī)或者HMD100、相機(jī)、手勢(shì)傳感器、陀螺儀或者陀螺儀傳感器、空氣壓力傳感器、磁傳感器或者磁力計(jì)、加速度傳感器或者加速計(jì)、握持傳感器、接近傳感器、顏色傳感器165H(例如，紅綠藍(lán)(RGB)傳感器)、生物物理傳感器、溫度/濕度傳感器、亮度傳感器165K、紫外線(UV)傳感器、肌電描記(EMG)傳感器、腦電圖(EEG)傳感器、心電圖(ECG)傳感器、IR傳感器、超聲傳感器、虹膜傳感器、指紋傳感器等等。(多個(gè))傳感器165還能夠包括用于控制包括在其中的傳感器中的至少一個(gè)的控制電路。如將在下面更詳細(xì)地討論的，這些(多個(gè))傳感器165中的一個(gè)或多個(gè)可以用來(lái)控制UI、檢測(cè)UI輸入、確定用戶的朝向和面對(duì)方向以用于3D內(nèi)容顯示識(shí)別等等。這些(多個(gè))傳感器165中的任何一個(gè)可以位于HMD100內(nèi)，位于被配置為固定(hold)HMD100的耳機(jī)內(nèi)，或者位于耳機(jī)和HMD100兩者中(例如，在HMD100包括耳機(jī)的實(shí)施例中)。觸摸屏150能夠包括觸摸板、(數(shù)字)筆傳感器、按鍵、或者超聲波輸入設(shè)備。觸摸屏150能夠識(shí)別，例如，電容式方案、壓敏式方案、紅外線方案、或者超聲波方案當(dāng)中的至少一個(gè)方案中的觸摸輸入。觸摸屏150還能夠包括控制電路。在電容式方案中，觸摸屏150能夠識(shí)別觸摸或者接近。如下面更詳細(xì)地描述的，HMD100可以包括用于為HMD提供3DUI的電路和用于為HMD提供3DUI的應(yīng)用。雖然圖1示出了HMD100的一個(gè)示例，但是可以對(duì)圖1做出各種改變。例如，圖1中的各種組件可以被組合、被進(jìn)一步劃分、或者被省略，并且額外的組件可以根據(jù)特殊的需求而被添加。作為特定示例，處理器140可以被劃分為多個(gè)處理器，諸如一個(gè)或多個(gè)中央處理單元(CPU)以及一個(gè)或多個(gè)圖形處理單元(GPU)。并且，雖然圖1示出了配置為移動(dòng)電話、平板計(jì)算機(jī)、或者智能電話的HMD100，但是HMD100可以被配置為作為其它類型的移動(dòng)設(shè)備或者固定設(shè)備來(lái)操作。圖2示出了根據(jù)本公開(kāi)的實(shí)施例的示例的HMD200。HMD200可以是如圖1中所示的HMD100的一個(gè)配置的一個(gè)示例。如圖所示，HMD200的僅僅一側(cè)被示出。圖3示出了根據(jù)本公開(kāi)的實(shí)施例的HMD304中的示例的視圖302。在圖3中，用戶正在佩戴HMD304并且正在看著視圖302。視圖302包括九十六度的觀看角度。在不同的實(shí)施例中，其它觀看角度能夠被使用。本公開(kāi)的各種實(shí)施例認(rèn)識(shí)到并且考慮到具有大尺寸的(megasized)屏幕和九十六度的觀看角度的HMD304允許用戶感受到超出周邊視覺(jué)(peripheralvision)的世界。在具有被作為屏幕的移動(dòng)設(shè)備LCD的HMD304上存在應(yīng)用。用戶可能想要在不移除HMD304的情況下使用移動(dòng)設(shè)備。用戶可能期望在VR世界和現(xiàn)實(shí)世界之間無(wú)縫切換。在示例中，用戶正在觀看HMD304中的電影，并且想要編寫電子郵件。在這個(gè)示例中，用戶能夠在不移除HMD304的情況下，在VR環(huán)境中起草電子郵件。移動(dòng)設(shè)備能夠顯示VR世界中的移動(dòng)設(shè)備環(huán)境。圖4示出了根據(jù)本公開(kāi)的實(shí)施例的多窗口視圖400。在圖4中，視圖400包括多個(gè)窗口402-406。本公開(kāi)的各種實(shí)施例認(rèn)識(shí)到并且考慮到難以高效地使用在VR環(huán)境中啟動(dòng)(launch)的多個(gè)窗口。本公開(kāi)的各種實(shí)施例提供了多個(gè)屏幕作為VR頂端(VRtop)的一部分。窗口402是天氣，窗口404是視頻，而窗口406是公司的股票值。窗口402-406中的所有這三個(gè)應(yīng)用都是來(lái)自安裝在VR裝備(VRGear)上的移動(dòng)設(shè)備。在窗口402-406中的每一個(gè)中啟動(dòng)或者運(yùn)行的應(yīng)用可以基于用戶上下文和/或分組。相關(guān)的應(yīng)用在多個(gè)窗口402-406上被啟動(dòng)。在各種實(shí)施例中，應(yīng)用的分組能夠被預(yù)定義，被基于使用圖案(usagepattern)而動(dòng)態(tài)地設(shè)定，通過(guò)位置來(lái)設(shè)定，通過(guò)時(shí)間來(lái)設(shè)定，或者它們的組合。可以從用戶設(shè)備的存儲(chǔ)器元件或者網(wǎng)絡(luò)服務(wù)器中的數(shù)據(jù)中獲得所述使用圖案。圖5示出了根據(jù)本公開(kāi)的實(shí)施例的應(yīng)用的分組500。在圖5中，照片應(yīng)用502、電子郵件應(yīng)用504、文檔存儲(chǔ)應(yīng)用506是分組500的一部分。在一個(gè)示例的實(shí)施例中，如果用戶正在撰寫電子郵件并且想要將圖片和文檔附加到這封電子郵件，則該用戶可能需要訪問(wèn)三個(gè)應(yīng)用以便附加所述圖片和文檔。所述三個(gè)應(yīng)用可以是電子郵件應(yīng)用502、照片應(yīng)用504、和文檔存儲(chǔ)應(yīng)用506。在這個(gè)示例中，電子郵件應(yīng)用502是主應(yīng)用，反之照片應(yīng)用504和文檔存儲(chǔ)應(yīng)用506是相關(guān)應(yīng)用，用戶從所述相關(guān)應(yīng)用中選擇內(nèi)容以復(fù)制到或插入到主應(yīng)用中。當(dāng)用戶選擇電子郵件應(yīng)用502以用于運(yùn)行時(shí)，照片應(yīng)用504和文檔存儲(chǔ)應(yīng)用506被自動(dòng)地啟動(dòng)。圖6示出了根據(jù)本公開(kāi)的實(shí)施例的用于虛擬現(xiàn)實(shí)模式中的應(yīng)用選擇的過(guò)程600。在圖6中，虛擬現(xiàn)實(shí)模式可以被定義為其中HMD被用于虛擬現(xiàn)實(shí)或者增強(qiáng)現(xiàn)實(shí)的模式。在某些實(shí)施例中，HMD或者用戶設(shè)備的觀看角度以使得多個(gè)應(yīng)用可以被同時(shí)觀看。過(guò)程600可以被圖1的一個(gè)或多個(gè)組件(諸如控制器、處理器、和/或處理電路)執(zhí)行。在操作602，處理器接收應(yīng)用的選擇。所述選擇可以通過(guò)用戶輸入來(lái)做出，并且處理器可以從用戶輸入設(shè)備(諸如觸摸屏)接收所述選擇。在操作604，處理器確定用戶設(shè)備的操作系統(tǒng)的模式是否是虛擬現(xiàn)實(shí)模式。如果所述模式不是虛擬現(xiàn)實(shí)模式，則過(guò)程600結(jié)束，并且應(yīng)用可以以正常方式運(yùn)行。如果所述模式是虛擬現(xiàn)實(shí)模式，則在操作606，處理器確定應(yīng)用是否是應(yīng)用的分組的一部分。應(yīng)用的分組可以被預(yù)定義，可以是動(dòng)態(tài)的，或者可以基于位置和時(shí)間。在不同的實(shí)施例中，一些分組可以被預(yù)定義，而其它分組可以是動(dòng)態(tài)的或者可以基于位置和時(shí)間。如果所述應(yīng)用不是應(yīng)用的分組的一部分，則在操作610，處理器允許用戶選擇額外的應(yīng)用以便利用所選擇的應(yīng)用進(jìn)行觀看。由于虛擬現(xiàn)實(shí)模式中的用戶設(shè)備的觀看角度，所選擇的應(yīng)用和所述額外的應(yīng)用能夠全部被同時(shí)觀看。如果所述應(yīng)用是應(yīng)用的分組的一部分，則在操作612，處理器運(yùn)行應(yīng)用的分組并且將所述分組提供給用戶設(shè)備的顯示器。雖然已經(jīng)利用示范性實(shí)施例描述了本公開(kāi)，但是本領(lǐng)域技術(shù)人員可以想到各種改變和修改。期望的是本公開(kāi)包含落入所附權(quán)利要求的范圍內(nèi)的改變和修改。當(dāng)前第1頁(yè)1 2 3 當(dāng)前第1頁(yè)1 2 3