用于基于視口的增強(qiáng)現(xiàn)實(shí)觸覺(jué)效果的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用戶接口設(shè)備領(lǐng)域。更具體地說(shuō)，本發(fā)明涉及基于視口的增強(qiáng)現(xiàn)實(shí)觸 覺(jué)效果。
【背景技術(shù)】
[0002] 隨著基于計(jì)算機(jī)的系統(tǒng)變得更加普遍，接口的質(zhì)量也變得越來(lái)越重要，人類通過(guò) 接口與這些系統(tǒng)交互。一種常見(jiàn)類型的用戶接口是增強(qiáng)現(xiàn)實(shí)用戶接口。增強(qiáng)現(xiàn)實(shí)接口典型 地允許用戶經(jīng)由顯示器，觀看已經(jīng)利用虛擬內(nèi)容補(bǔ)充（"增強(qiáng)"）的相機(jī)數(shù)據(jù)。該虛擬內(nèi)容 可以包括文本、圖像、或者聲音，其可以向用戶提供關(guān)于與相機(jī)數(shù)據(jù)相關(guān)聯(lián)的場(chǎng)景的方面的 附加信息。通過(guò)包括觸覺(jué)能力可以改進(jìn)增強(qiáng)現(xiàn)實(shí)接口。

【發(fā)明內(nèi)容】

[0003] 本公開的實(shí)施例包括計(jì)算設(shè)備，該計(jì)算設(shè)備包含基于視口的增強(qiáng)現(xiàn)實(shí)觸覺(jué)效果。 在一個(gè)實(shí)施例中，本公開的系統(tǒng)可以包含顯示器，該顯示器被配置為接收顯示信號(hào)和輸出 圖像；和圖像捕捉設(shè)備（例如，相機(jī)），該圖像捕捉設(shè)備被配置為捕捉區(qū)域圖像和傳送圖像 信號(hào)。該系統(tǒng)還可以包含與圖像捕捉設(shè)備和顯示器通信的處理器，該處理器被配置為：接收 圖像信號(hào)；部分基于圖像信號(hào)確定虛擬對(duì)象；部分基于圖像信號(hào)確定顯示信號(hào)，其中顯示 信號(hào)包含與虛擬對(duì)象相關(guān)聯(lián)的數(shù)據(jù)；至少部分基于虛擬對(duì)象確定觸覺(jué)效果；和傳送與觸覺(jué) 效果相關(guān)聯(lián)的觸覺(jué)信號(hào)。該系統(tǒng)進(jìn)一步可以包含觸覺(jué)輸出設(shè)備，該觸覺(jué)輸出設(shè)備被配置為 接收觸覺(jué)信號(hào)和輸出觸覺(jué)效果。
[0004] 在另一個(gè)實(shí)施例中，本公開的方法可以包括：接收?qǐng)D像信號(hào)，其中圖像信號(hào)包含區(qū) 域圖像；部分基于圖像信號(hào)確定虛擬對(duì)象；部分基于圖像信號(hào)確定顯示信號(hào)，其中顯示信 號(hào)包含與虛擬對(duì)象相關(guān)聯(lián)的數(shù)據(jù)；和將顯示信號(hào)傳送到顯示器，其中顯示器被配置為輸出 圖像。該方法可以進(jìn)一步包含至少部分基于虛擬對(duì)象確定觸覺(jué)效果；將與觸覺(jué)效果相關(guān)聯(lián) 的觸覺(jué)信號(hào)傳送到觸覺(jué)輸出設(shè)備；和輸出觸覺(jué)效果。再一個(gè)實(shí)施例包含用于實(shí)現(xiàn)這種方法 的計(jì)算機(jī)可讀介質(zhì)。
[0005] 這些說(shuō)明性實(shí)施例被提及并不用以限制或者定義本主題的限制，而是提供示例以 幫助其理解。在【具體實(shí)施方式】中討論說(shuō)明性實(shí)施例，以及在那里提供進(jìn)一步描述?？赏ㄟ^(guò) 解釋該說(shuō)明書和/或通過(guò)實(shí)踐所請(qǐng)求主題的一個(gè)或多個(gè)實(shí)施例來(lái)進(jìn)一步理解通過(guò)各種實(shí) 施例提供的優(yōu)點(diǎn)。
【附圖說(shuō)明】
[0006] 在說(shuō)明書的剩余部分更具體地陳述全面和實(shí)現(xiàn)公開。該說(shuō)明書參照下述附圖。
[0007] 圖1是示出根據(jù)一個(gè)實(shí)施例的用于基于視口的增強(qiáng)現(xiàn)實(shí)觸覺(jué)效果的系統(tǒng)的框圖；
[0008] 圖2示出用于基于視口的增強(qiáng)現(xiàn)實(shí)觸覺(jué)效果的系統(tǒng)的實(shí)施例；
[0009] 圖3示出用于基于視口的增強(qiáng)現(xiàn)實(shí)觸覺(jué)效果的系統(tǒng)的另一個(gè)實(shí)施例；
[0010] 圖4示出根據(jù)一個(gè)實(shí)施例的用于基于視口的增強(qiáng)現(xiàn)實(shí)觸覺(jué)效果的系統(tǒng)；
[0011] 圖5示出根據(jù)另一個(gè)實(shí)施例的用于基于視口的增強(qiáng)現(xiàn)實(shí)觸覺(jué)效果的系統(tǒng)；
[0012] 圖6是根據(jù)一個(gè)實(shí)施例的用于執(zhí)行用于提供基于視口的增強(qiáng)現(xiàn)實(shí)觸覺(jué)效果的方 法的步驟的流程圖；和
[0013] 圖7示出根據(jù)另一個(gè)實(shí)施例的用于基于視口的增強(qiáng)現(xiàn)實(shí)觸覺(jué)效果的系統(tǒng)。
【具體實(shí)施方式】
[0014] 現(xiàn)在將詳細(xì)地參照各種和替代說(shuō)明性實(shí)施例以及附圖。每個(gè)示例均通過(guò)解釋提供 并且不作為限制。對(duì)于本領(lǐng)域內(nèi)技術(shù)人員將是顯而易見(jiàn)的是，可以做出各種修改和變體。例 如，作為一個(gè)實(shí)施例的部分說(shuō)明的或者描述的特征可用在另一個(gè)實(shí)施例中以產(chǎn)生又一個(gè)進(jìn) 一步實(shí)施例。如此，該公開旨在包括所附權(quán)利要求和其等同物的范圍內(nèi)的修改和變體。
[0015] 基于視口的增強(qiáng)現(xiàn)實(shí)觸覺(jué)效果的說(shuō)明性示例
[0016] 本公開的一個(gè)說(shuō)明性實(shí)施例包含移動(dòng)設(shè)備，諸如智能手機(jī)。移動(dòng)設(shè)備包含觸摸屏 顯示器、存儲(chǔ)器、相機(jī)和與這些元件中的每一個(gè)通信的處理器。觸摸屏顯示器包含視口。視 口包含顯示數(shù)據(jù)（例如，文本或者圖像）的屏幕范圍。在一些實(shí)施例中，視口可以包含屏幕 的整個(gè)區(qū)域。
[0017] 在說(shuō)明性實(shí)施例中，移動(dòng)設(shè)備還包含增強(qiáng)現(xiàn)實(shí)應(yīng)用。增強(qiáng)現(xiàn)實(shí)應(yīng)用經(jīng)由顯示器，輸 出已經(jīng)利用諸如文本或者圖像的虛擬內(nèi)容補(bǔ)充（"增強(qiáng)"）的相機(jī)數(shù)據(jù)。虛擬內(nèi)容可以是 靜態(tài)的或者動(dòng)畫的。在說(shuō)明性實(shí)施例中，用戶可以執(zhí)行增強(qiáng)現(xiàn)實(shí)應(yīng)用和使用移動(dòng)設(shè)備的相 機(jī)以利用移動(dòng)設(shè)備捕捉圖像。例如，用戶可以定向移動(dòng)設(shè)備，使得相機(jī)捕捉住宅的房間的圖 像。在這種實(shí)施例中，增強(qiáng)現(xiàn)實(shí)應(yīng)用從相機(jī)接收?qǐng)D像數(shù)據(jù)并將該數(shù)據(jù)輸出到觸摸屏顯示器。 在一些實(shí)施例中，該圖像數(shù)據(jù)可以被實(shí)時(shí)更新，例如，增強(qiáng)現(xiàn)實(shí)應(yīng)用可以繼續(xù)從相機(jī)接收更 新的圖像數(shù)據(jù)。在一些實(shí)施例中，用戶可以感知相機(jī)數(shù)據(jù)，好像用戶正通過(guò)顯示器看著。
[0018] 在說(shuō)明性實(shí)施例中，用戶可以選擇虛擬對(duì)象以包括在增強(qiáng)現(xiàn)實(shí)應(yīng)用中。例如，用戶 可以從與增強(qiáng)現(xiàn)實(shí)應(yīng)用相關(guān)聯(lián)的目錄選擇與一件家具相關(guān)聯(lián)的虛擬對(duì)象。在這種實(shí)施例 中，增強(qiáng)現(xiàn)實(shí)應(yīng)用在觸摸屏顯示器中生成家具的圖形表示。例如，增強(qiáng)現(xiàn)實(shí)應(yīng)用可以生成家 具的三維（3D)虛擬表示，允許用戶經(jīng)由觸摸屏顯示器觀看房間中的家具。進(jìn)一步，在說(shuō)明 性實(shí)施例中，用戶可以使用應(yīng)用來(lái)觀看不同位置中的和具有不同定向、比例和顏色的虛擬 對(duì)象（例如，家具的圖像）。如此，在說(shuō)明性實(shí)施例中，設(shè)計(jì)者、經(jīng)銷商、零售商或者其他賣家 可以提供增強(qiáng)現(xiàn)實(shí)應(yīng)用和目錄以允許用戶在購(gòu)買之前選擇和觀看商品。在其他實(shí)施例中， 增強(qiáng)現(xiàn)實(shí)應(yīng)用可以被用于向用戶提供關(guān)于例如公司、產(chǎn)品或者位置的附加信息（例如，地 址，價(jià)格信息，歷史信息，教育信息，或者評(píng)論）；和/或從通過(guò)相機(jī)捕捉的場(chǎng)景添加、修改或 者移除對(duì)象（例如，人們，動(dòng)物，建筑物，景觀特征，機(jī)動(dòng)車）。
[0019] 在說(shuō)明性實(shí)施例中，用戶可以通過(guò)在觸摸屏上做手勢(shì)（例如，手指揮動(dòng)或者接觸 觸摸屏上顯示的對(duì)象）來(lái)改變圖像或者虛擬對(duì)象。如上所述，在說(shuō)明性實(shí)施例中，增強(qiáng)現(xiàn)實(shí) 應(yīng)用將虛擬對(duì)象層加在相機(jī)的數(shù)據(jù)上。在說(shuō)明性實(shí)施例中，通過(guò)改變?cè)O(shè)備的定向或者通過(guò) 在觸摸屏顯示器上做手勢(shì)，用戶可以更改位置、定向、比例、顏色或者與虛擬對(duì)象相關(guān)聯(lián)的 其他因素。這可以允許用戶感知各個(gè)位置中適當(dāng)?shù)奶摂M對(duì)象（例如，一件家具在各個(gè)房間 可以看起來(lái)怎么樣）。
[0020] 在說(shuō)明性實(shí)施例中，移動(dòng)設(shè)備進(jìn)一步包含觸覺(jué)輸出設(shè)備。觸覺(jué)輸出設(shè)備從移動(dòng)設(shè) 備接收信號(hào)并將觸覺(jué)效果輸出到用戶。在說(shuō)明性實(shí)施例中，觸覺(jué)效果可以包含模擬的紋理、 震動(dòng)、或者感知的摩擦系數(shù)的改變。進(jìn)一步，在說(shuō)明性實(shí)施例中，觸覺(jué)輸出設(shè)備輸出遠(yuǎn)離移 動(dòng)設(shè)備的觸覺(jué)效果（下文中稱為"遠(yuǎn)程觸覺(jué)效果"）。例如，通過(guò)在用戶的方向上發(fā)射集中 壓力波，或者通過(guò)在用戶處從噴嘴發(fā)射固體、液體或者氣體，觸覺(jué)輸出設(shè)備可以輸出遠(yuǎn)程觸 覺(jué)效果。替代地，在一些實(shí)施例中，觸覺(jué)輸出設(shè)備可以從移動(dòng)設(shè)備分離。例如，觸覺(jué)輸出設(shè) 備可以與可穿戴物品（例如，袖子、手表、手鏈、衣服、夾克、眼鏡、手套、戒指、頭帶、帽子或 者鞋子）相關(guān)聯(lián)，并通信地耦合到移動(dòng)設(shè)備（例如，經(jīng)由網(wǎng)絡(luò)連接、藍(lán)牙連接、或者某個(gè)其他 有線或者無(wú)線連接）。
[0021] 在說(shuō)明性實(shí)施例中，移動(dòng)設(shè)備被配置為一旦事件發(fā)生就經(jīng)由觸覺(jué)輸出設(shè)備輸出觸 覺(jué)效果。如本文中所用的事件是任何的交互、動(dòng)作、碰撞、或者可以潛在地包含關(guān)聯(lián)的觸覺(jué) 效果的設(shè)備的操作期間發(fā)生的其他事件。在說(shuō)明性實(shí)施例中，事件包含虛擬對(duì)象的存在 (例如，虛擬家具的存在），與移動(dòng)設(shè)備的交互（例如，傾斜或者移動(dòng)移動(dòng)設(shè)備，與觸摸屏顯 示器交互），移動(dòng)設(shè)備中的狀態(tài)的改變，接收數(shù)據(jù)，發(fā)送數(shù)據(jù)，程序活動(dòng)（例如，游戲活動(dòng)）， 與虛擬對(duì)象交互，虛擬對(duì)象的移動(dòng)（例如，虛擬對(duì)象的移動(dòng)或者彈跳），和/或虛擬對(duì)象的比 例、位置、定向、顏色或者其他特性的改變。
[0022] 例如，在說(shuō)明性實(shí)施例中，當(dāng)用戶與虛擬對(duì)象交互（例如，通過(guò)觸摸與虛擬家具相 關(guān)聯(lián)的位置或者觸摸與虛擬對(duì)象相關(guān)聯(lián)的真實(shí)空間中的區(qū)域），或者在觸摸屏顯示器的表 面上做手勢(shì)（例如，改變虛擬家具的顏色、尺寸或者定向）時(shí)，移動(dòng)設(shè)備輸出效果。進(jìn)一步， 觸覺(jué)效果可以與虛擬對(duì)象相關(guān)聯(lián)。例如，在說(shuō)明性實(shí)施例中，當(dāng)用戶與和虛擬家具相關(guān)聯(lián)的 觸摸屏的位置交互時(shí)，移動(dòng)設(shè)備確定與和虛擬家具相關(guān)聯(lián)的材料（例如，木頭，玻璃，金屬 或者塑料）相關(guān)聯(lián)的觸覺(jué)效果，并輸出與那些材料的一個(gè)或多個(gè)相關(guān)聯(lián)的觸覺(jué)效果（例如， 觸覺(jué)效果被配置為向用戶模擬材料的紋理）。作為另一個(gè)示例，在說(shuō)明性實(shí)施例中，如果用 戶觸摸與一件虛擬家具相關(guān)聯(lián)的真實(shí)空間中的區(qū)域，那么移動(dòng)設(shè)備輸出遠(yuǎn)程觸覺(jué)效果，包 含例如，被發(fā)射到用戶的手的背面的一股空氣。用戶可以感知遠(yuǎn)程觸覺(jué)效果，好像用戶正在 與真實(shí)空間中的虛擬對(duì)象交互。
[0023] 上面僅僅提供說(shuō)明性實(shí)施例的描述作為示例。文本中描述本發(fā)明的各種其他實(shí)施 例，并且本領(lǐng)域內(nèi)技術(shù)人員將理解這些實(shí)施例的變體。通過(guò)檢查該說(shuō)明書和/或通過(guò)實(shí)踐 所請(qǐng)求保護(hù)主題的一個(gè)或多個(gè)實(shí)施例，可進(jìn)一步理解通過(guò)各種實(shí)施例提供的優(yōu)點(diǎn)。
[0024] 用于基于視口的增強(qiáng)現(xiàn)實(shí)觸覺(jué)效果的說(shuō)明性系統(tǒng)
[0025] 圖1是示出根據(jù)一個(gè)實(shí)施例的用于基于視口的增強(qiáng)現(xiàn)實(shí)觸覺(jué)效果的系統(tǒng)100的框 圖。在所示的實(shí)施例中，系統(tǒng)100包含計(jì)算設(shè)備101，計(jì)算設(shè)備101具有經(jīng)由總線106與其 他硬件通信的處理器102。計(jì)算設(shè)備101可以包含，例如，智能手機(jī)、平板電腦、電子閱讀器、 筆記本計(jì)算機(jī)、便攜式游戲設(shè)備、頭帶式顯示器或者眼鏡。
[0026] 存儲(chǔ)器104含有配置計(jì)算設(shè)備101的操作的程序組件，存儲(chǔ)器104可以包含任何 適當(dāng)?shù)挠行危ê头菚簳r(shí)性）計(jì)算機(jī)可讀介質(zhì)，諸如RAM、ROM、EEPR0M，或者類似物。在所示 的實(shí)施例中，計(jì)算設(shè)備101進(jìn)一步包括一個(gè)或多個(gè)網(wǎng)絡(luò)接口設(shè)備110、輸入/輸出（I/O)接 口組件112、和儲(chǔ)存器114。
[0027] 網(wǎng)絡(luò)設(shè)備110可以表示易于網(wǎng)絡(luò)連接的任何組件的一個(gè)或多個(gè)。示例包括，但不 限于，諸如以太網(wǎng)、USB、IEEE 1394的有線接口，和/或諸如IEEE 802. 11、藍(lán)牙或者用于訪 問(wèn)蜂窩電話網(wǎng)絡(luò)的無(wú)線電接口（例如，用于訪問(wèn)00獻(xiàn)、651、1]|〇^、或者其他移動(dòng)通信網(wǎng)絡(luò)的 收發(fā)器/天線）的無(wú)線接口。
[0028] I/O組件112可以用于易于有線或者無(wú)線連接到設(shè)備，設(shè)備諸如一個(gè)或多個(gè)顯示 器134、游戲控制器、鍵盤、鼠標(biāo)、控制桿、相機(jī)、按鈕、揚(yáng)聲器、麥克風(fēng)和/或用于輸入數(shù)據(jù)或 者輸出數(shù)據(jù)的其他硬件。儲(chǔ)存器114表示非易失性儲(chǔ)存器，諸如被包括在設(shè)備101中或者 耦合到處理器102的磁性、光學(xué)或者其他儲(chǔ)存介質(zhì)。
[0029] 系統(tǒng)100進(jìn)一步包括觸摸感應(yīng)表面1