專利名稱：通過(guò)使用附加數(shù)據(jù)來(lái)提供增強(qiáng)現(xiàn)實(shí)的設(shè)備和方法
技術(shù)領(lǐng)域：
以下描述涉及一種用于處理增強(qiáng)現(xiàn)實(shí)(AR)數(shù)據(jù)和圖像以實(shí)現(xiàn)AR的技術(shù)。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)(AR)是一種計(jì)算機(jī)圖形技術(shù)，其對(duì)虛擬對(duì)象或信息與真實(shí)環(huán)境進(jìn)行合成，以顯示虛擬對(duì)象或信息，好像他們?cè)谡鎸?shí)環(huán)境存在一樣。通過(guò)對(duì)虛擬對(duì)象與真實(shí)世界進(jìn)行合成，以提供AR，這樣呈現(xiàn)了在真實(shí)世界中可能難以顯示的信息。不像現(xiàn)存的虛擬現(xiàn)實(shí)(VR)可能限于應(yīng)用到虛擬空間和對(duì)象，AR可被應(yīng)用到真實(shí)環(huán)境。由于AR的特性，AR能夠被應(yīng)用到真實(shí)環(huán)境和現(xiàn)存的虛擬環(huán)境，不像傳統(tǒng)的VR可能被限于應(yīng)用到虛擬環(huán)境(諸如游戲)。如此，AR技術(shù)逐漸受到注意而成為適合到處存在的環(huán)境的下一代顯示技術(shù)。然而，由于可與虛擬對(duì)象進(jìn)行合成的信息量增加得越來(lái)越多，用戶在其不得不從大量合成信息中檢查以識(shí)別需要的信息方面可能會(huì)不方便。換句話說(shuō)，由于大量的信息被以片段方式提供，現(xiàn)存的AR在提供用戶可能尋找的信息方面會(huì)有困難。

發(fā)明內(nèi)容
本發(fā)明的示例性實(shí)施方式提供了一種通過(guò)使用附加數(shù)據(jù)來(lái)提供增強(qiáng)現(xiàn)實(shí)的設(shè)備和方法。在隨后的描述中將對(duì)本發(fā)明的附加特征進(jìn)行闡述，部分這些特征將通過(guò)以下描述而變得顯而易見(jiàn)，或通過(guò)實(shí)施本發(fā)明來(lái)認(rèn)識(shí)到。本發(fā)明的示例性實(shí)施方式提供了一種增強(qiáng)現(xiàn)實(shí)(AR)提供設(shè)備，該設(shè)備包括第一數(shù)據(jù)獲取單元，用于獲取目標(biāo)對(duì)象的第一數(shù)據(jù)；第二數(shù)據(jù)獲取單元，用于獲取第二數(shù)據(jù)；以及圖像處理器，用于基于所述第一數(shù)據(jù)獲得代表圖像并基于所述第二數(shù)據(jù)修改所述代表圖像。本發(fā)明的示例性實(shí)施方式提供了一種增強(qiáng)現(xiàn)實(shí)(AR)提供設(shè)備，該設(shè)備包括第一數(shù)據(jù)獲取單元，用于獲取目標(biāo)對(duì)象的第一數(shù)據(jù)；第二數(shù)據(jù)獲取單元，用于獲取第二數(shù)據(jù)；以及圖像處理器，用于獲得與所述第一數(shù)據(jù)相關(guān)的代表圖像，獲得與所述第二數(shù)據(jù)相關(guān)的附加圖像，并對(duì)所述代表圖像與所述附加圖像進(jìn)行合成，以創(chuàng)建合成圖像。本發(fā)明的示例性實(shí)施方式提供了一種提供增強(qiáng)現(xiàn)實(shí)(AR)的方法，該方法包括 獲取用于目標(biāo)對(duì)象的第一數(shù)據(jù)；從與所述目標(biāo)對(duì)象相關(guān)聯(lián)的源或AR提供設(shè)備的用戶獲取第二數(shù)據(jù)；獲得與所述第一數(shù)據(jù)相關(guān)的代表圖像；以及基于所述第二數(shù)據(jù)修改所述代表圖像。本發(fā)明的示例性實(shí)施方式提供了一種提供增強(qiáng)現(xiàn)實(shí)(AR)的方法，該方法包括獲取用于目標(biāo)對(duì)象的第一數(shù)據(jù)；從與所述目標(biāo)對(duì)象相關(guān)聯(lián)的源或AR提供設(shè)備的用戶獲取第二數(shù)據(jù)；基于所述第一數(shù)據(jù)獲得代表圖像；獲得與所述第二數(shù)據(jù)相關(guān)的附加圖像；以及對(duì)所述代表圖像與所述附加圖像進(jìn)行合成，以創(chuàng)建合成圖像?？梢岳斫獾氖?，上述的一般性描述和隨后的詳細(xì)描述都是示例性和說(shuō)明性的，并致力于提供對(duì)權(quán)利要求書(shū)所要求的本發(fā)明的進(jìn)一步解釋。其他的特點(diǎn)和方面可通過(guò)隨后的詳細(xì)描述、附圖以及權(quán)利要求書(shū)而變得顯而易見(jiàn)。


附圖示出了本發(fā)明的實(shí)施方式，并與以下描繪一起來(lái)解釋本發(fā)明的原理，其中該附圖被包括于此，以提供對(duì)本發(fā)明的進(jìn)一步理解，被合并到本說(shuō)明書(shū)中而并成為本說(shuō)明書(shū)的一部分圖1是示出了根據(jù)本發(fā)明示例性實(shí)施方式的一種增強(qiáng)現(xiàn)實(shí)(AR)提供設(shè)備的示意圖；圖2是示出了根據(jù)本發(fā)明示例性實(shí)施方式的圖像處理器的示意圖；圖3是示出了根據(jù)本發(fā)明示例性實(shí)施方式的圖像處理器的示例的示意圖；圖4示出了根據(jù)本發(fā)明示例性實(shí)施方式的第一數(shù)據(jù)；圖5示出了根據(jù)本發(fā)明示例性實(shí)施方式的第二數(shù)據(jù)；圖6是示出了根據(jù)本發(fā)明示例性實(shí)施方式的一種AR提供方法的流程圖；圖7是示出了根據(jù)本發(fā)明示例性實(shí)施方式的一種AR提供方法的流程圖；圖8A示出了根據(jù)本發(fā)明示例性實(shí)施方式的修改后的代表圖像；圖8B示出了根據(jù)本發(fā)明示例性實(shí)施方式的合成圖像。
具體實(shí)施例方式以下參考附圖更全面地說(shuō)明本發(fā)明，其中，附圖中示出了本發(fā)明的示例性實(shí)施方式。然而，本發(fā)明可被具體體現(xiàn)為許多不同的形式，并不應(yīng)被解釋為受限于此處闡述的具體實(shí)施方式
。相反，提供這些示例性實(shí)施方式是為了使本公開(kāi)更為透徹，并將向本領(lǐng)域技術(shù)人員完全傳達(dá)本發(fā)明的范圍。可以理解的是，出于公開(kāi)目的，“每個(gè)中的至少一者”將被解釋為意指該各自語(yǔ)言之后所列舉的元素的任意組合，包括多個(gè)所列舉的元素的組合。例如，“X、 Y和Z中的至少一者”將被解釋為意指僅X、僅Y、僅Z或X、Y和Z的兩個(gè)或更多的任意組合 (例如4￥2、)《324幻。除非特別說(shuō)明，貫穿整個(gè)附圖及詳細(xì)描述，相同的附圖參考標(biāo)記將被理解為指代相同的元素、特征以及結(jié)構(gòu)。為了清楚、例示以及方便，這些元素的相對(duì)尺寸和繪圖可能被夸大。圖1是示出了根據(jù)本發(fā)明示例性實(shí)施方式的一種增強(qiáng)現(xiàn)實(shí)(AR)提供設(shè)備的示意圖。如圖1所示，AR提供設(shè)備100包括第一數(shù)據(jù)獲取單元101、第二數(shù)據(jù)獲取單元 102、圖像處理器103以及圖像顯示器104。
第一數(shù)據(jù)獲取單元101獲取目標(biāo)對(duì)象圖像的第一數(shù)據(jù)。該目標(biāo)對(duì)象可以是任意感興趣的對(duì)象。例如，如果用戶抓取特定區(qū)域的圖像，該目標(biāo)對(duì)象可以是圖像中的建筑塊 (building block)或任意特定對(duì)象。如果該目標(biāo)對(duì)象被識(shí)別，那么第一數(shù)據(jù)獲取單元101 可獲取與該目標(biāo)對(duì)象相關(guān)的第一數(shù)據(jù)。目標(biāo)對(duì)象的第一數(shù)據(jù)可以是與目標(biāo)對(duì)象相關(guān)的各種AR信息。例如，該AR信息可包括目標(biāo)對(duì)象的一般屬性信息，包括地址、電話號(hào)碼、營(yíng)業(yè)時(shí)間、商業(yè)類型等。此外，該第一數(shù)據(jù)可被存儲(chǔ)在位于單獨(dú)的服務(wù)器(未示出)內(nèi)的數(shù)據(jù)庫(kù)內(nèi)?？商鎿Q地，該第一數(shù)據(jù)還可被存儲(chǔ)于AR提供設(shè)備100內(nèi)。進(jìn)一步地，該第一數(shù)據(jù)可響應(yīng)于來(lái)自AR提供設(shè)備100的請(qǐng)求而被提供。例如，如果該AR提供設(shè)備100被應(yīng)用于智能電話，第一數(shù)據(jù)獲取單元101可接收與可在獲取到的圖像中識(shí)別出的目標(biāo)對(duì)象相關(guān)的各種AR信息。更具體地，如果用戶使用安裝在智能電話內(nèi)的照相機(jī)對(duì)某一地點(diǎn)進(jìn)行拍攝，則目標(biāo)對(duì)象圖像信息可被識(shí)別并被發(fā)送到裝有數(shù)據(jù)庫(kù)的服務(wù)器。作為響應(yīng)，該服務(wù)器可搜索其數(shù)據(jù)庫(kù)來(lái)認(rèn)出目標(biāo)對(duì)象，并識(shí)別與被識(shí)別出的目標(biāo)對(duì)象相關(guān)的AR信息。相應(yīng)地，如果存在可用于被識(shí)別出的目標(biāo)對(duì)象的AR信息，則該AR信息被提取并被提供到AR提供設(shè)備100。 在一個(gè)示例中，被提取出的AR信息包括在照片中識(shí)別出的目標(biāo)咖啡店的地址、電話號(hào)碼、 菜單信息、營(yíng)業(yè)時(shí)間、標(biāo)志等。第二數(shù)據(jù)獲取單元102獲取與第一數(shù)據(jù)不同的第二數(shù)據(jù)。在一個(gè)示例中，該第二數(shù)據(jù)可以是可不在第一數(shù)據(jù)中被提供的附加數(shù)據(jù)。更具體地，如果該第一數(shù)據(jù)是從AR數(shù)據(jù)提供服務(wù)器提取出的AR信息，該第二數(shù)據(jù)可以是可能沒(méi)有作為第一數(shù)據(jù)的一部分而從AR數(shù)據(jù)提供服務(wù)器接收的信息。此外，該第二數(shù)據(jù)可以是與目標(biāo)對(duì)象相關(guān)的更詳細(xì)的AR信息、第一數(shù)據(jù)的子集、或可被存儲(chǔ)在AR數(shù)據(jù)提供服務(wù)器內(nèi)的不同的AR信息集合。例如，如果AR提供設(shè)備100被應(yīng)用到智能電話，那么該第二數(shù)據(jù)可包括由該智能電話的外圍設(shè)備提供的外部數(shù)據(jù)和存儲(chǔ)在該智能電話的內(nèi)部數(shù)據(jù)。在一個(gè)示例中，外部數(shù)據(jù)可包括各種傳感器模塊或網(wǎng)絡(luò)模塊的輸入數(shù)據(jù)或輸出數(shù)據(jù)，而內(nèi)部數(shù)據(jù)可以是可更新的用戶資料(profile)或可更新的裝置資料。更具體地，該外部數(shù)據(jù)可包括從可被安裝在AR 提供設(shè)備100內(nèi)的照相機(jī)、GPS傳感器、麥克風(fēng)、地磁傳感器、陀螺傳感器或加速度傳感器獲得的傳感器數(shù)據(jù)。此外，該外部數(shù)據(jù)還可包括安裝在AR提供設(shè)備100的網(wǎng)絡(luò)模塊的網(wǎng)絡(luò)數(shù)據(jù)。可替換地，該內(nèi)部數(shù)據(jù)可包括表示用戶的識(shí)別信息、喜好信息等等的用戶資料。此外， 該內(nèi)部數(shù)據(jù)可包括表示AR提供設(shè)備100被應(yīng)用到的終端的狀態(tài)信息的裝置資料。圖像處理器103提取基于第一數(shù)據(jù)的代表圖像。例如，如果該第一數(shù)據(jù)包括特定咖啡店的名稱、地址、電話號(hào)碼、標(biāo)志等，圖像處理器103可提取接收到的標(biāo)志作為代表圖像?？商鎿Q地，該圖像處理器103可使用被包括在第一數(shù)據(jù)內(nèi)的咖啡店的名稱來(lái)從網(wǎng)上搜索相關(guān)圖像，或選擇參考圖像(諸如，參考咖啡杯圖標(biāo))，以提供代表圖像。同時(shí)，圖像處理器103可通過(guò)基于第二數(shù)據(jù)修改代表圖像、向代表圖像增加附加圖像、或這二者的結(jié)合來(lái)對(duì)該代表圖像進(jìn)行補(bǔ)充?？商鎿Q地，該圖像處理器103可基于獨(dú)立于該代表圖像的第二數(shù)據(jù)，提供補(bǔ)充圖像、圖標(biāo)等等。根據(jù)AR提供設(shè)備100的使用，可對(duì)第二數(shù)據(jù)的示例性用法進(jìn)行不同地應(yīng)用，該示例性用法可包括修改代表圖像或向代表圖像增加附加圖像。例如，圖像處理器103可比較第一數(shù)據(jù)與第二數(shù)據(jù)，結(jié)合第二數(shù)據(jù)來(lái)對(duì)第一數(shù)據(jù)進(jìn)行分析，然后根據(jù)比較或分析的結(jié)果，修改代表圖像或向代表圖像增加特定圖標(biāo)。更具體地，如果根據(jù)用戶資料(第二數(shù)據(jù))確定用戶偏愛(ài)“咖啡公司A”，則代表圖像可被放大、畫(huà)上輪廓、著色、畫(huà)上陰影等，以使“咖啡公司A”更顯著區(qū)別于在獲取到的圖像上的識(shí)別出的其他咖啡店或?qū)ο蟆４送?，如果“咖啡公司A”被確定是能夠無(wú)線上網(wǎng)的 (Wi-Fi)，這樣的信息可作為附加圖像被顯示，以補(bǔ)充代表圖像。不管該代表圖像是否被修改，均可使用基于第二數(shù)據(jù)而被提供的附加圖像來(lái)補(bǔ)充代表圖像。圖8A和圖8B示出了根據(jù)本發(fā)明示例性實(shí)施方式的修改后的代表圖像以及代表圖像與圍繞該代表圖像的多個(gè)附加圖像的合成圖像的舉例。作為示例，參考圖8A，圖像處理器103可使用第二數(shù)據(jù)來(lái)修改代表圖像801的形狀、輪廓、尺寸、顏色或亮度。作為另一個(gè)示例，參考圖8B，圖像處理器103可使用第二數(shù)據(jù)來(lái)提取附加圖像810、820和830并增加附加圖像810、820和830到代表圖像801周圍。在一個(gè)示例中，附加圖像810、820和830可以是參考圖像、被存儲(chǔ)的圖像或在網(wǎng)絡(luò)被識(shí)別的圖像。再次參考圖1，圖像顯示器104可顯示如圖8A所示的代表圖像或顯示如圖8B所示的帶有補(bǔ)充代表圖像的附加圖像的代表圖像。例如，該圖像顯示器104可以是顯示面板或觸摸顯示面板。通過(guò)這種方式，因?yàn)锳R提供設(shè)備100使用第二數(shù)據(jù)，以通過(guò)修改后的代表圖像顯示與目標(biāo)對(duì)象相關(guān)的AR圖像(如圖8A所示)或通過(guò)向代表圖像增加附加圖像來(lái)顯示與目標(biāo)對(duì)象相關(guān)的AR圖像(如圖8B所示)，用戶可更快速且容易地獲得想要的信息。圖2是示出了根據(jù)本發(fā)明示例性實(shí)施方式的圖像處理器的示意圖。參考圖2，圖像處理器200包括代表圖像創(chuàng)建器201和圖像修改器202。代表圖像創(chuàng)建器201基于第一數(shù)據(jù)，獲得目標(biāo)對(duì)象的代表圖像。例如，該代表圖像創(chuàng)建器201可提取包括在第一數(shù)據(jù)內(nèi)的與目標(biāo)對(duì)象相對(duì)應(yīng)于的特定圖像作為代表圖像。在一個(gè)示例中，該特定圖像可以是圖標(biāo)或圖形圖像等。作為另一個(gè)示例，該代表圖像創(chuàng)建器 201可使用包括在第一數(shù)據(jù)內(nèi)的信息(諸如商業(yè)名稱)作為關(guān)鍵字來(lái)從網(wǎng)上或存儲(chǔ)參考圖像的數(shù)據(jù)庫(kù)搜索相關(guān)圖像。在一個(gè)示例中，如果第一數(shù)據(jù)包括目標(biāo)咖啡店的名稱、地址、電話號(hào)碼、菜單信息、營(yíng)業(yè)時(shí)間以及標(biāo)志圖像，則該代表圖像創(chuàng)建器201可提取該咖啡店的標(biāo)志作為代表圖像。圖像修改器202基于第二數(shù)據(jù)，修改獲得的代表圖像的形狀、輪廓、尺寸、顏色、亮度等。例如，在第一數(shù)據(jù)與目標(biāo)咖啡店有關(guān)并且GPS信息被獲取作為第二數(shù)據(jù)的情況下， 該圖像修改器202可以以用戶到該咖啡店的距離成比例，增加該目標(biāo)咖啡店的標(biāo)志尺寸。 作為另一個(gè)示例，如果獲得多個(gè)咖啡店的信息作為第一數(shù)據(jù)，并且裝置資料(例如，電池水平)被獲取作為第二數(shù)據(jù)，在電池水平低于參考閾值情況下，該圖像修改器202可分析第一數(shù)據(jù)與第二數(shù)據(jù)這兩者來(lái)尋找提供電池充電服務(wù)的咖啡店。此外，然后，該圖像修改器202 可修改該咖啡店的標(biāo)志為充電器形狀或如圖8A所示加粗該標(biāo)志的輪廓。圖3是示出了根據(jù)本發(fā)明示例性實(shí)施方式的圖像處理器的示意圖。該圖像處理器 300可以是圖1所示的圖像處理器103的一個(gè)示例。如圖3所示，該圖像處理器300包括代表圖像創(chuàng)建器301、附加圖像創(chuàng)建器302和合成圖像創(chuàng)建器303。代表圖像創(chuàng)建器301基于第一數(shù)據(jù)，獲得針對(duì)目標(biāo)對(duì)象的代表圖像。例如，該代表圖像創(chuàng)建器301可提取被包括在第一數(shù)據(jù)內(nèi)的與目標(biāo)對(duì)象相關(guān)的特定圖像(諸如，咖啡公司的標(biāo)志)作為代表圖像。作為另一個(gè)示例，該代表圖像創(chuàng)建器301可使用被包括在第一數(shù)據(jù)內(nèi)的信息(諸如，商業(yè)名稱)作為關(guān)鍵字來(lái)從網(wǎng)上搜索相關(guān)的圖像或從存儲(chǔ)參考圖像的數(shù)據(jù)庫(kù)提取參考圖像。在一個(gè)示例中，如果第一數(shù)據(jù)包括目標(biāo)咖啡店的名稱、地址、電話號(hào)碼、菜單信息、營(yíng)業(yè)時(shí)間以及標(biāo)志圖像，該代表圖像創(chuàng)建器301可提取咖啡店的標(biāo)志作為代表圖像?？商鎿Q地，如果沒(méi)有提供標(biāo)志信息，那么該代表圖像創(chuàng)建器301可使用被包括在第一數(shù)據(jù)內(nèi)的商業(yè)名稱來(lái)在網(wǎng)上或從存儲(chǔ)參考圖像的數(shù)據(jù)庫(kù)搜索代表圖像數(shù)據(jù)。附加圖像創(chuàng)建器302獲得與第二數(shù)據(jù)相關(guān)的附加圖像。參考圖8B，該附加圖像可以是基于第二數(shù)據(jù)被創(chuàng)建的不同圖標(biāo)810、820和830。例如，如果在目標(biāo)商業(yè)場(chǎng)所接受特定的信用卡，信用卡圖標(biāo)810可被顯示作為附加圖像。作為另一個(gè)示例，如果在目標(biāo)商業(yè)場(chǎng)所提供Wi-Fi網(wǎng)絡(luò)服務(wù)，Wi-Fi圖標(biāo)820可被顯示作為附加圖像。作為另一個(gè)示例，如果電池水平低于參考閾值，充電圖標(biāo)830可被顯示作為附加圖像。如果附加圖像創(chuàng)建器302確定要提取的第二數(shù)據(jù)，則獲得附加圖像。在一個(gè)示例中，附加圖像可從存儲(chǔ)參考圖標(biāo)圖像的數(shù)據(jù)庫(kù)被提取或通過(guò)網(wǎng)絡(luò)在網(wǎng)上被搜索。合成圖像創(chuàng)建器303對(duì)由代表圖像創(chuàng)建器301獲得的代表圖像與由附加圖像創(chuàng)建器302獲得的附加圖像進(jìn)行合成。在一個(gè)示例中，如圖8B所示，該合成圖像創(chuàng)建器303可減小附加圖像的尺寸并將減小尺寸后的附加圖像放置在代表圖像上或周圍。圖4示出了根據(jù)本發(fā)明示例性實(shí)施方式的第一數(shù)據(jù)。參考圖1、圖2、圖3和圖4，第一數(shù)據(jù)可以是與目標(biāo)咖啡店相關(guān)的各種AR信息，這些信息與在獲取到的圖像內(nèi)識(shí)別出的用戶感興趣的目標(biāo)相關(guān)聯(lián)。例如，假設(shè)用戶使用在其中安裝了 AR提供設(shè)備100的智能電話對(duì)某一地點(diǎn)進(jìn)行拍攝以獲取圖像。進(jìn)一步地，假設(shè)在獲取到的圖像內(nèi)包括至少一個(gè)目標(biāo)對(duì)象。在一個(gè)示例中，第一數(shù)據(jù)獲取單元101可獲取在獲取到的圖像內(nèi)識(shí)別出的目標(biāo)咖啡店的名稱、地址、電話號(hào)碼、營(yíng)業(yè)時(shí)間、菜單信息、標(biāo)志等作為第一數(shù)據(jù)。然而，可被分類作為第一數(shù)據(jù)的所列舉的類型信息僅被提供作為一示例并且不受限于這樣的指定。還可獲取附加信息(諸如，無(wú)線通信網(wǎng)絡(luò)類型、是否提供移動(dòng)電話電池充電服務(wù)等)作為第一數(shù)據(jù)。 進(jìn)一步地，圖像處理器103可使用第一數(shù)據(jù)提取咖啡店的標(biāo)志作為代表圖像，并在圖像顯示器104上顯示咖啡店的標(biāo)志。作為代表圖像的咖啡店的標(biāo)志可在基于包含在第二數(shù)據(jù)內(nèi)的信息被修改后被顯示。此外，咖啡店的標(biāo)志可與基于包含在第二數(shù)據(jù)內(nèi)的信息的附加圖標(biāo)一起被顯示。圖5示出了根據(jù)本發(fā)明示例性實(shí)施方式的第二數(shù)據(jù)。參考圖1、圖4和圖5，第二數(shù)據(jù)包括外部數(shù)據(jù)和內(nèi)部數(shù)據(jù)。如圖5所示，外部數(shù)據(jù)包括傳感器數(shù)據(jù)和網(wǎng)絡(luò)數(shù)據(jù)。在一個(gè)示例中，如果AR提供設(shè)備100被應(yīng)用到智能電話，則可從安裝在移動(dòng)終端(諸如，智能電話)內(nèi)的照相機(jī)、GPS傳感器、麥克風(fēng)、地磁傳感器、陀螺傳感器或加速度傳感器獲得傳感器數(shù)據(jù)。此外，網(wǎng)絡(luò)數(shù)據(jù)可包括外部環(huán)境散布到一個(gè)或多個(gè)用戶的選擇性加入(opt-in)的廣播信息或社交網(wǎng)絡(luò)策略(SNS)信息(諸如，網(wǎng)上搜索或Twitter )。如圖5所示，內(nèi)部數(shù)據(jù)包括用戶資料和裝置資料。用戶資料可包括與用戶相關(guān)的標(biāo)識(shí)符、名片信息、電子郵件地址、時(shí)間表、偏愛(ài)以及其他類似信息。裝置資料可包括終端狀態(tài)，諸如通信網(wǎng)絡(luò)、電池水平、當(dāng)前時(shí)間、設(shè)備版本以及其他類似信息。如圖4所示，咖啡店A、B和C的標(biāo)志被提取作為代表圖像并被顯示在顯示器104上。在一個(gè)示例中，如果GPS信息被用作第二數(shù)據(jù)，圖像處理器103可隨著用戶靠近咖啡店A而增加咖啡店A的標(biāo)志尺寸?？商鎿Q地，圖像處理器103可隨著用戶接近咖啡店A 而在咖啡店A的標(biāo)志上顯示距離圖標(biāo)來(lái)顯示用戶的距離信息。作為另一個(gè)示例，如果Wi-Fi服務(wù)的可用性被用作第二數(shù)據(jù)，圖像處理器103可分析第二數(shù)據(jù)與第一數(shù)據(jù)這兩者，將咖啡店B檢測(cè)為可使用Wi-Fi服務(wù)的咖啡店，然后加粗咖啡店B的標(biāo)志的輪廓，或在咖啡店B的標(biāo)志上顯示W(wǎng)i-Fi圖標(biāo)。作為另一個(gè)示例，如果用戶的咖啡偏愛(ài)信息被存儲(chǔ)在用戶資料內(nèi)作為第二數(shù)據(jù)， 那么圖像處理器103可比較第二數(shù)據(jù)與第一數(shù)據(jù)(例如，菜單信息)以檢測(cè)出出售用戶偏愛(ài)的咖啡的咖啡店C。然后，圖像處理器103可改變咖啡店C的標(biāo)志的顏色或在咖啡店C的標(biāo)志周圍顯示咖啡杯圖標(biāo)。同時(shí)，如果來(lái)自其他用戶的評(píng)論被包括在第一數(shù)據(jù)中，那么可通過(guò)將作為第二數(shù)據(jù)的用戶資料與作為第一數(shù)據(jù)的來(lái)自其他用戶的評(píng)論進(jìn)行比較和分析來(lái)檢測(cè)出咖啡店C。在另一個(gè)示例中，如果存儲(chǔ)在裝置資料中的電池水平信息被用作第二數(shù)據(jù)，并且如果電池充電服務(wù)的可用性被用作第一數(shù)據(jù)，那么，如果電池水平低于參考閾值，則圖像處理器103可檢測(cè)出提供電池充電服務(wù)的咖啡店A。然后，圖像處理器103可改變咖啡店A的標(biāo)志為充電器形狀或在咖啡店A的標(biāo)志周圍顯示充電器圖標(biāo)。已出于便于描述的目的，提供了當(dāng)前的示例，并且對(duì)于本領(lǐng)域技術(shù)人員而言很顯然的是，能夠使用任意其他方法來(lái)通過(guò)使用第二數(shù)據(jù)顯示第一數(shù)據(jù)的內(nèi)容，以用于用戶認(rèn)識(shí)。圖6是示出了根據(jù)本發(fā)明示例性實(shí)施方式的一種AR提供方法的流程圖。該AR提供方法可由圖1中示出的AR提供設(shè)備來(lái)執(zhí)行。該AR提供方法將參考圖1、圖2、圖3、圖4、 圖5和圖6在下面進(jìn)行描述。首先，獲取第一數(shù)據(jù)(操作601)。例如，第一數(shù)據(jù)獲取單元101可從外部服務(wù)器接收與目標(biāo)對(duì)象相關(guān)的AR信息。然后，從外部服務(wù)器獲取與第一數(shù)據(jù)不相同的第二數(shù)據(jù)(操作60幻。在一個(gè)示例中，第二數(shù)據(jù)獲取單元102可從照相機(jī)、麥克風(fēng)、GPS傳感器、地磁傳感器、陀螺傳感器、加速度傳感器以及網(wǎng)絡(luò)模塊獲取外部數(shù)據(jù)。更具體地，示例性的外部數(shù)據(jù)可包括由第二數(shù)據(jù)獲取單元102收集的圖像信息、聲音信息、傳感器信息以及傳輸數(shù)據(jù)等等。此外，第二數(shù)據(jù)獲取單元102還可獲取內(nèi)部數(shù)據(jù)，諸如用戶資料和裝置資料。然后，創(chuàng)建與第一數(shù)據(jù)相關(guān)的代表圖像(操作603)。例如，圖像處理器103可從獲取到的第一數(shù)據(jù)提取標(biāo)志圖像作為代表圖像?？商鎿Q地，圖像處理器103可基于被包括在第一數(shù)據(jù)中的信息從網(wǎng)上或存儲(chǔ)參考圖像的數(shù)據(jù)庫(kù)搜索參考圖像。然后，基于第二數(shù)據(jù)修改代表圖像(操作604)。例如，圖像處理器103可相對(duì)于第二數(shù)據(jù)，比較并分析第一數(shù)據(jù)，以識(shí)別滿足第一數(shù)據(jù)和第二數(shù)據(jù)這二者的標(biāo)準(zhǔn)的目標(biāo)對(duì)象。 如果識(shí)別出的目標(biāo)對(duì)象滿足第一數(shù)據(jù)和第二數(shù)據(jù)這二者的標(biāo)準(zhǔn)，則可修改目標(biāo)對(duì)象的代表圖像的形狀、輪廓、尺寸、顏色、亮度等。
之后，顯示修改后的代表圖像(操作60 。例如，通過(guò)在圖像顯示器104上顯示修改后的代表圖像，用戶需要的信息可被顯示，以實(shí)現(xiàn)AR。圖7是示出了根據(jù)本發(fā)明示例性實(shí)施方式的一種AR提供方法的流程圖。該AR提供方法可由圖1中示出的AR提供設(shè)備來(lái)執(zhí)行。該AR提供方法將參考圖1、圖2、圖3、圖4、 圖5、圖6和圖7在下面進(jìn)行描述。首先獲取第一數(shù)據(jù)(操作710)。在一個(gè)示例中，第一數(shù)據(jù)獲取單元101可從外部服務(wù)器接收目標(biāo)對(duì)象的AR信息。然后，獲取與第一數(shù)據(jù)不相同的第二數(shù)據(jù)(操作70幻。例如，第二數(shù)據(jù)獲取單元 102可從照相機(jī)、麥克風(fēng)、GPS傳感器、地磁傳感器、陀螺傳感器、加速度傳感器以及網(wǎng)絡(luò)模塊獲取外部數(shù)據(jù)。更具體地，示例性的外部數(shù)據(jù)可包括由第二數(shù)據(jù)獲取單元102收集的圖像信息、聲音信息、傳感器信息以及傳輸數(shù)據(jù)等等。此外，第二數(shù)據(jù)獲取單元102還可獲取內(nèi)部數(shù)據(jù)，諸如用戶資料和裝置資料。然后，創(chuàng)建與第一數(shù)據(jù)相關(guān)的代表圖像(操作703)。例如，圖像處理器103可從獲取到的第一數(shù)據(jù)提取標(biāo)志圖像作為代表圖像。可替換地，圖像處理器103可基于被包括在第一數(shù)據(jù)中的信息從網(wǎng)上或存儲(chǔ)參考圖像的數(shù)據(jù)庫(kù)搜索參考圖像。然后，創(chuàng)建與第二數(shù)據(jù)相關(guān)的附加圖像(操作704)。例如，如圖8B所示，圖像處理器103可相對(duì)于第二數(shù)據(jù)，比較并分析第一數(shù)據(jù)并且創(chuàng)建圖標(biāo)圖像810、820和830作為附加圖像。圖標(biāo)圖像810、820和830可以是參考圖像或通過(guò)使用在第二數(shù)據(jù)發(fā)現(xiàn)的信息作為關(guān)鍵字而從網(wǎng)上獲得。隨后，基于可能被修改或可能未被修改的代表圖像和一個(gè)或多個(gè)附加圖像，創(chuàng)建合成圖像(操作705)。例如，圖像處理器103可將一個(gè)或多個(gè)附加圖像的尺寸減小為小于代表圖像，然后增加一個(gè)或多個(gè)附加圖像到代表圖像上或周圍。然后，顯示合成圖像(操作706)。例如，通過(guò)在圖像顯示器104上顯示可能被修改或可能未被修改的代表圖像和一個(gè)或多個(gè)附加圖像，用戶需要的信息被顯示，以實(shí)現(xiàn)AR。以上描述的過(guò)程、功能、方法和/或軟件可被記錄、存儲(chǔ)或固定在一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上，其中該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括由計(jì)算機(jī)實(shí)施來(lái)使處理器執(zhí)行或運(yùn)行的程序指令。介質(zhì)還可(以單獨(dú)或結(jié)合所述程序指令)包括數(shù)據(jù)文件以及數(shù)據(jù)結(jié)構(gòu)等。介質(zhì)和程序指令可以是那些被特別設(shè)計(jì)并構(gòu)建的介質(zhì)和程序指令，或者可以是計(jì)算機(jī)軟件領(lǐng)域技術(shù)人員所公知并可得到的一類介質(zhì)和程序指令。計(jì)算機(jī)可讀介質(zhì)的示例包括磁介質(zhì)， 諸如硬盤、軟盤以及磁帶；光介質(zhì)，諸如CD ROM盤和DVD ；磁-光介質(zhì)，諸如光盤；以及特別配置來(lái)存儲(chǔ)并運(yùn)行程序指令的硬件裝置，諸如只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)以及閃存等等。程序指令的示例包括機(jī)器碼(諸如，由編譯器產(chǎn)生)以及包括由計(jì)算機(jī)使用解釋程序執(zhí)行的較高級(jí)別碼的文件。所述的硬件裝置可被配置成充當(dāng)一個(gè)或多個(gè)軟件模塊以執(zhí)行上述的操作和方法，反之亦然。此外，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可被分布于通過(guò)網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)中，并且計(jì)算機(jī)可讀碼或程序指令可以以分散的方式被存儲(chǔ)和執(zhí)行。對(duì)于本領(lǐng)域技術(shù)人員而言很顯然的是，在不背離本發(fā)明的精神和范圍的情況下， 能夠進(jìn)行各種修改和變化。因此，假設(shè)這些修改和變化在附帶的權(quán)利要求和其等同物的范圍內(nèi)，本發(fā)明意欲覆蓋本發(fā)明的這些修改和變化。
權(quán)利要求
1.一種增強(qiáng)現(xiàn)實(shí)(AR)提供設(shè)備，該設(shè)備包括第一數(shù)據(jù)獲取單元，用于獲取目標(biāo)對(duì)象的第一數(shù)據(jù)； 第二數(shù)據(jù)獲取單元，用于獲取第二數(shù)據(jù)；以及圖像處理器，用于基于所述第一數(shù)據(jù)獲得代表圖像并基于所述第二數(shù)據(jù)修改所述代表圖像。
2.根據(jù)權(quán)利要求1所述的AR提供設(shè)備，其中所述圖像處理器對(duì)所述第一數(shù)據(jù)與所述第二數(shù)據(jù)進(jìn)行比較，以結(jié)合所述第二數(shù)據(jù)分析所述第一數(shù)據(jù)，并之后基于該分析的結(jié)果，修改所述代表圖像。
3.根據(jù)權(quán)利要求1所述的AR提供設(shè)備，其中所述第二數(shù)據(jù)包括以下各項(xiàng)中的至少一者提供自所述AR提供設(shè)備外部的外部數(shù)據(jù)；以及存儲(chǔ)于所述AR提供設(shè)備內(nèi)的內(nèi)部數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的AR提供設(shè)備，其中所述外部數(shù)據(jù)包括以下各項(xiàng)中的至少一者照相機(jī)、GPS傳感器、麥克風(fēng)、地磁傳感器、陀螺傳感器或加速度傳感器的傳感器數(shù)據(jù)；以及網(wǎng)絡(luò)模塊的網(wǎng)絡(luò)數(shù)據(jù)。
5.根據(jù)權(quán)利要求3所述的AR提供設(shè)備，其中所述內(nèi)部數(shù)據(jù)包括以下各項(xiàng)中的至少一者用戶資料信息；以及包含所述AR提供設(shè)備的裝置的狀態(tài)信息。
6.根據(jù)權(quán)利要求1所述的AR提供設(shè)備，該設(shè)備還包括圖像顯示器，該圖像顯示器用于顯示修改后的代表圖像。
7.根據(jù)權(quán)利要求1所述的AR提供設(shè)備，其中所述圖像處理器修改所述代表圖像的形狀、輪廓、尺寸、顏色和亮度中的至少一者。
8.根據(jù)權(quán)利要求1所述的AR提供設(shè)備，其中所述圖像處理器通過(guò)從所述第一數(shù)據(jù)提取圖像文件來(lái)獲得所述代表圖像，或通過(guò)提取通過(guò)使用來(lái)自所述第一數(shù)據(jù)的信息在包含圖像文件的數(shù)據(jù)庫(kù)上進(jìn)行搜索而找到的圖像來(lái)獲得所述代表圖像。
9.一種增強(qiáng)現(xiàn)實(shí)(AR)提供設(shè)備，該設(shè)備包括第一數(shù)據(jù)獲取單元，用于獲取目標(biāo)對(duì)象的第一數(shù)據(jù)； 第二數(shù)據(jù)獲取單元，用于獲取第二數(shù)據(jù)；以及圖像處理器，用于獲得與所述第一數(shù)據(jù)相關(guān)的代表圖像、獲得與所述第二數(shù)據(jù)相關(guān)的附加圖像、并對(duì)所述代表圖像與所述附加圖像進(jìn)行合成，以創(chuàng)建合成圖像。
10.根據(jù)權(quán)利要求9所述的AR提供設(shè)備，其中所述圖像處理器對(duì)所述第一數(shù)據(jù)與所述第二數(shù)據(jù)進(jìn)行比較、結(jié)合所述第二數(shù)據(jù)分析所述第一數(shù)據(jù)、并基于該分析的結(jié)果獲得所述附加圖像。
11.根據(jù)權(quán)利要求9所述的AR提供設(shè)備，其中所述第二數(shù)據(jù)包括以下各項(xiàng)中的至少一者提供自所述AR提供設(shè)備外部的外部數(shù)據(jù)；以及存儲(chǔ)于所述AR提供設(shè)備內(nèi)的內(nèi)部數(shù)據(jù)。
12.根據(jù)權(quán)利要求11所述的AR提供設(shè)備，其中所述外部數(shù)據(jù)包括以下各項(xiàng)中的至少一者照相機(jī)、GPS傳感器、麥克風(fēng)、地磁傳感器、陀螺傳感器或加速度傳感器的傳感器數(shù)據(jù)；以及網(wǎng)絡(luò)模塊的網(wǎng)絡(luò)數(shù)據(jù)。
13.根據(jù)權(quán)利要求11所述的AR提供設(shè)備，其中所述內(nèi)部數(shù)據(jù)包括以下各項(xiàng)中的至少一者用戶資料信息；以及包含所述AR提供設(shè)備的裝置的狀態(tài)信息。
14.根據(jù)權(quán)利要求9所述的AR提供設(shè)備，該設(shè)備還包括圖像顯示器，該圖像顯示器用于顯示所述合成圖像。
15.根據(jù)權(quán)利要求9所述的AR提供設(shè)備，其中所述附加圖像被減小尺寸并被放置于所述代表圖像的上面或周圍。
16.根據(jù)權(quán)利要求9所述的AR提供設(shè)備，其中所述圖像處理器還被配置成通過(guò)從所述第二數(shù)據(jù)提取圖像文件來(lái)獲得所述附加圖像，或通過(guò)提取通過(guò)使用來(lái)自所述第二數(shù)據(jù)的信息在包含圖像文件的數(shù)據(jù)庫(kù)上進(jìn)行搜索而找到的圖像來(lái)獲得所述附加圖像。
17.一種用于提供增強(qiáng)現(xiàn)實(shí)(AR)的方法，該方法包括 獲取用于目標(biāo)對(duì)象的第一數(shù)據(jù)；從與所述目標(biāo)對(duì)象相關(guān)聯(lián)的源或AR提供設(shè)備的用戶獲取第二數(shù)據(jù)； 獲得與所述第一數(shù)據(jù)相關(guān)的代表圖像；以及基于所述第二數(shù)據(jù)修改所述代表圖像。
18.根據(jù)權(quán)利要求17所述的方法，其中所述第二數(shù)據(jù)包括以下各項(xiàng)中的至少一者 提供自所述AR提供設(shè)備外部的外部數(shù)據(jù)；以及存儲(chǔ)于所述AR提供設(shè)備內(nèi)的內(nèi)部數(shù)據(jù)。
19.根據(jù)權(quán)利要求18所述的方法，其中所述外部數(shù)據(jù)包括以下各項(xiàng)中的至少一者照相機(jī)、GPS傳感器、麥克風(fēng)、地磁傳感器、陀螺傳感器或加速度傳感器的傳感器數(shù)據(jù)；以及網(wǎng)絡(luò)模塊的網(wǎng)絡(luò)數(shù)據(jù)。
20.根據(jù)權(quán)利要求18所述的方法，其中所述內(nèi)部數(shù)據(jù)包括以下各項(xiàng)中的至少一者 用戶資料信息；以及包含所述AR提供設(shè)備的裝置的狀態(tài)信息。
21.根據(jù)權(quán)利要求17所述的方法，其中所述基于所述第二數(shù)據(jù)修改所述代表圖像包括修改所述代表圖像的形狀、輪廓、尺寸、顏色和亮度中的至少一者。
22.根據(jù)權(quán)利要求17所述的方法，該方法還包括比較所述第一數(shù)據(jù)與所述第二數(shù)據(jù)，以結(jié)合所述第二數(shù)據(jù)分析所述第一數(shù)據(jù)；以及基于該分析的結(jié)果獲得附加圖像。
23.根據(jù)權(quán)利要求17所述的方法，其中所述獲得所述代表圖像還包括 從所述第一數(shù)據(jù)提取圖像文件；或提取通過(guò)使用來(lái)自所述第一數(shù)據(jù)的信息在包含圖像文件的數(shù)據(jù)庫(kù)上進(jìn)行搜索而找到的圖像。
24.一種用于提供增強(qiáng)現(xiàn)實(shí)(AR)的方法，該方法包括 獲取用于目標(biāo)對(duì)象的第一數(shù)據(jù)；從與所述目標(biāo)對(duì)象相關(guān)聯(lián)的源或AR提供設(shè)備的用戶獲取第二數(shù)據(jù)；基于所述第一數(shù)據(jù)獲得代表圖像；獲得與所述第二數(shù)據(jù)相關(guān)的附加圖像；以及對(duì)所述代表圖像與所述附加圖像進(jìn)行合成，以創(chuàng)建合成圖像。
25.根據(jù)權(quán)利要求M所述的AR提供方法，其中所述第二數(shù)據(jù)包括以下各項(xiàng)中的至少一者提供自所述AR提供設(shè)備外部的外部數(shù)據(jù)；以及存儲(chǔ)于所述AR提供設(shè)備內(nèi)的內(nèi)部數(shù)據(jù)。
26.根據(jù)權(quán)利要求25所述的AR提供方法，其中所述外部數(shù)據(jù)包括以下各項(xiàng)中的至少一者照相機(jī)、GPS傳感器、麥克風(fēng)、地磁傳感器、陀螺傳感器或加速度傳感器的傳感器數(shù)據(jù)；以及網(wǎng)絡(luò)模塊的網(wǎng)絡(luò)數(shù)據(jù)。
27.根據(jù)權(quán)利要求25所述的AR提供方法，其中所述內(nèi)部數(shù)據(jù)包括以下各項(xiàng)中的至少一者用戶資料信息；以及包含所述AR提供設(shè)備的裝置的狀態(tài)信息。
28.根據(jù)權(quán)利要求M所述的AR提供方法，其中對(duì)所述代表圖像與所述附加圖像進(jìn)行合成包括創(chuàng)建所述附加圖像以使所述附加圖像被減小尺寸并被放置于所述代表圖像的上面或周圍。
29.根據(jù)權(quán)利要求M所述的AR提供方法，其中獲得所述附加圖像還包括 從所述第二數(shù)據(jù)提取圖像文件；或提取通過(guò)使用來(lái)自所述第二數(shù)據(jù)的信息在包含圖像文件的數(shù)據(jù)庫(kù)上進(jìn)行搜索而找到的圖像。
30.根據(jù)權(quán)利要求M所述的AR提取方法，其中所述獲得所述附加圖像還包括比較所述第一數(shù)據(jù)與所述第二數(shù)據(jù)，以結(jié)合所述第二數(shù)據(jù)分析所述第一數(shù)據(jù)；以及基于該分析的結(jié)果獲得所述附加圖像。
全文摘要
一種增強(qiáng)現(xiàn)實(shí)(AR)提供設(shè)備，該設(shè)備包括第一數(shù)據(jù)獲取單元，用于獲取目標(biāo)對(duì)象的第一數(shù)據(jù)；第二數(shù)據(jù)獲取單元，用于獲取第二數(shù)據(jù)；以及圖像處理器，用于基于所述第一數(shù)據(jù)獲得代表圖像并基于所述第二數(shù)據(jù)修改所述代表圖像。一種提供增強(qiáng)現(xiàn)實(shí)(AR)的方法，該方法包括獲取用于目標(biāo)對(duì)象的第一數(shù)據(jù)；從與所述目標(biāo)對(duì)象相關(guān)聯(lián)的源或AR提供設(shè)備的用戶獲取第二數(shù)據(jù)；獲得與所述第一數(shù)據(jù)相關(guān)的代表圖像；以及基于所述第二數(shù)據(jù)修改所述代表圖像。
文檔編號(hào)G06T1/00GK102402778SQ20111019658
公開(kāi)日2012年4月4日 申請(qǐng)日期2011年7月13日 優(yōu)先權(quán)日2010年7月23日
發(fā)明者劉龍吉, 姜信用, 樸訓(xùn)民, 李圭鎮(zhèn), 田圣云, 趙恍柱, 金在夢(mèng), 金賢剛 申請(qǐng)人:株式會(huì)社泛泰