專利名稱：通過(guò)使用標(biāo)記來(lái)提供增強(qiáng)現(xiàn)實(shí)(ar)的裝置和方法
技術(shù)領(lǐng)域：
以下描述涉及用于基于標(biāo)志和基于非標(biāo)志的增強(qiáng)現(xiàn)實(shí)(AR)的裝置和方法。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)(AR)是一種將虛擬對(duì)象或虛擬信息與真實(shí)環(huán)境相合成以便該虛擬對(duì)象或虛擬信息可以看起來(lái)如同真實(shí)環(huán)境中的真實(shí)對(duì)象或真實(shí)信息的計(jì)算機(jī)圖形技術(shù)。AR可以基于真實(shí)世界來(lái)合成虛擬對(duì)象，以提供不能從真實(shí)世界輕易獲得的額外信息。這不同于以虛擬空間和虛擬對(duì)象為目標(biāo)的虛擬現(xiàn)實(shí)(VR)。因此，不同于已經(jīng)應(yīng)用于諸如游戲領(lǐng)域的現(xiàn)有VR，AR可以應(yīng)用到各種真實(shí)環(huán)境中。為了實(shí)現(xiàn)AR，基于標(biāo)志(或基于標(biāo)記)的對(duì)象識(shí)別或基于非標(biāo)志的對(duì)象識(shí)別已經(jīng)被廣泛使用。基于標(biāo)志的對(duì)象識(shí)別可以為用于通過(guò)標(biāo)志的標(biāo)識(shí)來(lái)確定額外信息是否可以被應(yīng)用于顯示方案的技術(shù)?；跇?biāo)記的識(shí)別AR可以用在廣告中。在廣告中，使用AR可以通過(guò)引起消費(fèi)者的興趣來(lái)產(chǎn)生興趣和好奇心。通常通過(guò)在A4紙上或產(chǎn)品包裝上打印從互聯(lián)網(wǎng)下載的圖像來(lái)提供本身為媒介的標(biāo)記。然而，由于向消費(fèi)者提供標(biāo)記的在前版本旨在提供打印的或下載的圖像，所以AR 實(shí)現(xiàn)尚未被使用。

發(fā)明內(nèi)容
本發(fā)明的示例性實(shí)施方式提供了用于使用標(biāo)記來(lái)提供增強(qiáng)現(xiàn)實(shí)(AR)的裝置和方法，其中所述標(biāo)記為即時(shí)(instant)或替代(substitution)標(biāo)記。本發(fā)明的示例性實(shí)施方式提供一種增強(qiáng)現(xiàn)實(shí)(AR)裝置，該裝置包括第一圖像獲取單元，用來(lái)獲取與AR相關(guān)的基本標(biāo)記(base marker)的圖像；第二圖像獲取單元，用來(lái)獲取對(duì)象的圖像；意義單元(meaning unit)分析器，用來(lái)分析基本標(biāo)記的圖像的意義單元； 標(biāo)記因素提取器，用來(lái)從對(duì)象的圖像中提取因素；以及替代標(biāo)記創(chuàng)建器，用來(lái)將意義單元與因素相映射，以創(chuàng)建包括對(duì)象的圖像和所映射的因素的替代標(biāo)記。本發(fā)明的示例性實(shí)施方式提供一種用于提供增強(qiáng)現(xiàn)實(shí)(AR)的方法，該方法包括獲取與AR相關(guān)的基本標(biāo)記的圖像；獲取對(duì)象的圖像；分析基本標(biāo)記的意義單元；從對(duì)象的圖像中提取因素；將意義單元與所述因素相映射；以及生成包括對(duì)象的圖像和所映射的因素的替代標(biāo)記。本發(fā)明的示例性實(shí)施方式提供一種用于提供增強(qiáng)現(xiàn)實(shí)(AR)的方法，該方法包括 獲取與AR相關(guān)的三維對(duì)象的圖像；分析二維標(biāo)記的意義單元；提取三維對(duì)象的圖像的因素；將意義單元與所述因素相映射；創(chuàng)建包括三維對(duì)象的圖像和所映射的因素的替代標(biāo)記；以及用與二維標(biāo)記相對(duì)應(yīng)的AR信息來(lái)顯示替代標(biāo)記。應(yīng)當(dāng)理解的是，以上概述以及以下的詳細(xì)描述是示意性和解釋性的，并且意欲提供對(duì)所要求保護(hù)的本發(fā)明的進(jìn)一步解釋。從以下詳細(xì)描述、附圖以及權(quán)利要求，其他特征和方面將變得顯而易見。


被包括以提供對(duì)本發(fā)明的透徹理解且被并入本說(shuō)明書并構(gòu)成本說(shuō)明書的一部分的附圖示出了本發(fā)明的實(shí)施方式，且與本說(shuō)明書一起用于對(duì)本發(fā)明的原理進(jìn)行解釋。圖1為根據(jù)本發(fā)明示例性實(shí)施方式的增強(qiáng)現(xiàn)實(shí)(AR)提供裝置；圖2A和圖2B示出了根據(jù)本發(fā)明示例性實(shí)施方式的基本標(biāo)記和該基本標(biāo)記的意義單元；圖3A和圖3B示出了根據(jù)本發(fā)明示例性實(shí)施方式的替代標(biāo)記和替代標(biāo)記的標(biāo)記因素；圖4示出了根據(jù)本發(fā)明示例性實(shí)施方式的基本標(biāo)記和對(duì)象之間的映射關(guān)系；圖5為示出了根據(jù)本發(fā)明示例性實(shí)施方式的用于提供增強(qiáng)現(xiàn)實(shí)(AR)的方法的流程圖；圖6為根據(jù)本發(fā)明示例性實(shí)施方式的用于闡明提取標(biāo)記因素的視圖；圖7示出了根據(jù)本發(fā)明示例性實(shí)施方式的用戶界面屏幕；圖8為根據(jù)本發(fā)明示例性實(shí)施方式的用于解釋將基本標(biāo)記映射到對(duì)象的視圖；圖9為根據(jù)本發(fā)明示例性實(shí)施方式的用于解釋將多個(gè)基本標(biāo)記映射到對(duì)象的視圖；圖10為根據(jù)本發(fā)明示例性實(shí)施方式的用于解釋將基本標(biāo)記映射到對(duì)象的視圖；圖11示出了根據(jù)本發(fā)明示例性實(shí)施方式的三維標(biāo)記；以及圖12示出了根據(jù)本發(fā)明示例性實(shí)施方式的三維標(biāo)記。在整個(gè)附圖和詳細(xì)描述中，除非另有說(shuō)明，否則相同的附圖標(biāo)記將被理解為指示相同的元件、特征和結(jié)構(gòu)。為了清晰、圖示以及方便，這些元件的相對(duì)尺寸和描繪可以被放大。
具體實(shí)施例方式下面將參照附圖來(lái)對(duì)本發(fā)明作更全面的描述，其中示出了本發(fā)明的實(shí)施方式。但是本發(fā)明可以以多種不同形式來(lái)體現(xiàn)，并不應(yīng)當(dāng)被理解為局限于這里提出的實(shí)施方式。相反地，提供這些實(shí)施方式是為了使得本公開足夠全面，并向本領(lǐng)域技術(shù)人員充分表達(dá)本發(fā)明的范圍。在附圖中，為了清晰起見，可以放大層和區(qū)域的大小以及相對(duì)大小。在附圖中， 類似的參考標(biāo)記指代類似的元件。在本文中使用的術(shù)語(yǔ)僅僅是為了說(shuō)明特定實(shí)施方式，而并非用于限定本發(fā)明。正如本文中所使用的，除非上下文清楚指出的其它方面，否則單數(shù)形式的“一個(gè)”、“一”和“該” 意欲包括復(fù)數(shù)形式。將進(jìn)一步理解的是，在說(shuō)明書中使用的術(shù)語(yǔ)“包括(comprises)”和/ 或“包括(comprising) ”指定所闡述特征、整數(shù)、步驟、操作、元件和/或部件的存在，但是并不排除一個(gè)或多個(gè)其它特征、整數(shù)、步驟、操作、元件、部件和/或他們的集合的存在或添
5加。可以理解的是，出于本公開的目的，“每個(gè)中的至少一者”將被解釋為意指遵循各自語(yǔ)言的所列舉元素的任意組合，包括多個(gè)所列舉元素的組合。例如，“X、Y和Z中的至少一者” 將被解釋為意指僅X、僅Y、僅ζ或Χ、γ和ζ中的兩個(gè)或更多項(xiàng)的任意組合(例如，ΧΥΖ、ΧΖ、 YZ,XY)。圖1為根據(jù)本發(fā)明示例性實(shí)施方式的增強(qiáng)現(xiàn)實(shí)(AR)提供裝置。參照?qǐng)D1，AR裝置100可以為移動(dòng)終端(例如，智能手機(jī))的一部分，該移動(dòng)終端可以拍攝與AR相關(guān)的標(biāo)記，該標(biāo)記使得AR被顯示在所拍攝的標(biāo)記的圖像上或被顯示在可由這樣的移動(dòng)終端執(zhí)行的AR應(yīng)用的一部分上。如果識(shí)別出了標(biāo)記，則AR裝置100可以創(chuàng)建替代標(biāo)記或即時(shí)標(biāo)記，該替代標(biāo)記或即時(shí)標(biāo)記用作基于任何對(duì)象的原始標(biāo)記的替代品。隨后，AR可以與該替代標(biāo)記或即時(shí)標(biāo)記一起被應(yīng)用或顯示。例如，如果在AR應(yīng)用中用戶使用智能手機(jī)拍攝印在紙上的標(biāo)記并且在預(yù)覽屏幕上顯示所拍攝的標(biāo)記，則然后虛擬化身(virtual avatar)可以在預(yù)覽屏幕上顯示該標(biāo)記處的特定運(yùn)動(dòng)。在這種情況下，根據(jù)AR裝置100，用戶可以將原始標(biāo)記的特性或意義單元映射到任意對(duì)象(例如，信用卡或名片)的特性或標(biāo)記因素上，并且然后將所映射的任意對(duì)象用作標(biāo)記。從而，在預(yù)覽屏幕上顯示任意對(duì)象，以便虛擬化身在預(yù)覽屏幕上所顯示的對(duì)象上運(yùn)動(dòng)。如圖1所示，AR裝置100包括第一圖像獲取單元101、第二圖像獲取單元102、意義單元分析器103、標(biāo)記因素提取器104、替代標(biāo)記創(chuàng)建器105、相關(guān)性(correlation)存儲(chǔ)器106以及顯示器107。第一圖像獲取單元101獲取用于AR的基本標(biāo)記的圖像。根據(jù)當(dāng)前的示例，該“基本標(biāo)記”表示可以在紙上打印的常規(guī)二維標(biāo)記等。當(dāng)?shù)谝粓D像獲取單元101拍攝顯示在對(duì)象的特定部分上的基本標(biāo)記時(shí)，可以獲取基本標(biāo)記的圖像?？蛇x地，第一圖像獲取單元101可以從外部服務(wù)器下載基本標(biāo)記的圖像，或者可以從另一終端或裝置接收基本標(biāo)記的圖像。第二圖像獲取單元102獲取對(duì)象的圖像。該對(duì)象可以是用作替代標(biāo)記的任意對(duì)象。例如，第二圖像獲取單元102可以包括拍攝任意對(duì)象的相機(jī)模塊。該圖像可以通過(guò)用戶指令來(lái)檢索。意義單元分析器103分析由第一圖像獲取單元101獲取的基本標(biāo)記的意義單元。 根據(jù)一個(gè)示例，該“意義單元”可以表示在基本標(biāo)記和AR應(yīng)用之間限定的意義因素。例如， 基本標(biāo)記的意義單元可以確定哪個(gè)AR被顯示或起作用，或者確定AR怎樣顯示或起作用。換言之，AR應(yīng)用可以基于基本標(biāo)記的意義單元的輸出，確定以特定方式顯示信息。意義單元可以定義整個(gè)基本標(biāo)記圖像或部分基本標(biāo)記圖像中的AR信息。例如，可以通過(guò)AR信息被顯示的位置來(lái)限定部分基本標(biāo)記，或者通過(guò)AR信息被顯示的方向來(lái)限定部分，或者限定了表示哪個(gè)AR信息或如何表示AR信息的操作的部分，等等。然而，這些僅僅是示例性的，并且除了上述提及的部分以外的其他部分也可以被定義為意義單元。標(biāo)記因素提取器104從第二圖像獲取單元102中提取因素，該因素可以與意義單元分析器103的輸出相對(duì)應(yīng)。例如，該因素可以稱為標(biāo)記因素。也就是說(shuō)，該“標(biāo)記因素”可以與標(biāo)記的構(gòu)成要素相關(guān)聯(lián)，并且可以為區(qū)別于其他部分的特性圖樣、形狀或顏色，或者可以是區(qū)別于其他部分的特性因素之間的位置關(guān)系或相關(guān)性，等等。根據(jù)一個(gè)示例，標(biāo)記因素提取器104可以基于第二圖像獲取單元102獲取的對(duì)象圖像來(lái)將對(duì)象的形狀提取作為標(biāo)記因素。作為另一示例，標(biāo)記因素提取器104可以識(shí)別圖像的對(duì)象中的字符或圖形 (picture)，并且將所識(shí)別的字符或圖形提取作為標(biāo)記因素。作為另一示例，標(biāo)記因素提取器104可以提取與圖像的對(duì)象有關(guān)的形狀或顏色。 標(biāo)記因素提取器104可以通過(guò)將對(duì)象圖像分成多個(gè)網(wǎng)格單元、使用網(wǎng)格單元的像素值的平均值來(lái)計(jì)算每個(gè)網(wǎng)格單元的網(wǎng)格值以及將具有相似網(wǎng)格值的網(wǎng)格單元分組來(lái)提取形狀因
ο可以使用多種技術(shù)來(lái)確定標(biāo)記因素。因此，除了本文公開的技術(shù)之外，也可以使用其他技術(shù)。替代標(biāo)記創(chuàng)建器105通過(guò)將意義單元分析器103的輸出映射到標(biāo)記因素提取器 104的輸出來(lái)創(chuàng)建替代標(biāo)記。相應(yīng)地，在當(dāng)前示例中，該“替代標(biāo)記”與基本標(biāo)記相對(duì)應(yīng)，并且可以意指可以替代基本標(biāo)記的二維或三維對(duì)象。在替代標(biāo)記創(chuàng)建器105將意義單元分析器103的輸出映射到標(biāo)記因素提取器104 的輸出之后，相關(guān)性存儲(chǔ)器106存儲(chǔ)映射關(guān)系或相關(guān)性。例如，相關(guān)性存儲(chǔ)器106可以存儲(chǔ)指示哪個(gè)意義單元被映射到對(duì)象的哪個(gè)標(biāo)記因素的信息。顯示器107使用由替代標(biāo)記創(chuàng)建器105創(chuàng)建的替代標(biāo)記和存儲(chǔ)在相關(guān)性存儲(chǔ)器 106中的相關(guān)性來(lái)基于要與替代標(biāo)記的使用一起被顯示或被執(zhí)行的基本標(biāo)記顯示和執(zhí)行 AR。例如，顯示器107可以使用替代標(biāo)記來(lái)顯示與基本標(biāo)記相關(guān)的AR。而且，可以根據(jù)用戶選擇的選項(xiàng)，基于由第一圖像獲取單元101獲取的基本標(biāo)記或者基于替代基本標(biāo)記的替代標(biāo)記來(lái)實(shí)現(xiàn)特定AR。如果通過(guò)替代標(biāo)記來(lái)實(shí)現(xiàn)AR，則可以通過(guò)提供用于通知將被用作替代標(biāo)記的對(duì)象圖像準(zhǔn)備好被輸入的通知消息來(lái)創(chuàng)建替代標(biāo)記， 以及將基本標(biāo)記圖像映射到對(duì)象圖像可以發(fā)生。因此，接收到的AR信息不但以基本標(biāo)記為基礎(chǔ)，還以替代標(biāo)記或即時(shí)標(biāo)記為基礎(chǔ)。圖2A和圖2B示出了根據(jù)本發(fā)明示例性實(shí)施方式的基本標(biāo)記和該基本標(biāo)記的意義單元。如圖2A所示，基本標(biāo)記201是計(jì)算機(jī)或終端可讀的二維圖像代碼?；緲?biāo)記201 的圖像可以從所拍攝的圖片提取，或者例如通過(guò)服務(wù)網(wǎng)絡(luò)下載。如圖2B所示，所示的基本標(biāo)記201包括5個(gè)意義單元210、220、230、240和250。 第一意義單元210與基本標(biāo)記201的圖像相對(duì)應(yīng)，并且是如果基本標(biāo)記201被識(shí)別則指示是否執(zhí)行AR信息(或虛擬圖像)的部分。第二意義單元220是如果存在要被執(zhí)行多條AR 信息則指示AR信息的種類的部分。第三意義單元230是指示AR信息的顯示位置的部分。 第四意義單元240是指示AR信息的顯示方向的部分。第五意義單元250是確定與AR信息相關(guān)的操作的部分。例如，如果與第五意義單元250相對(duì)應(yīng)的特定行為(諸如觸摸一設(shè)備) 被執(zhí)行，則虛擬圖像可以執(zhí)行操作(例如，AR信息的旋轉(zhuǎn)、反轉(zhuǎn)、縮小等)。如圖2A和圖2B所示，可以在基本標(biāo)記201中表現(xiàn)各種意義單元210、220、230、240 和250，其中預(yù)先定義與基本標(biāo)記201相關(guān)聯(lián)的每一意義單元和與基本標(biāo)記202相對(duì)應(yīng)的 AR應(yīng)用。圖3A和圖3B示出了根據(jù)本發(fā)明示例性實(shí)施方式的替代標(biāo)記和該替代標(biāo)記的標(biāo)記因素。
如圖3A所示，替代標(biāo)記301可以為信用卡。因此，用戶可以使用基本標(biāo)記201 (見圖2A)或信用卡301作為觀看AR信息的介質(zhì)。如圖3B所示，信用卡301的將信用卡301用作替代標(biāo)記的標(biāo)記因素可以是與其他部分相區(qū)別的特定字符區(qū)域310、特定圖形區(qū)域320或特征部分330。從某個(gè)對(duì)象(諸如信用卡301)中被提取作為標(biāo)記因素的這些部分可以依賴于期望的用途而變化。因此，圖3B 所示的標(biāo)記因素310、320和330僅僅是示例性的。圖4示出了根據(jù)本發(fā)明示例性實(shí)施方式的基本標(biāo)記和對(duì)象的標(biāo)記因素之間的映射關(guān)系。參照?qǐng)D4，基本標(biāo)記401的圖像中的意義單元402和403被分別映射到對(duì)象404的圖像中的標(biāo)記因素405和406。然后，存儲(chǔ)意義單元402和403與標(biāo)記因素405和406之間的映射407和408。因此，對(duì)象圖像404可以被用作替代標(biāo)記。換言之，通過(guò)允許用戶在與移動(dòng)終端相關(guān)聯(lián)的預(yù)覽屏幕上顯示被指定為替代標(biāo)記的信用卡，AR可以使用信用卡的被顯示的圖像來(lái)實(shí)現(xiàn)。在圖4所示的示例中，意義單元與標(biāo)記因素之間的映射可以改變。例如，可以基于意義單元與標(biāo)記因素之間形狀或顏色的相似性來(lái)執(zhí)行映射，或者基于分配給單個(gè)標(biāo)記因素的權(quán)重或優(yōu)先級(jí)來(lái)順序地執(zhí)行映射。但是，這些仍然僅僅是示例性的，并且各種映射方法可以被實(shí)現(xiàn)。圖5為示出了根據(jù)本發(fā)明示例性實(shí)施方式的用于提供增強(qiáng)現(xiàn)實(shí)(AR)的方法的流程圖。該方法可以在向用戶詢問(wèn)是否使用替代標(biāo)記來(lái)實(shí)現(xiàn)AR之后開始。參照?qǐng)D5，獲取基本標(biāo)記的圖像(501)。圖1所示的第一圖像獲取單元101可以通過(guò)拍攝基本標(biāo)記或下載基本標(biāo)記圖像201來(lái)獲取如圖2A中所示的基本標(biāo)記的圖像201。獲取對(duì)象的圖像(502)。圖1所示的第二圖像獲取單元102可以通過(guò)拍攝諸如信用卡之類的特定對(duì)象來(lái)獲取如圖3A所示的對(duì)象圖像301。在上述步驟之后，分析基本標(biāo)記的意義單元(503)。意義單元分析器103可以分析如圖2B所示的基本標(biāo)記的意義單元。然后，從對(duì)象圖像中提取與基本標(biāo)記的意義單元對(duì)應(yīng)的標(biāo)記因素(504)。圖1所示的標(biāo)記因素提取器104可以提取如圖3B所示的標(biāo)記因素310、320和330。然后，可以將基本標(biāo)記的意義單元映射到對(duì)象的標(biāo)記因素，以便創(chuàng)建替代標(biāo)記 (505)。圖1所示的替代標(biāo)記創(chuàng)建器105可以執(zhí)行如圖4所示的映射以創(chuàng)建替代標(biāo)記。可以以多種方式來(lái)執(zhí)行意義單元和標(biāo)記因素之間的映射。例如，還可以使用任意映射。任意映射可以被定義為隨機(jī)選擇標(biāo)記因素，并且然后將意義單元映射到所選的標(biāo)記因素。作為另一示例，可以基于意義單元和標(biāo)記因素之間的相似性來(lái)執(zhí)行映射。例如，能夠?qū)⑺x的意義單元映射到在形狀、位置或顏色方面與該意義單元具有相似性的標(biāo)記因素。在創(chuàng)建替代標(biāo)記之后，可以存儲(chǔ)意義單元和標(biāo)記因素之間的映射?？梢栽趫D1所示的相關(guān)性存儲(chǔ)器106中存儲(chǔ)該信息。該方法進(jìn)一步包括基于所創(chuàng)建的替代標(biāo)記來(lái)實(shí)現(xiàn)AR的操作。例如，圖1所示的顯示器107可以使用所創(chuàng)建的替代標(biāo)記和所存儲(chǔ)的相關(guān)性來(lái)提供與初始基本標(biāo)記相對(duì)應(yīng)的 AR0
圖6是根據(jù)本發(fā)明示例性實(shí)施方式的用于解釋提取標(biāo)記因素的視圖。參照?qǐng)D1和圖6，標(biāo)記因素提取器104將對(duì)象602的預(yù)覽屏幕分成網(wǎng)格單元，其中每個(gè)網(wǎng)格單元可以具有基準(zhǔn)尺寸。然后，標(biāo)記因素提取器104以從在圖像數(shù)據(jù)方面具有較大變化的網(wǎng)格單元到在圖像數(shù)據(jù)方面具有較小變化的網(wǎng)格單元的順序來(lái)排列網(wǎng)格單元。然后，每個(gè)網(wǎng)格單元可以被提取作為標(biāo)記因素。在標(biāo)記因素提取的另一示例中，如果網(wǎng)格單元及其鄰近的網(wǎng)格單元之間的數(shù)據(jù)變化量小于閾值，則這些網(wǎng)格單元可以被看作是同一網(wǎng)格單元。然而，可以使用除了上面參照?qǐng)D6描述的方法之外的多種方法來(lái)從圖像中提取特定部分以形成替代標(biāo)記。例如，網(wǎng)格單元中的特定形狀或格式可以被提取作為標(biāo)記因素。如果對(duì)象602具有主色，即形成該對(duì)象的主要部分的顏色，則具有與主色不同的顏色的部分可以被提取作為標(biāo)記因素。如果在對(duì)象中無(wú)主色存在，則可以任意指定該對(duì)象的特定區(qū)域， 且將該區(qū)域的顏色與其鄰近區(qū)域的顏色相比較，之后，該比較可以提示標(biāo)記因素的提取。而且，對(duì)象的可以用作替代標(biāo)記的特定顏色可以被提取作為標(biāo)記因素。例如，如果從某個(gè)對(duì)象中識(shí)別出紅色、黃色和藍(lán)色，則紅色、黃色和藍(lán)色可以被分別映射到原始標(biāo)記的 A部分、B部分和C部分。如果標(biāo)記因素被提取，則可以分析指示所提取的標(biāo)記因素的數(shù)量的信息。例如，當(dāng)基于形狀的L個(gè)標(biāo)記因素和基于顏色的M個(gè)標(biāo)記因素被提取，優(yōu)先級(jí)可以被分配為首先映射L個(gè)標(biāo)記因素并然后其次映射M個(gè)標(biāo)記因素。如果標(biāo)記因素的全部總量L+M不足以映射在原始標(biāo)記上識(shí)別到的全部意義單元，則可以顯示用于指示可以輸入另一對(duì)象圖像來(lái)達(dá)到 L+M數(shù)量的消息。圖7示出了根據(jù)本發(fā)明示例性實(shí)施方式的用戶界面屏幕。參照?qǐng)D7，用戶界面屏幕可以包括在其上顯示基本標(biāo)記的列701、在其上顯示關(guān)于基本標(biāo)記的簡(jiǎn)要信息的列702以及在其上顯示替代標(biāo)記的列703。關(guān)于基本標(biāo)記的簡(jiǎn)要信息可以是與基本標(biāo)記對(duì)應(yīng)的AR應(yīng)用的名稱或關(guān)于基本標(biāo)記的意義單元的信息。在圖7的示例中，用戶可以觸摸在其上顯示替代標(biāo)記的列703來(lái)選擇期望的替代標(biāo)記，并且如果期望的替代標(biāo)記被選擇，則執(zhí)行基本標(biāo)記的AR應(yīng)用，其中所選擇的替代標(biāo)記與該基本標(biāo)記相映射。而且，如果有多個(gè)替代標(biāo)記，則用戶或許期望獲知與AR應(yīng)用的相關(guān)性。因此，與它們對(duì)應(yīng)的AR應(yīng)用有關(guān)的替代標(biāo)記可以以列表或縮略圖或文件夾形式顯示。圖8為根據(jù)本發(fā)明示例性實(shí)施方式的用于解釋將基本標(biāo)記映射到對(duì)象的視圖。參照?qǐng)D8，將被用作替代標(biāo)記的對(duì)象被分成區(qū)域M1、M2和M3。區(qū)域M1、M2和M3中的每個(gè)區(qū)域可以被映射到基本標(biāo)記。例如，如圖8所示，第一基本標(biāo)記810被映射到第一區(qū)域M1，第二基本標(biāo)記820被映射到第二區(qū)域M2，以及第三基本標(biāo)記830被映射到第三區(qū)域 M3。如果多個(gè)基本標(biāo)記被映射到一個(gè)對(duì)象，則可以針對(duì)各個(gè)區(qū)域M1、M2和M3來(lái)單獨(dú)提取替代標(biāo)記的標(biāo)記因素。圖9為根據(jù)本發(fā)明示例性實(shí)施方式的用于解釋將基本標(biāo)記映射到對(duì)象的視圖。參照?qǐng)D9，第一基本標(biāo)記901映射到對(duì)象的第一部分910，而第二基本標(biāo)記902映射到對(duì)象的第二部分920。第二部分920相對(duì)小于第一部分910。如果對(duì)象以其原始尺寸在預(yù)覽屏幕上顯示則可以識(shí)別第一部分910，而如果對(duì)象在預(yù)覽屏幕上被放大則可以識(shí)別第二部分920。因此，如果在原始尺寸期間查看，則與第二部分920對(duì)應(yīng)的替代標(biāo)記可以被用作隱藏標(biāo)記(hiddenmarker)。圖10為根據(jù)本發(fā)明示例性實(shí)施方式的用于解釋將基本標(biāo)記映射到對(duì)象的視圖。參照?qǐng)D10，第一基本標(biāo)記1001映射到對(duì)象的第一部分1002，而第二基本標(biāo)記1003 映射到對(duì)象的第二部分1004。第一基本標(biāo)記1001代表虛擬對(duì)象1005的AR，而第二基本標(biāo)記1003代表虛擬對(duì)象1006的AR。因此，如果用戶使用第一基本標(biāo)記1001和第二基本標(biāo)記 1003與其映射的替代標(biāo)記1007來(lái)實(shí)現(xiàn)AR，則在顯示器1008上可以出現(xiàn)引起虛擬對(duì)象1005 和1006的顯示的已執(zhí)行的AR。作為另一示例，如果對(duì)象中有多個(gè)映射點(diǎn)，則通過(guò)將各種基本標(biāo)記映射到該對(duì)象來(lái)創(chuàng)建替代標(biāo)記是可能的。例如，在諸如模具(die)(它的各個(gè)面具有不同的特性)的三維對(duì)象的情況下，不同的基本標(biāo)記可以被映射到該模具的各個(gè)面。而且，在書的情況下，可以以向書的每一頁(yè)分配基本標(biāo)記的方式來(lái)創(chuàng)建替代標(biāo)記。圖11示出了根據(jù)本發(fā)明示例性實(shí)施方式的三維標(biāo)記。參照?qǐng)D11，與船相關(guān)的基本標(biāo)記1101被映射到三維對(duì)象1102。三維對(duì)象1102的圖像或者三維對(duì)象1102的不同部分可以通過(guò)圖像獲取單元(諸如相機(jī)或文件)來(lái)獲取。三維對(duì)象1102不但具有正視圖像，還具有上、下、左和右屬性。從而，該三維對(duì)象1102的上、 下、左和右屬性可以根據(jù)船的上、下、左和右屬性而被映射。例如，當(dāng)與船相關(guān)的基本標(biāo)記 1101被映射到杯子1102時(shí)，用戶可以以如下方式來(lái)實(shí)現(xiàn)AR 在預(yù)覽屏幕上顯示杯子1102 并拍攝杯子1102的上面、下面、左面和右面，以便根據(jù)拍攝的方向來(lái)顯示船的上面、下面、 左面和右面。存在著原始標(biāo)記為二維圖像而AR信息為三維圖像的情形。在這種情況下，在使用原始標(biāo)記來(lái)實(shí)現(xiàn)AR圖像時(shí)存在局限性。然而，如圖11所示的示例那樣，通過(guò)將二維標(biāo)記映射到三維對(duì)象且將那個(gè)三維對(duì)象用作替代標(biāo)記，具有三維屬性的AR可以提供更強(qiáng)的查看能力或用來(lái)操作船的被顯示圖像的能力。圖12示出了根據(jù)本發(fā)明示例性實(shí)施方式的三維標(biāo)記。參照?qǐng)D12，與建筑圖相關(guān)的基本標(biāo)記1201被映射到諸如杯子1202之類的三維對(duì)象。如果該建筑為三層建筑，則杯子1202的底部代表該建筑的第一層1203，杯子1202的中間部分代表該建筑的第二層1204，而杯子1202的上部代表該建筑的第三層1205。這樣， 如果諸如杯子1202之類的三維對(duì)象被用作替代標(biāo)記，則可以根據(jù)三維對(duì)象的各種屬性(例如，杯子1202的特定面，畫在特定面上的各種圖形等)來(lái)顯示附加信息和原始AR。因此，三維可操作性和杯子1202的形狀可以向用戶提供更強(qiáng)的查看能力或用來(lái)操作3-D對(duì)象的被顯示圖像的能力。如上所述，在根據(jù)上述示例的用于提供AR的AR裝置和方法中，由于創(chuàng)建了能夠替代基本標(biāo)記的替代標(biāo)記并且使用該替代標(biāo)記來(lái)實(shí)現(xiàn)AR，所以能夠在不存在基本標(biāo)記并且替代標(biāo)記還用來(lái)實(shí)現(xiàn)擴(kuò)展的AR的情況下實(shí)現(xiàn)AR。同時(shí)，上述示例可以被實(shí)現(xiàn)為計(jì)算機(jī)可讀記錄介質(zhì)中的非短暫性計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀記錄介質(zhì)包括存儲(chǔ)計(jì)算機(jī)系統(tǒng)可讀的數(shù)據(jù)的各種類型的記錄設(shè)備。計(jì)算機(jī)可讀介質(zhì)的示例包括ROM、RAM、⑶-ROM、磁帶、軟盤、光盤等等。而且，可以以載波(例如，通過(guò)因特網(wǎng)傳輸)的形式實(shí)現(xiàn)計(jì)算機(jī)可讀介質(zhì)。此外，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以分布在通過(guò)網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)之中，并且計(jì)算機(jī)可讀代碼或程序指令可以以分布
108/8頁(yè)
方式進(jìn)行存儲(chǔ)和執(zhí)行。而且，用于實(shí)現(xiàn)本發(fā)明的功能程序、代碼和代碼段可以由本發(fā)明所屬技術(shù)領(lǐng)域中的編程人員容易地解釋。上面已經(jīng)描述了多個(gè)示例。盡管如此，應(yīng)該理解的是，可以做出各種修改。例如，如果以不同的順序來(lái)執(zhí)行所描述的技術(shù)和/或如果所描述的系統(tǒng)、結(jié)構(gòu)、設(shè)備或電路中的部件以不同方式組合和/或由其他部件或它們的等同替換來(lái)替換或補(bǔ)充，則可以達(dá)到適當(dāng)?shù)慕Y(jié)果。因此，其他實(shí)現(xiàn)方式落入了下述權(quán)利要求書的范圍。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白，在不偏離本發(fā)明的實(shí)質(zhì)或范圍的情況下，可以對(duì)本發(fā)明進(jìn)行各種修改和變形。因此，本發(fā)明意欲涵蓋在所附權(quán)利要求及其等同的范圍內(nèi)所提供的本發(fā)明的修改和變形。
權(quán)利要求
1.一種增強(qiáng)現(xiàn)實(shí)裝置，該增強(qiáng)現(xiàn)實(shí)裝置包括第一圖像獲取單元，用來(lái)獲取與增強(qiáng)現(xiàn)實(shí)相關(guān)的基本標(biāo)記的圖像； 第二圖像獲取單元，用來(lái)獲取對(duì)象的圖像； 意義單元分析器，用來(lái)分析所述基本標(biāo)記的所述圖像的意義單元； 標(biāo)記因素提取器，用來(lái)從所述對(duì)象的所述圖像中提取因素；以及替代標(biāo)記創(chuàng)建器，用來(lái)將所述因素與所述意義單元相映射以創(chuàng)建包括所述對(duì)象的所述圖像和所映射的因素的替代標(biāo)記。
2.根據(jù)權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)裝置，其中，所述意義單元分析器基于與所述基本標(biāo)記相對(duì)應(yīng)的增強(qiáng)現(xiàn)實(shí)信息來(lái)分析所述意義單元。
3.根據(jù)權(quán)利要求2所述的增強(qiáng)現(xiàn)實(shí)裝置，其中，所述意義單元分析器基于所述增強(qiáng)現(xiàn)實(shí)信息的顯示位置來(lái)分析所述意義單元。
4.根據(jù)權(quán)利要求2所述的增強(qiáng)現(xiàn)實(shí)裝置，其中，所述意義單元分析器基于所述增強(qiáng)現(xiàn)實(shí)信息的顯示方向來(lái)分析所述意義單元。
5.根據(jù)權(quán)利要求2所述的增強(qiáng)現(xiàn)實(shí)裝置，其中，所述意義單元分析器基于與所述增強(qiáng)現(xiàn)實(shí)信息相關(guān)的操作來(lái)分析所述意義單元。
6.根據(jù)權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)裝置，其中，所述標(biāo)記因素提取器從所述對(duì)象的所述圖像中識(shí)別所述對(duì)象的形狀、字符或圖形，并基于所述形狀、所述字符、所述圖形或者所述形狀、所述字符和所述圖形之間的位置關(guān)系中的至少一者來(lái)提取所述因素。
7.根據(jù)權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)裝置，其中，所述標(biāo)記因素提取器基于所述對(duì)象的所述圖像的形狀或顏色來(lái)提取所述因素。
8.根據(jù)權(quán)利要求7所述的增強(qiáng)現(xiàn)實(shí)裝置，其中，所述標(biāo)記因素提取器將所述對(duì)象的所述圖像分成多個(gè)網(wǎng)格單元、使用所述網(wǎng)格單元的像素值的平均值計(jì)算每個(gè)網(wǎng)格單元的網(wǎng)格值、并將具有類似網(wǎng)格值的網(wǎng)格單元進(jìn)行分組，來(lái)提取所述因素。
9.根據(jù)權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)裝置，其中，所述替代標(biāo)記創(chuàng)建器用所述替代標(biāo)記來(lái)替代所述基本標(biāo)記。
10.根據(jù)權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)裝置，該增強(qiáng)現(xiàn)實(shí)裝置進(jìn)一步包括相關(guān)性存儲(chǔ)器， 該相關(guān)性存儲(chǔ)器用來(lái)存儲(chǔ)所述因素與所述意義單元的映射結(jié)果。
11.一種提供增強(qiáng)現(xiàn)實(shí)的方法，該方法包括 獲取與增強(qiáng)現(xiàn)實(shí)相關(guān)的基本標(biāo)記的圖像； 獲取對(duì)象的圖像；分析所述基本標(biāo)記的意義單元；從所述對(duì)象的所述圖像中提取因素；將所述意義單元與所述因素相映射；以及生成包括所述對(duì)象的所述圖像和所映射的因素的替代標(biāo)記。
12.根據(jù)權(quán)利要求11所述的方法，其中，基于與所述基本標(biāo)記相對(duì)應(yīng)的增強(qiáng)現(xiàn)實(shí)信息來(lái)分析所述意義單元。
13.根據(jù)權(quán)利要求12所述的方法，其中，基于所述增強(qiáng)現(xiàn)實(shí)信息的顯示位置來(lái)分析所述意義單元。
14.根據(jù)權(quán)利要求12所述的方法，其中，基于所述增強(qiáng)現(xiàn)實(shí)信息的顯示方向來(lái)分析所述意義單元。
15.根據(jù)權(quán)利要求12所述的方法，其中，基于所述增強(qiáng)現(xiàn)實(shí)信息的操作來(lái)分析所述意義單元。
16.根據(jù)權(quán)利要求11所述的方法，其中，提取所述因素包括識(shí)別形狀、或者字符、或者圖形，并且將所述形狀、所述字符、所述圖形或者所述形狀、所述字符和所述圖形之間的位置關(guān)系中的至少一者提取作為所述因素。
17.根據(jù)權(quán)利要求11所述的方法，其中，提取所述因素進(jìn)一步包括基于所述對(duì)象的所述圖像的形狀或顏色來(lái)提取所述因素。
18.根據(jù)權(quán)利要求17所述的方法，其中，基于形狀來(lái)提取所述因素進(jìn)一步包括 將所述對(duì)象的所述圖像分成多個(gè)網(wǎng)格單元；使用所述網(wǎng)格單元的像素值的平均值計(jì)算每個(gè)網(wǎng)格單元的網(wǎng)格值；以及將具有類似網(wǎng)格值的網(wǎng)格單元進(jìn)行分組。
19.根據(jù)權(quán)利要求11所述的方法，其中，生成所述替代標(biāo)記進(jìn)一步包括 用所述替代標(biāo)記替代所述基本標(biāo)記。
20.根據(jù)權(quán)利要求11所述的方法，該方法進(jìn)一步包括存儲(chǔ)所述意義單元與所述因素的映射結(jié)果。
21.一種提供增強(qiáng)現(xiàn)實(shí)的方法，該方法包括 獲取增強(qiáng)現(xiàn)實(shí)的二維標(biāo)記的圖像；獲取與增強(qiáng)現(xiàn)實(shí)相關(guān)的三維對(duì)象的圖像； 分析二維標(biāo)記的意義單元； 提取所述三維對(duì)象的圖像的因素； 將所述意義單元映射到所述因素；創(chuàng)建包括所述三維對(duì)象的圖像和所映射的因素的替代標(biāo)記；以及用與所述二維標(biāo)記相對(duì)應(yīng)的增強(qiáng)現(xiàn)實(shí)信息來(lái)顯示所述替代標(biāo)記。
22.根據(jù)權(quán)利要求21所述的方法，其中，如果所述三維對(duì)象被識(shí)別，則所述顯示發(fā)生。
23.根據(jù)權(quán)利要求21所述的方法，該方法進(jìn)一步包括 確定所述基本標(biāo)記是否被識(shí)別；以及如果所述基本標(biāo)記被識(shí)別，則詢問(wèn)是基于所述基本標(biāo)記還是基于所述替代標(biāo)記來(lái)提供所述增強(qiáng)現(xiàn)實(shí)。
全文摘要
提供了一種使用即時(shí)標(biāo)記或替代標(biāo)記的增強(qiáng)現(xiàn)實(shí)(AR)提供方法。根據(jù)一個(gè)示例，基于三維對(duì)象來(lái)創(chuàng)建即時(shí)標(biāo)記或替代標(biāo)記。分析原始二維標(biāo)記的意義單元，并從對(duì)象的圖像中提取與意義單元相對(duì)應(yīng)的標(biāo)記因素，該對(duì)象的圖像被用于即時(shí)標(biāo)記或替代標(biāo)記?；谒鰧?duì)象，意義單元被映射到標(biāo)記因素以創(chuàng)建即時(shí)標(biāo)記或替代標(biāo)記，以便用戶可以使用利用了即時(shí)標(biāo)記或替代標(biāo)記的AR。
文檔編號(hào)G06F9/44GK102385512SQ20111024190
公開日2012年3月21日 申請(qǐng)日期2011年8月22日 優(yōu)先權(quán)日2010年8月25日
發(fā)明者南政佑, 宋昌奎, 李夏遠(yuǎn), 白承潤(rùn), 許元赫, 許志萬(wàn), 鄭恩耿 申請(qǐng)人:株式會(huì)社泛泰