專利名稱：用于提供增強現(xiàn)實的終端和方法
技術領域：
本公開涉及用于提供增強現(xiàn)實的終端和方法，更具體地，涉及使用數(shù)字標記來提 供增強現(xiàn)實的終端和方法。
背景技術：
本申請要求2010年1月四日提交的韓國專利申請No. 10-2010-0008444的優(yōu)先 權和權益，此處以引證的方式并入其內容，就像在此進行了完整闡述一樣。一般而言，增強現(xiàn)實(augmented reality)是一種將通過用戶的眼睛看到的真實 世界與虛擬世界融合起來的技術。該技術可以將融合后的世界顯示為一個圖像?？梢詧?zhí)行 對具有預定圖案的標記或存在于真實世界中的建筑或造型進行識別的處理，以使用增強現(xiàn) 實將虛擬世界與真實世界進行合成。在對標記進行識別的處理中，使用攝像機捕捉到真實世界的包括了具有黑色背景 上的白色圖案的標記的圖像，并且將該圖像提供給常規(guī)終端。可以識別所拍攝的標記的白 色圖案。接著，將與所識別的圖案相對應的對象與真實世界進行合成以將其顯示在標記的 位置處。接著，可以在屏幕上顯示與真實世界圖像融合的對象。在常規(guī)的增強現(xiàn)實中使用的標記是在諸如紙的介質上繪制或印刷的模擬標記。因 此，通過使用常規(guī)標記的用戶操作，僅改變了對象的位置，而在單獨的張紙上繪制的模擬標 記用于將對象改變成不同的對象，或者用于控制該對象在真實世界中的移動。

發(fā)明內容
本發(fā)明的示例性實施方式提供了一種用于提供增強現(xiàn)實的終端和方法，其實現(xiàn)了 數(shù)字標記。本發(fā)明的附加特征將在下面的描述中描述且將從描述中部分地顯現(xiàn)，或者可以通 過本發(fā)明的實踐來了解。本發(fā)明的示例性實施方式公開了一種提供增強現(xiàn)實的終端，該終端包括數(shù)字標 記編輯單元，其用于編輯數(shù)字標記并定義對應于經編輯的數(shù)字標記的對象；存儲單元，其用 于存儲由所述數(shù)字標記編輯單元編輯的所述數(shù)字標記和對應于經編輯的數(shù)字標記的所述 對象；以及圖像顯示單元，其用于顯示由所述數(shù)字標記編輯單元編輯的所述數(shù)字標記。本發(fā)明的示例性實施方式公開了一種提供增強現(xiàn)實的終端，該終端包括攝相機 單元，其用于拍攝在另一個終端的圖像顯示單元上顯示的數(shù)字標記；存儲單元，其用于存儲 所述數(shù)字標記和對應于所述數(shù)字標記的對象；控制單元，其用于識別由所述攝相機單元拍 攝的所述數(shù)字標記，并且從所述存儲單元載入對應于所述數(shù)字標記的所述對象；視頻處理 單元，其用于將由所述控制單元載入的所述對象與通過所述攝相機單元獲得的實時視頻圖 像進行合成；以及圖像顯示單元，其用于顯示經合成的對象和實時視頻圖像。本發(fā)明的示例性實施方式公開了一種提供增強現(xiàn)實的終端，該終端包括數(shù)字標 記編輯單元，其用于編輯第一數(shù)字標記并定義對應于經編輯的第一數(shù)字標記的第一對象；存儲單元，其用于存儲由所述數(shù)字標記編輯單元編輯的所述第一數(shù)字標記和對應于經編輯 的第一數(shù)字標記的所述第一對象；圖像顯示單元，其用于顯示由所述數(shù)字標記編輯單元編 輯的所述第一數(shù)字標記；攝相機單元，其用于拍攝在另一個終端的圖像顯示單元上顯示的 第二數(shù)字標記；控制單元，其用于識別由所述攝相機單元拍攝的所述第二數(shù)字標記，并且從 所述存儲單元載入對應于經識別的第二數(shù)字標記的第二對象；視頻處理單元，其用于將由 所述控制單元載入的所述第二對象與通過所述攝相機單元獲得的實時視頻圖像進行合成； 以及圖像顯示單元，其用于顯示經合成的對象和實時視頻圖像。本發(fā)明的示例性實施方式公開了一種提供增強現(xiàn)實的方法，該方法包括以下步 驟在數(shù)字標記編輯模式中編輯數(shù)字標記，并且定義對應于經編輯的數(shù)字標記的對象；將 所述數(shù)字標記和所述對象存儲在存儲單元中；以及在圖像顯示單元上顯示所述數(shù)字標記。本發(fā)明的示例性實施方式公開了一種提供增強現(xiàn)實的方法，該方法包括以下步 驟使用攝像機拍攝在另一個終端的圖像顯示單元上顯示的數(shù)字標記；識別所拍攝的數(shù)字 標記，并且從存儲單元載入對應于所述數(shù)字標記的第一對象；將所述第一對象與通過所述 攝像機獲得的實時視頻圖像進行合成；以及在圖像顯示單元上顯示經合成的第一對象和實 時視頻圖像。應當理解，上述一般描述和下述詳細描述是示例性和說明性的，且旨在提供如所 要求保護的本發(fā)明的進一步解釋。


附圖被包括在本說明書中以提供對本發(fā)明的進一步理解，并結合到本說明書中且 構成本說明書的一部分，附圖示出了本發(fā)明的實施方式，且與說明書一起用于解釋本發(fā)明 的原理。圖1是例示了根據(jù)本公開的示例性實施方式的數(shù)字標記的圖。圖2是示意性地示出根據(jù)本公開的示例性實施方式的提供增強現(xiàn)實的終端的結 構的框圖。圖3是示意性地示出根據(jù)本公開的示例性實施方式的提供增強現(xiàn)實的終端的結 構的框圖。圖4是示意性地示出根據(jù)本公開的示例性實施方式的提供增強現(xiàn)實的終端的結 構的框圖。圖5是例示了根據(jù)本公開的示例性實施方式的用于提供增強現(xiàn)實的方法的流程 圖。圖6是例示了根據(jù)本公開的示例性實施方式的經過編輯的數(shù)字標記的圖。圖7是例示了根據(jù)本公開的示例性實施方式的用于提供增強現(xiàn)實的方法的流程 圖。
具體實施例方式以下參考附圖更全面地描述示例性實施方式，在附圖中示出了示例性實施方式。 然而，可以以各種不同的形式來實施本公開，而不應該將其理解為限于此處闡釋的示例性 實施方式。相反，提供這些示例性實施方式使得本公開徹底和詳盡，并且向本領域技術人員全面?zhèn)鬟_本公開的范圍。在描述中，為了避免不必要地使所示出的實施方式模糊不清，將省 去公知的特征和技術的細節(jié)。本文所使用的術語僅為了描述具體實施方式
，而不是為了限制本公開。除非另行 明確地說明，否則如本文中所使用的，單數(shù)形式的“一”、“該”及“所述”旨在同樣包括復數(shù) 形式。此外，使用術語“一”等不表示對數(shù)量的限制，而是表示至少一個所引用的項目的存 在。使用術語“第一”、“第二”等不表示任何特定的順序，而是將它們包括以標識各個要素。 此外，使用術語“第一”、“第二”等不表示任何順序或重要性，而是使用術語“第一”、“第二” 等以將要素彼此區(qū)分。進一步可以理解，當用在本說明書中時，術語“包括”或“包含”指的 是存在所述的特征、區(qū)域、整體、步驟、操作、要素和/或組件，但不排除存在或添加一個或 更多個其它的特征、區(qū)域、整體、步驟、操作、要素、組件和/或其組合。除非另行定義，否則這里所用的所有術語(包括科技術語)具有與本領域的普通 技術人員所通常理解的相同含義。進一步可以理解的是，諸如那些在通常使用的辭典中定 義的術語應當被理解為具有與其在相關技術和本公開的上下文環(huán)境中的含義相一致的含 義，并且，除非在此明確地定義，否則不應當以理想化或過于形式的方式來理解。在附圖中，相同的標號表示相同的元件。為清楚起見，可能會夸大地表示附圖的形 狀、尺寸和區(qū)域等。圖1是例示了根據(jù)本公開的示例性實施方式的數(shù)字標記的圖。該數(shù)字標記包括 定義了對象類型(例如，汽車、機器人、恐龍、玩偶、火車、飛機、動物、字母、數(shù)字等)的對象 選擇區(qū)“a”，基于用戶的輸入，可以通過編輯該區(qū)域的形狀、尺寸、位置、顏色等來改變該區(qū) 域；定義了所定義的對象的動作(例如，在是恐龍的情況下，左拳擊、右拳擊、左踢、右踢等) 的對象動作選擇區(qū)“b”，基于用戶的輸入，可以通過編輯該區(qū)域的形狀、尺寸、位置、顏色等 來改變該區(qū)域；以及定義了其上顯示有所定義對象的畫面的背景顏色的背景顏色選擇區(qū) “C”，基于用戶的輸入，可以通過編輯該區(qū)域的形狀、尺寸、位置、顏色等來改變該區(qū)域。因此，通過分別編輯數(shù)字標記的對象選擇區(qū)、對象動作選擇區(qū)、和背景顏色選擇 區(qū)，可以定義和改變對象的類型、動作和背景顏色。圖2是示意性地示出了根據(jù)本公開的示例性實施方式的提供增強現(xiàn)實的終端的 結構的框圖。如圖2所示，終端10可以包括數(shù)字標記編輯單元11、存儲單元13、圖像顯示單元 15、局域無線通信單元17、以及有線/無線通信單元19。數(shù)字標記編輯單元11在數(shù)字標記 編輯模式中編輯數(shù)字標記，并且定義與經編輯的數(shù)字標記相對應的對象。可以基于用戶的 輸入來進行編輯。這里，用戶的輸入例如可以實現(xiàn)為按鍵輸入或觸摸輸入。圖像顯示單元15可以顯示數(shù)字標記，該數(shù)字標記包括使用用戶輸入的輸入信息 由數(shù)字標記編輯單元11編輯的數(shù)字標記。另外，數(shù)字標記編輯單元11可以使用從另一個終端100發(fā)送并在局域無線通信單 元17接收到的輸入信息(用于編輯數(shù)字標記的輸入信息)來改變在圖像顯示單元15上顯 示的數(shù)字標記。另外，數(shù)字標記編輯單元11可以使用從用于提供增強現(xiàn)實并通過有線/無線通信 單元19連接到終端10的服務器200發(fā)送的輸入信息(用于編輯數(shù)字標記的輸入信息)來 改變在圖像顯示單元15上顯示的數(shù)字標記。盡管沒有示出，但是其它終端100可以通過有線/無線通信單元19與終端10通信。盡管沒有示出，但是服務器200可以通過局域無線 通信單元17與終端10通信。存儲單元13存儲由數(shù)字標記編輯單元11編輯的數(shù)字標記和對應于經編輯的數(shù)字 標記的對象。存儲單元13可以依次存儲由數(shù)字標記編輯單元11編輯的數(shù)字標記，使得可以通 過連續(xù)和順序的變化來顯示對象的動作，由此用戶觀看到動作中的對象。圖像顯示單元15顯示由數(shù)字標記編輯單元11編輯的數(shù)字標記，并且可以顯示用 戶從存儲單元13中存儲的數(shù)字標記中選出的數(shù)字標記。局域無線通信單元17使用局域無線通信技術向另一個終端100發(fā)送用戶選出的 數(shù)字標記。局域無線通信單元17還可以向另一個終端100發(fā)送對應于選出的數(shù)字標記的 對象。所發(fā)送的數(shù)字標記可以由用戶在由數(shù)字標記編輯單元11編輯并被存儲在存儲單元 13中的數(shù)字標記中選出。如上所述，可以使用局域無線通信技術向另一個終端100發(fā)送由用戶編輯的數(shù)字 標記和對應于經編輯的數(shù)字標記的對象，使得用于提供增強現(xiàn)實的終端10可以與另一個 終端100共享數(shù)字標記和對應于該數(shù)字標記的對象。局域無線通信單元17還可以從另一個終端100接收用于改變數(shù)字標記的輸入信 息，并且將接收到的輸入信息發(fā)送到數(shù)字標記編輯單元11。有線/無線通信單元19通過有線/無線通信網絡向用于提供增強現(xiàn)實的服務器 200發(fā)送用戶選出的數(shù)字標記，使得在用于提供增強現(xiàn)實的服務器200中注冊所選的數(shù)字 標記。有線/無線通信單元19還可以通過有線/無線通信網絡向用于提供增強現(xiàn)實的服 務器200發(fā)送對應于所發(fā)送的數(shù)字標記的對象，使得在用于提供增強現(xiàn)實的服務器200中 注冊對應于所發(fā)送的數(shù)字標記的對象。這里，數(shù)字標記可以由用戶在由數(shù)字標記編輯單元 11編輯并被存儲在存儲單元13中的數(shù)字標記中選出。為了該應用的目的，術語“有線/無 線通信”是指以無線的方式和/或通過物理線路執(zhí)行的通信。有線/無線通信能夠同時使 用有線和無線技術二者進行通信，但也包括僅通過無線的方式或僅通過有線的方式進行的 通信。類似地，有線/無線通信單元能夠使用有線和無線技術二者來發(fā)送/接收信息，或僅 通過無線的方式、或僅通過有線的方式來發(fā)送/接收信息。如上所述，由用戶編輯的數(shù)字標記和對應于經過編輯的數(shù)字標記的對象可以發(fā)送 到用于提供增強現(xiàn)實的服務器200并且在用于提供增強現(xiàn)實的服務器200中注冊，使得終 端10可以與用于提供增強現(xiàn)實的服務器200以及可以與服務器200通信的任何其它設備 共享數(shù)字標記和對應于該數(shù)字標記的對象。有線/無線通信單元19還可以從用于提供增強現(xiàn)實的服務器200接收用于改變 數(shù)字標記的輸入信息，并且將接收到的輸入信息發(fā)送到數(shù)字標記編輯單元11。圖3是示意性地示出了根據(jù)本公開的示例性實施方式的提供增強現(xiàn)實的終端的 結構的框圖。如圖3所示，終端20可以包括存儲單元21、攝像機單元22、控制單元23、視頻處理 單元24、圖像顯示單元25、局域無線通信單元26、以及有線/無線通信單元27。在圖3中， 存儲單元21存儲數(shù)字標記和對應于各個數(shù)字標記的對象。即，數(shù)字標記和對應于各個數(shù)字 標記的對象是通過局域無線通信單元沈發(fā)送的數(shù)字標記和分別對應于所發(fā)送的數(shù)字標記的對象、以及通過有線/無線通信單元27從用于提供增強現(xiàn)實的服務器200下載的數(shù)字標 記和分別對應于所下載的數(shù)字標記的對象。攝像機單元22可以拍攝在另一個終端100的圖像顯示單元上顯示的數(shù)字標記?？刂茊卧?3識別攝像機單元22拍攝的數(shù)字標記，并且從存儲單元21中載入對應 于所識別的數(shù)字標記的對象以將對應于所識別的數(shù)字標記的對象發(fā)送到視頻處理單元對。視頻處理單元M把從控制單元23發(fā)送來的對象與通過攝像機單元22獲得的實 時視頻圖像合成起來，使得它們以融合的形式(如相互交疊)在圖像顯示單元25上顯示。局域無線通信單元沈使用局域無線通信技術接收從另一個終端100發(fā)送的數(shù)字 標記和對應于該數(shù)字標記的對象，并且可以將它們存儲在存儲單元21中。為了改變在另一 個終端100的圖像顯示單元上顯示的數(shù)字標記，局域無線通信單元沈可以使用局域無線通 信技術向另一個終端100發(fā)送由終端20的用戶輸入的輸入信息。有線/無線通信單元27從用于提供增強現(xiàn)實的服務器200下載經注冊的數(shù)字標 記和對應于該經注冊的數(shù)字標記的對象，以將經注冊的數(shù)字標記和對應于該數(shù)字標記的對 象存儲在存儲單元21中。經注冊的數(shù)字標記和對應的對象可以由終端100進行注冊。為 了改變在另一個終端100的圖像顯示單元上顯示的數(shù)字標記，在終端100連接到用于提供 增強現(xiàn)實的服務器200的情況下，有線/無線通信單元27可以通過用于提供增強現(xiàn)實的服 務器200向另一個終端100發(fā)送由終端20的用戶輸入的輸入信息。盡管沒有示出，但是另一個終端100可以通過有線/無線通信單元27與終端20 通信。盡管沒有示出，但是服務器200可以通過局域無線通信單元沈與終端20通信。圖4是示意性地示出了根據(jù)本公開的示例性實施方式的提供增強現(xiàn)實的終端的 結構的框圖。如圖4所示，終端30可以包括數(shù)字標記編輯單元31、存儲單元32、攝像機單元33、 控制單元34、視頻處理單元35、圖像顯示單元36、局域無線通信單元37、以及有線/無線通 信單元38。在圖4中，數(shù)字標記編輯單元31在數(shù)字標記編輯模式中編輯數(shù)字標記，并且定 義對應于經編輯的數(shù)字標記的對象。編輯和定義可以基于用戶的輸入。圖像顯示單元36可以顯示數(shù)字標記，該數(shù)字標記包括由數(shù)字標記編輯單元31使 用用戶輸入的輸入信息而編輯的數(shù)字標記。數(shù)字標記編輯單元31可以使用用于改變通過 局域無線通信單元37從另一個終端100發(fā)送來的數(shù)字標記的輸入信息，來改變在圖像顯示 單元36上顯示的數(shù)字標記，并且可以使用用于改變通過有線/無線通信單元38從用于提 供增強現(xiàn)實的服務器200發(fā)送來的數(shù)字標記的輸入信息，來改變在圖像顯示單元36上顯示 的數(shù)字標記。存儲單元32存儲由數(shù)字標記編輯單元31編輯的數(shù)字標記和對應于經編輯的數(shù)字 標記的對象、通過局域無線通信單元37從另一個終端100發(fā)送來的數(shù)字標記和對應于所發(fā) 送的數(shù)字標記的對象、以及通過有線/無線通信單元38從用于提供增強現(xiàn)實的服務器200 下載的數(shù)字標記和對應于所下載的數(shù)字標記的對象。圖像顯示單元36顯示由數(shù)字標記編輯單元31編輯的數(shù)字標記，并且顯示用戶在 存儲單元32中所存儲的數(shù)字標記中選出的數(shù)字標記。攝像機單元33可以拍攝在另一個終端100的圖像顯示單元上顯示的數(shù)字標記。控制單元34識別攝像機單元33拍攝的數(shù)字標記，并且從存儲單元32中載入對應于所識別的數(shù)字標記的對象，以將對應于所識別的數(shù)字標記的對象發(fā)送到視頻處理單元 35。視頻處理單元35把從控制單元34發(fā)送來的對象與通過攝像機單元33獲得的實 時視頻圖像合成起來，使得它們在圖像顯示單元35上以融合的形式(例如，相互交疊)顯
7J\ ο局域無線通信單元37使用局域無線通信技術向另一個終端100發(fā)送由用戶選出 的數(shù)字標記。局域無線通信單元37還可以向另一個終端100發(fā)送對應于選出的數(shù)字標記的 對象。所發(fā)送的數(shù)字標記可以由用戶在由數(shù)字標記編輯單元31編輯并被存儲在存儲單元 13中的數(shù)字標記中選出。局域無線通信單元37可以使用局域無線通信技術從另一個終端 100接收數(shù)字標記和對應于該數(shù)字標記的對象并且將它們存儲在存儲單元32中，并且可以 從另一個終端100接收用于改變在圖像顯示單元36上顯示的數(shù)字標記的輸入信息，并且可 以將接收到的輸入信息發(fā)送到數(shù)字標記編輯單元31。為了改變在另一個終端100的圖像顯 示單元上顯示的數(shù)字標記，局域無線通信單元37使用局域無線通信技術向另一個終端100 發(fā)送可由用戶輸入的輸入信息。有線/無線通信單元38通過有線/無線通信網絡向用于提供增強現(xiàn)實的服務器 200發(fā)送用戶選出的數(shù)字標記。有線/無線通信單元38通過有線/無線通信網絡向用于提 供增強現(xiàn)實的服務器200發(fā)送對應于所發(fā)送的數(shù)字標記的對象，使得可以在用于提供增強 現(xiàn)實的服務器200中注冊對應于所發(fā)送的數(shù)字標記的對象。這里，數(shù)字標記可以由用戶在 由數(shù)字標記編輯單元31編輯并存儲在存儲單元32中的數(shù)字標記中選出。有線/無線通信 單元38從用于提供增強現(xiàn)實的服務器200下載經注冊的數(shù)字標記和對應于經注冊的數(shù)字 標記的對象，以將它們存儲在存儲單元32中。有線/無線通信單元38通過用于提供增強 現(xiàn)實的服務器200接收用于改變在圖像顯示單元36上顯示的數(shù)字標記的輸入信息，并且將 接收到的輸入信息發(fā)送到數(shù)字標記編輯單元31。為了改變在另一個終端100的圖像顯示單 元上顯示的數(shù)字標記，在終端100連接到用于提供增強現(xiàn)實的服務器200的情況下，有線/ 無線通信單元38通過用于提供增強現(xiàn)實的服務器200向另一個終端100發(fā)送可由用戶輸 入的輸入信息。盡管沒有示出，但另一個終端100可以通過有線/無線通信單元38與終端30通 信。盡管沒有示出，但服務器200可以通過局域無線通信單元37與終端30通信。圖5是例示了根據(jù)本公開的示例性實施方式的用于提供增強現(xiàn)實的方法的流程 圖。為了清楚和容易理解，將參照圖2(并不限于圖2)來描述圖5。終端10在數(shù)字標記編輯模式中編輯數(shù)字標記，并且定義對應于經編輯的數(shù)字標 記的對象(SlO)。編輯和定義可以基于用戶的輸入。在上述的操作SlO中，如圖6所示，用戶可以編輯數(shù)字標記的對象選擇區(qū)“a”以定 義對應于數(shù)字標記的對象的類型。用戶還可以編輯對象動作選擇區(qū)“b”以定義對應的對象 的動作。用戶還可以編輯背景顏色選擇區(qū)“C”以定義其上顯示對應的對象的畫面的背景顏 色。在操作SlO中編輯的數(shù)字標記和對應于經編輯的數(shù)字標記的對象被存儲在存儲 單元13中(S12)。如果選擇了存儲在存儲單元13中的數(shù)字標記(S14)，則終端10在圖像顯示單元
1015上顯示所選的數(shù)字標記(S16)。接著，如果輸入了用于改變數(shù)字標記的輸入信息(S18)， 則終端10基于該輸入信息來改變在圖像顯示單元15上顯示的數(shù)字標記(S20)。如果在S18中沒有輸入用于改變數(shù)字標記的輸入信息，而是通過局域無線通信單 元17從另一個終端100接收了用于改變在圖像顯示單元15上顯示的數(shù)字標記的輸入信息 (S22)，則終端10使用通過局域無線通信單元17從另一個終端100接收的輸入信息來改變 在圖像顯示單元15上顯示的數(shù)字標記(S24)。如果在S18中沒有輸入用于改變數(shù)字標記的輸入信息，并且如果在S22中沒有通 過局域無線通信單元17從另一個終端100接收到用于改變在圖像顯示單元15上顯示的數(shù) 字標記的輸入信息，而是通過有線/無線通信單元19從用于提供增強現(xiàn)實的服務器200接 收到用于改變在圖像顯示單元15上顯示的數(shù)字標記的輸入信息(S^O，則終端10使用通過 有線/無線通信單元19從用于提供增強現(xiàn)實的服務器200接收到的輸入信息來改變在圖 像顯示單元15上顯示的數(shù)字標記(S28)。如果在S14中沒有選擇數(shù)字標記，而是請求了使用局域無線通信技術傳送數(shù)字標 記(S30)，則在存儲單元13中所存儲的數(shù)字標記中選出將使用局域無線通信技術發(fā)送的數(shù) 字標記(S32)，并且通過局域無線通信單元17向另一個終端100發(fā)送選出的數(shù)字標記和對 應于選出的數(shù)字標記的對象(S34)?；蛘?，另一個終端100可以預先存儲對應于數(shù)字標記的 對象，或者可以從其它源(諸如用于提供增強現(xiàn)實的服務器200)取回(retrieve)對象，在 此情況下，可以將選出的數(shù)字標記發(fā)送到另一個終端100而不發(fā)送對應的對象。另一個終端100接收在上述操作S34中使用局域無線通信技術從終端10發(fā)送來 的數(shù)字標記和對應于該數(shù)字標記的對象，并將所述數(shù)字標記和對應于該數(shù)字標記的對象存 儲在其存儲單元中。如果在S14中沒有選擇數(shù)字標記，并且在S30中沒有請求使用局域無線通信技術 發(fā)送數(shù)字標記，則可以請求在用于提供增強現(xiàn)實的服務器200中注冊數(shù)字標記(S36)。在 此情況下，在存儲單元13中所存儲的數(shù)字標記中選出將在用于提供增強現(xiàn)實的服務器200 中注冊的數(shù)字標記(S38)，并且通過有線/無線通信單元19向用于提供增強現(xiàn)實的服務器 200發(fā)送選出的數(shù)字標記和對應于選出的數(shù)字標記的對象，使得在用于提供增強現(xiàn)實的服 務器200中注冊選出的數(shù)字標記和對應于選出的數(shù)字標記的對象(S40)。或者，服務器200 可以預先存儲對應于數(shù)字標記的對象，或者可以從其它源取回對象，在此情況下，可以向服 務器200發(fā)送將要注冊的數(shù)字標記而不發(fā)送對應的對象。通過上述操作S40，如果終端10將其自己的經編輯的數(shù)字標記和對應于經編輯的 數(shù)字標記的對象注冊到用于提供增強現(xiàn)實的服務器200，則另一個終端100可以通過有線/ 無線通信網絡連接到用于提供增強現(xiàn)實的服務器200，并且可以下載在用于提供增強現(xiàn)實 的服務器200中注冊的數(shù)字標記和對應于經注冊的數(shù)字標記的對象，使得可以將它們存儲 在另一個終端100的存儲單元中。圖7是例示了根據(jù)本公開的示例性實施方式的用于提供增強現(xiàn)實的方法的流程 圖。為了清楚和容易理解，將參照圖3(并不限于圖3)來描述圖7。如果使用終端20的攝像機單元22拍攝了在另一個終端100的圖像顯示單元上顯 示的數(shù)字標記(S50)，則控制單元23識別所拍攝的數(shù)字標記，并且從存儲單元21中載入對 應于經識別的數(shù)字標記的對象(S52)。
視頻處理單元M將在上述操作S52中載入的對象與通過攝像機單元22獲得的實 時視頻圖像合成起來，并且將它們顯示在圖像顯示單元25上(SM)。對象和實時視頻圖像 的顯示可以是融合的形式(如相互交疊)。如果用戶輸入了用于改變在圖像顯示單元25或在另一個終端100的圖像顯示單 元上顯示的數(shù)字標記的輸入信息(S56)，則終端20通過局域無線通信單元沈向另一個終端 100發(fā)送由用戶輸入的輸入信息(S58)。另一個終端100接收在上述操作S58中從終端20發(fā)送來的用于改變在圖像顯示 單元上顯示的數(shù)字標記的輸入信息，使用該輸入信息來改變在圖像顯示單元上顯示的數(shù)字 標記。終端20拍攝在另一個終端100的圖像顯示單元上改變的數(shù)字標記(S60)，并且重 新識別所拍攝的數(shù)字標記。接著，終端20從存儲單元21中載入對應于重新識別的數(shù)字標 記的對象(S62)。視頻處理單元M將在上述操作S62中從存儲單元21中載入的對象與通過攝像機 單元22獲得的實時視頻圖像進行合成，并且將它們顯示在圖像顯示單元25上(S64)。對象 和實時視頻圖像的顯示可以是融合的形式(如相互交疊)。例如，當根據(jù)從終端20發(fā)送到另一個終端100的輸入信息而改變了在另一個終端 100的圖像顯示單元上顯示的數(shù)字標記的對象選擇區(qū)“a”時，對應的對象例如從恐龍改變 成汽車并接著在另一個終端100的圖像顯示單元上顯示。當改變了數(shù)字標記的對象動作選 擇區(qū)“b”時，在另一個終端100的圖像顯示單元上顯示的恐龍的左拳擊被移動。當改變了 數(shù)字標記的背景顏色選擇區(qū)“C”時，其上顯示了對象的背景的顏色例如從從藍色改變?yōu)榘?色。如果終端20接著拍攝改變的數(shù)字標記，識別所拍攝的數(shù)字標記，并且從存儲單元21中 載入對應于重新識別的數(shù)字標記的對象，則終端20的視頻處理單元M將載入的對象與通 過攝像機單元22獲得的實時視頻圖像進行合成，并且將它們顯示在圖像顯示單元25上。如上所述，在本文中公開的用于提供增強現(xiàn)實的終端和方法可以應用于各種業(yè) 務。例如，具有圖像顯示單元的第一終端(諸如移動電話、蜂窩電話、個人計算機(PC)、便攜 式媒體播放器(PMP)或移動因特網設備(MID))將與在數(shù)字標記編輯模式中編輯的數(shù)字標 記相對應的對象定義為汽車、機器人、恐龍、玩偶、火車、飛機、動物、韓語字母、英語字母、數(shù) 字等。第一終端與具有攝像機的第二終端共享與經編輯的數(shù)字標記和對應于經編輯的數(shù)字 標記的對象相對應的信息，并且第一終端在其圖像顯示單元上顯示數(shù)字標記。接著，第二終 端使用攝像機拍攝該數(shù)字標記，并且根據(jù)共享信息來識別所拍攝的數(shù)字標記。因而，第二終 端將對應于所識別的數(shù)字標記的對象(汽車、機器人、恐龍、玩偶、火車、飛機、動物、韓語字 母、英語字母、數(shù)字等)與通過攝像機獲得的實時視頻圖像進行合成，并且將它們顯示在第 二終端的圖像顯示單元上。接著，第二終端通過鍵(或觸摸屏)操作(包括使用局域無線 通信技術的遠程操作)等來改變數(shù)字標記。因此，用戶可以通過編輯數(shù)字標記來顯示動作 中的對象。類似地，如果對象表示數(shù)字，或表示字母表中的字母或字符(如韓語字母、英語 字母等)，則用戶可以顯示并編輯這些對象。又例如，第一終端將與在數(shù)字標記編輯模式中編輯的數(shù)字標記相對應的對象定義 為衣服、附加品等。在第一終端與具有攝像機的第二終端共享與經編輯的數(shù)字標記和對應 于經編輯的數(shù)字標記的對象相對應的信息之后，第一終端在其圖像顯示單元被設置在用戶身體的特定位置處的情況下在圖像顯示單元上顯示該數(shù)字標記。接著，第二終端使用攝像 機拍攝該數(shù)字標記，并且根據(jù)共享信息來識別所拍攝的數(shù)字標記。因而，第二終端將對應于 所識別的數(shù)字標記的對象(衣服、附加品等)與通過攝像機獲得的實時視頻圖像進行合成， 并且將它們顯示在其圖像顯示單元上。因此，用戶可以虛擬地試穿衣服、試用附加品等?；?者，第二終端通過鍵(或觸摸屏)操作(包括使用局域無線通信技術的遠程操作)等來改 變數(shù)字標記，由此改變用戶所虛擬試穿或試用的衣服、附加品等。又例如，第一終端將與在數(shù)字標記編輯模式中編輯的數(shù)字標記相對應的對象定義 為諸如“在度假中”、“在桌邊”或“在會議中”的消息，并且第一終端與具有攝像機的第二終 端共享與經編輯的數(shù)字標記和對應于經編輯的數(shù)字標記的對象相對應的信息。接著，如果 使用第一終端的用戶在數(shù)字標記被顯示在第一終端的圖像顯示單元上的情況下離開其位 置，則第二終端使用攝像機拍攝數(shù)字標記，并且根據(jù)共享信息來識別所拍攝的數(shù)字標記。因 而，可以檢查對應于所識別的數(shù)字標記的消息(“在度假中”、“在桌邊”、“在會議中”等)。 在使用第一終端的用戶使用將通過有線/無線通信網絡連接到用于提供增強現(xiàn)實的服務 器200的第三終端之后，可以通過用于提供增強現(xiàn)實的服務器200來改變在第一終端的顯 示單元上顯示的數(shù)字標記。又例如，第一終端將與在數(shù)字標記編輯模式中編輯的數(shù)字標記相對應的對象定義 為數(shù)學、英語、韓語、社會、科學等的問題。在第一終端與具有攝像機的第二終端共享了與經 編輯的數(shù)字標記和對應于經編輯的數(shù)字標記的對象相對應的信息之后，第一終端在其圖像 顯示單元上顯示數(shù)字標記。接著，第二終端根據(jù)共享信息來識別使用攝像機拍攝的數(shù)字標 記，并且將對應于所識別的數(shù)字標記的問題顯示在其圖像顯示單元上。如果通過鍵(或觸 摸屏)操作(包括使用局域無線通信技術的遠程操作)等改變數(shù)字標記而輸入了問題的答 案，則第一終端可以基于由第二終端輸入的答案來提供反饋。又例如，第一終端將與在數(shù)字標記編輯模式中編輯的數(shù)字標記相對應的對象定義 為價格，并且第一終端與具有攝像機的第二終端共享與經編輯的數(shù)字標記和對應于經編輯 的數(shù)字標記的對象相對應的信息。接著，如果競拍者在第一終端的圖像顯示單元上顯示與 其對于物品的期望價格相對應的數(shù)字標記，則拍賣師檢測與使用第二終端的攝像機拍攝的 數(shù)字標記相對應的價格，并且允許將該物品給予提出最低(或最高)價格的競拍者。又例如，向客戶的移動電話發(fā)送了代替輪候卡(waiting numberticket)的數(shù)字標 記，使得銀行雇員可以使用增強現(xiàn)實來檢查下一位顧客。另外，向各個顧客提供唯一的數(shù) 字標記，使得銀行雇員可以使用增強現(xiàn)實來容易地檢查顧客的信息(貸款、存款、發(fā)卡記錄等。又例如，第一終端將與在數(shù)字標記編輯模式中編輯的數(shù)字標記相對應的對象定義 為將用于求婚的文本或表情符號(emoticon)。在第一終端與具有攝像機的第二終端共享了 與經編輯的數(shù)字標記和對應于經編輯的數(shù)字標記的對象相對應的信息之后，第一終端在其 圖像顯示單元上顯示數(shù)字標記。接著，第二終端將與使用攝像機拍攝的數(shù)字標記相對應的 文本或表情符號與通過攝像機獲得的實時視頻圖像進行合成，并且將它們顯示在其圖像顯 示單元上。因而，第二終端通過鍵(或觸摸屏)操作(包括使用局域無線通信技術的遠程 操作)等改變數(shù)字標記，并且將對應于改變的數(shù)字標記的文本或表情符號顯示在其圖像顯 示單元上。因此，用戶可以通過終端求婚并接收響應。
又例如，第一終端將與在數(shù)字標記編輯模式中編輯的數(shù)字標記相對應的對象定義 為名片，并且第一終端與具有攝像機的第二終端共享與經編輯的數(shù)字標記和對應于經編輯 的數(shù)字標記的對象相對應的信息。接著，如果在第一終端的圖像顯示單元上顯示了數(shù)字標 記，則第二終端在其圖像顯示單元上顯示與使用攝像機拍攝的數(shù)字標記相對應的名片。因 此，用戶可以向伙伴展示其自身的信息。又例如，在以彼此相對的方式將兩個移動電話布置在通往房屋的主通道兩側之 后，第一終端在其圖像顯示單元上顯示數(shù)字標記，并且第二終端連續(xù)地拍攝該數(shù)字標記。接 著，第二終端將與所拍攝的數(shù)字標記相對應的虛擬線和通過攝像機獲得的實時視頻圖像進 行合成，并且將它們顯示在其圖像顯示單元上。因此，如果由于陌生人的進入而切斷了該虛 擬線，則第二終端可以通過通信單元將信息傳遞到例如安保服務器，并且可以發(fā)出報警聲
曰°又例如，第一終端將與在數(shù)字標記編輯模式中編輯的數(shù)字標記相對應的對象定義 為高爾夫、跆拳道(韓國武術)、網球、武術、保齡球等的動作。在第一終端與具有攝像機的 第二終端共享了與經編輯的數(shù)字標記和對應于經編輯的數(shù)字標記的對象相對應的信息之 后，第一終端在其圖像顯示單元上顯示數(shù)字標記。接著，第二終端將與使用攝像機拍攝的數(shù) 字標記相對應的動作和通過攝像機獲得的實時視頻圖像進行合成，并且將它們顯示在其圖 像顯示單元上。因此，第二終端通過鍵(或觸摸屏)操作(包括使用局域無線通信技術的 遠程操作)等改變數(shù)字標記，使得用戶可以觀看體育的動作，同時將它們按預定順序改變。又例如，第一終端將與在數(shù)字標記編輯模式中編輯的數(shù)字標記相對應的對象定義 為教育所需的對象(例如，瞻星臺(Cheomseongdae)、寶塔(Dabotap)、石塔(Seokgatap，韓 國的塔)、埃菲爾鐵塔、斯芬克斯(Sphinx)、金字塔等)，并且與具有攝像機的第二終端共享 與經編輯的數(shù)字標記和對應于經編輯的數(shù)字標記的對象相對應的信息。接著，如果第一終 端在其圖像顯示單元上顯示數(shù)字標記，則第二終端在其圖像顯示單元上顯示與使用攝像機 拍攝的數(shù)字標記相對應的對象。因此，當教師在授課中說明指定的對象時，第二終端通過鍵 (或觸摸屏)操作(包括使用局域無線通信技術的遠程操作)等改變將要說明的對象，使得 教師可以在向學生們可視地顯示對象的同時進行授課。如上所述，通過用于提供增強現(xiàn)實的在線服務器，可以交易和分發(fā)基于將要提供 的服務而編輯的數(shù)字標記和對應于該數(shù)字標記的對象。用于提供增強現(xiàn)實的終端和方法并不限于上述實施方式，而是可以在本文所公開 的技術精神的范圍內對其進行修改。盡管已經聯(lián)系特定的示例性實施方式描述了本發(fā)明，但是應當理解，本發(fā)明并不 限于所公開的實施方式，相反，本發(fā)明旨在涵蓋包括在所附權利要求及其等同物的精神和 范圍內的各種修改和等同設置。
權利要求
1.一種提供增強現(xiàn)實的終端，該終端包括數(shù)字標記編輯單元，其用于編輯數(shù)字標記并定義對應于經編輯的數(shù)字標記的對象； 存儲單元，其用于存儲由所述數(shù)字標記編輯單元編輯的所述數(shù)字標記和對應于經編輯 的數(shù)字標記的所述對象；以及圖像顯示單元，其用于顯示由所述數(shù)字標記編輯單元編輯的所述數(shù)字標記。
2.根據(jù)權利要求1所述的終端，其中，所述數(shù)字標記包括 可編輯對象選擇區(qū)，其用于定義所述對象的類型；以及 可編輯對象動作選擇區(qū)，其用于定義所述對象的動作。
3.根據(jù)權利要求2所述的終端，其中，所述數(shù)字標記還包括 背景顏色選擇區(qū)，其用于定義顯示有所述對象的畫面的背景顏色。
4.根據(jù)權利要求1所述的終端，該終端還包括局域無線通信單元，其用于使用局域無線通信技術向另一個終端發(fā)送所述數(shù)字標記和 對應于所述數(shù)字標記的所述對象，從所述另一個終端接收用于改變所述數(shù)字標記的輸入信 息，并且將接收到的輸入信息傳送到所述數(shù)字標記編輯單元。
5.根據(jù)權利要求4所述的終端，其中，所述數(shù)字標記編輯單元使用接收到的輸入信息 來改變在所述圖像顯示單元上顯示的所述數(shù)字標記。
6.根據(jù)權利要求1所述的終端，該終端還包括有線/無線通信單元，其用于通過有線/無線通信網絡向服務器發(fā)送所述數(shù)字標記和 對應于所述數(shù)字標記的所述對象，從所述服務器接收用于改變所述數(shù)字標記的輸入信息， 并且將接收到的輸入信息傳送到所述數(shù)字標記編輯單元。
7.一種提供增強現(xiàn)實的終端，該終端包括攝相機單元，其用于拍攝在另一個終端的圖像顯示單元上顯示的數(shù)字標記； 存儲單元，其用于存儲所述數(shù)字標記和對應于所述數(shù)字標記的對象； 控制單元，其用于識別由所述攝相機單元拍攝的所述數(shù)字標記，并且從所述存儲單元 載入對應于所述數(shù)字標記的所述對象；視頻處理單元，其用于將由所述控制單元載入的所述對象與通過所述攝相機單元獲得 的實時視頻圖像進行合成；以及圖像顯示單元，其用于顯示經合成的對象和實時視頻圖像。
8.根據(jù)權利要求7所述的終端，該終端還包括局域無線通信單元，其用于從所述另一個終端接收所述數(shù)字標記和對應于所述數(shù)字標 記的所述對象，并且向所述另一個終端發(fā)送用于改變在所述另一個終端的所述圖像顯示單 元上顯示的所述數(shù)字標記的輸入信息。
9.根據(jù)權利要求7所述的終端，該終端還包括有線/無線通信單元，其用于從服務器下載所述數(shù)字標記和對應于經注冊的數(shù)字標記 的所述對象，并且向所述服務器發(fā)送用于改變在所述另一個終端的所述圖像顯示單元上顯 示的所述數(shù)字標記的輸入信息。
10.一種提供增強現(xiàn)實的終端，該終端包括數(shù)字標記編輯單元，其用于編輯第一數(shù)字標記并定義對應于經編輯的第一數(shù)字標記的 第一對象；存儲單元，其用于存儲由所述數(shù)字標記編輯單元編輯的所述第一數(shù)字標記和對應于經 編輯的第一數(shù)字標記的所述第一對象；圖像顯示單元，其用于顯示由所述數(shù)字標記編輯單元編輯的所述第一數(shù)字標記； 攝相機單元，其用于拍攝在另一個終端的圖像顯示單元上顯示的第二數(shù)字標記； 控制單元，其用于識別由所述攝相機單元拍攝的所述第二數(shù)字標記，并且從所述存儲 單元載入對應于經識別的第二數(shù)字標記的第二對象；視頻處理單元，其用于將由所述控制單元載入的所述第二對象與通過所述攝相機單元 獲得的實時視頻圖像進行合成；以及圖像顯示單元，其用于顯示經合成的對象和實時視頻圖像。
11.根據(jù)權利要求10所述的終端，該終端還包括局域無線通信單元，其用于向所述另一個終端發(fā)送所述第一數(shù)字標記和對應于所述第 一數(shù)字標記的所述第一對象，從所述另一個終端接收所述第二數(shù)字標記和對應于所述第二 數(shù)字標記的所述第二對象以將接收到的第二數(shù)字標記和對應于所述第二數(shù)字標記的所述 第二對象存儲到所述存儲單元，從所述另一個終端接收用于改變所述第一數(shù)字標記的輸入 信息，并且向所述另一個終端發(fā)送用于改變在所述另一個終端的所述圖像顯示單元上顯示 的所述第二數(shù)字標記的輸入信息。
12.根據(jù)權利要求10所述的終端，該終端還包括有線/無線通信單元，其用于向服務器發(fā)送所述第一數(shù)字標記和對應于所述第一數(shù)字 標記的所述第一對象，從所述服務器下載所述第二數(shù)字標記和對應于所述第二數(shù)字標記的 所述第二對象以將所述第二數(shù)字標記和對應于所述第二數(shù)字標記的所述第二對象存儲到 所述存儲單元中，從所述服務器接收用于改變所述第一數(shù)字標記的輸入信息，并且向所述 服務器發(fā)送用于改變在所述另一個終端的所述圖像顯示單元上顯示的所述第二數(shù)字標記 的輸入信息。
13.根據(jù)權利要求10所述的終端，其中，所述數(shù)字標記編輯單元根據(jù)包括按鍵輸入或 觸摸輸入的用戶輸入來編輯所述第一數(shù)字標記。
14.一種提供增強現(xiàn)實的方法，該方法包括以下步驟在數(shù)字標記編輯模式中編輯數(shù)字標記，并且定義對應于經編輯的數(shù)字標記的對象； 將所述數(shù)字標記和所述對象存儲在存儲單元中；以及 在圖像顯示單元上顯示所述數(shù)字標記。
15.根據(jù)權利要求14所述的方法，該方法還包括以下步驟接收用于改變在所述圖像顯示單元上顯示的所述數(shù)字標記的輸入信息；以及 使用接收到的輸入信息來改變所述數(shù)字標記。
16.根據(jù)權利要求14所述的方法，該方法還包括以下步驟通過局域無線通信從另一個終端接收用于改變在所述圖像顯示單元上顯示的所述數(shù) 字標記的輸入信息；以及使用接收到的輸入信息來改變所述數(shù)字標記。
17.根據(jù)權利要求14所述的方法，該方法還包括以下步驟通過有線/無線通信網絡從服務器接收用于改變在所述圖像顯示單元上顯示的所述 數(shù)字標記的輸入信息；以及使用接收到的輸入信息來改變所述數(shù)字標記。
18.根據(jù)權利要求14所述的方法，該方法還包括以下步驟通過局域無線通信向另一個終端發(fā)送從所述存儲單元中所存儲的數(shù)字標記中選出的 數(shù)字標記和對應于所選的數(shù)字標記的對象。
19.根據(jù)權利要求18所述的方法，該方法還包括以下步驟將所選的數(shù)字標記和對應于所選的數(shù)字標記的所述對象存儲在所述另一個終端中的 所述存儲單元中。
20.根據(jù)權利要求14所述的方法，該方法還包括以下步驟通過有線/無線通信網絡向服務器發(fā)送從所述存儲單元中所存儲的數(shù)字標記中選出 的數(shù)字標記和對應于所選的數(shù)字標記的對象。
21.根據(jù)權利要求20所述的方法，該方法還包括以下步驟通過所述有線/無線通信網絡從所述服務器下載經注冊的數(shù)字標記和對應于所述經 注冊的數(shù)字標記的對象；以及將下載的經注冊的數(shù)字標記和對應于下載的經注冊的數(shù)字標記的所述對象存儲在所 述存儲單元中。
22.一種提供增強現(xiàn)實的方法，該方法包括以下步驟使用攝像機拍攝在另一個終端的圖像顯示單元上顯示的數(shù)字標記； 識別所拍攝的數(shù)字標記，并且從存儲單元載入對應于所述數(shù)字標記的第一對象； 將所述第一對象與通過所述攝像機獲得的實時視頻圖像進行合成；以及 在圖像顯示單元上顯示經合成的第一對象和實時視頻圖像。
23.根據(jù)權利要求22所述的方法，該方法還包括以下步驟使用局域無線通信技術向所述另一個終端發(fā)送輸入信息，該輸入信息用于改變在所述 另一個終端的所述圖像顯示單元上顯示的所述數(shù)字標記；對根據(jù)所述輸入信息而改變的在所述另一個終端的所述圖像顯示單元上顯示的數(shù)字 標記進行拍攝；識別經改變的數(shù)字標記，并且從所述存儲單元載入對應于經改變的數(shù)字標記的第二對象；將所述第二對象與通過所述攝像機獲得的實時視頻圖像進行合成；以及 在所述圖像顯示單元上顯示經合成的第二對象和實時視頻圖像。
全文摘要
本發(fā)明涉及用于提供增強現(xiàn)實的終端和方法。第一終端使用無線通信技術與第二終端共享在數(shù)字標記編輯模式中編輯的數(shù)字標記和對應于經編輯的數(shù)字標記的對象。如果在第一終端的圖像顯示單元上顯示數(shù)字標記，則第二終端使用攝像機拍攝該數(shù)字標記，并且將對應于所拍攝的數(shù)字標記的對象與通過攝像機獲得的實時視頻圖像進行合成以將融合的圖像顯示為增強現(xiàn)實。接著，第二終端從用戶接收用于改變該數(shù)字標記的輸入信息，并且向第一終端發(fā)送接收到的輸入信息。第一終端使用從第二終端接收到的輸入信息來改變數(shù)字標記。第二終端拍攝改變的數(shù)字標記，并且顯示對應于改變的數(shù)字標記的對象。
文檔編號H04M1/725GK102142151SQ201010261319
公開日2011年8月3日 申請日期2010年8月23日 優(yōu)先權日2010年1月29日
發(fā)明者劉龍吉, 姜文基, 孔景珍, 張誠桓, 樸宣泂, 李龍年, 洪在萬, 潢柱熹, 金旲勇 申請人:株式會社泛泰