用于提供包括增強(qiáng)現(xiàn)實(shí)信息的內(nèi)容的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本公開(kāi)涉及用于提供包括增強(qiáng)現(xiàn)實(shí)信息的內(nèi)容的方法和裝置。更具體地，本公開(kāi) 涉及用于通過(guò)將增強(qiáng)現(xiàn)實(shí)信息融合到圖像上并更新圖像上的增強(qiáng)現(xiàn)實(shí)信息來(lái)生成增強(qiáng)現(xiàn) 實(shí)內(nèi)容的增強(qiáng)現(xiàn)實(shí)內(nèi)容提供方法和裝置。
【背景技術(shù)】
[0002] 隨著智能技術(shù)的出現(xiàn)，便攜式設(shè)備已經(jīng)朝向整合不同且復(fù)雜的功能演進(jìn)。近來(lái)，已 經(jīng)針對(duì)用三維（3D)虛擬信息來(lái)豐富通過(guò)攝像機(jī)觀(guān)看的真實(shí)環(huán)境的增強(qiáng)現(xiàn)實(shí)（AR)進(jìn)行了研 究。
[0003] 當(dāng)前的AR技術(shù)無(wú)非用于將虛擬信息覆蓋到通過(guò)攝像機(jī)輸入的預(yù)覽圖像上。因此， 需要更積極地管理并提供AR信息的方法，以滿(mǎn)足用戶(hù)對(duì)于移動(dòng)終端的增強(qiáng)功能的需要。
[0004] 以上信息僅被呈現(xiàn)為背景信息，以用于輔助對(duì)本公開(kāi)的理解。至于任何上述內(nèi)容 是否可用作關(guān)于本公開(kāi)的現(xiàn)有技術(shù)未做出確定，也未做出斷言。

【發(fā)明內(nèi)容】

[0005] 技術(shù)問(wèn)題
[0006] 本公開(kāi)的方面要解決至少上述問(wèn)題和/或缺點(diǎn)，并提供至少以下優(yōu)點(diǎn)。因此，本公 開(kāi)的方面旨在提供一種用于提供通過(guò)將通過(guò)攝像機(jī)輸入的圖像與增強(qiáng)現(xiàn)實(shí)（AR)信息融合 而豐富了的內(nèi)容的方法和裝置。
[0007] 本公開(kāi)的另一方面旨在提供一種用于提供用增強(qiáng)現(xiàn)實(shí)信息豐富了的內(nèi)容的方法 和裝置，其中所述增強(qiáng)現(xiàn)實(shí)信息與圖像相關(guān)聯(lián)地存儲(chǔ)并周期性地被更新。
[0008] 本公開(kāi)的另一方面旨在提供一種提供增強(qiáng)現(xiàn)實(shí)豐富的內(nèi)容的方法和裝置，其中增 強(qiáng)現(xiàn)實(shí)豐富的內(nèi)容是通過(guò)響應(yīng)于圖像顯示請(qǐng)求在圖像上覆蓋增強(qiáng)現(xiàn)實(shí)信息生成的。
[0009] 問(wèn)題的解決方案
[0010] 根據(jù)本公開(kāi)的一方面，提供了一種用于提供包括增強(qiáng)現(xiàn)實(shí)信息的內(nèi)容的方法。所 述方法包括：顯示通過(guò)攝像機(jī)輸入的預(yù)覽圖像和應(yīng)用到所述預(yù)覽圖像上的增強(qiáng)現(xiàn)實(shí)信息； 響應(yīng)于增強(qiáng)現(xiàn)實(shí)內(nèi)容創(chuàng)建請(qǐng)求，捕獲預(yù)覽圖像作為圖像；以及通過(guò)將所述圖像與所述增強(qiáng) 現(xiàn)實(shí)信息進(jìn)行組合來(lái)生成增強(qiáng)現(xiàn)實(shí)內(nèi)容。
[0011] 根據(jù)本公開(kāi)的另一方面，提供了一種提供包括增強(qiáng)現(xiàn)實(shí)信息的內(nèi)容的裝置。所述 裝置包括：攝像機(jī)單元，被配置為捕獲圖像；顯示單元，被配置為顯示通過(guò)攝像機(jī)單元捕獲 的預(yù)覽圖像和應(yīng)用到所述預(yù)覽圖像上的增強(qiáng)現(xiàn)實(shí)信息；以及控制單元，被配置為響應(yīng)于增 強(qiáng)現(xiàn)實(shí)內(nèi)容創(chuàng)建請(qǐng)求來(lái)捕獲預(yù)覽圖像作為圖像；并通過(guò)將所述圖像與增強(qiáng)現(xiàn)實(shí)信息進(jìn)行組 合來(lái)生成增強(qiáng)現(xiàn)實(shí)內(nèi)容。
[0012] 根據(jù)本公開(kāi)的另一方面，提供了一種用于提供增強(qiáng)現(xiàn)實(shí)信息的服務(wù)器。服務(wù)器包 括：通信單元，被配置為與電子設(shè)備進(jìn)行通信，以及控制單元，被配置為接收針對(duì)與通過(guò)電 子設(shè)備捕獲的預(yù)覽圖像相關(guān)聯(lián)的增強(qiáng)現(xiàn)實(shí)信息的請(qǐng)求，并發(fā)送與通過(guò)電子設(shè)備捕獲的預(yù)覽 圖像相關(guān)聯(lián)的增強(qiáng)現(xiàn)實(shí)信息。
[0013] 根據(jù)以下詳細(xì)描述，本公開(kāi)的其他方面、優(yōu)點(diǎn)和突出特征對(duì)于本領(lǐng)域技術(shù)人員將 顯而易見(jiàn)，以下詳細(xì)描述結(jié)合附圖公開(kāi)了本公開(kāi)的各實(shí)施例。
[0014] 發(fā)明的有益效果
[0015] 本公開(kāi)的AR內(nèi)容提供方法和裝置在通過(guò)持續(xù)地更新AR內(nèi)容來(lái)豐富用戶(hù)與便攜式 設(shè)備之間的交互方面是有利的。
【附圖說(shuō)明】
[0016] 根據(jù)結(jié)合附圖給出的以下說(shuō)明，本公開(kāi)的特定實(shí)施例的以上及其他方面、特征和 優(yōu)點(diǎn)將更加顯而易見(jiàn)，在附圖中：
[0017] 圖1是示出了根據(jù)本公開(kāi)的實(shí)施例的移動(dòng)終端的配置的框圖；
[0018] 圖2是示出了根據(jù)本公開(kāi)的實(shí)施例創(chuàng)建增強(qiáng)現(xiàn)實(shí)（AR)內(nèi)容的過(guò)程的流程圖；
[0019] 圖3是示出了根據(jù)本公開(kāi)的實(shí)施例通過(guò)將AR信息組合到預(yù)覽圖像上來(lái)創(chuàng)建AR內(nèi) 容的過(guò)程的流程圖；
[0020] 圖4是示出了根據(jù)本公開(kāi)的實(shí)施例通過(guò)攝像機(jī)單元（例如圖1的攝像機(jī)單元）拍 攝的圖像的屏幕顯示的圖；
[0021] 圖5是示出了根據(jù)本公開(kāi)的實(shí)施例通過(guò)將AR信息融合到預(yù)覽圖像上而生成的最 終圖像的屏幕顯示的圖；
[0022] 圖6是示出了根據(jù)本公開(kāi)的實(shí)施例基于預(yù)覽圖像創(chuàng)建AR內(nèi)容的過(guò)程的流程圖；
[0023] 圖7是示出了根據(jù)本公開(kāi)的實(shí)施例在創(chuàng)建AR內(nèi)容中所使用的模版的圖；
[0024] 圖8是示出了根據(jù)本公開(kāi)的實(shí)施例的AR內(nèi)容提供方法的AR內(nèi)容更新過(guò)程的流程 圖；
[0025] 圖9是示出了根據(jù)本公開(kāi)的實(shí)施例的AR內(nèi)容提供方法的AR內(nèi)容更新過(guò)程的流程 圖；
[0026] 圖10是示出了根據(jù)本公開(kāi)的實(shí)施例的AR內(nèi)容提供方法的內(nèi)容顯示過(guò)程的流程 圖；
[0027] 圖11是示出了根據(jù)本公開(kāi)的實(shí)施例用縮略圖形式示出AR內(nèi)容列表的屏幕顯示的 圖；
[0028] 圖12是示出了根據(jù)本公開(kāi)的實(shí)施例通過(guò)將AR信息與圖像進(jìn)行組合來(lái)創(chuàng)建AR內(nèi) 容的原理的圖；
[0029] 圖13是示出了根據(jù)本公開(kāi)的實(shí)施例具有進(jìn)度條的AR內(nèi)容的屏幕顯示的圖；
[0030] 圖14是示出了根據(jù)本公開(kāi)的實(shí)施例在更新之前的AR內(nèi)容的舊版本的屏幕顯示的 圖；
[0031] 圖15是示出了根據(jù)本公開(kāi)的實(shí)施例顯示可用于AR內(nèi)容的AR信息列表的屏幕顯 示的圖；
[0032] 圖16是示出了根據(jù)本公開(kāi)的實(shí)施例向其添加了補(bǔ)充AR信息的AR內(nèi)容的屏幕顯 示的圖。
[0033] 貫穿附圖，應(yīng)當(dāng)注意的是，類(lèi)似的附圖標(biāo)記用于描繪相同或類(lèi)似的元素、特征和結(jié) 構(gòu)。
【具體實(shí)施方式】
[0034] 提供參照所附附圖的以下描述，以輔助對(duì)由權(quán)利要求和它們的等價(jià)形式所限定的 本公開(kāi)的各實(shí)施例的全面理解。以下描述包括各具體細(xì)節(jié)，以輔助理解，但是這些具體細(xì)節(jié) 被認(rèn)為是僅是示例性的。因此，本領(lǐng)域普通技術(shù)人員將認(rèn)識(shí)到可以在不偏離本公開(kāi)的精神 和范圍的情況下做出對(duì)本文所描述的各實(shí)施例的各種改變和修改。此外，為了清楚和簡(jiǎn)明， 可以省略對(duì)已知功能和結(jié)構(gòu)的描述。
[0035] 以下說(shuō)明書(shū)和權(quán)利要求中所使用的術(shù)語(yǔ)和詞語(yǔ)不限于字面含義，而是僅由發(fā)明人 用于實(shí)現(xiàn)對(duì)本公開(kāi)的清楚和一致的理解。因此，本領(lǐng)域技術(shù)人員將顯而易見(jiàn)的是，提供對(duì)本 公開(kāi)的各實(shí)施例的以下描述，僅用于說(shuō)明的目的而不用于限制由所附權(quán)利要求和它們的等 價(jià)形式所限定的本公開(kāi)。
[0036] 將理解的是，除非上下文另外清楚地指示，否則單數(shù)形式"一（a) "、"一個(gè)（an) "和 "該"包括復(fù)數(shù)形式。因此，例如對(duì)"組件表面"的引用包括對(duì)一個(gè)或更多個(gè)這種表面的引用。
[0037] 本公開(kāi)的各實(shí)施例涉及控制提供增強(qiáng)現(xiàn)實(shí)（AR)內(nèi)容的移動(dòng)終端。
[0038] 根據(jù)本公開(kāi)的各實(shí)施例，電子設(shè)備可以包括通信功能。例如，電子設(shè)備可以是智能 電話(huà)、平板個(gè)人計(jì)算機(jī)（PC)、移動(dòng)電話(huà)、視頻電話(huà)、電子書(shū)閱讀器、臺(tái)式PC、膝上型PC、上網(wǎng) 本PC、個(gè)人數(shù)字助理（PDA)、便攜式多媒體播放器（PMP)、mp3播放器、移動(dòng)醫(yī)療設(shè)備、相機(jī)、 可穿戴設(shè)備（例如，頭戴式設(shè)備（HMD)、電子服飾、電子手環(huán)、電子項(xiàng)鏈、電子配飾、電子紋 身、智能手表）等。
[0039] 根據(jù)本公開(kāi)的各實(shí)施例，電子設(shè)備可以是具有通信功能的智能家電。智能家電 可以是例如電視、數(shù)字視頻盤(pán)（DVD)播放器、音響、冰箱、空調(diào)、吸塵器、烤箱、微波爐、洗衣 機(jī)、烘干機(jī)、空氣凈化器、機(jī)頂盒、TV盒（例如，Samsung HomeSync?、Apple TV?、或Google TV?)、游戲機(jī)、電子詞典、電子鑰匙、便攜式攝像機(jī)、電子相框等。
[0040] 根據(jù)本公開(kāi)的各實(shí)施例，電子設(shè)備可以是醫(yī)療設(shè)備（例如，磁共振血管造影術(shù) (MRA)設(shè)備、磁共振成像（MRI)設(shè)備、計(jì)算斷層掃描（CT)設(shè)備、成像設(shè)備或超聲設(shè)備等）、導(dǎo) 航設(shè)備、全球定位系統(tǒng)（GPS)接收機(jī)、行車(chē)數(shù)據(jù)記錄儀（EDR)、飛行數(shù)據(jù)記錄儀（FDR)、汽車(chē) 信息娛樂(lè)設(shè)備、船用電子設(shè)備（例如船用導(dǎo)航設(shè)備、陀螺儀或羅盤(pán)）、航空電子設(shè)備、安保設(shè) 備、工業(yè)或家用機(jī)器人等。
[0041] 根據(jù)本公開(kāi)的各實(shí)施例，電子設(shè)備可以是包括通信功能的家具、建筑物/結(jié)構(gòu)的 一部分、電子板、電子簽名接收設(shè)備、投影儀、各種測(cè)量設(shè)備（例如用于水表、電表、氣表、或 電磁波測(cè)量設(shè)備）等。
[0042] 根據(jù)本公開(kāi)的各實(shí)施例，電子設(shè)備可以是上述設(shè)備的任意組合。此外，本領(lǐng)域普通 技術(shù)人員將顯而易見(jiàn)的是，根據(jù)本公開(kāi)的各實(shí)施例的電子設(shè)備不限于上述設(shè)備。
[0043] 本文所使用的術(shù)語(yǔ)僅用于描述特定實(shí)施例，而不旨在限制本公開(kāi)。除非另外定義， 否則本文所使用的所有術(shù)語(yǔ)具有與由本公開(kāi)所屬的領(lǐng)域的技術(shù)人員普遍理解的含義相同 的含義，并且不應(yīng)當(dāng)被理解具有排他的廣泛含義也不應(yīng)當(dāng)被理解為具有排他的收縮含義。 如果本文所使用的技術(shù)術(shù)語(yǔ)是錯(cuò)誤的（其無(wú)法準(zhǔn)確地表達(dá)本公開(kāi)的技術(shù)思想），則應(yīng)當(dāng)用 允許本領(lǐng)域技術(shù)人員適當(dāng)理解的技術(shù)術(shù)語(yǔ)來(lái)替換該技術(shù)術(shù)語(yǔ)。本文所使用的一般術(shù)語(yǔ)應(yīng)當(dāng) 根據(jù)字典中或上下文中的定義來(lái)解釋?zhuān)⑶也粦?yīng)當(dāng)被解釋為排他的收縮含義。
[0044] 如本文所使用的，除非上下文另外清楚地指示，否則單數(shù)形式的"一（a) "、"一個(gè) (an) "和"該"旨在也包括復(fù)數(shù)形式。還將理解的是，當(dāng)在本文中使用時(shí)，術(shù)語(yǔ)"包括"、"包 含"、"具有"和/或"含有"指示所陳述的特征、整數(shù)、步驟、操作、元素和/或組件的存在，但 是不排除一個(gè)或更多個(gè)其他特征、步驟、操作、元素、組件和/或其群組的存在或添加。
[0045] 下文將參照附圖具體描述根據(jù)本公開(kāi)的各實(shí)施例。
[0046] 圖1是示出了根據(jù)本公開(kāi)的實(shí)施例的移動(dòng)終端的配置的框圖。
[0047] 根據(jù)本公開(kāi)的各實(shí)施例，移動(dòng)終端100可以是電子設(shè)備。
[0048] 參照?qǐng)D1，移動(dòng)終端100包括通信單元110、輸入單元120、攝像機(jī)單元130、傳感器 單元140、控制單元150、存儲(chǔ)單元160和顯示單元170。
[0049] 通信單元110負(fù)責(zé)與外界進(jìn)行數(shù)據(jù)通信。通信單元110可以包括用于對(duì)發(fā)射信號(hào) 進(jìn)行上變頻并放大的發(fā)射機(jī)和用于對(duì)接收信號(hào)進(jìn)行低噪聲放大和下變頻的接收機(jī)。
[0050] 根據(jù)本公開(kāi)的各實(shí)施例，通信單元110可以與服務(wù)器交換AR信息。通信單元110 可以向服務(wù)器發(fā)送AR信息請(qǐng)求或更新后的AR信息請(qǐng)求。通信單元110還可以從服務(wù)器接 收AR信息或更新推送。
[0051] 如果檢測(cè)到用戶(hù)輸入，則輸入單元120生成到控制單元130的與用