用于將注解添加到全光光場的方法和設(shè)備的制造方法
【專利說明】用于將注解添加到全光光場的方法和設(shè)備
【背景技術(shù)】
[0001] 本發(fā)明設(shè)及增強現(xiàn)實（augmentedreality)方法和設(shè)備，特別地設(shè)及用于將注解 添加到對應(yīng)于場景（scene)的數(shù)據(jù)的方法和各種設(shè)備。
[0002] 在手持便攜式裝置諸如智能手機、掌上型計算機、便攜式媒體播放器、個人數(shù)字助 理（PDA)裝置等等的發(fā)展中的快速進步已導(dǎo)致包含設(shè)及圖像處理的新奇特征和應(yīng)用。比如 增強現(xiàn)實應(yīng)用是已知的，其中用戶將便攜式裝置指向場景例如風(fēng)景、建筑物、海報、或博物 館中的繪畫，并且顯示器將圖像與設(shè)及該場景的疊加的信息一起示出。該樣的信息能夠包 含；例如針對山和住所的名稱；人名；針對建筑物的歷史信息；和商業(yè)信息，諸如廣告，例如 餐館菜單。該樣的系統(tǒng)的示例在EP1246080中和在EP2207113中被描述。
[0003] 已知的是通過在無線通信網(wǎng)絡(luò)中的服務(wù)器將注解信息提供給便攜式裝置。包含帶 有服務(wù)器和便攜式裝置的通信網(wǎng)絡(luò)的注解系統(tǒng)W及注解方法也是已知的。
[0004] 許多注解方法包含將圖像諸如由帶有標(biāo)準(zhǔn)CCD或CMOS傳感器的標(biāo)準(zhǔn)針孔相機產(chǎn) 生的2D圖像或計算機生成的圖像與儲存在數(shù)據(jù)庫中的參考圖像的集合相比較的步驟。因 為實際查看角度和照明條件能夠關(guān)于儲存在數(shù)據(jù)庫中的圖像是不同的，所W比較算法的目 標(biāo)是去除該些參數(shù)的影響。
[0005] 比如，W02008134901描述其中使用與通信終端相關(guān)聯(lián)的數(shù)字相機拍攝第一圖像的 方法。與第一圖像相關(guān)的詢問數(shù)據(jù)經(jīng)由通信網(wǎng)絡(luò)被傳輸?shù)竭h程識別服務(wù)器，在該遠程識別 服務(wù)器處識別匹配參考圖像。通過用注解的圖像的至少部分代替第一圖像的部分，在通信 終端處生成和顯示增強圖像。用相機拍攝的第一圖像的增強發(fā)生在平面空間中并且僅處理 二維圖像和對象。
[0006] 光線信息，諸如在空間的每個點中的光線的方向，在傳統(tǒng)的圖像注解系統(tǒng)中被拋 棄。沒有光線信息的注解使注解的場景的現(xiàn)實視圖更困難。比如，捕捉或顯示在對象的表 面上的紋理要求光線信息。盡管每個對象在它的表面上具有不同的紋理，但是在當(dāng)前注解 系統(tǒng)中添加紋理信息是不可能的。該導(dǎo)致附著的注解實際不被集成在場景中。
[0007] 另外，增強現(xiàn)實應(yīng)用的快速增長可能在未來引起注解的泛濫。比如在城市中的一 些場景含有與不同注解相關(guān)聯(lián)的許多元素，從而導(dǎo)致下述注解的圖像：該注解的圖像帶有 非常大數(shù)目的注解，該注解覆蓋背景圖像的大部分。在許多情況中，用戶僅對有限數(shù)目的那 些注解感興趣，并且另一些注解只會使人分屯、。因此，經(jīng)常將期望的是限制注解的數(shù)目并且 提供一種選擇應(yīng)該被顯示的注解的方式。
[0008] 此外，對于注解的場景查看而言計算開支是重要問題。將需要減少計算開支。
[0009] 因此本發(fā)明的目標(biāo)是解決或至少減輕現(xiàn)有增強現(xiàn)實系統(tǒng)的W上提及的問題。

【發(fā)明內(nèi)容】

[0010] 依據(jù)發(fā)明，該些目標(biāo)通過包括下述步驟的方法來實現(xiàn)： 用全光捕捉裝置檢索表示光場的數(shù)據(jù)； 執(zhí)行用于將捕捉的數(shù)據(jù)與對應(yīng)的參考數(shù)據(jù)匹配的程序代碼； 執(zhí)行用于檢索與所述參考數(shù)據(jù)的元素相關(guān)聯(lián)的在全光格式中的注解的程序代碼； 執(zhí)行用于從所述捕捉的數(shù)據(jù)和在全光格式中的所述注解生成注解的數(shù)據(jù)的程序代碼。
[0011] 發(fā)明也通過用于捕捉和注解對應(yīng)于場景的數(shù)據(jù)的設(shè)備來實現(xiàn)，所述設(shè)備包括： 全光捕捉裝置，用于捕捉表示光場的數(shù)據(jù)； 處理器； 顯不器； 程序代碼，當(dāng)執(zhí)行所述程序代碼時，用于引起所述處理器檢索與用所述全光捕捉裝置 捕捉的數(shù)據(jù)的元素相關(guān)聯(lián)的在全光格式中的至少一個注解，并且用于在所述顯示器上再現(xiàn) 從捕捉的數(shù)據(jù)生成的且包含所述至少一個注解的視圖。
[0012] 發(fā)明也提供用于確定注解的設(shè)備，所述設(shè)備包括： 處理器； 儲存器； 程序代碼，當(dāng)執(zhí)行所述程序代碼時，用于引起所述處理器接收表示光場的數(shù)據(jù)、將所述 數(shù)據(jù)與一個參考數(shù)據(jù)匹配、從所述儲存器確定與所述參考數(shù)據(jù)相關(guān)聯(lián)的在全光格式中的注 解并且將在全光格式中的所述注解或?qū)?yīng)于在全光格式中的注解的圖像的數(shù)據(jù)發(fā)送到遠 程裝置。
[0013] 在全光格式中的注解的要求保護的添加允許在全光格式中在圖像中的注解的更 現(xiàn)實的集成；注解似乎是捕捉的場景的元素，而不僅是疊加在圖像之上的文本。在全光格式 中的注解(在本申請中也被稱為"全光注解"）含有比傳統(tǒng)的注解更完整的光場描述，包含如 何修改光線的信息。
[0014] 取決于在圖像的再現(xiàn)期間由用戶選擇的或比如基于他的興趣自動選擇的焦距和/ 或視點，在全光格式中的注解提供也允許選擇應(yīng)該被顯示的注解。
[0015] 由于注解與捕捉的數(shù)據(jù)相比較處于相同的空間（即全光空間）中，所W減少針對注 解過程的計算開支。
[0016] 特別地，減少用于再現(xiàn)在人可理解的格式中的全光數(shù)據(jù)的計算開支。實際上，由于 在全光格式中的圖像和全光注解處于相同空間中，所W再現(xiàn)過程對兩者是等同的。在一個 實施例中，單個再現(xiàn)過程能夠被用于再現(xiàn)圖像和相關(guān)聯(lián)的注解。在該個情形中，針對全光再 現(xiàn)過程選擇的投影參數(shù)(諸如視點的改變、深度、焦點的選擇…）也應(yīng)用在全光注解上。比 如，當(dāng)改變?nèi)鈭D像的焦點或視點時，相同的變換能夠被用于在各種距離處顯示全光注解。 在另一個實施例中，將注解的效果應(yīng)用到捕捉的全光圖像，并且執(zhí)行修改的全光圖像的再 現(xiàn)。
[0017] 因此，全光注解，即在全光格式中的注解，提供顯示注解的現(xiàn)實方式、允許包含帶 有紋理的注解的更多類型的注解并且提高計算效率。
[0018] 不像傳統(tǒng)的注解，全光注解可W含有與由全光捕捉裝置捕捉的圖像一樣多的關(guān)于 光線的信息。因而，可能的是在捕捉的光場中直接合成注解，而沒有失去由到2D圖像上的 投影引起的光線信息。比如，注解能夠保留在注解的對象的表面上的光反射的特征，該用傳 統(tǒng)的注解系統(tǒng)是不可能的。在該個意義上，注解的視圖似乎更現(xiàn)實。
[0019] 對光線的直接修改能夠促進計算，諸如從多個視點同時生成注解的場景。在注解 的場景生成的示例中，對場景的注解處理和其它額外處理諸如模糊或銳化W全光格式直接 應(yīng)用一次，而不是對每個視點在生成的2D圖像上附著注解并且應(yīng)用額外處理。因此，在全 光格式中直接合成全光圖像和全光注解可W導(dǎo)致減少計算開支。
[0020] 本發(fā)明也設(shè)及用于將注解附著到在全光格式中的參考圖像的方法，所述方法包 括： 用查看器呈現(xiàn)在全光格式中的所述參考圖像； 選擇注解； 用所述查看器選擇針對所述注解的位置和一個或多個方向，從所述一個或多個方向能 夠看到所述注解； 在存儲器中將所述位置和所述方向與在全光格式中的所述參考圖像和所述注解相關(guān) 聯(lián)。
[0021] 該個方法可W用合適的創(chuàng)作系統(tǒng)諸如合適的軟件應(yīng)用或網(wǎng)站來執(zhí)行。
【附圖說明】
[0022] 發(fā)明在對作為示例給出且由附圖圖解的實施例的描述的輔助下將被更好地理解， 在附圖中： 圖1示意性圖解用于捕捉表示帶有處于第一距離的對象的場景的光場的數(shù)據(jù)的全光 捕捉裝置。
[0023] 圖2示意性圖解用于捕捉表示帶有處于第二距離的對象的場景的光場的數(shù)據(jù)的 全光捕捉裝置。
[0024] 圖3示意性圖解用于捕捉表示帶有處于第=距離的對象的場景的光場的數(shù)據(jù)的 全光捕捉裝置。
[00巧]圖4示意性圖解包括一起體現(xiàn)發(fā)明的各種設(shè)備元件的系統(tǒng)。
[0026] 圖5A到5B示出從相同的全光數(shù)據(jù)再現(xiàn)的注解的視圖，其中在再現(xiàn)期間由用戶選 擇的視點在兩個視圖之間已改變，從而導(dǎo)致W不同方式再現(xiàn)的相同注解。
[0027] 圖6A到6B示出從相同的全光數(shù)據(jù)再現(xiàn)的注解的視圖，其中在再現(xiàn)期間由用戶選 擇的視點在兩個視圖之間已改變，從而導(dǎo)致使第一注解在第一視圖上成為可見的并且使第 二注解在第二視圖上成為可見的。
[0028] 圖7A到7B示出從相同的全光數(shù)據(jù)再現(xiàn)的注解的視圖，其中在再現(xiàn)期間由用戶選 擇的焦距在兩個視圖之間已改變，從而導(dǎo)致使第一注解在第一視圖上成為可見的并且使第 二注解在第二視圖上成為可見的。
[0029] 圖8是用于生成和再現(xiàn)帶有在全光格式中的注解的視圖的方法的框圖。
[0030] 圖9是用于當(dāng)查看者在視圖上選擇不同查看方向和/或不同焦距時修改注解的再 現(xiàn)的方法的框圖。
[0031] 圖10是用于將在全光格式中的注解與參考數(shù)據(jù)相關(guān)聯(lián)的方法的框圖。
[0032] 圖11是一系列全光圖像諸如由用戶在移動中捕捉的視頻全光圖像或全光圖像的 連續(xù)注解的方法的框圖。
【具體實施方式】
[0033] 傳統(tǒng)的相機捕捉場景在傳感器上的2D投影，并且生成指示在每個具有或沒有顏 色的像素上的光的強度的數(shù)據(jù)。另一方面，照此已知的全光捕捉裝置捕捉表示光場的數(shù)據(jù)， 即不僅指示光的強度而且指示關(guān)于光場的包含光的方向的更完整的信息的矩陣。
[0034]完整的光場可W包括用于描述每個光線(或用于描述在給定位置處的光線）的多 達7個參數(shù)；3個針對位置，2個針對方向，1個針對波長W及(在視頻的情形中）1個針對時 間。一些當(dāng)前的全光相機遞送全光數(shù)據(jù)，該全光數(shù)據(jù)包括；針對位置的2個參數(shù)、針對方向 的2個參數(shù)、W及針對波長的1個參數(shù)。傳感器生成表示所謂的全光光場的全光數(shù)據(jù)，即至 少指示光線的位置和方向的矩陣。它表示由全光捕捉裝置生成的全光數(shù)據(jù)比由傳統(tǒng)2D相 機生成的傳統(tǒng)2D圖像數(shù)據(jù)含有關(guān)于光場的更多信息。
[00巧]至今，至少兩個公司Lytro和Raytrix提出能夠記錄該樣的全光光場的全光傳感 器。它們的兩款相機在設(shè)計方面稍微不同，但是主要思路是分解光的不同方向，該光被認(rèn)為 落在標(biāo)準(zhǔn)相機傳感器中的單個光位（photosite)(或像素）上。為了那個目標(biāo)，如在圖1上 圖