用于擴(kuò)增現(xiàn)實(shí)的輻射轉(zhuǎn)移取樣的設(shè)備和方法
【專利說明】用于擴(kuò)増現(xiàn)實(shí)的福射轉(zhuǎn)移取樣的設(shè)備和方法
【背景技術(shù)】
[0001] 本發(fā)明的方面設(shè)及擴(kuò)增現(xiàn)實(shí)。更確切地說，本發(fā)明的方面設(shè)及擴(kuò)增現(xiàn)實(shí)的福射轉(zhuǎn) 移取樣。
[0002] 組合虛擬和現(xiàn)實(shí)場(chǎng)景的光現(xiàn)實(shí)擅染為例如游戲或廣告等許多擴(kuò)增現(xiàn)實(shí)（AR)應(yīng)用 的基本目標(biāo)。當(dāng)前解決方案利用現(xiàn)有軟件開發(fā)套組來獲得場(chǎng)景模型，其具有實(shí)時(shí)更新和用 于俘獲圖像的相機(jī)的3-D跟蹤。W基于全局光照的光現(xiàn)實(shí)AR圖像為目標(biāo)的解決方案通常 將計(jì)算視圖中每一表面點(diǎn)的福射轉(zhuǎn)移（RT)。RT用于對(duì)直接來自場(chǎng)景模型的環(huán)境照明信息 取樣。RT信息連同環(huán)境照明和場(chǎng)景模型用于產(chǎn)生現(xiàn)實(shí)場(chǎng)景中的虛擬對(duì)象的現(xiàn)實(shí)擅染圖。所 產(chǎn)生的圖像具有環(huán)境、虛擬對(duì)象與現(xiàn)實(shí)對(duì)象之間的光交互的感知上似乎合理的近似。
[0003] 然而，計(jì)算動(dòng)態(tài)地改變的場(chǎng)景的RT(表示為體元體積）需要體積光線跟蹤。對(duì)于每 一帖中的場(chǎng)景模型的所有可見表面點(diǎn)應(yīng)用此程序在計(jì)算上較昂貴。即使利用較快處理器， 也很可能必需求助于有規(guī)律的子取樣來獲得可接受交互速度。簡(jiǎn)單子取樣的使用引入不合 需要的混疊假影且并非最佳解決方案。

【發(fā)明內(nèi)容】

[0004] 某些實(shí)施例描述一種用于擴(kuò)增現(xiàn)實(shí)的改進(jìn)的福射轉(zhuǎn)移取樣的設(shè)備和方法。
[0005] 本文中所掲示的系統(tǒng)和方法允許通過應(yīng)用自適應(yīng)取樣、濾波和重建方法通過采用 可見性信號(hào)的4-D空間W及時(shí)間相干性而實(shí)現(xiàn)擴(kuò)增現(xiàn)實(shí)的改進(jìn)的福射轉(zhuǎn)移取樣。運(yùn)些用于 RT計(jì)算的方法增加效率且提供較高質(zhì)量結(jié)果。其還允許對(duì)計(jì)算費(fèi)用與圖像質(zhì)量之間的折衷 的更多控制，運(yùn)在移動(dòng)裝置中很重要。
[0006] 在一些實(shí)施例中，一種方法包含接收環(huán)境的至少一個(gè)視頻帖。所述方法進(jìn)一步包 含產(chǎn)生環(huán)境的表面重建。所述方法另外包含在環(huán)境的表面重建內(nèi)投射多個(gè)光線。在環(huán)境的 表面重建內(nèi)投射多個(gè)光線后，所述方法包含從所述至少一個(gè)視頻帖產(chǎn)生環(huán)境的照明數(shù)據(jù)。 所述方法還包含基于環(huán)境內(nèi)需要優(yōu)化的區(qū)域確定來自環(huán)境中的所述多個(gè)光線的光線的子 集。所述方法進(jìn)一步包含基于不包含所述光線子集的所述多個(gè)光線擅染所述至少一個(gè)視頻 帖上的虛擬對(duì)象。
[0007] 在一些實(shí)施例中，所述環(huán)境內(nèi)需要優(yōu)化的所述區(qū)域包含陰影區(qū)域、表面邊緣和陰 影邊緣。
[0008] 在一些實(shí)施例中，所述方法進(jìn)一步包含基于表面重建和照明數(shù)據(jù)產(chǎn)生所述至少一 個(gè)視頻帖中所述環(huán)境的所估計(jì)現(xiàn)實(shí)世界光照數(shù)據(jù)。
[0009] 在一些實(shí)施例中，所述確定來自所述多個(gè)光線的光線的子集包括將光照和差分擅 染技術(shù)應(yīng)用于所述環(huán)境W及作為其結(jié)果而分析陰影信息。
[0010] 在一些實(shí)施例中，所述確定來自所述多個(gè)光線的光線的子集包括基于包括所述多 個(gè)光線的光線空間的4-D細(xì)分和近似方差分析中的至少一者應(yīng)用自適應(yīng)取樣技術(shù)。
[0011] 在一些實(shí)施例中，所述方法進(jìn)一步包含將與光線子集相關(guān)聯(lián)的時(shí)間相干性信息存 儲(chǔ)在二層級(jí)階層式高速緩沖存儲(chǔ)器中，其中第一層級(jí)存儲(chǔ)屏幕空間中的信息且第二層級(jí)存 儲(chǔ)對(duì)象空間中的信息。
[0012] 在一些實(shí)施例中，產(chǎn)生照明數(shù)據(jù)包含將所述至少一個(gè)視頻帖轉(zhuǎn)換為強(qiáng)度分量和色 彩分量，W及對(duì)強(qiáng)度分量去噪W提取照明數(shù)據(jù)。
[0013] 在一些實(shí)施例中，使用所述至少一個(gè)視頻帖、來自立體相機(jī)的圖像或來自深度相 機(jī)的深度圖像中的至少一者執(zhí)行產(chǎn)生環(huán)境的表面重建。
[0014] 在一些實(shí)施例中，一種設(shè)備包含相機(jī)、存儲(chǔ)器和處理器。處理器禪合到存儲(chǔ)器W接 收由相機(jī)俘獲的環(huán)境的至少一個(gè)視頻帖。所述處理器經(jīng)配置W產(chǎn)生環(huán)境的表面重建。所述 處理器進(jìn)一步經(jīng)配置W在所述環(huán)境的表面重建內(nèi)投射多個(gè)光線。所述處理器還經(jīng)配置W從 所述至少一個(gè)視頻帖產(chǎn)生環(huán)境的照明數(shù)據(jù)。所述處理器另外經(jīng)配置W基于所述環(huán)境內(nèi)需要 優(yōu)化的區(qū)域確定來自所述環(huán)境中的所述多個(gè)光線的光線的子集。所述處理器進(jìn)一步經(jīng)配置 W基于不包含所述光線子集的所述多個(gè)光線擅染所述至少一個(gè)視頻帖上的虛擬對(duì)象。
[0015] 在一些實(shí)施例中，一種方法包含用于接收環(huán)境的至少一個(gè)視頻帖的裝置。所述方 法進(jìn)一步包含用于產(chǎn)生環(huán)境的表面重建的裝置。所述方法另外包含用于在環(huán)境的表面重建 內(nèi)投射多個(gè)光線的裝置。在環(huán)境的表面重建內(nèi)投射多個(gè)光線后，所述方法包含用于從所述 至少一個(gè)視頻帖產(chǎn)生環(huán)境的照明數(shù)據(jù)的裝置。所述方法還包含用于基于環(huán)境內(nèi)需要優(yōu)化的 區(qū)域確定來自環(huán)境中的所述多個(gè)光線的光線的子集的裝置。所述方法進(jìn)一步包含用于基于 不包含所述光線子集的所述多個(gè)光線擅染所述至少一個(gè)視頻帖上的虛擬對(duì)象的裝置。
[0016] 在一些實(shí)施例中，一種處理器可讀非暫時(shí)性媒體包含處理器可讀指令，所述處理 器可讀指令經(jīng)配置W致使處理器接收環(huán)境的至少一個(gè)視頻帖的序列。所述指令進(jìn)一步經(jīng)配 置W致使所述處理器產(chǎn)生環(huán)境的表面重建。所述指令進(jìn)一步經(jīng)配置W致使所述處理器在所 述環(huán)境的表面重建內(nèi)投射多個(gè)光線。所述指令進(jìn)一步經(jīng)配置W致使所述處理器從所述至少 一個(gè)視頻帖產(chǎn)生所述環(huán)境的照明數(shù)據(jù)。所述指令進(jìn)一步經(jīng)配置W致使所述處理器基于所述 環(huán)境內(nèi)需要優(yōu)化的區(qū)域確定來自所述環(huán)境中的所述多個(gè)光線的光線的子集。所述指令進(jìn)一 步經(jīng)配置W致使所述處理器基于不包含所述光線子集的所述多個(gè)光線擅染所述至少一個(gè) 視頻帖上的虛擬對(duì)象。
【附圖說明】
[0017] 借助于實(shí)例說明本發(fā)明的方面。在附圖中，相同的參考數(shù)字指示類似元件，且：
[0018] 圖1說明可并入有一或多個(gè)實(shí)施例的系統(tǒng)的簡(jiǎn)化圖；
[0019] 圖2為根據(jù)本發(fā)明的實(shí)施例能夠擅染環(huán)境中的虛擬對(duì)象的移動(dòng)裝置的框圖；
[0020] 圖3說明根據(jù)本發(fā)明的實(shí)施例包含現(xiàn)實(shí)世界對(duì)象和虛擬世界對(duì)象的場(chǎng)景幾何形 狀；
[0021] 圖4為說明根據(jù)本發(fā)明的實(shí)施例的無探針光度對(duì)齊管線的步驟的總體流程圖；W 及
[0022] 圖5為描繪用于擴(kuò)增現(xiàn)實(shí)的福射轉(zhuǎn)移取樣的示范性操作的說明性流程圖。
【具體實(shí)施方式】
[0023] 現(xiàn)將相對(duì)于形成其一部分的附圖來描述若干說明性實(shí)施例。雖然下文描述可實(shí)施 本發(fā)明的一或多個(gè)方面的特定實(shí)施例，但可使用其它實(shí)施例，且可在不脫離本發(fā)明的范圍 或所附權(quán)利要求書的精神的情況下進(jìn)行各種修改。
[0024]圖IA和IB說明如上文所描述能夠進(jìn)行光現(xiàn)實(shí)擴(kuò)增現(xiàn)實(shí)的有效福射轉(zhuǎn)移取樣的移 動(dòng)裝置100的（分別）前側(cè)和后側(cè)。
[00巧]移動(dòng)裝置100說明為包含外殼101、可W是觸摸屏顯示器的顯示器102W及揚(yáng)聲器 104和麥克風(fēng)106。移動(dòng)裝置100進(jìn)一步包含前置相機(jī)110W俘獲環(huán)境的圖像。可了解，相 機(jī)110可為RGB相機(jī)、深度相機(jī)、立體相機(jī)等。術(shù)語"相機(jī)"還可指代可為不同類型的多個(gè) 相機(jī)（例如，RGB相機(jī)和深度相機(jī)）。在相機(jī)110為深度相機(jī)的情況下，其可提供所成像環(huán) 境的深度數(shù)據(jù)?；蛘撸谙鄼C(jī)110為立體相機(jī)的情況下，其可使用來自相機(jī)110的至少一個(gè) 圖像（視頻帖）產(chǎn)生所成像環(huán)境的深度數(shù)據(jù)。
[00%] 如本文所使用，移動(dòng)裝置指代任何便攜式電子裝置，例如蜂窩式或其它無線通信 裝置、智能電話、個(gè)人通信系統(tǒng)（PC巧裝置、個(gè)人導(dǎo)航裝置（PND)、個(gè)人信息管理器（PIM)、個(gè) 人數(shù)字助理（PDA)、智能手表、智能眼鏡、汽車中使用的智能裝置、家庭中使用的智能裝置， 或其它合適的移動(dòng)裝置。移動(dòng)裝置可能夠接收無線通信和/或?qū)Ш叫盘?hào)，例如導(dǎo)航定位信 號(hào)。術(shù)語"移動(dòng)裝置"還希望包含例如通過短程無線、紅外線、纜線連接或其它連接與個(gè)人 導(dǎo)航裝置（PND)通信的裝置，而不管在裝置處或在PND處是否發(fā)生衛(wèi)星信號(hào)接收、輔助數(shù)據(jù) 接收和/或位置相關(guān)處理。并且，"移動(dòng)裝置"希望包含能夠俘獲其環(huán)境的圖像（或視頻） 的所有電子裝置，包含無線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)等?？闪私猓?移動(dòng) 裝置"未必需要有線或無線連接。
[0027] 移動(dòng)裝置100使用相機(jī)110俘獲具有任意（即，憑經(jīng)驗(yàn)未知的）幾何形狀和光照 條件的環(huán)境的至少一個(gè)視頻帖，本文有時(shí)簡(jiǎn)稱為圖像。移動(dòng)裝置100經(jīng)配置WW每帖為基 礎(chǔ)從所俘獲視頻帖估計(jì)現(xiàn)實(shí)世界光照條件，且將光照條件應(yīng)用于顯示器102中擅染的AR對(duì) 象。在一些實(shí)施例中，從所俘獲視頻帖估計(jì)現(xiàn)實(shí)世界光條件是每隔n個(gè)帖進(jìn)行。移動(dòng)裝置 100還可在環(huán)境上擅染AR對(duì)象時(shí)將來自AR對(duì)象的光照效果應(yīng)用于現(xiàn)實(shí)世界對(duì)象上。移動(dòng) 裝置100能夠從環(huán)境中的任意幾何形狀估計(jì)環(huán)境光照條件。因此，移動(dòng)裝置100并不需要 將特殊光探針（例如反射球）放置于現(xiàn)實(shí)世界環(huán)境中W便估計(jì)現(xiàn)實(shí)世界光照條件。移動(dòng)裝 置100可使用任意幾何形狀與福射轉(zhuǎn)移計(jì)算和球面諧波組合來改進(jìn)環(huán)境光照的估計(jì)。
[0028] 圖2為根據(jù)本發(fā)明的實(shí)施例能夠擅染環(huán)境中的虛擬對(duì)象的移動(dòng)裝置100