一種基于圖像的室外光照環(huán)境重建方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種基于視頻的室外光照環(huán)境重建方法，用于視頻虛實融合聲景，屬 于圖像處理和增強技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 虛擬現(xiàn)實是近年來不斷發(fā)展的研究領(lǐng)域，通過W計算機科學(xué)與技術(shù)為核屯、的高新 科技，生成與真實環(huán)境在視、聽、觸感等方面高度近似的逼真虛擬環(huán)境，使用戶在虛擬環(huán)境 獲得身臨其境的感受和體驗。傳統(tǒng)的虛擬現(xiàn)實技術(shù)主要強調(diào)虛擬場景建模和虛擬場景表 現(xiàn)，較少將虛擬環(huán)境直接融入到客觀存在的真實世界，運在一定程度上影響了虛擬現(xiàn)實技 術(shù)的發(fā)展和應(yīng)用。增強現(xiàn)實是虛擬現(xiàn)實的進一步拓展，借助必要的硬件和軟件設(shè)備，使計 算?機生成的虛擬景物與客觀存在的真實環(huán)境共存于同一個增強現(xiàn)實系統(tǒng)中，從感官和體 驗效果上給用戶呈現(xiàn)出虛擬景物與真實環(huán)境融為一體的增強現(xiàn)實環(huán)境。增強現(xiàn)實是正在迅 速發(fā)展的新研究方向，該方向的關(guān)鍵問題包括虛擬對象與真實場景的有效融合。
[0003] 因此，基于視頻的虛實融合場景，及其光照效果生成技術(shù)不僅成為虛擬現(xiàn)實和增 強現(xiàn)實方向的技術(shù)發(fā)展趨勢，也是圖形學(xué)、計算機視覺、視頻處理、模擬仿真等相關(guān)領(lǐng)域方 向國際發(fā)展前沿的研究熱點。在虛實融合場景中，影響虛實融合逼真效果的重要方面就是 虛擬對象光照效果與真實場景光照信息的逼近程度。為了使計算機生成的虛擬對象具有真 實感，達到與真實場景有效融合的效果，需要保持虛擬對象與真實場景間幾何和光照的一 致性。其中光照一致性是指，根據(jù)真實環(huán)境中的光照分布和虛擬對象的表面材質(zhì)，計算虛擬 對象的表面光照效果，W及虛擬對象在真實場景中生成的虛擬陰影效果。
[0004] 為了使虛擬對象的光照效果能夠接近真實場景的光照效果，現(xiàn)有的基于視頻的虛 實融合場景，及其光照效果生成技術(shù)主要通過人工在真實場景中設(shè)置一些光學(xué)標(biāo)志物來采 集真實場景的光照信息，利用光學(xué)標(biāo)識物采集得到的光照信息，表示真實場景的光照條件， 并且確定虛擬對象的光照參數(shù)，進而完成虛擬對象表面光照效果和虛擬陰影效果的計算。 近年來，一些基于場景理解的虛實融合方法，力求從真實場景素材本身的幾何特征與光照 特征推斷出真實場景的幾何信息與光照信息，并建立光照模型表示真實場景的光照條件， 從而可W不借助任何光照信息采集設(shè)備，完成虛實融合場景及其光照效果的生成。但目前， 基于場景理解的虛實融合方法還不能滿足虛實無縫融合視頻處理的要求。在視頻真實場景 中，場景對象與真實光照條件隨時間發(fā)生變化，會影響基于單帖圖像的光照條件估計，而現(xiàn) 有的虛實融合技術(shù)往往忽略了視頻帖的虛實融合光照效果差異性，從而導(dǎo)致虛實融合場景 的光照效果抖動現(xiàn)象，大大降低了虛實融合光照效果的逼真性。 陽〇化]近年來，一些視頻場景的虛實光照融合方法都力求從場景素材本身推斷出其中蘊 含的光照信息，并建立光照模型，從而不借助任何光照信息采集設(shè)備，完成虛實光照融合。 2006年，丹麥奧爾堡大學(xué)的TommyJensen等人，提出了一種無標(biāo)識物的增強現(xiàn)實虛實光照 融合方法，該方法基于戶外場景，利用真實物體的表面圖像獲取真實環(huán)境的光照信息，針對 虛擬物體與真實光照條件的不一致現(xiàn)象，給出了虛擬物體表面光照效果的修正方法，能夠 使虛擬物體的光照效果接近真實環(huán)境的光照條件，完成虛實光照融合。但該方法只能處理 單個真實場景光源，如太陽，且需要已知場景的粗略=維模型和高動態(tài)范圍環(huán)境圖。
[0006] 2009年，卡耐基梅隆大學(xué)的Jean-FrancoisLalonde等人，提出了一種基于視頻 圖像剪貼庫的虛實光照融合方法。利用網(wǎng)絡(luò)攝像頭拍攝的延時視頻序列，構(gòu)建了擁有大量 圖像數(shù)據(jù)的"視頻圖像剪貼庫"，針對庫中的每幅圖像進行福射度和幾何上的標(biāo)定，并計算 出視頻序列圖像中每一帖的高動態(tài)范圍環(huán)境圖?；谝阎獛缀涡畔⒓肮庹招畔⒌?場景圖 像剪貼庫"，給定一副已具有光照效果的二維圖像，可W在庫中捜索出與其光照條件最匹配 的場景，進行場景與對象的融合；還可W用庫中的場景重光照=維圖形，即完成虛實融合的 效果。
[0007] 2009年，浙江大學(xué)的劉艷麗等人還提出了一種針對靜態(tài)戶外場景的虛實光照融合 方法，該方法的最大優(yōu)勢在于無需預(yù)知場景的幾何、材質(zhì)及紋理信息。對一個靜態(tài)戶外場 景，用固定視角的相機經(jīng)過長時間拍攝得到了涵蓋場景不同光照情況的圖像數(shù)據(jù)集。通過 學(xué)習(xí)的方法從中得到分別依靠太陽光和天空光產(chǎn)生的陰影效果作為基圖像來反映場景的 幾何屬性及材質(zhì)屬性進行光照估計，并完成虛實光照融合，但是該方法只能處理靜態(tài)固定 視角的視頻。
[0008] 2011年，伊利諾伊大學(xué)厄己納一香橫分校的KevinKarsch等人提出了一種需要 用戶交互的虛實光照融合方法。該方法通過用戶手工標(biāo)注出場景中一些重要的幾何信息W 及場景中光源的位置作為輸入，能夠恢復(fù)出場景基本的幾何模型，建立場景的光照模型，并 能夠計算出場景中反射表面的材質(zhì)W及相機參數(shù)，進而可W完成虛實光照融合的處理。該 方法的虛實光照融合效果十分逼真，不但能夠完成虛擬物體在真實場景中的光影繪制，并 且對于真實物體的陰影投射到虛擬物體上，W及虛擬物體的陰影投射到真實物體的情況也 能夠完成很好的融合繪制效果。但該方法需要用戶參與程度較大，影響了該方法的自動化 程度，并且針對的場景大部分為室內(nèi)真實場景。
[0009] 綜上所述，目前的虛實光照融合技術(shù)大多需要預(yù)先獲取場景光照信息，或者需要 使用特殊設(shè)備來獲取場景的高動態(tài)范圍圖像，并需要已知場景的部分幾何信息甚至是全 部=維模型，對真實場景的光照參數(shù)及幾何屬性估算的正確與否直接影響到虛實融合的結(jié) 果。進一步地，從視頻處理而言，現(xiàn)有的技術(shù)大多忽略了視頻帖與帖之間的關(guān)聯(lián)性，在逐帖 進行光照估計時，單帖的估算信息難免存在差異，從而造成生成視頻場景中虛擬物體光影 效果的不連續(xù)性，即視頻中相鄰帖在虛實光照及虛實陰影一致上存在著差異。

【發(fā)明內(nèi)容】

[0010] 針對上述現(xiàn)有技術(shù)，本發(fā)明的目的在于提供一種基于視頻的室外光照環(huán)境重建方 法，旨在在保持視頻帖間關(guān)聯(lián)關(guān)系的前提下，完成對場景的光照估計W及虛實光照融合，能 在場景中繪制虛擬=維物體并生成一定的虛實光照無縫融合效果。
[0011] 為了解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案：
[0012] 一種基于視頻的室外光照環(huán)境重建方法，該方法包括W下步驟：
[0013] 一、從視頻中按照相等的時間間隔抽取視頻關(guān)鍵帖，然后分別W視頻關(guān)鍵帖圖像 中的天空、地面W及垂直表面作為線索，估計出每個線索計算推斷得到的太陽所在位置的 概率分布圖，并聯(lián)合由視頻天空、地面及垂直表面得到的太陽位置概率推斷出視頻關(guān)鍵帖 場景中太陽位置的概率分布圖，生成視頻場景關(guān)鍵帖的稀疏福射度圖；
[0014] 二、通過光照參數(shù)濾波算法，利用視頻關(guān)鍵帖的光照估計結(jié)果，修正視頻非關(guān)鍵 帖的光照估計結(jié)果，實現(xiàn)視頻場景的虛實光照融合。
[0015] 所述步驟一包括如下步驟：
[0016] 步驟S110,首先將輸入視頻，按照預(yù)設(shè)的時間間隔分為多段等時間間隔的視頻區(qū) 間，對每一個視頻區(qū)間從中抽取關(guān)鍵帖；
[0017] 步驟S120,利用圖像分割的方法，分割出關(guān)鍵帖中天空、地面W及垂直建筑物部 分；
[0018] 步驟S130,將分割出關(guān)鍵帖圖像中的天空部分，建立概率模型，由天空的明暗程度 推斷出太陽所在位置的概率分布圖；
[0019] 將分割出關(guān)鍵帖圖像中的地面部分，并提取出地面部分的陰影輪廓線，建立概率 模型，由地面陰影線的走向推斷出太陽所在位置的概率分布圖；
[0020] 將分割出關(guān)鍵帖圖像中的垂直建筑物部分，建立概率模型，由建筑物表面受太陽 光照的明暗程度推斷出太陽所在位置的概率分布圖；
[0021] 步驟S140,聯(lián)合由視頻天空、地面及垂直表面得到的太陽位置概率推斷出視頻關(guān) 鍵帖場景中太陽位置的概率分布圖，生成視頻場景關(guān)鍵帖的稀疏福射度圖。
[0022] 所述步驟S130包括如下步驟：
[0023] ①通過視頻圖像中的主體部分：天空像素S、地面像素G和垂直表面像素V來推斷 出太陽位置的概率分布；
[0024] ②視頻場景的光照情況I可W通過兩個參數(shù)來表示：eg和&沒S，其中0g表示太 陽的天頂角，A0S表示太陽相對于相機的方位角；
[00巧]③對于天空區(qū)域，天空像素Si的明暗程度可W推斷出太陽在天空區(qū)域可能出現(xiàn)的 位置；
[00%] ④天空像素Si符合W下產(chǎn)生式模型： W別⑥
[00測⑧其中g(shù)( ?)代表天空模型；N(y，0 2)代表均值為y、方差為0 2的正態(tài)分布；k為尺度因子；
[0029] ⑦建立如下概率模型來計算推斷出太陽位置的概率分布P巧s，A0s|S):
[0030]
[0031] 所述步驟S200包括如下步驟：
[0032] 步驟S210,對于非關(guān)鍵帖，采用卡爾曼濾波算法，首先獲取關(guān)鍵帖的稀疏福射度 圖；
[0033] 步驟S220,由關(guān)鍵帖的稀疏福射度圖作為濾波輸入，對非關(guān)鍵帖的稀疏福射度圖 進行優(yōu)化，得到非關(guān)鍵帖的稀疏福射度圖；
[0034] 步驟S230,最后生成視頻每一帖的虛實融合效果。
[0035] 更進一步地，所述步驟S140包括如下步驟：
[0036] ①得到了由天空、地面、垂直表面分別推斷的太陽位置概率正態(tài)分布后，計算出最 終視頻場景關(guān)鍵帖的太陽位置概率分巧P巧S.A0 ):
[0037]
[0038] ②根據(jù)太陽位置概率分布計算出視頻場景關(guān)鍵帖的稀疏福射度圖。
[0039] 所述步驟S220中，對非關(guān)鍵帖的稀疏福射度圖進行優(yōu)化，得到非關(guān)鍵帖的稀疏福 射度圖，包括如下步驟： W40] 首先，根據(jù)前k個關(guān)鍵帖的稀疏福射度圖，建立卡爾曼更新預(yù)測方程： 陽 0川 Xw=AkXk+Wk
[00創(chuàng) Xk為第k帖的光照模型參數(shù)取值，Wk為過程噪聲，A為狀態(tài)轉(zhuǎn)移矩陣，取Ak為單位 矩陣；然后，計算得到協(xié)方差矩陣Pk及卡爾曼增益矩陣Kk:
[0043]
W44] Pk= (I-KkHk)Pk
[0045] 其后，對卡爾曼更新預(yù)測方程協(xié)方差矩陣Pk及卡爾曼增益矩陣Kk，進行迭代求 解，即對觀測量更新