一種基于單幅圖像建模云場景的方法
【專利摘要】一種基于單幅圖像建模云場景的方法，該方法可以同時(shí)構(gòu)建圖像中卷云和積云的幾何信息。利用散焦理論提供的深度信息，首先對(duì)圖像中的積云和卷云進(jìn)行分割，然后根據(jù)其分布特征采用相應(yīng)的建模方法。卷云采用二維紋理表示；積云則首先基于深度信息構(gòu)建三維幾何，然后采樣形成內(nèi)部的密度分布。本發(fā)明引入散焦理論指導(dǎo)云場景的構(gòu)建，能夠有效的提高云場景建模效率，優(yōu)化建模效果。
【專利說明】
一種基于單幅圖像建模云場景的方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)圖形學(xué)領(lǐng)域，特別云建模領(lǐng)域。

【背景技術(shù)】
[0002]云作為一種常見的自然現(xiàn)象，由于其形狀千變?nèi)f化，形成、發(fā)展和消散的過程又極其復(fù)雜，且具有半透明特征，重建三維云場景一直是具有挑戰(zhàn)性的工作。在圖形學(xué)領(lǐng)域，關(guān)于云的形狀建模，云的運(yùn)動(dòng)演變過程和云的光照效果都進(jìn)行了深入的研究。
[0003]經(jīng)典的形狀建模方法大體分為兩類，即基于過程的云建模和基于物理的云建模。前者側(cè)重于利用噪聲、紋理或者交互式的手段對(duì)云進(jìn)行建模，通常需要經(jīng)歷繁瑣的參數(shù)調(diào)整；后者則通過求解簡化的NS方程，模擬云生成的物理過程，計(jì)算復(fù)雜度很高。這兩種方法都能夠建模逼真的云場景，但是需要用戶進(jìn)行復(fù)雜的參數(shù)設(shè)計(jì)，很難快速有效的構(gòu)建期望的場景。
[0004]基于圖像的云建模，在一定程度上克服了之前方法的弱點(diǎn)，且因其素材豐富、易于獲取逐漸成為研究的熱點(diǎn)。代表性的工作有Dobashi提出的方法和Yuan的方法，前者提出了保留輪廓的云場構(gòu)建方法，沒有考慮細(xì)節(jié)的恢復(fù)，后者則進(jìn)一步通過一個(gè)簡化的單散射模型逆向獲取了積云的形狀細(xì)節(jié)，但是計(jì)算復(fù)雜度較高。現(xiàn)有的工作取得了逼真的視覺效果，但是由于沒有考慮云的相對(duì)位置和遮擋關(guān)系，因此不具備恢復(fù)云場景幾何的能力。
[0005]事實(shí)上，由于單幅圖像提供的信息非常有限，且云的光照過程決定了云的形狀和它的顏色呈高度非線性的關(guān)系，傳統(tǒng)的SFS(shape from shading)的方法不能直接用來獲取云的外形。且由于云所分布的環(huán)境特殊，通?；跍y(cè)量設(shè)備或者圖像序列的方法也不能用來解決云的建模問題?；谏⒔估碚摰纳疃然謴?fù)方法能夠提供戶外場景的深度估計(jì)，給云場構(gòu)建提供了新的思路。


【發(fā)明內(nèi)容】

[0006]本發(fā)明的技術(shù)解決問題:克服現(xiàn)有技術(shù)的不足，提供一種基于深度圖的云場景建模方法，能夠從單幅照片中，構(gòu)建云的相對(duì)位置及形狀細(xì)節(jié)。并在此基礎(chǔ)上，給出了其光學(xué)參數(shù)的設(shè)定方法，實(shí)驗(yàn)表明，本發(fā)明提出的方法能夠在很短的時(shí)間內(nèi)從照片中構(gòu)建逼真的云場景，提高了建模效率。
[0007]本發(fā)明技術(shù)解決方案:一種基于單幅圖像建模云場景的方法，實(shí)現(xiàn)步驟如下:
[0008]步驟(I)、基于散焦理論生成圖像的深度圖，結(jié)合顏色閾值對(duì)圖像中的卷云和積云進(jìn)行自動(dòng)化的分割:借助通過圖像散焦模糊程度估計(jì)圖像深度的圖像處理技術(shù)，形成云圖像的場景深度信息。并以此作為圖像中卷云和積云的分割依據(jù)。由于深度信息的形成過程經(jīng)過了插值和擴(kuò)散過程，并不能精確保持云的邊界，所以需要結(jié)合顏色閾值的分割結(jié)果，進(jìn)而實(shí)現(xiàn)積云和卷云的自動(dòng)化分割；
[0009]步驟(2)、通過結(jié)合人工交互與現(xiàn)有圖像處理的方法，補(bǔ)全圖像中缺失的卷云區(qū)域，進(jìn)行卷云建模:對(duì)于提取積云后，卷云原來被遮擋的部分則形成了信息缺失進(jìn)行相應(yīng)的補(bǔ)全。該過程對(duì)圖像處理中常用的基于模板的圖像補(bǔ)全技術(shù)進(jìn)行了適應(yīng)性調(diào)整。由用戶指定需要增長的骨架結(jié)構(gòu)，進(jìn)而沿著該骨架結(jié)構(gòu)進(jìn)行相似區(qū)域匹配，最終形成卷云的補(bǔ)全結(jié)果，并和天空背景一起作為繪制過程天空盒的紋理；
[0010]步驟(3)、基于深度圖反應(yīng)的凹凸感構(gòu)建積云的前表面，在假設(shè)前后對(duì)稱的基礎(chǔ)上采用拉普拉斯編輯的方法進(jìn)行積云建模:根據(jù)步驟(I)中深度圖對(duì)積云形狀的反映，構(gòu)建積云前表面的高度場模型。然后在假設(shè)前后對(duì)稱的基礎(chǔ)上構(gòu)建積云的后表面，將高度場轉(zhuǎn)換為網(wǎng)格模型表示，然后采用拉普拉斯網(wǎng)格變形的方法進(jìn)行網(wǎng)格優(yōu)化；
[0011]步驟(4)、體采樣及繪制，根據(jù)云的形態(tài)特征確定其密度分布，并采用單散射光照模型進(jìn)行云場繪制:對(duì)建模得到的積云網(wǎng)格模型進(jìn)行體采樣，并通過云體內(nèi)每點(diǎn)的衰減系數(shù)值表征云的光的衰減作用。利用步驟(I)獲得的卷云紋理建模結(jié)果作為天空盒的背景，并依據(jù)深度圖中的深度信息確定積云的空間分布。最終實(shí)現(xiàn)與輸入圖像相似的建模結(jié)果。
[0012]進(jìn)一步的，所述步驟(I)中對(duì)卷云和積云進(jìn)行自動(dòng)化分割的具體內(nèi)容如下:
[0013]步驟(Al)、由于云的顏色多呈灰白色，顏色飽和度相對(duì)天空較低，基于云和天空的顏色飽和度差異，采用給定圖像中云像素的最大飽和度作為閾值，將圖像分割為天空區(qū)域和云區(qū)域。
[0014]步驟(A2)、將獲得的云區(qū)域進(jìn)一步劃分為積云區(qū)域和卷云區(qū)域。基于卷云和積云自身海拔差異和邊界差異在深度圖中形成的深度差，設(shè)定積云的最大深度為深度閾值，并依據(jù)該閾值進(jìn)行云區(qū)域的進(jìn)一步分割，形成積云區(qū)域和卷云區(qū)域。
[0015]進(jìn)一步的，所述步驟(2)中卷云建模的步驟具體如下:
[0016]步驟(BI)、針對(duì)提取積云后卷云信息的缺失部分，由用戶根據(jù)已有卷云的分布形態(tài)勾勒卷云的走勢(shì)，確定待補(bǔ)全部分的基本骨架。
[0017]步驟(B2)、沿著上一步驟得到的基本骨架，以每三個(gè)骨架像素為一個(gè)集合，在卷云區(qū)域中進(jìn)行特征匹配，搜索相似區(qū)域，并用該相似區(qū)域替換骨架像素，直到所有的骨架像素都得以替換，實(shí)現(xiàn)完整補(bǔ)全。補(bǔ)全后的卷云圖像將以二維紋理的形式出現(xiàn)在繪制的場景中。
[0018]進(jìn)一步的，所述步驟(3)中積云建模的具體步驟如下:
[0019]步驟(Cl)、場景中的每朵積云進(jìn)行分別處理，提取積云在深度圖中對(duì)應(yīng)的深度信息并進(jìn)行相應(yīng)的放縮，形成積云的前表面的高度場。后表面在假設(shè)前后對(duì)稱的基礎(chǔ)上加以噪聲擾動(dòng)。然后通過對(duì)距離場的插值生成前后表面的網(wǎng)格模型。
[0020]步驟(C2)、完成前后表面網(wǎng)格模型的融合對(duì)接。采用基于拉普拉斯的網(wǎng)格變形技術(shù)消除積云側(cè)面的尖銳部分和縫隙。在網(wǎng)格模型上選取個(gè)別約束點(diǎn)，設(shè)定其目標(biāo)高度場。進(jìn)行拉普拉斯編輯，目標(biāo)高度場的設(shè)定則基于中間厚邊緣薄的假設(shè)，同時(shí)約束點(diǎn)的選取概率也依據(jù)點(diǎn)到邊界的距離來設(shè)定，邊界處被選中的概率大，相應(yīng)的，內(nèi)部點(diǎn)被選中的概率小。迭代的進(jìn)行該過程兩到三次即可得到較為合理的結(jié)果。
[0021]進(jìn)一步的，所述步驟(4)中體采樣及繪制的具體步驟如下:
[0022]步驟(Dl)、將步驟(3)得到的積云網(wǎng)格模型轉(zhuǎn)換為體表示，并通過指定體元對(duì)光線的衰減能力來表征云的密度分布，即衰減系數(shù)。距離云的邊界越遠(yuǎn)，衰減系數(shù)越大，對(duì)光的衰減越明顯。
[0023]步驟(D2)、將步驟(2)得到了卷云建模結(jié)果作為繪制場景中天空盒的紋理，然后根據(jù)深度圖確定積云的分布位置，進(jìn)而根據(jù)成像原理調(diào)節(jié)積云的尺寸，使整個(gè)場景得以重新圖像中的場景。
[0024]本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于:
[0025]本發(fā)明有效的利用了圖像處理中的深度估計(jì)技術(shù)和缺失補(bǔ)全技術(shù)，并針對(duì)云場景圖像的特征進(jìn)行了適應(yīng)性調(diào)整，實(shí)現(xiàn)基于單幅圖像的云場景建模。相對(duì)于之前的建模方法，算法簡單、易于實(shí)現(xiàn)，運(yùn)行效率高，且由于素材豐富，對(duì)建模結(jié)果可選可控，非常適用于大型虛擬場景的構(gòu)建。

【專利附圖】

【附圖說明】
[0026]圖1為本發(fā)明的對(duì)卷云和積云進(jìn)行自動(dòng)化分割的示意圖；
[0027]圖2為本發(fā)明的卷云建模的結(jié)果圖，圖2(a)為輸入圖像，圖2(b)為補(bǔ)全后結(jié)果；
[0028]圖3為本發(fā)明的積云建模的結(jié)果圖，圖3(a)為輸入圖像，圖3(b)為優(yōu)化后深度圖，圖3(c)為由深度圖得到的前表面，圖3(d)為未優(yōu)化之前的側(cè)面，圖3(e)為形狀優(yōu)化后的正面效果，3(f)為形狀優(yōu)化后的側(cè)面效果；
[0029]圖4為本發(fā)明的繪制效果圖，圖4(a)到圖4(e)為五組實(shí)驗(yàn)效果，每組⑴表示輸入圖像，(2)表示正面繪制效果，(3)表示側(cè)面繪制效果。

【具體實(shí)施方式】
[0030]下面結(jié)合附圖與實(shí)例對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述:
[0031]本發(fā)明實(shí)施過程包括四個(gè)主要步驟:基于散焦理論生成圖像的深度圖，結(jié)合顏色閾值對(duì)圖像中的卷云和積云進(jìn)行自動(dòng)化的分割；通過結(jié)合人工交互與現(xiàn)有圖像處理的方法，補(bǔ)全圖像中缺失的卷云區(qū)域，進(jìn)行卷云建模；基于深度圖反應(yīng)的凹凸感構(gòu)建積云的前表面，在假設(shè)前后對(duì)稱的基礎(chǔ)上采用拉普拉斯編輯的方法進(jìn)行積云建模；體采樣及繪制，根據(jù)云的形態(tài)特征確定其密度分布，并采用單散射光照模型進(jìn)行云場繪制。
[0032]本發(fā)明具體實(shí)現(xiàn)如下:
[0033]步驟一:基于散焦理論生成圖像的深度圖，結(jié)合顏色閾值對(duì)圖像中的卷云和積云進(jìn)行自動(dòng)化的分割:
[0034]區(qū)分圖像中的云與天空有很多種方法。常用的方法有基于顏色閾值和超像素分割法。由于云通常呈現(xiàn)為白色或者灰色，顏色飽和度較小。選取云區(qū)域中飽和度最大的點(diǎn)為閾值點(diǎn)，即可將云從背景中提取出來。超像素分割的方法利用像素之間特征的相似程度將像素首先分為子區(qū)域，然后用戶交互性的選取云的區(qū)域。基于顏色閾值相對(duì)于超像素的分割方法能夠更加準(zhǔn)確的識(shí)別云的不規(guī)則邊界，但是受到大氣效應(yīng)的影響，閾值方法有時(shí)很難有效的區(qū)分云和天空。特別的，當(dāng)云之間存在遮擋時(shí)，基于閾值的方法則無法提供有效的分割。
[0035]由于本發(fā)明中，卷云采用二維紋理表示，不需要與天空背景分開，因此只需要將積云區(qū)域從整個(gè)圖像中提取出來，基于散焦模糊程度估計(jì)圖像深度的方法給出了求解場景中景物相對(duì)相機(jī)距離的方法，而且積云和卷云由于分布的海拔位置差異，在深度圖中對(duì)應(yīng)的深度值通常存在較大的差異，通常存在顯著的深度差異。本發(fā)明利用該深度差異在顏色閾值分割的基礎(chǔ)上進(jìn)行進(jìn)一步分割處理。需要說明的時(shí)，基于深度的分割不能完全取代基于顏色閾值的分割，由于深度圖的邊界是利用邊界提取算法生成的，可能丟失了一些細(xì)節(jié)，借助顏色閾值得到的邊界可以更好的保留圖像中積云的形狀。
[0036]卷云多呈絲縷狀，在深度估計(jì)過程中會(huì)被識(shí)別為模糊邊界，在成像原理中被認(rèn)為距離相機(jī)較遠(yuǎn)，加之其本身所處位置海拔較高，成像距離相對(duì)較遠(yuǎn)，通過實(shí)驗(yàn)發(fā)現(xiàn)，深度圖中卷云很難與背景區(qū)別開來，常與積云存在著較大的深度差。有助于我們對(duì)積云和卷云的分割。由于深度估計(jì)的方法通過提取邊界處的模糊程度來識(shí)別景物的成像距離，非邊界像素點(diǎn)的深度通過擴(kuò)散的方法插值得到，最終得到的深度圖可能存在一些插值誤差，通過圖像編輯軟件可以很簡單的修復(fù)這個(gè)誤差，云場景的分割流程如圖1所示，首先對(duì)輸入圖像利用散焦估計(jì)方法獲取深度圖，并進(jìn)行相應(yīng)優(yōu)化，然后結(jié)合顏色閾值分割的結(jié)果，識(shí)別卷云和積云的邊界。
[0037]步驟二:通過結(jié)合人工交互與現(xiàn)有圖像處理的方法，補(bǔ)全圖像中缺失的卷云區(qū)域，進(jìn)行卷云建模:
[0038]卷云一般非常稀薄而且很少有自陰影，可以用二維紋理的方法來表示。因此只需將卷云連同其所在的天空貼在天空盒中相機(jī)正對(duì)的位置。
[0039]由于從圖像提取前景云之后，背景云被遮擋的部分存在信息缺失.在圖像領(lǐng)域，針對(duì)大塊區(qū)域的補(bǔ)全，基于模板是常用的方法，即首先對(duì)圖像中顯著的結(jié)構(gòu)進(jìn)行延伸，然后在原圖像中為新增區(qū)域搜索相似的匹配。進(jìn)而逐步完成區(qū)域補(bǔ)全。關(guān)于卷云的補(bǔ)全，可以在這個(gè)方法的基礎(chǔ)上增加約束，使之更加適用于當(dāng)前的需求。首先由用戶勾勒需要延伸的卷云的走勢(shì)，即上文提到的顯著結(jié)構(gòu)，然后根據(jù)這個(gè)走勢(shì)進(jìn)行結(jié)構(gòu)延伸。之后，限定卷云區(qū)域作為搜索源，縮減了搜索范圍，同時(shí)提高了補(bǔ)全的準(zhǔn)備性。實(shí)驗(yàn)結(jié)果表明，這個(gè)方法可以滿足我們對(duì)卷云補(bǔ)全的需求，卷云的建模結(jié)果如圖2所示。
[0040]步驟三:基于深度圖反應(yīng)的凹凸感構(gòu)建積云的前表面，在假設(shè)前后對(duì)稱的基礎(chǔ)上采用拉普拉斯編輯的方法進(jìn)行積云建模:
[0041]積云通常具有顯著的形狀細(xì)節(jié)，而深度圖往往可以反映云前表面的深度差異，SP凹凸感，如圖3(b)所示。通過對(duì)深度圖的插值可以形成云前表面的網(wǎng)格模型，后表面則在假設(shè)前后對(duì)稱的基礎(chǔ)上加以擾動(dòng)。但是由于云邊界處的深度值往往不是統(tǒng)一的值，前后表面結(jié)合在一起則會(huì)產(chǎn)生縫隙，如圖3(d)所示。
[0042]為了解決這個(gè)問題，我們采用基于拉普拉斯的網(wǎng)格變形的方法來優(yōu)化云的形狀。如圖3(c)，對(duì)于網(wǎng)格上的每一個(gè)點(diǎn)，保持X和y方向的坐標(biāo)不變，調(diào)整其z方向的坐標(biāo)，使得在保留表面細(xì)節(jié)的前提下保證前后表面接合處的平滑過渡。如公式(I)所示，Δ表示拉普拉斯算子，E表示邊集,Vj表示網(wǎng)格上當(dāng)前需要編輯的點(diǎn)，dj表示與Vj有鄰接關(guān)系的點(diǎn)Vi之間的距離:
[0043]A(Vj) = Vj- di Σν<⑴
[0044]由于Δ是線性的，可以表示成一個(gè)nXn矩陣Μ,其中η表示網(wǎng)格上點(diǎn)的數(shù)量。所以這個(gè)過程可以表示為:
[0045]δ (z) = Mv(z) (2)
[0046]ν(ζ)表示一個(gè)η維向量，組成元素為網(wǎng)格上每個(gè)點(diǎn)的ζ分量，給定拉普拉斯算子和空間約束，網(wǎng)格的絕對(duì)坐標(biāo)可以通過求解方程的最小二乘解得到。于是，本發(fā)明假定邊界處的ζ分量為零，并以此為約束控制網(wǎng)格的變形。相對(duì)于邊界處的點(diǎn)，內(nèi)部點(diǎn)的約束則基于云的一般假設(shè)給定(中間厚邊緣薄)，通過計(jì)算網(wǎng)格中的點(diǎn)到邊界的距離來確定其約束值。每次隨機(jī)選取網(wǎng)格上的一些點(diǎn)，設(shè)定它們的Z分量為約束值，通過求解公式(2)來優(yōu)化網(wǎng)格的形狀。
[0047]為了最大程度保留表面的細(xì)節(jié)，內(nèi)部約束點(diǎn)的選取根據(jù)點(diǎn)到邊界的距離設(shè)置相應(yīng)的概率，距離邊界越近概率越大，具體值可以根據(jù)用戶偏好設(shè)定，在約束點(diǎn)數(shù)目一定的情況下，邊界處選取的點(diǎn)越多，細(xì)節(jié)保留的越好，但是邊界處幾何突變就越明顯，相反，內(nèi)部選取點(diǎn)越多，邊界過渡就越平滑，但是細(xì)節(jié)丟失會(huì)增加。
[0048]這個(gè)優(yōu)化的過程可以根據(jù)需要迭代多次進(jìn)行，隨著次數(shù)的增加，網(wǎng)格模型越趨近與中間厚邊緣薄的幾何結(jié)構(gòu)。通常只需一到兩次即可滿足網(wǎng)格優(yōu)化的需求。
[0049]由于云的不定形邊界，網(wǎng)格表示的云的外形很難滿足繪制需要，因此需要對(duì)形狀進(jìn)行擾動(dòng)。我們采用基于分形的擾動(dòng)方法來增加表面的細(xì)節(jié)，建模結(jié)果如圖3所示。
[0050]步驟四:體采樣及繪制，根據(jù)云的形態(tài)特征確定其密度分布，并采用單散射光照模型進(jìn)行云場繪制:
[0051 ] 獲取云的形狀之后，云的建模還需要指定云體內(nèi)的密度分布。首先通過體采樣將網(wǎng)格表示轉(zhuǎn)化為體表示，用I和O來區(qū)分云區(qū)域和非云區(qū)域。
[0052]由于云的密度分布通常表現(xiàn)為越接近邊界就越稀薄，衰減系數(shù)表征云粒子對(duì)光的衰減作用，衰減系數(shù)越小，光越容易穿過，該處的云就越稀薄。本發(fā)明通過確定云體內(nèi)的點(diǎn)的衰減系數(shù)σ來表征云的密度分布。
[0053]σ = k^Jl - (1- dis)2 +σ,.(3)
[0054]其中，dis表示內(nèi)部點(diǎn)到網(wǎng)格的最短距離，這個(gè)距離被規(guī)范化到O和I之間，σ base表示衰減系數(shù)的基準(zhǔn)值，通常為一個(gè)較小的數(shù)值(0.1或者0.2)，1^表示縮放系數(shù)。
[0055]最終，采用單散射光照模型進(jìn)行云場繪制，繪制結(jié)果如圖4所示。
[0056]本發(fā)明說明書中未作詳細(xì)描述的內(nèi)容屬于本領(lǐng)域?qū)I(yè)技術(shù)人員公知的現(xiàn)有技術(shù)。
[0057]以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本【技術(shù)領(lǐng)域】的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.一種基于單幅圖像建模云場景的方法，其特征在于該方法步驟如下: 步驟(I)、基于散焦理論生成圖像的深度圖，結(jié)合顏色閾值對(duì)圖像中的卷云和積云進(jìn)行自動(dòng)化的分割； 步驟(2)、通過結(jié)合人工交互與基于模板的圖像補(bǔ)全的方法，補(bǔ)全圖像中缺失的卷云區(qū)域，進(jìn)行卷云建模； 步驟(3)、基于深度圖反應(yīng)的凹凸感構(gòu)建積云的前表面，在假設(shè)前后對(duì)稱的基礎(chǔ)上采用拉普拉斯編輯的方法進(jìn)行積云建模； 步驟(4)、體采樣及繪制，根據(jù)云的形態(tài)特征確定其密度分布，并采用單散射光照模型進(jìn)行云場繪制，所述單散射光照模型中忽略云粒子間的交互作用，云粒子能量僅取決于點(diǎn)到云體邊界的距離.
2.根據(jù)權(quán)利要求1所述一種基于單幅圖像建模云場景的方法，其特征在于:所述步驟(1)中對(duì)卷云和積云進(jìn)行自動(dòng)化分割的具體內(nèi)容如下: 步驟(Al)、基于云和天空的顏色飽和度差異，采用給定圖像中云像素的最大飽和度作為閾值，將圖像分割為天空區(qū)域和云區(qū)域； 步驟(A2)、將獲得的云區(qū)域進(jìn)一步劃分為積云區(qū)域和卷云區(qū)域；基于卷云和積云自身海拔差異和邊界差異在深度圖中形成的深度差，以積云像素對(duì)應(yīng)的最大深度值為深度閾值，并依據(jù)該閾值進(jìn)行云區(qū)域的進(jìn)一步分割，形成積云區(qū)域和卷云區(qū)域。
3.根據(jù)權(quán)利要求1所述一種基于單幅圖像建模云場景的方法，其特征在于:所述步驟(2)卷云建模的步驟具體如下: 步驟(BI)、針對(duì)提取積云后卷云信息的缺失部分，由用戶根據(jù)已有卷云的分布形態(tài)勾勒卷云的走勢(shì)，確定待補(bǔ)全部分的基本骨架； 步驟(B2)、沿著上一步驟得到的基本骨架，以每三個(gè)骨架像素為一個(gè)集合，在卷云區(qū)域中進(jìn)行特征匹配，搜索相似區(qū)域，并用該相似區(qū)域替換骨架像素，直到所有的骨架像素都得以替換，實(shí)現(xiàn)完整補(bǔ)全；補(bǔ)全后的卷云圖像將以二維紋理的形式出現(xiàn)在繪制的場景中。
4.根據(jù)權(quán)利要求1所述一種基于單幅圖像建模云場景的方法，其特征在于:所述步驟(3)中積云建模的步驟如下: 步驟(Cl)、場景中的每朵積云進(jìn)行分別處理，提取積云在深度圖中對(duì)應(yīng)的深度信息并進(jìn)行相應(yīng)的放縮，形成積云的前表面的高度場；后表面在假設(shè)前后對(duì)稱的基礎(chǔ)上加以噪聲擾動(dòng)；然后通過對(duì)距離場的插值生成前后表面的網(wǎng)格模型； 步驟(C2)、完成前后表面網(wǎng)格模型的融合對(duì)接；采用基于拉普拉斯的網(wǎng)格變形技術(shù)消除積云側(cè)面的尖銳部分和縫隙；在網(wǎng)格模型上選取個(gè)別約束點(diǎn)，設(shè)定其目標(biāo)高度場，進(jìn)行拉普拉斯編輯，目標(biāo)高度場的設(shè)定則基于中間厚邊緣薄的假設(shè)，同時(shí)約束點(diǎn)的選取概率也依據(jù)點(diǎn)到邊界的距離來設(shè)定，邊界處被選中的概率大，相應(yīng)的，內(nèi)部點(diǎn)被選中的概率小；迭代的進(jìn)行該過程兩到三次即可得到較為合理的結(jié)果； 對(duì)于網(wǎng)格上的每一個(gè)點(diǎn)，保持X和I方向的坐標(biāo)不變，調(diào)整其z方向的坐標(biāo)，使得在保留表面細(xì)節(jié)的前提下保證前后表面接合處的平滑過渡；如公式(I)所示，△表示拉普拉斯算子，E表示邊集，Vj表示網(wǎng)格上當(dāng)前需要編輯的點(diǎn)，dj表示與Vj有鄰接關(guān)系的點(diǎn)Vi之間的距離: Hvj) = Vj -d, ^V,.(I)

i':( J4 )eE 由于Λ是線性的，可以表示成一個(gè)nXn矩陣M，其中n表示網(wǎng)格上點(diǎn)的數(shù)量。所以這個(gè)過程可以表示為:
δ (z) = Mv(z)(2) ν(ζ)表示一個(gè)η維向量，組成元素為網(wǎng)格上每個(gè)點(diǎn)的ζ分量，給定拉普拉斯算子和空間約束，網(wǎng)格的絕對(duì)坐標(biāo)可以通過求解方程的最小二乘解得到；于是，假定邊界處的ζ分量為零，并以此為約束控制網(wǎng)格的變形；相對(duì)于邊界處的點(diǎn)，內(nèi)部點(diǎn)的約束則基于云的一般假設(shè)給定，即中間厚邊緣薄，通過計(jì)算網(wǎng)格中的點(diǎn)到邊界的距離來確定其約束值；每次隨機(jī)選取網(wǎng)格上的一些點(diǎn)，設(shè)定它們的Z分量為約束值，通過求解公式(2)來優(yōu)化網(wǎng)格的形狀； 為了最大程度保留表面的細(xì)節(jié)，內(nèi)部約束點(diǎn)的選取根據(jù)點(diǎn)到邊界的距離設(shè)置相應(yīng)的概率，距離邊界越近概率越大，具體值根據(jù)用戶偏好設(shè)定，在約束點(diǎn)數(shù)目一定的情況下，邊界處選取的點(diǎn)越多，細(xì)節(jié)保留的越好，但是邊界處幾何突變就越明顯，相反，內(nèi)部選取點(diǎn)越多，邊界過渡就越平滑，但是細(xì)節(jié)丟失會(huì)增加； 這個(gè)優(yōu)化的過程根據(jù)需要迭代多次進(jìn)行，隨著次數(shù)的增加，網(wǎng)格模型越趨近與中間厚邊緣薄的幾何結(jié)構(gòu)； 由于云的不定形邊界，，我們采用基于分形的擾動(dòng)方法來增加表面的細(xì)節(jié)。
5.根據(jù)權(quán)利要求1所述一種基于單幅圖像建模云場景的方法，其特征在于:所述步驟(4)中體采樣及繪制的步驟如下: 步驟(Dl)、將步驟(3)得到的積云網(wǎng)格模型轉(zhuǎn)換為體表示，并通過指定體元對(duì)光線的衰減能力來表征云的密度分布，即衰減系數(shù)。距離云的邊界越遠(yuǎn)，衰減系數(shù)越大，對(duì)光的衰減越明顯； 由于云的密度分布通常表現(xiàn)為越接近邊界就越稀薄，衰減系數(shù)表征云粒子對(duì)光的衰減作用，衰減系數(shù)越小，光越容易穿過，該處的云就越稀?。淮_定云體內(nèi)的點(diǎn)的衰減系數(shù)σ來表征云的密度分布； a = k^\-(\-disf + a,,:m(3) 其中，dis表示內(nèi)部點(diǎn)到網(wǎng)格的最短距離，這個(gè)距離被規(guī)范化到O和I之間，σ base表示衰減系數(shù)的基準(zhǔn)值，通常為0.1或者0.2，k表示縮放系數(shù)； 最終，采用單散射光照模型進(jìn)行云場繪制； 步驟(D2)、將步驟(2)得到了卷云建模結(jié)果作為繪制場景中天空盒的紋理，然后根據(jù)深度圖確定積云的分布位置，進(jìn)而根據(jù)成像原理調(diào)節(jié)積云的尺寸，使整個(gè)場景得以重新圖像中的場景。
【文檔編號(hào)】G06T17/00GK104299263SQ201410466991
【公開日】2015年1月21日 申請(qǐng)日期:2014年9月14日 優(yōu)先權(quán)日:2014年9月14日
【發(fā)明者】梁曉輝, 郝世昱, 袁春強(qiáng) 申請(qǐng)人:北京航空航天大學(xué)