中 的物體加入到另一目標(biāo)場(chǎng)景中，只需要再求出目標(biāo)場(chǎng)景中的光源信息，代入到光照模型中 即可得最終的擅染結(jié)果。
[0025] 本發(fā)明的有益效果是:本發(fā)明是從單幅的RGB圖像中提取模型和光照信息，并融合 到目標(biāo)RGB圖像上進(jìn)行擅染，簡(jiǎn)單快速地實(shí)現(xiàn)重光照的基本融合過(guò)程，方便影視拍攝過(guò)程中 及時(shí)發(fā)現(xiàn)鏡頭中的不足，當(dāng)場(chǎng)修改或重拍。傳統(tǒng)的重光照技術(shù)都是在后期處理中對(duì)已有的 圖像或視頻進(jìn)行擅染，不能實(shí)時(shí)地發(fā)現(xiàn)圖像和視頻中存在的不適合特效制作的問(wèn)題，導(dǎo)致 后期重拍鏡頭，延長(zhǎng)了整個(gè)影視制作過(guò)程，同時(shí)增加了成本。本發(fā)明借圖像場(chǎng)景的Ξ維模型 計(jì)算圖像中的光照參數(shù)，在確保整個(gè)重光照擅染過(guò)程快速的同時(shí)，盡量準(zhǔn)確地顯示簡(jiǎn)單重 光照融合后的效果，為現(xiàn)場(chǎng)拍攝提供參考，提高了整個(gè)拍攝過(guò)程的效率。
【附圖說(shuō)明】
[0026] 圖1是本發(fā)明方法的總體流程圖；
[0027] 圖2是輸入的原始RGB圖像；
[002引圖3是輸入的圖像對(duì)應(yīng)的場(chǎng)景Ξ維點(diǎn)云模型；
[0029] 圖4是求解所得的圖像陰影區(qū)域；
[0030] 圖5是求解所得的圖像高光區(qū)域。
【具體實(shí)施方式】
[0031] 本發(fā)明方法的核屯、是根據(jù)輸入的RGB圖像提取其中的場(chǎng)景Ξ維點(diǎn)云模型，利用運(yùn) 些信息建立能量函數(shù)并最小化之，從而求得光照參數(shù)，最后把原圖像場(chǎng)景模型擅染到目標(biāo) 圖像中。
[0032] W下利用一個(gè)實(shí)施例來(lái)描述具體流程的實(shí)施方式，步驟如下(見(jiàn)圖1):
[0033] (1)讀入單幅的原始RGB圖像(見(jiàn)圖2)和圖像對(duì)應(yīng)的Ξ維場(chǎng)景點(diǎn)云模型(見(jiàn)圖3)，根 據(jù)場(chǎng)景點(diǎn)云和法向量在光源方向下和圖像RGB值之間的關(guān)系，建立線性方程組，利用最小二 乘法估計(jì)光源的方向向量；
[0034] (2)假設(shè)場(chǎng)景中物體均為L(zhǎng)ambert體，考慮光照模型，結(jié)合光源方向和法向量建立 Phong光照模型的能量函數(shù)；
[0035] (3)利用優(yōu)化方法最小化能量函數(shù)，通過(guò)最小化能量函數(shù)的偏導(dǎo)數(shù)求得圖像場(chǎng)景 中每個(gè)物體的環(huán)境光Ai和漫反射數(shù)值化；
[0036] (4)由步驟3計(jì)算得到的環(huán)境光Ai和漫反射數(shù)值Di計(jì)算圖像的陰影區(qū)域(見(jiàn)圖4)和 高光區(qū)域(見(jiàn)圖5)，并保存成圖像作為中間結(jié)果；
[0037] (5)計(jì)算目標(biāo)RGB圖像的光照方向，根據(jù)假設(shè)的光照模型把原圖像的Ξ維模型加入 到目標(biāo)圖像中進(jìn)行融合擅染，輸出最終擅染的圖像。
【主權(quán)項(xiàng)】
1. 一種基于圖像和模型計(jì)算光照參數(shù)進(jìn)行重光照渲染的方法，其特征在于，該方法包 括如下步驟： (1) 讀入待處理的RGB圖像和對(duì)應(yīng)的圖像場(chǎng)景三維點(diǎn)云模型，根據(jù)場(chǎng)景點(diǎn)云和法向量在 光源方向下和圖像RGB值之間的關(guān)系，建立線性方程組，利用最小二乘法估計(jì)光源的方向向 量； (2) 假設(shè)場(chǎng)景中物體均為L(zhǎng)ambert體，考慮光照模型，結(jié)合光源方向和法向量建立Phong 光照模型的能量函數(shù)； (3) 利用優(yōu)化方法最小化能量函數(shù)，通過(guò)最小化能量函數(shù)的偏導(dǎo)數(shù)求得圖像場(chǎng)景中每 個(gè)物體的環(huán)境光仏和漫反射數(shù)值D1; (4) 由步驟3計(jì)算得到的環(huán)境光A1和漫反射數(shù)值D1計(jì)算圖像的陰影和高光區(qū)域，并保存 成圖像作為中間結(jié)果； (5) 計(jì)算目標(biāo)RGB圖像的光照方向，根據(jù)假設(shè)的光照模型把原圖像的三維模型加入到目 標(biāo)圖像中進(jìn)行融合渲染，輸出最終渲染的圖像。2. 根據(jù)權(quán)利要求1所述的一種基于圖像和模型計(jì)算光照參數(shù)進(jìn)行重光照渲染的方法， 其特征在于，所述步驟1中，當(dāng)法向量未知時(shí)，法向量H的求解如下：由于整個(gè)模型的三維點(diǎn) 云數(shù)量眾多，為防止計(jì)算時(shí)內(nèi)存溢出，將把點(diǎn)云分成多個(gè)部分，每部分取鄰近的k個(gè)點(diǎn)(這里 k取3000)并記每部分點(diǎn)的協(xié)方差矩陣其中是每部分 k個(gè)點(diǎn)中的一個(gè)，及為要求法向量的點(diǎn)，對(duì)協(xié)方差矩陣進(jìn)行PCA分解求得點(diǎn)尹的法向量η。3. 根據(jù)權(quán)利要求1所述的一種基于圖像和模型計(jì)算光照參數(shù)進(jìn)行重光照渲染的方法， 其特征在于，所述步驟1中，光源方向?的求解如下：輸入的模型由普通的純視覺(jué)三維重建 方法得到，該模型記錄了圖像場(chǎng)景的三維點(diǎn)云及每個(gè)三維點(diǎn)對(duì)應(yīng)于圖像上的某個(gè)像素點(diǎn)的 坐標(biāo)，即模型中每個(gè)三維點(diǎn)都能在圖像中找到一個(gè)像素點(diǎn)與之相對(duì)應(yīng)。由于圖像場(chǎng)景中可 能不止一個(gè)物體，每個(gè)物體的光照系數(shù)都不一樣，在求光源方向前，先對(duì)圖像進(jìn)行分割，分 離出每個(gè)不同的物體區(qū)域記為i。假設(shè)場(chǎng)景中只有一個(gè)光源，這里選擇簡(jiǎn)單的光照模型其中I為圖像像素的RGB值，P為和物體有關(guān)的常數(shù)值光照系數(shù)，f為光源方 向，P是三維點(diǎn)的空間坐標(biāo)，5是點(diǎn)P法向量，T表示向量的轉(zhuǎn)置操作。對(duì)圖像中每個(gè)區(qū)域內(nèi)的 每個(gè)像素，按上述光照模型建立線性方程組，求解該方程組則可以得到光源方向?。4. 根據(jù)權(quán)利要求1所述的一種基于圖像和模型計(jì)算光照參數(shù)進(jìn)行重光照渲染的方法， 其特征在于，所述步驟2中選擇的光照模型為：其中I為圖像像素的RGB值。13為環(huán)境光顏色，I ρ為環(huán)境光的亮度。ka，kc^Pks分別為環(huán)境 光、漫反射和鏡面反射系數(shù)。Spe [〇，1]為陰影，Hp為高光系數(shù)。f為光源方向，S為法向量。 定義能量函數(shù)為：?為圖像像素，_)表示像素 ?上的RGB值，爾?)為像素 f對(duì)應(yīng)的模型三維點(diǎn)的法向量。記 P為和物體有關(guān)的常數(shù)值光照系數(shù)，則對(duì)應(yīng)于圖像中每個(gè)區(qū)域i的環(huán)境光值A(chǔ)1 = IaP,漫反射 值Di - IpPo5. 根據(jù)權(quán)利要求1所述的一種基于圖像和模型計(jì)算光照參數(shù)進(jìn)行重光照渲染的方法， 其特征在于，所述步驟4中場(chǎng)景的陰影和高光系數(shù)按照如下散射模型計(jì)算：其中參數(shù)t4Ptn是調(diào)節(jié)圖像光滑度的正閾值，手工設(shè)定。AjPD1為圖像中區(qū)域i的環(huán)境光 和漫反射數(shù)值，/(?)表示圖像中像素？的RGB值。6. 根據(jù)權(quán)利要求1所述的一種基于圖像和模型計(jì)算光照參數(shù)進(jìn)行重光照渲染的方法， 其特征在于，所述步驟5中。最終的渲染仍舊利用最初用于求解光源方向的光照模型。當(dāng)有 了場(chǎng)景的光源方向及陰影、高光等光源信息后，按照光照模型，便可以把該場(chǎng)景中的物體加 入到另一目標(biāo)場(chǎng)景中，只需要再求出目標(biāo)場(chǎng)景中的光源信息，代入到光照模型中即可得最 終的渲染結(jié)果。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于圖像和模型計(jì)算光照參數(shù)進(jìn)行重光照渲染的方法。該方法的步驟如下：1)利用場(chǎng)景的三維點(diǎn)云模型計(jì)算每個(gè)三維點(diǎn)的法向量；2)根據(jù)三維點(diǎn)的坐標(biāo)和法向量以及圖像中的像素值計(jì)算該圖像的光源位置和方向向量；3)假設(shè)圖像的光照模型為Phong模型，利用上述步驟得到的光源信息計(jì)算模型中能量函數(shù)的參數(shù)；4)計(jì)算圖像的陰影和高光區(qū)域；5)給定要渲染的目標(biāo)RGB圖像，把原圖像的場(chǎng)景和光照信息融合渲染到目標(biāo)圖像中，輸出最終的渲染結(jié)果。本發(fā)明方法使得在影視制作后期特效制作的重光照過(guò)程中，簡(jiǎn)化了重光照的過(guò)程，快速輸出重光照渲染結(jié)果，能夠讓用戶初步判斷輸入圖像是否適合用于后期虛實(shí)結(jié)合。解決了現(xiàn)有影視制作過(guò)程無(wú)法發(fā)現(xiàn)鏡頭與后期制作不一致的地方導(dǎo)致的重返工現(xiàn)象。
【IPC分類(lèi)】G06T15/50
【公開(kāi)號(hào)】CN105447906
【申請(qǐng)?zhí)枴緾N201510771082
【發(fā)明人】耿衛(wèi)東, 黃倩妮
【申請(qǐng)人】浙江大學(xué)
【公開(kāi)日】2016年3月30日
【申請(qǐng)日】2015年11月12日