本技術(shù)涉及計(jì)算機(jī)圖像處理領(lǐng)域，具體涉及一種熱成像的動(dòng)態(tài)光場(chǎng)三維渲染方法及三維渲染裝置。

背景技術(shù)：

1、光場(chǎng)復(fù)現(xiàn)指的是從捕獲的數(shù)據(jù)中生成新的視角圖像或重建三維場(chǎng)景，而如何使用一組圖片對(duì)場(chǎng)景進(jìn)行更精確的三維重建已然成為計(jì)算機(jī)圖像處理領(lǐng)域共同攻克的難題。傳統(tǒng)光場(chǎng)技術(shù)通過捕捉和存儲(chǔ)場(chǎng)景中所有光線的方向和位置，結(jié)合立體重建和訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)等方法，并依賴體素、點(diǎn)云等方案來對(duì)三維場(chǎng)景建模，而在分辨率需求較高時(shí)，體素與點(diǎn)云對(duì)存儲(chǔ)成本和算力需求會(huì)呈現(xiàn)出立方級(jí)增長，應(yīng)用場(chǎng)景因此大大受限，實(shí)際模型精細(xì)度往往達(dá)不到理想的效果。

2、目前更高效的光場(chǎng)復(fù)現(xiàn)手段是對(duì)場(chǎng)景進(jìn)行模型預(yù)測(cè)或進(jìn)行基于圖像的三維表達(dá)，其中最著名的方法nerf(neural?radiance?fields，即神經(jīng)輻射場(chǎng))將隱式表示與體積渲染相結(jié)合，根據(jù)輸入的相機(jī)位姿計(jì)算出圖片中每一像素對(duì)應(yīng)的光線在空間中的真實(shí)位置，在光線上采樣查詢點(diǎn)的坐標(biāo)，將坐標(biāo)作為輸入?yún)?shù)投入mlp模型中查詢。模型輸出該查詢點(diǎn)的顏色和透明度信息，將一條光線上的采樣點(diǎn)信息通過體渲染方法合成一個(gè)像素的顏色，以此方法計(jì)算出一張圖片上所有的像素信息后合成圖像輸出。

3、隨著三維重建研究的深入，人們無法滿足于靜態(tài)場(chǎng)景，繼而對(duì)動(dòng)態(tài)場(chǎng)景的三維重建方法進(jìn)行探索。動(dòng)態(tài)光場(chǎng)是光場(chǎng)的一種擴(kuò)展，除了記錄光線的方向和位置信息以外，還記錄了這些信息在時(shí)間上的變化，由此捕捉動(dòng)態(tài)場(chǎng)景中的光線變化，可以用于解決動(dòng)態(tài)場(chǎng)景重建時(shí)光照變化及運(yùn)動(dòng)物體視圖變化等問題。早期的重建方案著眼于設(shè)置基于圓頂?shù)亩嘁晥D，在動(dòng)態(tài)重建中對(duì)場(chǎng)景進(jìn)行高保真重建和紋理渲染。最近，使用rgb-d傳感器和gpu的體積方法已經(jīng)實(shí)現(xiàn)了動(dòng)態(tài)場(chǎng)景的實(shí)時(shí)三維重建，并消除了對(duì)預(yù)掃描模板模型的依賴。

4、更進(jìn)一步的動(dòng)態(tài)光場(chǎng)復(fù)現(xiàn)工作將nerf的擴(kuò)展到動(dòng)態(tài)場(chǎng)景中。其中常見的方法有將時(shí)間信息與空間信息一同輸送至神經(jīng)輻射場(chǎng)中進(jìn)行場(chǎng)景重建；還有方法則將重建動(dòng)態(tài)場(chǎng)景分解為學(xué)習(xí)從當(dāng)前場(chǎng)景到每個(gè)時(shí)間戳(timestamp)的基準(zhǔn)場(chǎng)景的空間映射，從而回歸輻射場(chǎng)；除了rgb圖像之外，還有使用飛行時(shí)間(tof)相機(jī)捕獲的深度信息來優(yōu)化神經(jīng)輻射場(chǎng)。

5、總體而言，光場(chǎng)復(fù)現(xiàn)的傳統(tǒng)三維重建方法生成離散的三維點(diǎn)云，致使最終渲染結(jié)果精度有限，而提高精度需要大幅提高點(diǎn)云密度，大大增加存儲(chǔ)空間和運(yùn)算時(shí)間開銷。此外，現(xiàn)有nerf對(duì)動(dòng)態(tài)光場(chǎng)三維重建的技術(shù)尚不成熟，已研究的解決方案的訓(xùn)練時(shí)間及渲染時(shí)間仍較長。同時(shí)，現(xiàn)有nerf尚未有針對(duì)熱成像的動(dòng)態(tài)光場(chǎng)開發(fā)的算法，并且針對(duì)可見光動(dòng)態(tài)場(chǎng)景開發(fā)的nerf算法在學(xué)習(xí)熱成像動(dòng)態(tài)場(chǎng)景時(shí)花銷時(shí)間巨大卻輸出低質(zhì)量場(chǎng)景視圖合成。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)解決的技術(shù)問題是：如何對(duì)動(dòng)態(tài)的場(chǎng)景進(jìn)行熱成像三維重建并提高熱成像的三維渲染精度。為解決該問題，本技術(shù)提供一種熱成像的動(dòng)態(tài)光場(chǎng)三維渲染方法及三維渲染裝置。

2、根據(jù)第一方面，本技術(shù)提供一種熱成像的動(dòng)態(tài)光場(chǎng)三維渲染方法，包括：獲取目標(biāo)物體的熱紅外探測(cè)數(shù)據(jù)并處理得到光線信息；根據(jù)所述光線信息生成所述目標(biāo)物體的多維度信息，所述多維度信息包括空間位置、探測(cè)方向、探測(cè)距離和拍攝時(shí)間；基于多維度信息預(yù)測(cè)基準(zhǔn)空間的變形場(chǎng)；基于多維度信息和變形場(chǎng)信息計(jì)算所述目標(biāo)物體成像的像素信息，所述像素信息包括任一像素點(diǎn)的透明度值和灰度值；利用所述像素信息生成對(duì)應(yīng)像素點(diǎn)的渲染像素值；整合所述目標(biāo)物體成像的各成像點(diǎn)分別對(duì)應(yīng)的渲染像素值生成熱紅外圖像或熱紅外視頻。

3、進(jìn)一步地，所述獲取目標(biāo)物體的熱紅外探測(cè)數(shù)據(jù)并處理得到光線信息，包括：從紅外探測(cè)相機(jī)獲取所述目標(biāo)物體的熱紅外探測(cè)數(shù)據(jù)，以及在所述紅外探測(cè)相機(jī)的相機(jī)坐標(biāo)系中確定所述熱紅外探測(cè)數(shù)據(jù)對(duì)應(yīng)的各個(gè)成像光點(diǎn)；計(jì)算各個(gè)成像光點(diǎn)分別對(duì)應(yīng)的光線方向和顏色，基于各個(gè)成像光點(diǎn)分別對(duì)應(yīng)的光線方向和顏色形成為所述光線信息。

4、進(jìn)一步地，所述根據(jù)所述光線信息生成所述目標(biāo)物體的多維度信息，包括：利用所述光線信息中的各個(gè)成像光點(diǎn)分別對(duì)應(yīng)的光線方向和顏色，處理得到所述目標(biāo)物體上每個(gè)特征點(diǎn)在三維空間中的坐標(biāo)值x、y、z，每個(gè)特征點(diǎn)相對(duì)所述熱紅外相機(jī)的角度值θ、φ，每個(gè)特征點(diǎn)到所述熱紅外相機(jī)的距離d，以及每個(gè)特征點(diǎn)成像的時(shí)間t；將坐標(biāo)值x、y、z形成為所述目標(biāo)物體上每個(gè)特征點(diǎn)的空間位置，將角度值θ、φ形成為每個(gè)特征點(diǎn)的探測(cè)方向，將距離d形成為每個(gè)特征點(diǎn)的探測(cè)距離，將時(shí)間t形成每個(gè)特征點(diǎn)的拍攝時(shí)間；基于所述目標(biāo)物體上每個(gè)特征點(diǎn)的空間位置、探測(cè)方向、探測(cè)距離及拍攝時(shí)間形成為所述多維度信息。

5、進(jìn)一步地，所述基于所述多維度信息計(jì)算所述目標(biāo)物體成像的像素信息，包括：將多維度信息進(jìn)行高維度的編碼，得到空間位置和拍攝時(shí)間分別對(duì)應(yīng)的編碼信息；編碼后的位置信息和時(shí)間信息輸入預(yù)設(shè)的變形網(wǎng)絡(luò)，輸出變形后的空間位置以及對(duì)應(yīng)的編碼信息；將變形后的空間位置對(duì)應(yīng)的編碼信息輸入預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)的前網(wǎng)絡(luò)層，利用前網(wǎng)絡(luò)層的輸出結(jié)果得到任一像素點(diǎn)的透明度值；將任一像素點(diǎn)的透明度值，以及探測(cè)方向?qū)?yīng)的編碼信息、探測(cè)距離對(duì)應(yīng)的編碼信息輸入所述預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)的后網(wǎng)絡(luò)層，通過融合處理得到任一像素點(diǎn)的灰度值；基于任一像素的透明度值和灰度值形成為所述像素信息。

6、進(jìn)一步地，所述將所述多維度信息進(jìn)行高維度的編碼，分別得到空間位置、探測(cè)方向、探測(cè)到距離對(duì)應(yīng)的編碼信息，包括：將所述多維度信息中每個(gè)特征點(diǎn)的空間位置、探測(cè)方向和探測(cè)距離進(jìn)行傅里葉特性的高維映射，利用每個(gè)特征點(diǎn)的高維映射結(jié)果得到空間位置、探測(cè)方向、探測(cè)距離分別對(duì)應(yīng)的編碼信息。

7、進(jìn)一步地，所述基于所述多維度信息預(yù)測(cè)基準(zhǔn)空間的變形場(chǎng)，生成變形編碼信息，包括：將所述多維度信息進(jìn)行高維度的編碼，得到空間位置、探測(cè)方向、探測(cè)距離和拍攝時(shí)間分別對(duì)應(yīng)的編碼信息；將空間位置和拍攝時(shí)間對(duì)應(yīng)的編碼信息輸入預(yù)設(shè)的變形網(wǎng)絡(luò)，輸出變形后的空間位置以及對(duì)應(yīng)的編碼信息。

8、進(jìn)一步地，所述根據(jù)所述變形編碼信息計(jì)算所述目標(biāo)物體成像的像素信息，包括：將變形后的空間位置對(duì)應(yīng)的編碼信息輸入預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)的前網(wǎng)絡(luò)層，利用前網(wǎng)絡(luò)層的輸出結(jié)果得到任一像素點(diǎn)的透明度值；將任一像素點(diǎn)的透明度值，以及探測(cè)方向?qū)?yīng)的編碼信息、探測(cè)距離對(duì)應(yīng)的編碼信息輸入所述預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)的后網(wǎng)絡(luò)層，通過融合處理得到任一像素的灰度值；基于任一像素的透明度值和灰度值形成為所述像素信息。

9、進(jìn)一步地，所述將所述多維度信息進(jìn)行高維度的編碼，分別得到空間位置、探測(cè)方向、探測(cè)到距離對(duì)應(yīng)的編碼信息，包括：將所述多維度信息中每個(gè)特征點(diǎn)的空間位置、探測(cè)方向和探測(cè)距離進(jìn)行傅里葉特性的高維映射，利用每個(gè)特征點(diǎn)的高維映射結(jié)果得到空間位置、探測(cè)方向、探測(cè)距離分別對(duì)應(yīng)的編碼信息。

10、進(jìn)一步地，所述利用所述像素信息生成對(duì)應(yīng)像素點(diǎn)的渲染像素值，包括：從所述像素信息獲取任一像素的透明度值和灰度值；利用任一像素的透明度值計(jì)算對(duì)應(yīng)的不透明度值；對(duì)任一像素的透明度值、灰度值以及不透明度值進(jìn)行融合處理，生成對(duì)應(yīng)像素點(diǎn)的渲染像素值。

11、進(jìn)一步地，在利用所述像素信息生成對(duì)應(yīng)像素點(diǎn)的渲染像素值之后，還包括：比較得到任一像素的灰度值與對(duì)應(yīng)的渲染像素值之間的誤差信息，所述誤差信息包括psmr值和/或均方差值；根據(jù)所述誤差信息調(diào)整所述預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，以通過負(fù)反饋優(yōu)化所述預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的網(wǎng)絡(luò)模型。

12、根據(jù)第二方面，本技術(shù)提供一種三維渲染裝置，包括：光線生成模塊，用于獲取目標(biāo)物體的熱紅外探測(cè)數(shù)據(jù)并處理得到光線信息；信息生成模塊，與所述光線生成模塊連接，用于根據(jù)所述光線信息生成所述目標(biāo)物體的多維度信息，所述多維度信息包括空間位置、探測(cè)方向、探測(cè)距離和拍攝時(shí)間；信息查詢模塊，與所述信息生成模塊連接，用于基于所述多維度信息預(yù)測(cè)基準(zhǔn)空間的變形場(chǎng)，生成變形編碼信息，以及根據(jù)所述變形編碼信息計(jì)算所述目標(biāo)物體成像的像素信息，所述像素信息包括任一像素點(diǎn)的透明度值和灰度值；光線渲染模塊，與所述信息查詢模塊相連，用于利用所述像素信息生成對(duì)應(yīng)像素點(diǎn)的渲染像素值；圖像生成模塊，與所述光線渲染模塊連接，用于整合所述目標(biāo)物體成像的各像素點(diǎn)分別對(duì)應(yīng)的渲染像素值生成熱紅外圖像或熱紅外視頻。

13、進(jìn)一步地，所述的三維渲染裝置還包括誤差計(jì)算模塊和模型優(yōu)化模塊；所述誤差計(jì)算模塊與光線渲染模塊連接，用于比較得到任一像素的灰度值與對(duì)應(yīng)的渲染像素值之間的誤差信息，所述誤差信息包括psmr值和/或均方差值；所述模型優(yōu)化模塊與所述誤差計(jì)算模塊、所述信息查詢模塊連接，用于根據(jù)所述誤差信息調(diào)整預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，以通過負(fù)反饋優(yōu)化所述預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的網(wǎng)絡(luò)模型；所述預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)被配置于信息查詢模塊內(nèi)，用于參與計(jì)算所述目標(biāo)物體成像的像素信息。

14、根據(jù)第三方面，本技術(shù)提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有程序，所述程序能夠被處理器處理以實(shí)現(xiàn)上述第一方面中所述的三維渲染方法。

15、本技術(shù)的有益成果是：

16、依據(jù)上述的熱成像的動(dòng)態(tài)光場(chǎng)三維渲染方法及三維渲染裝置，由于在三維渲染方法中改變了信息生成和查詢的維度，相較于基于原始nerf的三維重建方法，實(shí)現(xiàn)四維時(shí)域空域神經(jīng)表征，實(shí)時(shí)捕捉并重建動(dòng)態(tài)場(chǎng)景的三維結(jié)構(gòu)，可以更準(zhǔn)確地記錄和重現(xiàn)現(xiàn)實(shí)世界中的動(dòng)態(tài)事件，為各種應(yīng)用提供更豐富、更真實(shí)的數(shù)據(jù)；其次，貼合了紅外輻射強(qiáng)度隨距離而遞減的特性，渲染出的熱紅外圖像更好地體現(xiàn)目標(biāo)物體的輻射強(qiáng)度信息，能夠采集到紅外圖像更多的關(guān)鍵信息，增強(qiáng)了三維渲染效果和渲染精度。

17、本技術(shù)技術(shù)方案通過在神經(jīng)輻射場(chǎng)中引入變形網(wǎng)絡(luò)進(jìn)行優(yōu)化，以預(yù)測(cè)特定時(shí)刻的場(chǎng)景與基準(zhǔn)空間中的場(chǎng)景之間的變形場(chǎng)，再將信息進(jìn)行深度學(xué)習(xí)，根據(jù)相機(jī)參數(shù)生成圖像中每一個(gè)像素在空間中的對(duì)應(yīng)光線，通過訓(xùn)練mlp模型來推理光線中點(diǎn)的灰度值和透明度值，再通過三維渲染技術(shù)根據(jù)查詢信息逐光線地生成每個(gè)像點(diǎn)的渲染像素值，最后合成熱紅外圖像和熱紅外視頻?？梢岳斫?，本技術(shù)技術(shù)方案不但通過在輸入信息中增加時(shí)間變量，預(yù)測(cè)某空間點(diǎn)在某一時(shí)刻的位移，再結(jié)合nerf的標(biāo)準(zhǔn)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)移動(dòng)或變形的物體進(jìn)行三維重建；同時(shí)，實(shí)現(xiàn)端對(duì)端的訓(xùn)練，直接從輸入數(shù)據(jù)到最終輸出進(jìn)行訓(xùn)練，而不需要手動(dòng)設(shè)計(jì)中間步驟、設(shè)計(jì)特征提取或者增加額外組件。更一步地，壓縮了光線生成數(shù)量，而且加快了訓(xùn)練速度，同時(shí)以神經(jīng)網(wǎng)絡(luò)權(quán)值隱式儲(chǔ)存體素信息，由于儲(chǔ)存權(quán)值以及函數(shù)的連續(xù)性特征，因此可以通過極小的存儲(chǔ)空間植入極大的信息，渲染出高清晰度的立體圖像。