本發(fā)明涉及一種基于神經(jīng)網(wǎng)絡(luò)融合光場信息的光度立體三維重建系統(tǒng)，屬于三維重建。

背景技術(shù)：

1、1980年代初，woodham教授首次提出了光度立體的概念，他認(rèn)為通過利用不同光照條件下的多幅圖像的明暗信息，可以求解物體表面法向，通過對物體表面深度的梯度場進(jìn)行積分，最終得到物體的三維形狀。傳統(tǒng)的光度立體算法通常需要在實(shí)驗(yàn)室環(huán)境下，將物體放置在暗室中進(jìn)行拍攝，并使用特定的標(biāo)定方法來控制光源方向，以避免環(huán)境光的干擾。

2、傳統(tǒng)的光度立體方法由于需要不同光源對物體輪流打光，在重建運(yùn)動物體時存在一定限制，為了解決這個問題，多光譜光度立體的方法被提出。然而，這些方法要求光源與圖像一一對應(yīng)，即光源方向需要事先已知，這帶來了不便之處。得益于深度學(xué)習(xí)技術(shù)的迅猛發(fā)展，近年來在光度立體領(lǐng)域中，深度學(xué)習(xí)的應(yīng)用日益增多。cn110060212b提供了一種基于深度學(xué)習(xí)的多光譜光度立體表面法向恢復(fù)方法，通過傳統(tǒng)算法進(jìn)行一次初始表面法向的估計(jì)，再將其與拍攝的圖像共同輸入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，可以得到準(zhǔn)確的表面法向，但該方法提供的網(wǎng)絡(luò)結(jié)構(gòu)對輸入的特征利用不足，導(dǎo)致網(wǎng)絡(luò)設(shè)置較為復(fù)雜或難以理解，付出的算力成本無法匹配提升的精度；同時，需要光源方向作為輸入進(jìn)行網(wǎng)絡(luò)訓(xùn)練，對光源較多或光源方向不方便獲取的實(shí)際場景較為苛刻。

3、光場相機(jī)是一種先進(jìn)的攝像技術(shù)，可以捕獲關(guān)于光線方向和強(qiáng)度的額外信息。相較于傳統(tǒng)相機(jī)只記錄光線經(jīng)過鏡頭位置和顏色的能力，光場相機(jī)可以記錄光線在這些位置上的方向和強(qiáng)度，因此提供更加豐富和全面的光線信息，但由于微透鏡陣列的限制，導(dǎo)致分辨率下降，影響部分高頻細(xì)節(jié)效果。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出的是一種基于神經(jīng)網(wǎng)絡(luò)融合光場信息的光度立體三維重建系統(tǒng)，其目的在于解決拍攝圖像特征利用不足的問題，通過densenet的密集連接思想搭建網(wǎng)絡(luò)，采用特征重用的方式，建立了每個卷積模塊之間的聯(lián)系，將細(xì)節(jié)的利用率提升，無需光源向量作為輸入，所有的訓(xùn)練輸入只有拍攝的物體圖片，并通過具有微透鏡陣列的光場相機(jī)提高光場信息的利用率，再設(shè)計(jì)算法對拍攝所得的圖片進(jìn)行處理，獲得良好的低頻重建效果，達(dá)到更高的精度，實(shí)現(xiàn)了更為穩(wěn)健的法向恢復(fù)效果，同時拓寬實(shí)驗(yàn)場景。

2、本發(fā)明的技術(shù)解決方案：

3、一種基于神經(jīng)網(wǎng)絡(luò)融合光場信息的光度立體三維重建系統(tǒng)，包括以下部分：光場信息采集裝置、神經(jīng)網(wǎng)絡(luò)-光度立體表面法向恢復(fù)模塊、光場信息表面法向恢復(fù)模塊及數(shù)據(jù)融合輸出模塊。

4、其中，光場信息采集裝置分別連接神經(jīng)網(wǎng)絡(luò)-光度立體表面法向恢復(fù)模塊及光場信息表面法向恢復(fù)模塊；數(shù)據(jù)融合輸出模塊分別連接神經(jīng)網(wǎng)絡(luò)-光度立體表面法向恢復(fù)模塊及光場信息表面法向恢復(fù)模塊；

5、光場信息采集裝置拍攝圖片后，進(jìn)行圖像解碼，將可重聚焦的圖片導(dǎo)出并解調(diào)，分別輸入神經(jīng)網(wǎng)絡(luò)-光度立體表面法向恢復(fù)模塊及光場信息表面法向恢復(fù)模塊；神經(jīng)網(wǎng)絡(luò)-光度立體表面法向恢復(fù)模塊輸出多光譜光度立體重建深度圖；光場信息表面法向恢復(fù)模塊輸出光場相機(jī)深度圖；數(shù)據(jù)融合輸出模塊將多光譜光度立體深度圖和光場相機(jī)深度圖融合后輸出。

6、進(jìn)一步地，光場信息采集裝置包括遮光罩、滑軌、光源、光場相機(jī)；滑軌設(shè)置在遮光罩上；光源為rgb三色光源，安裝在滑軌上；采集相機(jī)安裝在遮光罩頂部，光場相機(jī)在成像透鏡和圖像傳感器之間設(shè)置微透鏡陣列。

7、作為優(yōu)選方案，微透鏡陣列放置在光場相機(jī)主鏡頭成像平面上；微透鏡陣列與圖像傳感器平行排列，間距等于微透鏡陣列焦距；

8、作為優(yōu)選方案，微透鏡陣列采用六邊形排列，包含15×15個微透鏡，一次拍攝解調(diào)225個視角圖片。

9、進(jìn)一步地，神經(jīng)網(wǎng)絡(luò)-光度立體表面法向恢復(fù)模塊中，采用密集連接網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)：密集連接網(wǎng)絡(luò)結(jié)構(gòu)包括預(yù)處理卷積層、密集塊、過渡層和回歸層，包含有若干個密集塊。

10、進(jìn)一步地，預(yù)處理卷積層位于初始密集塊之前，回歸層位于最終密集塊之后，若干個密集塊之間通過過渡層連接。

11、作為優(yōu)選方案，預(yù)處理卷積層的卷積核為1×1。

12、作為優(yōu)選方案，過渡層內(nèi)依次設(shè)置批量歸一化層、激活函數(shù)、卷積層和池化層；過渡層卷積層的卷積核為1×1，過渡層激活函數(shù)為relu。

13、作為優(yōu)選方案，回歸層內(nèi)依次設(shè)置多個反卷積層和1個卷積層；其反卷積層的卷積核為4×4，步長為2；回歸層卷積層的卷積核為3×3。

14、進(jìn)一步地，密集塊內(nèi)包含若干個密集層，在密集塊內(nèi)順序分布；密集層內(nèi)設(shè)有通道增加卷積層和操作卷積層，通道增加卷積層在操作卷積層之前。

15、作為優(yōu)選方案，通道增加卷積層的卷積核為1×1，通道增加卷積層之前依次設(shè)置批量歸一化層和激活函數(shù)，激活函數(shù)為leakyrelu。

16、作為優(yōu)選方案，操作卷積層的卷積核為3×3，操作卷積層之前依次設(shè)置批量歸一化層和激活函數(shù)，激活函數(shù)為leakyrelu。

17、作為優(yōu)選方案，密集連接網(wǎng)絡(luò)結(jié)構(gòu)采用的優(yōu)化算法為adam算法，采用的損失函數(shù)為余弦相似度損失函數(shù)。

18、進(jìn)一步地，光場信息采集裝置拍攝圖像后，通道分離得到多個單通道灰度圖，分別輸入到神經(jīng)網(wǎng)絡(luò)-光度立體表面法向恢復(fù)模塊中得到多個單通道法向量恢復(fù)結(jié)果；將多個單通道法向量恢復(fù)結(jié)果求平均，得到最終重建出的物體表面法向圖。

19、進(jìn)一步地，光場信息表面法向恢復(fù)模塊具體包括以下步驟：

20、（1）通過對光場信息采集裝置自帶文件進(jìn)行處理，進(jìn)行相機(jī)標(biāo)定；

21、（2）對子孔徑圖像分析，進(jìn)行畸變矯正；

22、（3）采用基于相移的亞像素位移法進(jìn)行深度圖估計(jì)，同時設(shè)置代價函數(shù)進(jìn)行優(yōu)化，以及進(jìn)行后續(xù)的視察優(yōu)化和增強(qiáng)，得到對應(yīng)的深度圖。

23、作為優(yōu)選方案，數(shù)據(jù)融合輸出模塊采用的融合方法為濾波融合：對多光譜光度立體深度圖和光場相機(jī)深度圖分別通過正向傅里葉變換進(jìn)行頻域映射得到頻域圖像，通過頻域?yàn)V波器將光場相機(jī)深度圖的低頻部分與多光譜光度立體深度圖的高頻部分按權(quán)重系數(shù)進(jìn)行融合處理，再對混合后的頻域圖像進(jìn)行傅里葉逆變換，得到最終的深度圖。

24、進(jìn)一步地，頻域?yàn)V波器針對不同物體利用算法自適應(yīng)設(shè)置閾值，具體是通過識別頻域圖像上高頻細(xì)節(jié)部分的比例，自動調(diào)整多光譜光度立體深度圖的閾值；權(quán)重系數(shù)為根據(jù)輸入圖片中高低頻細(xì)節(jié)的組成自適應(yīng)調(diào)整。

25、作為優(yōu)選方案，數(shù)據(jù)融合輸出模塊采用的融合方法為小波變換：對多光譜光度立體深度圖和光場相機(jī)深度圖分別進(jìn)行離散小波變換，分別得到小波系數(shù)；從多光譜光度立體深度圖小波系數(shù)中提取高頻部分，具體為將較高層次的小波系數(shù)置為零，保留較低層次的細(xì)節(jié)信息；從光場相機(jī)深度圖小波系數(shù)提取低頻部分，具體為將較低層次的小波系數(shù)置為零，保留較高層次的平滑信息；通過加權(quán)平均值融合上述保留信息，得到融合后的小波系數(shù)；對融合后的小波系數(shù)進(jìn)行逆變換，得到最終的深度圖。

26、本發(fā)明的有益效果：

27、1）應(yīng)用場景更加廣泛，可以適用更大的圖片輸入尺寸；

28、2）裝置簡易，只需將拍攝物體表面的圖片輸入即可，同時引入光場優(yōu)勢，無需進(jìn)行別的操作，流程較為簡易，易于實(shí)現(xiàn)；

29、3）相對于標(biāo)定光度立體任務(wù)中較為繁瑣的多輸入，本技術(shù)提供的網(wǎng)絡(luò)設(shè)計(jì)更為簡易且重建效果良好，同時也避免了部分由于光源向量不準(zhǔn)確而引起的誤差；

30、4）基于混合重建的思想，提高了光場信息的利用率，并通過算法對拍攝所得的圖片進(jìn)行處理，能獲得良好的低頻重建效果，為光度立體三維重建技術(shù)低頻部分失真問題，提供了高魯棒性的解決方案。