本發(fā)明涉及圖像處理技術(shù)中的質(zhì)量評價，特別是涉及一種從稀疏到密集視點的全參考光場圖像質(zhì)量評價方法。

背景技術(shù)：

1、作為一種多維計算攝像技術(shù)，光場成像技術(shù)可以同時記錄成像平面的光強分布以及光線的角度信息，被認為是下一代成像技術(shù)。光場圖像記錄了從不同方向到達某個特定位置的所有光線的強度和方向信息，與傳統(tǒng)的二維圖像和三維圖像相比，光場圖像提供了更為豐富的場景信息。這些獨特的優(yōu)勢使得光場技術(shù)在虛擬現(xiàn)實、增強現(xiàn)實、計算攝影學(xué)和醫(yī)療成像等領(lǐng)域具有廣泛的應(yīng)用前景。例如，通過光場相機拍攝的光場圖像，可以在后期處理中實現(xiàn)自由視角觀看、景深調(diào)整、焦點再選擇和3d建模等功能。盡管光場圖像的多視角和多維度信息為圖像處理和應(yīng)用帶來了新的機遇，但同時也帶來了顯著的技術(shù)挑戰(zhàn)。其中，光場圖像質(zhì)量評價(light?field?image?qualityassessment,lfiqa)是一個亟需解決的關(guān)鍵問題。傳統(tǒng)的圖像質(zhì)量評價方法通?；谌祟愐曈X系統(tǒng)模型，評估二維圖像的失真程度和視覺質(zhì)量，這些方法在處理光場圖像時往往表現(xiàn)出局限性。這主要是因為光場圖像不僅包含二維圖像的基本信息，還包含了光線的方向和空間分布信息，這使得其質(zhì)量評價變得更加復(fù)雜。

2、目前，光場圖像質(zhì)量評價的方法主要分為主觀評價和客觀評價兩大類。客觀評價方法主要包括基于特征提取、深度學(xué)習(xí)和綜合多視角信息的評估模型?；谔卣魈崛〉姆椒ㄍǔＭㄟ^提取光場圖像的紋理、邊緣和結(jié)構(gòu)等特征來評估圖像質(zhì)量。然而，由于光場圖像的高維度和復(fù)雜性，這些特征提取方法在處理多視角和深度信息時表現(xiàn)出一定的局限性。深度學(xué)習(xí)方法通過構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，利用大規(guī)模的光場圖像數(shù)據(jù)進行訓(xùn)練，可以自動學(xué)習(xí)光場圖像的質(zhì)量評價標準。然而，這些方法往往需要大量的計算資源和訓(xùn)練數(shù)據(jù)，而且在實際應(yīng)用中，深度學(xué)習(xí)模型的泛化能力和魯棒性仍需進一步驗證。綜合多視角信息的評估模型則嘗試將光場圖像的各個視角信息結(jié)合起來，構(gòu)建更加全面的質(zhì)量評價模型。這些方法可以更好地反映光場圖像的整體視覺效果，但同時也增加了模型的復(fù)雜度和計算量。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種從稀疏到密集視點的全參考光場圖像質(zhì)量評價方法，深入挖掘光場圖像子孔徑陣列圖像的空間相關(guān)性以及充分利用人眼視覺特性，提高評分質(zhì)量。

2、為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

3、一種從稀疏到密集視點的全參考光場圖像質(zhì)量評價方法，包括：

4、獲取若干不同大小的子孔徑圖像陣列，從所述子孔徑圖像陣列中分別選取若干張子孔徑圖像并進行處理，獲取原始視點圖像堆棧y通道信息和失真視點圖像堆棧y通道信息；

5、將所述原始視點圖像堆棧y通道信息和所述失真視點圖像堆棧y通道信息進行特征提取，獲取完整原始圖像堆棧特征和完整失真圖像堆棧特征，并獲取所述完整原始圖像堆棧特征和所述完整失真圖像堆棧特征之間的對比特征；

6、對所述完整原始圖像堆棧特征、所述完整失真圖像堆棧特征和所述對比特征進行圖像注意信息提??；

7、將所述圖像注意信息的維度進行重新排列后，提取光場圖像特征；

8、基于所述光場圖像特征，獲取最終特征向量信息，并基于所述最終特征向量信息獲取最終質(zhì)量分數(shù)。

9、可選的，對所述子孔徑圖像并進行處理包括：

10、從所述子孔徑圖像陣列中分別選取若干張子孔徑圖像，獲取新的子孔徑圖像陣列；

11、基于水平方向，從所述新的子孔徑圖像陣列選取若干視點圖像進行堆疊，獲取視點圖像堆棧；

12、對所述視點圖像堆棧進行隨機裁剪，概率進行旋轉(zhuǎn)，縮放預(yù)處理，并將預(yù)處理后的視點圖像堆棧從rgb空間轉(zhuǎn)換到y(tǒng)uv空間，獲取所述原始視點圖像堆棧y通道信息和所述失真視點圖像堆棧y通道信息。

13、可選的，獲取完整原始圖像堆棧特征和完整失真圖像堆棧特征包括：

14、將所述原始視點圖像堆棧y通道信息和所述失真視點圖像堆棧y通道信息輸入vit特征提取網(wǎng)絡(luò)，獲取原始圖像堆棧特征和失真圖像堆棧特征；

15、利用rearrange函數(shù)對所述原始圖像堆棧特征和所述失真圖像堆棧特征進行特征維度變換，將維度變換后的原始圖像堆棧和失真圖像堆棧進行級聯(lián)，獲取所述完整原始圖像堆棧特征和所述完整失真圖像堆棧特征。

16、可選的，獲取所述完整原始圖像堆棧特征和所述完整失真圖像堆棧特征之間的對比特征包括：對所述完整原始圖像堆棧特征和所述完整失真圖像堆棧特征輸入特征對比網(wǎng)絡(luò)進行對比特征放大，獲取所述對比特征；

17、所述對比特征放大的方法為：

18、

19、其中，e代表完整原始圖像堆棧特征和完整失真圖像堆棧特征之間放大后的對比特征，ir代表完整原始圖像堆棧特征、id代表完整失真圖像堆棧特征，為參數(shù)。

20、可選的，將所述完整原始圖像堆棧特征、所述完整失真圖像堆棧特征和所述對比特征進行圖像注意信息提取之前包括：利用降維卷積對所述完整原始圖像堆棧特征、所述完整失真圖像堆棧特征和所述對比特征進行特征降維。

21、可選的，提取所述圖像注意信息包括：

22、將所述完整原始圖像堆棧特征、所述完整失真圖像堆棧特征和所述對比特征輸入坐標感知殘差網(wǎng)絡(luò)，提取所述圖像注意信息，其中所述坐標感知殘差網(wǎng)絡(luò)基于在殘差跳躍連接中嵌入坐標注意力模塊構(gòu)建。

23、可選的，所述坐標感知殘差網(wǎng)絡(luò)提取所述圖像注意信息包括：

24、將降維后的所述完整原始圖像堆棧特征、所述完整失真圖像堆棧特征和所述對比特征作物輸入特征輸入x平均池和y平均池，分別對高度和寬度進行自適應(yīng)平均池化獲取池化后的特征；

25、將池化后的特征進行級聯(lián)和降維后，輸入batchnorm層，獲取降維后的特征；

26、將所述降維后的特征進行激活，獲取激活后的特征，將所述降維后的特征和所述激活后的特征進行點乘，獲取點乘后的特征；

27、通過split函數(shù)將所述點乘后的特征在預(yù)設(shè)維度進行分割，獲取第一特征和第二特征；

28、對所述第二特征進行轉(zhuǎn)置操作，將轉(zhuǎn)置操作后的第二特征和所述第一特征輸入升維卷積并采用sigmoid函數(shù)激活，將激活后的第一特征、第二特征和所述輸入特征進行點乘，獲取所述圖像注意信息。

29、可選的，將所述圖像注意信息的維度進行重新排列包括：利用rearrange函數(shù)對所述圖像注意信息的維度進行重新排列。

30、可選的，基于所述光場圖像特征，獲取最終特征向量信息包括：

31、將所述光場圖像特征進行重新排列，獲取維度轉(zhuǎn)換后的特征，其中所述光場圖像特征基于swintransformer網(wǎng)絡(luò)提取；

32、將所述維度轉(zhuǎn)換后的特征進行級聯(lián)，獲取級聯(lián)特征；

33、采用rearrange函數(shù)對所述級聯(lián)特征進行重新排列，對重新排列后的級聯(lián)特征進行切片操作，獲取所述最終特征向量信息。

34、可選的，獲取最終質(zhì)量分數(shù)包括：

35、將所述最終特征向量信息輸入質(zhì)量回歸網(wǎng)絡(luò)，獲取所述最終質(zhì)量分數(shù)，其中所述質(zhì)量回歸網(wǎng)絡(luò)由linear全連接層和gelu激活函數(shù)組成。

36、本發(fā)明的有益效果為：

37、由于光場圖像不僅包含二維圖像的基本信息，還包含了光線的方向和空間分布信息，這使得其質(zhì)量評價變得更加復(fù)雜。本發(fā)明提出的方法可以利用從稀疏到密集的光場圖像的子孔徑圖像堆棧的表征形式，更符合人眼視覺特性，提高了全參考光場圖像質(zhì)量評價的評分效果。