本發(fā)明屬于圖像處理，更為具體地講，涉及一種基于無監(jiān)督相機色彩空間映射的ai-isp泛化方法。

背景技術(shù)：

1、圖像信號處理器(isp)是指將相機捕捉到的低質(zhì)量原始raw圖像轉(zhuǎn)換為高質(zhì)量srgb圖像的一系列圖像處理模塊，傳統(tǒng)isp系統(tǒng)包括白平衡模塊、去噪模塊、去馬賽克模塊等。近年來，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于人工智能的圖像處理器(ai-isp)已經(jīng)成為處理原始raw圖像的更有效方法。當(dāng)前的ai-isp方法一般使用端到端的深度神經(jīng)網(wǎng)絡(luò)替換所有isp模塊，并使用精心采集的成對原始raw圖像和srgb圖像進行訓(xùn)練。

2、然而，由于相機濾光片的光譜敏感性不同，不同相機拍攝的原始圖像存在于不同的色彩空間中，這導(dǎo)致ai-isp在跨不同相機部署時表現(xiàn)不佳，一般來說，每一種ai-isp在訓(xùn)練之后僅能部署在一種相機上，每一個相機都需要針對性的重新拍攝數(shù)據(jù)集進行對應(yīng)ai-isp的訓(xùn)練，重新拍攝配對數(shù)據(jù)集并重新訓(xùn)練ai-isp的過程十分繁瑣。目前，雖然存在一些白平衡模塊和去噪模塊的泛化方法，如mahmoud?afifi等人提出的c5(cross?cameraconvolutional?color?constancy)模型可用于白平衡模塊的跨相機部署，封等人提出的物理引導(dǎo)低光raw去噪算法可用于去噪模塊的跨相機部署，但目前位置，尚無針對整個ai-isp模型的泛化方法。

3、現(xiàn)有的ai-isp泛化方法具有以下缺點：1.不適用于整個端到端ai-isp的泛化，僅能夠完成部分模塊的不完全泛化。2.無法應(yīng)用于復(fù)雜光照場景，僅適用于簡單、確定的光照條件。3.需要相機相關(guān)的元數(shù)據(jù)，而該部分元數(shù)據(jù)難以獲取。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于無監(jiān)督相機色彩空間映射的ai-isp泛化方法，將復(fù)雜、未知光照條件下拍攝的raw圖像映射至特定相機色彩空間，再由ai-isp進行處理，避免了ai-isp的重新訓(xùn)練以及數(shù)據(jù)集的重新采集。

2、為實現(xiàn)上述發(fā)明目的，本發(fā)明一種基于無監(jiān)督相機色彩空間映射的ai-isp泛化方法，其特征在于，包括以下步驟：

3、(1)、圖像采集及預(yù)處理；

4、(1.1)、設(shè)置相機a與相機b的圖像采集格式為raw格式，采集后的圖片以rggb陣列形式排列；

5、(1.2)、在相同場景條件下，分別使用相機a與相機b采集若干張圖像，其中，將相機a采集到的圖像保存在圖像集合a中，將相機b采集的圖像保存在圖像集合b中；

6、(1.3)、對于任意一個圖像集合，將圖像集合中的每一張圖像先進行歸一化處理，再進行通道轉(zhuǎn)換，使每一張圖像由原來的一通道轉(zhuǎn)換為四通道，最后將通道轉(zhuǎn)換后的圖像裁剪成h*w大小的圖塊；

7、最后，將圖像集合a中的每一張圖像進行處理后存入圖塊集set(a)；將圖像集合b中的每一張圖像進行處理后存入圖塊集set(b)；

8、(2)、搭建循環(huán)對抗生成網(wǎng)絡(luò)；

9、循環(huán)對抗生成網(wǎng)絡(luò)包括兩個生成器和兩個判別器，其中，兩個生成器均采用相機色彩空間分塊映射網(wǎng)絡(luò)，分別記為ga→b和gb→a，ga→b用于將相機a的色彩空間下的圖像映射至相機b的色彩空間，另一個網(wǎng)絡(luò)gb→a用于將相機b的色彩空間下的圖像映射至相機a的色彩空間；

10、相機色彩空間分塊映射網(wǎng)絡(luò)由特征提取網(wǎng)絡(luò)以及參數(shù)矩陣預(yù)測網(wǎng)絡(luò)組成，其中，特征提取網(wǎng)絡(luò)具有卷積分支和transformer分支兩個分支，并通過變形與卷積操作來進行兩個分支的特征融合，具體來說，卷積分支由8層卷積層組成，transformer分支由4層transformer層組成，每2層卷積層與1層transformer層組成一個小塊；對于輸入小塊的圖像i，首先會被同時送入第1層卷積和transformer層，第1層卷積處理完圖像后，將圖像直接送入第2層卷積，transformer層會將圖像分塊，下采樣并進行嵌入操作轉(zhuǎn)化為若干視覺向量，再進行自注意力操作與feed?forward操作，隨后視覺向量將會形狀整理并上采樣回和第2層卷積的輸出相同的形狀，并直接進行相加，在2倍下采樣后作為下一個塊的輸入；最后一個小塊將不會進行形狀整理與上采樣，而是直接作為特征提取網(wǎng)絡(luò)的輸出，輸出形狀為i'；各個卷積層的輸出通道數(shù)量分別為16,32,32,64,64,128,128,256，使用leakeyrelu作為激活函數(shù)；transformer層的嵌入層維度為32,64,128,256，使用gelu作為激活函數(shù)；

11、參數(shù)矩陣預(yù)測網(wǎng)絡(luò)由兩層全連接層組成，由特征提取網(wǎng)絡(luò)的輸出i'作為輸入，全連接層的輸出維度分別為128與56，全連接層的輸出為色彩空間映射矩陣ccm；隨后，色彩空間映射矩陣將被插值上采樣得到ccm'，然后再被重新排列為形狀ccm”；同時，原輸入圖像i由原四個通道擴展為十四個通道，并排列組合成圖像ipoly，最后，ipoly與ccm”進行逐元素的矩陣乘法，得出整個網(wǎng)絡(luò)的輸出

12、兩個判別器分別記為da、db，每個判別器均由一個五層卷積神經(jīng)網(wǎng)絡(luò)和一個平均池化層組成；其中，五層卷積神經(jīng)網(wǎng)絡(luò)的每層選用leakyrelu作為激活函數(shù)，每層卷積核的大小為4*4，通道數(shù)分別為64、128、256、512、1，并在最后一層卷積過后接平均池化層，從而將特征圖池化為判別概率；

13、(3)、訓(xùn)練循環(huán)對抗生成網(wǎng)絡(luò)；

14、(3.1)、從set(a)中隨機取樣一張圖塊，記為ia；從set(b)中隨機取樣一張圖塊，記為ib；

15、(3.2)、將圖像ia輸入相機色彩空間分塊映射網(wǎng)絡(luò)ga→b，得到輸出圖像iab；同理，將圖像ib輸入相機色彩空間分塊映射網(wǎng)絡(luò)gb→a，得到圖像iba；

16、再將圖像ib輸入相機色彩空間分塊映射網(wǎng)絡(luò)ga→b，得到圖像ibb，將圖像ia輸入相機色彩空間分塊映射網(wǎng)絡(luò)gb→a，得到圖像iaa；然后計算一致性損失lossiden；

17、lossiden＝mse(ibb,ib)+mse(iaa,ia)

18、其中，mse()表示計算兩幅圖像中各像素點的均方差；

19、(3.3)、將圖像iab輸入判別器da，得出判別概率將圖像iba輸入判別器db，得出判別概率然后計算生成器的對抗損失lossgen-gan；

20、

21、(3.4)、將圖像iab輸入相機色彩空間分塊映射網(wǎng)絡(luò)gb→a，得到圖像iaba，將圖像iba輸入相機色彩空間分塊映射網(wǎng)絡(luò)ga→b，得到圖像ibab，然后計算循環(huán)一致?lián)p失losscycle；

22、losscycle＝mse(iaba,ia)+mse(ibab,ib)

23、(3.5)、計算循環(huán)對抗生成網(wǎng)絡(luò)中生成器的總損失lossgen；

24、lossgen＝lossiden+lossgen-gan+losscycle

25、(3.6)、將圖像ia輸入判別器db，得出判別概率將圖像ib輸入判別器da，得出判別概率然后計算循環(huán)對抗生成網(wǎng)絡(luò)中判別器的總損失lossdis；

26、

27、(3.7)、根據(jù)生成器的總損失lossgen，利用梯度下降法更新相機色彩空間分塊映射網(wǎng)絡(luò)ga→b、gb→a的參數(shù)；根據(jù)判別器的總損失lossdis，利用梯度下降法更新判別器da、db的參數(shù)；

28、(3.8)、一輪訓(xùn)練完畢后，重復(fù)步驟(3.1)-(3.7)，直到網(wǎng)絡(luò)收斂，得到訓(xùn)練完成后的循環(huán)對抗生成網(wǎng)絡(luò)；

29、(4)、可泛化isp部署；

30、(4.1)、利用圖塊集set(a)訓(xùn)練ai-isp網(wǎng)絡(luò)，得到訓(xùn)練完成后的網(wǎng)絡(luò)記為ispa；

31、(4.2)、從訓(xùn)練完成后的循環(huán)對抗生成網(wǎng)絡(luò)中截取相機色彩空間分塊映射網(wǎng)絡(luò)gb→a，然后將網(wǎng)絡(luò)ispa串聯(lián)在gb→a的輸出端；

32、準(zhǔn)備好在a相機數(shù)據(jù)集上以任意方式訓(xùn)練完畢的ai-isp網(wǎng)絡(luò)，記為ispa，以及相機色彩空間分塊映射網(wǎng)絡(luò)gb→a；

33、(4.3)、將相機b采集的圖像ib輸入到相機色彩空間分塊映射網(wǎng)絡(luò)gb→a中，從而輸出圖像iba，再將圖像iba輸入至網(wǎng)絡(luò)ispa，得到質(zhì)量良好的rgb圖像fa。

34、本發(fā)明的發(fā)明目的是這樣實現(xiàn)的：

35、本發(fā)明基于無監(jiān)督相機色彩空間映射的ai-isp泛化方法，先通過不同相機所獲取的圖像并進行圖像預(yù)處理，從而構(gòu)建出訓(xùn)練數(shù)據(jù)集；接著搭建了一套基于循環(huán)對抗生成網(wǎng)絡(luò)的無監(jiān)督訓(xùn)練框架，通過訓(xùn)練數(shù)據(jù)集訓(xùn)練出本發(fā)明提出的色彩空間分塊映射網(wǎng)絡(luò)；最后，通過串聯(lián)訓(xùn)練完畢的色彩空間分塊映射網(wǎng)絡(luò)與ai-isp網(wǎng)絡(luò)的方式，實現(xiàn)同一ai-isp在不同相機上部署，實現(xiàn)了ai-isp的跨相機泛化。

36、同時，本發(fā)明基于無監(jiān)督相機色彩空間映射的ai-isp泛化方法還具有以下

37、有益效果：

38、(1)、本發(fā)明由兩種不同相機獲取的raw圖像(無需配對)，無需任何其他先驗信息，即可訓(xùn)練相機色彩空間分塊映射網(wǎng)絡(luò)，并利用該網(wǎng)絡(luò)輔助端到端ai-isp模型的泛化；

39、(2)、由于不同相機所獲取的圖片因場景、光照等因素的不同而具有顯著的域差，如噪聲程度不同，模糊程度不同，場景風(fēng)格不同等，相比之下，因相機光譜敏感度不同所造成的域差被以上域差掩蓋，難以被模型捕捉；本發(fā)明設(shè)計了一個相機色彩空間分塊映射網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠準(zhǔn)確的捕捉因相機光譜敏感度不同所帶來的域差，而忽略其它因素造成的影響；

40、(3)、本發(fā)明的相機色彩空間分塊映射網(wǎng)絡(luò)得益于其分塊預(yù)測的策略，能夠作用于非均勻光照的場景下，使得泛化后的ai-isp能夠在復(fù)雜光照場景下保持性能。