本發(fā)明涉及圖像處理，特別是一種低光照?qǐng)D像的降噪方法。

背景技術(shù)：

1、低光照?qǐng)D像增強(qiáng)因其在攝像機(jī)中的實(shí)用性而受到越來(lái)越廣泛的關(guān)注，能有效解決低光照?qǐng)鼍跋芦@取的圖像亮度低、對(duì)比度低、細(xì)節(jié)丟失嚴(yán)重等問題。同時(shí)，受限于傳感器物理特性與工藝水平，攝像機(jī)在低光照條件下完成光電轉(zhuǎn)化后，原始圖像數(shù)據(jù)中包含大量噪聲，如果不能對(duì)這些噪聲進(jìn)行有效抑制，會(huì)嚴(yán)重影響低光照下圖像的質(zhì)量和后續(xù)的處理分析。

2、目前，低光照?qǐng)鼍跋逻M(jìn)行低光照?qǐng)D像增強(qiáng)，對(duì)圖像降噪多在isp流水線中靠后的階段，在rgb或者yuv上進(jìn)行處理。但同時(shí)，噪聲在isp流水線各模塊中會(huì)不斷產(chǎn)生、傳播、放大、改變統(tǒng)計(jì)特性，對(duì)圖像質(zhì)量的影響越來(lái)越大，只在rgb或yuv上降噪壓力較大。為了解決這個(gè)問題，提出了在原始raw數(shù)據(jù)中去除噪聲的方法，來(lái)提升數(shù)據(jù)的信噪比?，F(xiàn)有技術(shù)多是采用傳統(tǒng)算法，如非局部均值降噪，小波變換等在raw域?qū)D像進(jìn)行降噪，這樣做能夠抑制噪聲，但帶來(lái)的收益有限，不能很好的做好降噪和保留細(xì)節(jié)的平衡，低光照下強(qiáng)行去除噪聲容易出現(xiàn)過(guò)度平滑的現(xiàn)象，影響了圖像的整體質(zhì)量。

3、采用神經(jīng)網(wǎng)絡(luò)的方法在raw域進(jìn)行降噪能實(shí)現(xiàn)更高質(zhì)量的降噪效果，但同樣存在降噪效果有限、幾清晰度丟失的問題，且通用性較差。因此，有必要在現(xiàn)有基礎(chǔ)上進(jìn)行改進(jìn)，學(xué)習(xí)到更復(fù)雜的圖像特征和噪聲模式，實(shí)現(xiàn)更高質(zhì)量的降噪效果。

4、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種低光照?qǐng)D像的降噪方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)，提供紋理信息恢復(fù)更加理想，噪聲降噪效果更佳的一種低光照?qǐng)D像的降噪方法，實(shí)現(xiàn)了對(duì)4k暗光圖像的自動(dòng)恢復(fù)增強(qiáng)和降噪處理，提高了暗光圖像的視覺效果和質(zhì)量的問題。

2、本發(fā)明的目的通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：一種低光照?qǐng)D像的降噪方法，包括：

3、s1、獲取raw域降噪數(shù)據(jù)集；所述raw域降噪數(shù)據(jù)集包括raw格式的暗光噪聲圖像和raw格式的暗光降噪后圖像；

4、s2、獲取暗光噪聲圖像的灰度圖像，根據(jù)灰度圖像特征判斷當(dāng)前暗光噪聲圖像是否處于低光照?qǐng)鼍埃?/p>

5、若處于低光照?qǐng)鼍?，則進(jìn)入步驟s3；

6、若未處于低光照?qǐng)鼍埃瑒t結(jié)束低光照?qǐng)D像的降噪；

7、s3、對(duì)暗光噪聲圖像的熱噪點(diǎn)進(jìn)行預(yù)處理得到去除熱噪點(diǎn)后的暗光噪聲圖像；

8、s4、計(jì)算去除熱噪點(diǎn)后的暗光噪聲圖像的噪聲參數(shù)；

9、s5、將raw格式的暗光降噪后圖像、去除熱噪點(diǎn)后的暗光噪聲圖像和噪聲參數(shù)輸入到對(duì)稱的編碼器-解碼器結(jié)構(gòu)中得到降噪后的降噪圖像。

10、進(jìn)一步地，所述獲取暗光噪聲圖像的灰度圖像，根據(jù)灰度圖像判斷當(dāng)前暗光噪聲圖像是否處于低光照?qǐng)鼍埃ǎ?/p>

11、s201、對(duì)暗光噪聲圖像進(jìn)行下采樣得到下采樣圖像，對(duì)下采樣圖像進(jìn)行灰度計(jì)算得到灰度圖像；

12、s202、根據(jù)灰度圖像得到灰度值和灰度直方圖，并計(jì)算累計(jì)分布函數(shù)；

13、s203、獲取累計(jì)分布函數(shù)的值＝0.75時(shí)，對(duì)應(yīng)灰度圖像m的值；

14、當(dāng)0<m≦第一預(yù)設(shè)值時(shí)，則暗光噪聲圖像處于暗光場(chǎng)景，取去除熱噪點(diǎn)的強(qiáng)度參數(shù)alpha為1；

15、當(dāng)?shù)谝活A(yù)設(shè)值<m<第二預(yù)設(shè)值時(shí)，則暗光噪聲圖像處于較暗光場(chǎng)景，取0<alpha<1；

16、當(dāng)m≧第二預(yù)時(shí)值時(shí)，則暗光噪聲圖像處于正常亮光環(huán)境未處于低光照?qǐng)鼍?，則alpha＝0，結(jié)束低光照?qǐng)D像的降噪。

17、進(jìn)一步地，所述對(duì)暗光噪聲圖像的熱噪點(diǎn)進(jìn)行預(yù)處理得到去除熱噪點(diǎn)后的暗光噪聲圖像，包括：

18、s301、計(jì)算暗光噪聲圖像的水平方向、垂直方向、45°方向和135°方向的梯度值的中值；

19、s302、根據(jù)水平方向、垂直方向、45°方向和135°方向的梯度值的中值的最小值，將最小值作為邊緣方向；

20、min_grad＝min(median_dh,median_dv，median_d45，median_d135)

21、式中：

22、min_grad表示邊緣方向；

23、median_dh表示水平方向中值的最小值；

24、median_dv表示垂直方向中值的最小值；

25、median_d45表示45°方向中值的最小值；

26、median_d135表示135°方向中值的最小值；

27、s303、根據(jù)邊緣方向判斷中心像素pc是否為熱噪點(diǎn)；

28、若中心像素點(diǎn)不是熱噪點(diǎn)，則進(jìn)入s4；

29、若中心像素點(diǎn)是熱噪點(diǎn)，則進(jìn)入s304；

30、s304、通過(guò)去除熱噪點(diǎn)的強(qiáng)度參數(shù)alpha混合的方式計(jì)算最終的校正結(jié)果；

31、s305、根據(jù)校正結(jié)果得到去除熱噪點(diǎn)后的暗光噪聲圖像。

32、進(jìn)一步地，所述計(jì)算暗光噪聲圖像的水平方向、垂直方向、45°方向和135°方向的梯度包括：

33、獲取暗光噪聲圖像的中心像素pc，p1、p2、p3、p4、p5、p6、p7和p8為中心像素pc四周相鄰的8個(gè)像素點(diǎn)；

34、計(jì)算水平方向的三個(gè)二階梯度得到水平方向梯度絕對(duì)值：

35、dh1＝|p1+p3-2*p2|，dh2＝|p4+p5-2*pc|，dh3＝|p6+p8-2*p7|；

36、取水平方向梯度絕對(duì)值的中值，計(jì)算表達(dá)式如下所示：

37、median_dh＝median(dh1,dh2,dh3)；

38、計(jì)算垂直方向的三個(gè)二階梯度得到垂直方向梯度絕對(duì)值：

39、dv1＝|p1+p6-2*p4|，dv2＝|p2+p7-2*pc|，dv3＝|p3+p8-2*p5|；

40、取垂直方向梯度絕對(duì)值的中值，計(jì)算表達(dá)式如下所示：

41、median_dv＝median(dv1,dv2,dv3)；

42、45°方向的三個(gè)二階梯度：

43、d45_1＝2*|p4-p2|，d45_2＝|p3+p6-2pc|，d45_3＝2*|p7-p5|；

44、取垂直方向梯度絕對(duì)值的中值，計(jì)算表達(dá)式如下所示：

45、median_d45＝median(d45_1,d45_2,d45_3)；

46、135°方向的三個(gè)二階梯度:

47、d135_1＝2*|p2-p5|，d135_2＝|p1+p8-2pc|，d135_3＝2*|p7-p4|；

48、取垂直方向梯度絕對(duì)值的中值，計(jì)算表達(dá)式如下所示：

49、median_d135＝median(d135_1,d135_2,d135_3)。

50、進(jìn)一步地，所述根據(jù)邊緣方向判斷中間像素pc是否為熱噪點(diǎn)，包括；

51、若邊緣方向?yàn)樗椒较蚧蜇Q直方向，則判斷過(guò)中心像素pc所在的水平或豎直方向的二階梯度絕對(duì)值是否大于同方向的另外兩個(gè)二階梯度絕對(duì)值的4倍；

52、當(dāng)邊緣方向?yàn)樗椒较驎r(shí)，dh2>4*(dh1+dh3)，則pc為熱噪點(diǎn)；

53、否則，pc不是熱噪點(diǎn)；

54、當(dāng)邊緣方向?yàn)榇怪狈较驎r(shí)，dv2>4*(dv1+dv3)，則pc為熱噪點(diǎn)；

55、否則，pc不是熱噪點(diǎn)。

56、若邊緣方向?yàn)槭?5°方向，則計(jì)算135°方向三個(gè)二階梯度絕對(duì)值兩兩之差的絕對(duì)值的和，公式如下：

57、d135_sum＝|d135_1-d135_2|+|d135_2-d135_3|+|d135_3-d135_1|；

58、若d135_sum<400，且d45_2>3*(d45_1+d45_3)且d135_2>3*(d135_1+d135_3)，則pc為熱噪點(diǎn)；

59、若d135_sum>＝400，且d45_2>3*(d45_1+d45_3)，此時(shí)pc就為熱噪點(diǎn)；

60、若邊緣方向?yàn)槭?35°方向，則計(jì)算45°方向三個(gè)二階梯度絕對(duì)值兩兩之差的絕對(duì)值的和，公式如下：

61、d45_sum＝|d45_1-d45_2|+|d45_2-d135_3|+|d45_3-d45_1|；

62、若d45_sum<400，且d45_2>3*(d45_1+d45_3)且d135_2>3*(d135_1+d135_3)，則pc為熱噪點(diǎn)；

63、若d45_sum>＝400，且d135_2>3*(d135_1+d135_3)，此時(shí)pc就為熱噪點(diǎn)。

64、進(jìn)一步地，所述根據(jù)邊緣方向判斷中間像素pc是否為熱噪點(diǎn)，還包括；

65、當(dāng)pc<60，且周圍像素點(diǎn)p1、p2、p3、p4、p5、p6、p7和p8的值均比pc值大160以上，則pc為熱噪點(diǎn)；

66、當(dāng)pc>920，且周圍像素點(diǎn)p1、p2、p3、p4、p5、p6、p7和p8的值均比pc值小120以上，則pc為熱噪點(diǎn)；

67、進(jìn)一步地，所述利用梯度百分比的方式檢測(cè)熱噪點(diǎn)，然后通過(guò)中值濾波對(duì)熱噪點(diǎn)進(jìn)行初步校正，最終通過(guò)alpha混合的方式計(jì)算出最終的校正結(jié)果，包括；

68、若邊緣方向?yàn)樗椒较颍?/p>

69、當(dāng)|p4-pc|<|pc-p5|，根據(jù)同一顏色通道亮度的漸變性得到中心像素pc熱噪點(diǎn)校正后的值：

70、ouput＝alpha*(p4+(p2+p7-p1-p6)/2)+(1-alpha)*pc；

71、當(dāng)|p4-pc|≧|pc-p5|，則根據(jù)同一顏色通道亮度的漸變性得到中心像素pc熱噪點(diǎn)校正后的值：

72、ouput＝alpha*(p5+(p2+p7-p3-p8)/2)+(1-alpha)*pc；

73、若邊緣方向?yàn)榇怪狈较颍?/p>

74、當(dāng)|p2-pc|<|pc-p7|，根據(jù)同一顏色通道亮度的漸變性得到中心像素pc熱噪點(diǎn)校正后的值：

75、ouput＝alpha*(p2+(p4+p5-p1-p3)/2)+(1-alpha)*pc；

76、當(dāng)|p2-pc|≥|pc-p7|，則根據(jù)同一顏色通道亮度的漸變性得到中心像素pc熱噪點(diǎn)校正后的值：

77、ouput＝alpha*(p7+(p4+p5-p6-p8)/2)+(1-alpha)*pc；

78、若邊緣方向?yàn)?5°，

79、當(dāng)|p3-pc|<|p6-pc|，則根據(jù)同一顏色通道亮度的漸變性得到中心像素c熱噪點(diǎn)校正后的值：

80、output＝alpha*(p3+(p4+p7-p2-p5)/2)+(1-alpha)*pc；

81、當(dāng)|p3-pc|≥|p6-pc|，則根據(jù)同一顏色通道亮度的漸變性得到中心像素pc熱噪點(diǎn)校正后的值：

82、output＝alpha*(p6+(p2+p5-p7-p4)/2)+(1-alpha)*pc；

83、若邊緣方向?yàn)?35°，

84、當(dāng)|p1-pc|<|p8-pc|，則根據(jù)同一顏色通道亮度的漸變性得到中心像素pc熱噪點(diǎn)校正后的值：

85、output＝alpha*(p1+(p5+p7-p2-p4)/2)+(1-alpha)*pc；

86、當(dāng)|p1-pc|≥|p8-pc|，則根據(jù)同一顏色通道亮度的漸變性得到中心像素pc熱噪點(diǎn)校正后的值：

87、output＝alpha*(p8+(p2+p4-p5-p7)/2)+(1-alpha)*pc。

88、進(jìn)一步地，所述噪聲參數(shù)包括散粒噪聲參數(shù)和讀出噪聲參數(shù)。

89、所述散粒噪聲參數(shù)的噪聲參數(shù)的計(jì)算公式如下：

90、λshot＝gdga

91、式中，

92、λshot：散粒噪聲參數(shù)；

93、gd：數(shù)字增益；

94、ga：模擬增益；

95、所述讀出噪聲參數(shù)的噪聲參數(shù)的計(jì)算公式如下：

96、

97、式中，

98、λread：讀出噪聲參數(shù)；

99、固定讀出方差。

100、進(jìn)一步地，所述將raw格式的暗光降噪后圖像、去除熱噪點(diǎn)后的暗光噪聲圖像和噪聲參數(shù)輸入到對(duì)稱的編碼器-解碼器結(jié)構(gòu)中得到降噪后的降噪圖像，包括：

101、輸入raw格式的暗光降噪后圖像到解碼器中作為標(biāo)簽圖像；

102、輸入去除熱噪點(diǎn)后的暗光噪聲圖像到對(duì)稱的編碼器-解碼器中；

103、輸入散粒噪聲參數(shù)和讀出噪聲參數(shù)到編碼器中；

104、通過(guò)散粒噪聲參數(shù)和讀出噪聲參數(shù)，利用所述編碼器采用收縮通路對(duì)輸入的去除熱噪點(diǎn)后的暗光噪聲圖像進(jìn)行下采樣，以獲取在不同尺寸大小的圖像特征圖；

105、利用所述解碼器采用擴(kuò)張通路對(duì)輸入的去除熱噪點(diǎn)后的暗光噪聲圖像進(jìn)行上采樣，以恢復(fù)所述去除熱噪點(diǎn)后的暗光噪聲圖像的尺寸和紋理細(xì)節(jié)；

106、將所述收縮通路的路徑上的圖像特征圖和所述擴(kuò)張通路的路徑上的上采樣圖像跳躍連接并拼接；

107、將拼接后的拼接圖像不斷上采樣到原始輸入所述去除熱噪點(diǎn)后的暗光噪聲圖像的尺寸，得到拼接后的降噪圖像；

108、將降噪圖像與標(biāo)簽圖像進(jìn)行差異對(duì)比，當(dāng)降噪圖像與標(biāo)簽圖像的差異對(duì)比降低到一定預(yù)設(shè)值后，輸入降噪圖像。

109、本發(fā)明具有以下優(yōu)點(diǎn)：

110、(1)本發(fā)明在將低光照?qǐng)D像送入神經(jīng)網(wǎng)絡(luò)前，對(duì)低光照?qǐng)D像的熱噪點(diǎn)進(jìn)行先行處理，有效減少低光環(huán)境下，攝像機(jī)使用高感光度、長(zhǎng)曝光模式拍攝引入的圖像熱噪點(diǎn)，有效提升raw圖像質(zhì)量；

111、(2)本發(fā)明全面地考慮暗光圖像的特性，噪點(diǎn)多，且熱噪點(diǎn)對(duì)一般噪點(diǎn)更加尖銳，采用一般去噪網(wǎng)絡(luò)會(huì)因?yàn)闊嵩朦c(diǎn)而去除過(guò)多的圖像細(xì)節(jié)；因此選用先確認(rèn)再去除熱噪點(diǎn)方法，然后采用對(duì)稱的編碼器-解碼器結(jié)構(gòu)，從而更準(zhǔn)確地恢復(fù)原始圖像的紋理和細(xì)節(jié)信息；

112、(3)增加噪聲參數(shù)作為額外的輸入，能有效提升低光照?qǐng)D像的降噪效果并保留圖像中更多的細(xì)節(jié)，為后續(xù)的低光照增強(qiáng)提供更高質(zhì)量的raw圖像。