本發(fā)明涉及圖像處理領(lǐng)域，具體是應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法。

背景技術(shù)：

1、量子圖像傳感器(qis)是一種單光子感應(yīng)圖像傳感器，與傳統(tǒng)cmos圖像傳感器相比，qis具有更高的幀率、更高的分辨率、更低的噪聲，其具有時間空間過采樣特性，該傳感器的輸出為三維幀平面序列，序列中每一像素點的值為單比特數(shù)據(jù)，代表光子的有無，對三維幀平面序列進(jìn)行重構(gòu)能夠顯著地提升特殊場景下的圖像獲取質(zhì)量。在高分辨率成像，極微弱光成像、高動態(tài)范圍成像等領(lǐng)域，qis都擁有廣闊的應(yīng)用前景。

2、qis的時間空間過采樣特性使得數(shù)據(jù)形式為三維幀平面序列，所以需要設(shè)計特殊的圖像重構(gòu)算法將三維幀平面序列重構(gòu)為二維圖像以抑制重構(gòu)圖像噪聲，提升重構(gòu)圖像質(zhì)量。目前大多圖像重構(gòu)算法都是基于數(shù)學(xué)估計的方法進(jìn)行噪聲抑制，例如通過最大似然估計或最大后驗估計進(jìn)行真實光子數(shù)估計。但是，這種基于數(shù)學(xué)估計的方法需要多次迭代計算且對重構(gòu)圖像的噪聲抑制能力有限。為提升qis重構(gòu)圖像的噪聲抑制水平，考慮基于深度學(xué)習(xí)的方法進(jìn)行重構(gòu)圖像噪聲抑制。

技術(shù)實現(xiàn)思路

1、本發(fā)明旨在提出一種基于深度學(xué)習(xí)的重構(gòu)圖像噪聲抑制方法，該方法主要采用結(jié)合精準(zhǔn)無偏方差穩(wěn)定變換與融合transformer和卷積神經(jīng)網(wǎng)絡(luò)(cnn)框架的深度學(xué)習(xí)算法，不僅能顯著提高qis的重構(gòu)質(zhì)量，有效抑制重構(gòu)圖像噪聲，而且還能應(yīng)用于定制化神經(jīng)網(wǎng)絡(luò)處理器芯片，提升重構(gòu)算法的運行速度。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，包括如下步驟：

4、(1)輸入三維幀平面序列；

5、(2)對三維幀平面序列按時間空間過采樣率求和組成塊和圖像；

6、(3)對塊和圖像進(jìn)行方差穩(wěn)定變換；

7、(4)應(yīng)用融合transformer和cnn的網(wǎng)絡(luò)框架；

8、(5)對輸出圖像進(jìn)行精準(zhǔn)無偏方差穩(wěn)定逆變換；

9、(1)得到噪聲抑制的重構(gòu)圖像。

10、進(jìn)一步地，所述三維幀平面序列按時間空間過采樣分割后形成許多“塊”，塊內(nèi)序列的和被稱為“塊和圖像”。

11、進(jìn)一步地，所述步驟(2)，在對三維幀平面序列按時間空間過采樣率求和組成塊和圖像的步驟中，首先將輸入的三維幀平面序列按照時間過采樣率劃分為不重疊的、具有相同幀數(shù)的時間塊，其次在各個時間塊內(nèi)按照空間過采樣率劃分為不重疊的、具有相同大小的空間塊，最后把每個塊內(nèi)的二進(jìn)制數(shù)相加，形成塊和圖像。

12、進(jìn)一步地，所述步驟(3)，在對塊和圖像進(jìn)行方差穩(wěn)定變換的步驟中，采用方差穩(wěn)定的anscombe變換，即對上一步驟生成的塊和圖像中的每個原始數(shù)據(jù)點應(yīng)用變換公式，使變換后的數(shù)據(jù)更接近具有常數(shù)方差的高斯分布。

13、進(jìn)一步地，所述步驟(4)，在應(yīng)用融合transformer和cnn的網(wǎng)絡(luò)框架的步驟中，將方差穩(wěn)定的圖像作為網(wǎng)絡(luò)框架的輸入，所述網(wǎng)絡(luò)框架融合了transformer和cnn，將二者的優(yōu)勢和局限進(jìn)行互補(bǔ)，利用transformer的全局信息捕捉能力和cnn的局部特征提取能力，實現(xiàn)更好的圖像噪聲抑制效果；在所述網(wǎng)絡(luò)框架結(jié)構(gòu)中，還采用了子網(wǎng)絡(luò)并行技術(shù)，子網(wǎng)絡(luò)中的交叉特征相互作用，廣泛搜索像素之間的相關(guān)信息，提高網(wǎng)絡(luò)在不同場景下的去噪適應(yīng)能力。

14、更進(jìn)一步地，所述步驟(5)，在對輸出圖像進(jìn)行精準(zhǔn)無偏方差穩(wěn)定逆變換的步驟中，采用精準(zhǔn)無偏的方差穩(wěn)定逆變換將數(shù)據(jù)還原為原始尺度，即先對網(wǎng)絡(luò)輸出圖像中的每一個點應(yīng)用anscombe逆變換公式，使數(shù)據(jù)更接近原始泊松分布的形式；在無偏方差穩(wěn)定的anscombe逆變換后，采用最大似然估計方法還原真實的光子數(shù)，采取這種精準(zhǔn)無偏的方差穩(wěn)定逆變換進(jìn)一步抑制泊松噪聲，從而增強(qiáng)對重構(gòu)圖像噪聲的抑制效果。

15、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：首先，對三維幀平面序列計算塊和圖像，便于使用精準(zhǔn)無偏的方差穩(wěn)定變換增強(qiáng)對泊松噪聲的抑制能力；其次，該方法基于融合transformer和cnn的網(wǎng)絡(luò)框架，該框架作為核心去噪器可以利用線性和非線性分量結(jié)合的方式深度搜索圖像去噪中的關(guān)鍵信息，且子網(wǎng)絡(luò)并行的技術(shù)增強(qiáng)了網(wǎng)絡(luò)對多種場景去噪能力的適應(yīng)性；最后，使用精準(zhǔn)無偏的方差穩(wěn)定逆變換，利用最大似然估計還原真實的光子數(shù)，從qis成像原理出發(fā)，進(jìn)一步抑制了重構(gòu)圖像中的噪聲。所提出的方法能顯著抑制qis的重構(gòu)圖像噪聲，且該方法有應(yīng)用于定制化神經(jīng)網(wǎng)絡(luò)處理器芯片的潛力，使得該方法能夠獲得較快的運行速度。

技術(shù)特征：

1.應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，其特征在于，所述三維幀平面序列按時間空間過采樣分割后形成許多“塊”，塊內(nèi)序列的和被稱為“塊和圖像”。

3.根據(jù)權(quán)利要求2所述的應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，其特征在于，所述步驟(2)，在對三維幀平面序列按時間空間過采樣率求和組成塊和圖像的步驟中，首先將輸入的三維幀平面序列按照時間過采樣率劃分為不重疊的、具有相同幀數(shù)的時間塊，其次在各個時間塊內(nèi)按照空間過采樣率劃分為不重疊的、具有相同大小的空間塊，最后把每個塊內(nèi)的二進(jìn)制數(shù)相加，形成塊和圖像。

4.根據(jù)權(quán)利要求3所述的應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，其特征在于，所述步驟(3)，在對塊和圖像進(jìn)行方差穩(wěn)定變換的步驟中，采用方差穩(wěn)定的anscombe變換，即對上一步驟生成的塊和圖像中的每個原始數(shù)據(jù)點應(yīng)用變換公式，使變換后的數(shù)據(jù)更接近具有常數(shù)方差的高斯分布。

5.根據(jù)權(quán)利要求4所述的應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，其特征在于，所述步驟(4)，在應(yīng)用融合transformer和cnn的網(wǎng)絡(luò)框架的步驟中，將方差穩(wěn)定的圖像作為網(wǎng)絡(luò)框架的輸入，所述網(wǎng)絡(luò)框架融合了transformer和cnn，將二者的優(yōu)勢和局限進(jìn)行互補(bǔ)，利用transformer的全局信息捕捉能力和cnn的局部特征提取能力，實現(xiàn)更好的圖像噪聲抑制效果；在所述網(wǎng)絡(luò)框架結(jié)構(gòu)中，還采用了子網(wǎng)絡(luò)并行技術(shù)，子網(wǎng)絡(luò)中的交叉特征相互作用，廣泛搜索像素之間的相關(guān)信息，提高網(wǎng)絡(luò)在不同場景下的去噪適應(yīng)能力。

6.根據(jù)權(quán)利要求5所述的應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，其特征在于，所述步驟(5)，在對輸出圖像進(jìn)行精準(zhǔn)無偏方差穩(wěn)定逆變換的步驟中，采用精準(zhǔn)無偏的方差穩(wěn)定逆變換將數(shù)據(jù)還原為原始尺度，即先對網(wǎng)絡(luò)輸出圖像中的每一個點應(yīng)用anscombe逆變換公式，使數(shù)據(jù)更接近原始泊松分布的形式；在無偏方差穩(wěn)定的anscombe逆變換后，采用最大似然估計方法還原真實的光子數(shù)，采取這種精準(zhǔn)無偏的方差穩(wěn)定逆變換進(jìn)一步抑制泊松噪聲，從而增強(qiáng)對重構(gòu)圖像噪聲的抑制效果。

技術(shù)總結(jié)
本發(fā)明公開了應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，涉及圖像處理領(lǐng)域，首先，對三維幀平面序列計算塊和圖像，便于使用精準(zhǔn)無偏的方差穩(wěn)定變換增強(qiáng)對泊松噪聲的抑制能力；其次，該方法基于融合Transformer和CNN的網(wǎng)絡(luò)框架，該框架作為核心去噪器可以利用線性和非線性分量結(jié)合的方式深度搜索圖像去噪中的關(guān)鍵信息，且子網(wǎng)絡(luò)并行的技術(shù)增強(qiáng)了網(wǎng)絡(luò)對多種場景去噪能力的適應(yīng)性；最后，使用精準(zhǔn)無偏的方差穩(wěn)定逆變換，利用最大似然估計還原真實的光子數(shù)，從QIS成像原理出發(fā)，進(jìn)一步抑制了重構(gòu)圖像中的噪聲。所提出的方法能顯著抑制QIS的重構(gòu)圖像噪聲，且該方法有應(yīng)用于定制化神經(jīng)網(wǎng)絡(luò)處理器芯片的潛力，使得該方法能夠獲得較快的運行速度。

技術(shù)研發(fā)人員：王冠杰,聶凱明,徐江濤
受保護(hù)的技術(shù)使用者：天津大學(xué)合肥創(chuàng)新發(fā)展研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19