本發(fā)明總體上涉及圖像處理,并且更具體地涉及處理圖像以降低噪聲并且增強(qiáng)圖像內(nèi)容。
背景技術(shù):
圖像去噪的目標(biāo)是從被噪聲破壞的圖像重構(gòu)“無噪”增強(qiáng)圖像。存在很多用于圖像去噪的圖像處理方法。
第一組方法使用局部方法,其中將目標(biāo)像素的無噪估計(jì)重構(gòu)為目標(biāo)像素的小空間鄰域內(nèi)的像素值的加權(quán)平均。一種這樣的方法用諸如高斯核函數(shù)的平滑濾波器對含噪圖像進(jìn)行卷積,其中權(quán)重根據(jù)函數(shù)隨著與目標(biāo)像素的距離而減小。由于對鄰域內(nèi)的局部圖像結(jié)構(gòu)(像素值)不敏感的線性濾波運(yùn)算,得到的圖像通常具有模糊的偽影。
為了克服模糊的偽影,其他局部方法嘗試通過使用非線性濾波器來使濾波器“邊緣感知”。中值濾波器將像素值重構(gòu)為鄰域內(nèi)的像素值的中間值。
另一方法使用各向異性擴(kuò)散,其中濾波器的形狀可以作為擴(kuò)散過程的結(jié)果適應(yīng)于局部圖像結(jié)構(gòu),其對圖像不連續(xù)敏感。
sigma濾波器通過對目標(biāo)像素與其鄰域內(nèi)的其他像素之間的絕對像素值差進(jìn)行閾值處理來識別鄰域內(nèi)與目標(biāo)像素相似的像素。然后通過鄰域內(nèi)僅相似像素值(具有相似度閾值內(nèi)的差的像素)的平均來重構(gòu)目標(biāo)像素。該模型中的權(quán)重可以根據(jù)相似度標(biāo)準(zhǔn)認(rèn)為是0或1。
已知對sigma濾波器的若干擴(kuò)展。例如,可以使用雙邊濾波器,其中,代替硬閾值算子(0或1權(quán)重),權(quán)重根據(jù)兩個核函數(shù)(一個在空間域中,一個在范圍(像素值)域中)的乘法而連續(xù)變化。
另一方法檢查所關(guān)注像素周圍的不同的局部圖像區(qū)域,并且確定每個局部區(qū)域的無噪估計(jì)。所關(guān)注像素的估計(jì)然后確定為局部區(qū)域估計(jì)的某種加權(quán)平均。
另一方法確定每個像素值的噪聲方差(其存儲在查找表中)。然后基于該噪聲模型調(diào)整相似度閾值和權(quán)重。
局部去噪方法受益于允許快速計(jì)算的空間局部性。然而,這些方法無法使用圖像的全局統(tǒng)計(jì)量,諸如重復(fù)模式,而這是圖像去噪的重要線索。
第二組方法使用非局部去噪方法。非局部方法通過搜索圖像內(nèi)的全部分塊來檢索與目標(biāo)圖像分塊相似的圖像分塊。然后,目標(biāo)分塊被相似分塊的加權(quán)平均替換。
另選的非局部方法包括使用來自相同圖像的學(xué)習(xí)字典和變換域非局部濾波的圖像分塊的稀疏重構(gòu)。這些方法的非局部搜索步驟使得它們在具有計(jì)算和存儲器約束的系統(tǒng)中難以使用。
另選地,可以通過使用圖像分割或置信度傳播對馬爾可夫隨機(jī)場(MRF)執(zhí)行推理來實(shí)現(xiàn)非局部去噪。為了實(shí)現(xiàn)快速性能,迭代的次數(shù)小,在結(jié)果中留下相當(dāng)大的噪聲。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的實(shí)施方式提供了用于對含噪圖像去噪以生成無噪增強(qiáng)圖像的方法。方法使用局部去噪函數(shù)庫。對于圖像的每個像素,使用像素周圍的局部鄰域(分塊)構(gòu)造鍵(key)。鍵將每個像素映射到函數(shù)庫中的去噪函數(shù)。通過將選擇的函數(shù)應(yīng)用于像素的分塊來確定像素的無噪重構(gòu)。
例如,能在離線過程中使用訓(xùn)練圖像學(xué)習(xí)去噪函數(shù)庫。學(xué)習(xí)過程最小化了重構(gòu)誤差。方法通過鍵將非線性映射與函數(shù)結(jié)合。對于各種分塊配置優(yōu)化函數(shù)以提供比現(xiàn)有的手動調(diào)節(jié)的局部去噪方法更好的重構(gòu),同時仍然允許快速處理。
附圖說明
圖1是根據(jù)本發(fā)明的實(shí)施方式的去噪方法的流程圖。
圖2是根據(jù)本發(fā)明的實(shí)施方式的去噪方法的詳細(xì)流程圖。
圖3是根據(jù)本發(fā)明的實(shí)施方式的空間映射的示意圖。
圖4是根據(jù)本發(fā)明的實(shí)施方式的噪聲映射的流程圖。
圖5是根據(jù)本發(fā)明的實(shí)施方式的函數(shù)映射的流程圖。
圖6是根據(jù)本發(fā)明的實(shí)施方式的使用庫函數(shù)去噪的示意圖。
圖7是根據(jù)本發(fā)明的實(shí)施方式的構(gòu)造函數(shù)庫的流程圖。
具體實(shí)施方式
圖1是根據(jù)本發(fā)明的實(shí)施方式的用于使用局部去噪函數(shù)庫501對含噪圖像101進(jìn)行去噪110以產(chǎn)生去噪圖像102的方法的流程圖。方法可以在如現(xiàn)有技術(shù)中已知的通過總線連接到存儲器和輸入/輸出接口的處理器中執(zhí)行。
圖2是去噪方法的詳細(xì)流程圖。含噪圖像中的像素x具有值I(x)。像素周圍的局部鄰域或“分塊”是P(x)。分塊可以具有任意形狀,諸如矩形、橢圓形、或者適應(yīng)于圖像內(nèi)容的不規(guī)則的像素排列。
噪聲估計(jì)器210使用含噪圖像101中的像素的局部鄰域或分塊P(x)來確定每個像素的噪聲方差σ211。函數(shù)映射m(x)510使用噪聲方差估計(jì)和像素的局部鄰域來將每個像素映射到函數(shù)230,見圖5。選擇的函數(shù)f230應(yīng)用于240含噪圖像中的分塊P(x),以生成去噪圖像102的對應(yīng)的去噪像素。
噪聲估計(jì)
在噪聲估計(jì)210期間,該方法估計(jì)每個像素的噪聲的方差。在一種實(shí)施方式中,假定方差σ對于所有具有相同值v的像素是等同的
如果I(x)=v并且I(y)=v,那么σ(x)=σ(y)=σv。
使用每個像素周圍的局部分塊來估計(jì)方差。對于圖像中具有平均值v的每個分塊,確定分塊的強(qiáng)度值的方差,每個分塊一個方差。如果分塊源自恒定顏色區(qū)域,則該分塊的方差等于噪聲的經(jīng)驗(yàn)估計(jì)。
然而,因?yàn)榉謮K還可以源自非恒定顏色區(qū)域,所以分塊方差估計(jì)近似是具有值v的像素的噪聲方差分布的下限。值v的噪聲方差估計(jì)為具有平均值v的分塊的中心像素的噪聲方差分布的k階統(tǒng)計(jì)量。在一種實(shí)施方式中,k例如選擇為分塊中心像素值的方差計(jì)算分布的具有值v的像素數(shù)量的0.1。
一般來說,方差隨著像素值改變而平滑地改變。每個值的獨(dú)立的噪聲估計(jì)造成了非平滑的噪聲輪廓。因此,平滑化方差以產(chǎn)生平滑的噪聲輪廓。
函數(shù)映射
對于圖像的每個像素x,使用像素x周圍的分塊P(x)和像素值的噪聲估計(jì)來構(gòu)造鍵。鍵包括空間鍵和噪聲鍵。
如圖3中示出的,使用像素x周圍的例如3x3的像素I(xi),xi∈P(x)的分塊P(x)301通過空間映射函數(shù)310來構(gòu)造空間鍵302。分塊P(x)的大小和形狀可以不同于用來估計(jì)噪聲方差的分塊。
在一種實(shí)施方式中,空間鍵是局部n元模式(LnP)320,例如局部二元模式(LbP)。對于分塊內(nèi)的每個像素xi獲得一位信息。如果分塊中的像素值I(xi)與含噪圖像中的像素值I(x)之間的差小于像素的方差σ(x),則該位設(shè)置為0,否則該位設(shè)置(321)為1:
空間鍵具有|s|位。圖3中示出了所確定的局部二元模式的示例,其中黑色像素(位0)對應(yīng)于分塊內(nèi)的與含噪圖像中的像素(即,分塊中的中心像素)具有相似的值的像素,并且白色像素(位1)對應(yīng)于分塊內(nèi)的與含噪圖像中的像素具有不相似的值的像素。
圖4是噪聲映射的流程圖。使用含噪圖像中的像素的方差401的估計(jì)通過噪聲映射函數(shù)410構(gòu)造噪聲鍵402。在一種實(shí)施方式中,通過方差σ(x)的n位均勻量化給出噪聲鍵:
n(x)=σ(x)的|n|位量化。
像素的鍵m是空間鍵與噪聲鍵的串接,如下:
從而鍵具有|s|+|n|位。
如圖5中所示,鍵m 502將圖像的像素映射510到去噪函數(shù)庫501中的用來對像素去噪的去噪函數(shù)f。
使用庫函數(shù)去噪
如圖6中示出的,從含噪圖像像素x確定鍵k 502,并且fk是函數(shù)庫中對應(yīng)的函數(shù)。去噪函數(shù)使用像素周圍的分塊P(x)601(即,分塊包括像素x周圍的局部鄰域像素)。該分塊的大小和形狀可以不同于用來確定鍵的分塊。在一種實(shí)施方式中,去噪函數(shù)是分塊中的像素強(qiáng)度的線性函數(shù)
其中Wk 602是線性函數(shù)的權(quán)矩陣,I(P(x))是分塊P(x)的像素強(qiáng)度的矩陣,并且是在通過將矩陣的列堆積為列向量的向量化之后的兩個矩陣之間的內(nèi)積運(yùn)算。
學(xué)習(xí)去噪函數(shù)庫
如圖7中示出的,使用訓(xùn)練圖像樣本721來學(xué)習(xí)去噪函數(shù)庫501。訓(xùn)練圖像樣本721包括無噪701和對應(yīng)的含噪711訓(xùn)練圖像樣本對。通過訓(xùn)練樣本構(gòu)造器720生成訓(xùn)練樣本721。在一種實(shí)施方式中,通過將合成噪聲添加到無噪701圖像來獲得含噪711圖像。
訓(xùn)練或函數(shù)擬合730優(yōu)化了函數(shù),使得最小化使用含噪711圖像的無噪圖像的重構(gòu)與無噪701圖像之間的差:
其中I和是無噪和含噪訓(xùn)練圖像樣本對721,l是函數(shù)庫中的去噪函數(shù)的數(shù)量,并且去噪函數(shù)F通過首先使用函數(shù)映射510將像素映射到去噪函數(shù)然后使用映射的函數(shù)對像素去噪,來操作每個圖像像素:
F(x)=fm(x)(x)。
在一種實(shí)施方式中,通過根據(jù)鍵將訓(xùn)練圖像對的像素分組來求解訓(xùn)練。然后,分別優(yōu)化每個組。當(dāng)庫函數(shù)是線性函數(shù)時,通過求解線性最小二乘問題來最優(yōu)地學(xué)習(xí)庫函數(shù)。當(dāng)庫函數(shù)是非線性函數(shù)時,使用非線性優(yōu)化技術(shù)(諸如梯度下降或牛頓法)來學(xué)習(xí)庫函數(shù)。