專利名稱：圖像處理設(shè)備、圖像處理方法和圖像處理程序的制作方法
技術(shù)領(lǐng)域：
本公開內(nèi)容涉及一種圖像處理設(shè)備、圖像處理方法和圖像處理程序，具體而言，涉及能夠通過濾波處理獲得具有較少噪聲的圖像的圖像處理設(shè)備、圖像處理方法和圖像處理程序。
背景技術(shù)：
在過去，已知一種無線脈沖響應(yīng)(IIR)濾波器作為用于降低圖像的噪聲的濾波器。另外，已提出一種用于執(zhí)行時間濾波器與空間濾波器的組合的濾波處理以降低圖像噪聲的技術(shù)(例如，參見日本專利申請公布第S62-299181)。在該技術(shù)中，基于圖像運動的檢測結(jié)果，將使用圖像的時間方向(即，幀之間的相關(guān)性)進行噪聲降低的結(jié)果和使用圖像
的空間方向(即，線之間的相關(guān)性)進行噪聲降低的結(jié)果中的任何一個輸出作為濾波處理的結(jié)果。因此，與僅使用時間濾波器和空間濾波器之一的技術(shù)相比，可以獲得更大噪聲降低效果。

發(fā)明內(nèi)容
然而，難以根據(jù)上述技術(shù)獲得令人滿意的噪聲降低效果。例如，對于根據(jù)現(xiàn)有技術(shù)的IIR濾波器，如果在圖像的幀之間檢測到對象的運動，則在圖像中存在變化的區(qū)域(即，圖像中存在運動的區(qū)域)內(nèi)降低了與原始圖像的時間相關(guān)性，從而導(dǎo)致該區(qū)域中出現(xiàn)運動模糊。另一方面，對于使用時間濾波器與空間濾波器的組合的技術(shù)，如果要處理的目標圖像包括許多噪聲成分，則難以根據(jù)該技術(shù)獲得令人滿意的噪聲降低效果。鑒于上述狀況，本公開內(nèi)容針對一種用于通過濾波處理獲得具有較少噪聲的圖像的技術(shù)。根據(jù)本公開內(nèi)容的一個實施例，提供了一種圖像處理設(shè)備，包括計算部，被配置成基于在空間上與輸入圖像相關(guān)的參考圖像在時間方向上的變化來計算反饋調(diào)整量；運動補償部，被配置成基于參考圖像的空間信息，對輸出圖像執(zhí)行運動補償以獲得插值輸出圖像，該輸出圖像是從與期望處理的當前幀緊鄰的在前幀的輸入圖像獲得的；以及混合部，被配置成通過基于反饋調(diào)整量將通過運動補償獲得的插值輸出圖像與當前幀的輸入圖像混合，生成當前幀的輸出圖像。運動補償部可被配置成通過將權(quán)重應(yīng)用于在前幀的輸出圖像中與當前幀的參考圖像上的關(guān)注像素相鄰的像素來生成插值輸出圖像，其中該權(quán)重是由關(guān)注像素與在前幀的參考圖像上與該關(guān)注像素相鄰的像素之間的亮度差來確定的。圖像處理設(shè)備還可包括視差檢測部，被配置成生成視差圖像作為輸入圖像，該視差圖像表示用于顯示立體圖像的右圖像與左圖像之間的視差；以及參考圖像生成部，被配置成基于右圖像或左圖像生成參考圖像。
根據(jù)本公開內(nèi)容的另一實施例，提供了一種圖像處理方法或圖像處理程序，包括基于在空間上與輸入圖像相關(guān)的參考圖像在時間方向上的變化來計算反饋調(diào)整量；基于參考圖像的空間信息，對輸出圖像執(zhí)行運動補償，該輸出圖像是從與期望處理的當前幀緊鄰的在前幀的輸入圖像獲得的；以及通過基于反饋調(diào)整量將通過運動補償獲得的插值輸出圖像與當前幀的輸入圖像混合，生成當前幀的輸出圖像。根據(jù)本公開內(nèi)容的另一實施例，基于在空間上與輸入圖像相關(guān)的參考圖像在時間方向上的變化來計算反饋調(diào)整量；基于參考圖像的空間信息，對輸出圖像執(zhí)行運動補償，該輸出圖像是從與期望處理的當前幀緊鄰的在前幀的輸入圖像獲得的；以及通過基于反饋調(diào)整量將通過運動補償獲得的插值輸出圖像與當前幀的輸入圖像混合，生成當前幀的輸出圖像。根據(jù)本公開內(nèi)容的實施例，可以通過濾波處理獲得具有較少噪聲的圖像。


圖I是示出根據(jù)本公開內(nèi)容的實施例的圖像處理設(shè)備的結(jié)構(gòu)的圖；圖2是示出濾波更新處理的流程圖；圖3是示出差分估計值與反饋量之間的關(guān)系的圖；圖4是示出差分量與權(quán)重系數(shù)之間的關(guān)系的圖；圖5是示出通過運動補償與無線脈沖響應(yīng)(IIR)濾波處理的組合所獲得的效果的圖；圖6是示出根據(jù)本公開內(nèi)容的另一實施例的圖像處理設(shè)備的結(jié)構(gòu)的圖；圖7是示出從左圖像和右圖像獲得的每個圖像的圖；圖8是示出視差檢測處理的流程圖；圖9是示出逆伽馬處理的圖；以及圖10是示出計算機的結(jié)構(gòu)的圖。
具體實施例方式下文中，將參照附圖詳細描述本公開內(nèi)容的優(yōu)選實施例。應(yīng)注意，在該說明書和附圖中，以相同的附圖標記表示具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的重復(fù)說明。<第一實施例>[圖像處理設(shè)備的結(jié)構(gòu)]圖I是示出根據(jù)本公開內(nèi)容的實施例的圖像處理設(shè)備的結(jié)構(gòu)的圖。圖像處理設(shè)備11適于通過使用參考圖像Gin的在空間上與關(guān)注的輸入圖像Iin的圖像信號相關(guān)的圖像信號對輸入圖像Iin執(zhí)行空時濾波處理，獲得與輸入圖像1&相比噪聲成分減少的濾波輸出圖像Itjut的圖像信號。例如，參考圖像Gin包括關(guān)于與輸入圖像Iin的對象相同的對象的信息，并且比輸入圖像Iin包括更多的信息，即，隨機地比輸入圖像Iin包括更少的噪聲。具體地，例如，由于輸入圖像Iin和參考圖像Gin是從相同圖像生成的圖像，因此，輸入圖像Iin的像素和參考圖像Gin中位于與輸入圖像Iin的該像素的位置相同的位置處的像素包括關(guān)于相同對象的相同位置的信息。即，輸入圖像Iin和參考圖像Gin彼此在空間上相關(guān)。圖像處理設(shè)備11包括幀存儲器21、運動檢測部22、幀存儲器23、運動補償部24和混合部25。幀存儲器21臨時存儲并保持所提供的期望處理的幀(下文中，稱為“當前幀”)的參考圖像，使該參考圖像延遲與一幀對應(yīng)的時間段，并且將參考圖像提供給運動檢測部22和運動補償部24。運動檢測部22根據(jù)所提供的當前幀的參考圖像和在當前幀往前一幀的幀(即，緊鄰在當前幀之前的幀(下文中，稱為“在前幀”))的參考圖像(從幀圖像存儲器21提供該參考圖像)執(zhí)行運動檢測。運動檢測部22基于檢測結(jié)果計算反饋調(diào)整量，并且將反饋調(diào)整量提供給混合部25。反饋調(diào)整量指的是表示經(jīng)運動補償?shù)脑谇皫臑V波輸出圖像對當前幀的濾波輸 出圖像的貢獻率的IIR反饋量。幀存儲器23將從混合部25提供的濾波輸出圖像延遲與一幀對應(yīng)的時長，并且將濾波輸出圖像提供給運動補償部24。運動補償部24對所提供的參考圖像、來自幀存儲器21的在前幀的參考圖像以及來自幀存儲器23的在前幀的濾波輸出圖像執(zhí)行運動補償。運動補償部24將經(jīng)運動補償?shù)臑V波輸出圖像提供給混合部25?；旌喜?5基于來自運動檢測部22的反饋調(diào)整量將所提供的輸入圖像與來自運動補償部24的濾波輸出圖像混合，并且輸出當前幀的濾波輸出圖像?；旌喜?5包括乘法器31、乘法器32和加法器33。乘法器31將所提供的輸入圖像與從運動檢測部22提供的反饋調(diào)整量相乘，并且將輸入圖像與反饋調(diào)整量的乘積提供給加法器33。乘法器32將從運動補償部24提供的在前幀的濾波輸出圖像與從運動檢測部22提供的反饋調(diào)整量相乘，并且將在前幀的濾波輸出圖像與反饋調(diào)整量的乘積提供給加法器33。加法器33將來自乘法器31的輸入圖像與來自乘法器32的濾波輸出圖像相加，并且輸出輸入圖像與濾波輸出圖像的總和作為當前幀的濾波輸出圖像。[濾波更新處理]當圖I的圖像處理設(shè)備11接收到輸入圖像和參考圖像，并且被指示對輸入圖像執(zhí)行空時濾波處理時，圖像處理設(shè)備11執(zhí)行濾波更新處理以生成濾波輸出圖像，并且輸出濾波輸出圖像。將參照圖2的流程圖描述圖像處理設(shè)備11的濾波更新處理。在步驟Sll中，運動檢測部22基于參考圖像的幀之間的差來計算反饋調(diào)整量。S卩，如果當前幀的參考圖像被提供給圖像處理設(shè)備11，則幀存儲器21將先前提供并存儲在其中的、在前幀的參考圖像提供給運動檢測部22和運動補償部24。運動檢測部22計算差分估計值(difference evaluation value),該差分估計值表示所提供的當前幀的參考圖像與來自幀存儲器21的在前幀的參考圖像之間的差。具體地，例如，運動檢測部22根據(jù)如下等式I計算在當前幀的參考圖像的坐標(X，y)處的像素的像素值(亮度值)G(X，y)與在前幀的參考圖像的坐標(x，y)處的像素的像素值Gtjld(Xj)之間的差的絕對值，作為坐標(x，y)處的差分估計值d(x，y)。d(x, y) = |G(x，y)_Gold(x，y) I · · · (I)坐標(x，y)表示如下坐標系內(nèi)的X坐標和y坐標在該坐標系中，在參考圖像上彼此正交的X方向和y方向分別被設(shè)置為X軸和I軸。差分估計值d(X，y)可以是表示當前幀的參考圖像與在前幀的參考圖像之間的差量的任何值。在計算差分估計值d( x, y)之后,運動檢測部22根據(jù)如下等式2來計算坐標(x, y)處的反饋系數(shù)a (x, y)。a (x, y) = g(d(x, y)) · · ·⑵也就是說，運動檢測部22通過將根據(jù)等式I獲得的差分估計值d(x，y)替代預(yù)定函數(shù)g(k)中的k來計算反饋系數(shù)α (X，y)。例如，函數(shù)g(k)是用于根據(jù)差分估計值d(x，y)確定IIR反饋量的函數(shù)。函數(shù)g(k)被配置成減小參考圖像中存在運動的部分的IIR反饋量，并且輸出應(yīng)用于當前幀的輸入圖像的反饋系數(shù)α (x, y) ο具體地，函數(shù)g(k)是由例如如下等式3表達的函數(shù)。
ia(k<k0)
O(ki<k)
35在等式3中，α是當參考圖像的幀之間不存在運動時的反饋系數(shù)a (x，y)，例如，α =0. 9375。另外，k0和Ii1是表示通過檢測參考圖像的巾貞之間的運動而連續(xù)地減小反饋系數(shù)的差分估計值的范圍的閾值，例如，k0=5, 1^=15。因此，例如，如圖3所示，差分估計值d(x，y)越小，函數(shù)g(k)的值就越大，即，反饋系數(shù)α (χ, y)就越大。在圖3中，橫軸表示差分估計值d(x，y)，而縱軸表示函數(shù)g(k)的值。例如，在圖3中，對于在O與1 之間的差分估計值d (X，y)，函數(shù)g (k) = α。對于在1^與1^ 之間的差分估計值d(x, y), BP,k0<d(x, y) ( k1；函數(shù)g(k) = a (l-((k_k0)/(k「k0)))。也就是說，隨著差分估計值增大，函數(shù)g(k)線性減小。對于大于Ic1的差分估計值d(x，y)，函數(shù) g(k) =O0運動檢測部22將這樣獲得的反饋系數(shù)a (χ, y)作為在前幀的濾波輸出圖像的反饋調(diào)整量提供給乘法器32。另外，運動檢測部22將通過從I減去反饋系數(shù)a (x, y)所獲得的值(1-a (x, y))作為輸入圖像的反饋調(diào)整量提供給乘法器31。參考圖像的幀之間的差越大，即，參考圖像中對象的運動越大，與在前幀的濾波輸出圖像相乘的反饋調(diào)整量a (x, y)就越小。也就是說，在參考圖像中存在較大運動的區(qū)域中，在前幀的濾波輸出圖像對當前幀的濾波輸出圖像的生成的貢獻率降低，從而抑制了在濾波輸出圖像中出現(xiàn)運動模糊。返回參照圖2的流程圖，在步驟S12中，運動補償部24基于參考圖像對在前幀的濾波輸出圖像執(zhí)行運動補償，并且將經(jīng)運動補償?shù)臑V波輸出圖像提供給乘法器32。也就是說，運動補償部24使用當前幀的參考圖像的紋理信息來對在前幀的濾波輸出圖像執(zhí)行運動補償。例如，如果當前幀的參考圖像被提供給運動補償部24，則幀存儲器23將已從加法器33提供并存儲在其中的在前幀的濾波輸出圖像提供給運動補償部24。幀存儲器24也將在前幀的參考圖像提供給運動補償部24。
運動補償部24基于所提供的當前幀的參考圖像、來自幀存儲器21的在前幀的參考圖像以及來自幀存儲器23的在前幀的濾波輸出圖像，根據(jù)等式4獲得經(jīng)運動補償?shù)脑谇皫臑V波輸出圖像。也就是說，計算在經(jīng)運動補償?shù)脑谇皫臑V波輸出圖像的坐標(χ, y)處的像素的像素值Itjl/ (x，y)。
權(quán)利要求
1.一種圖像處理設(shè)備，包括 計算部，被配置成基于在空間上與輸入圖像相關(guān)的參考圖像在時間方向上的變化來計算反饋調(diào)整量； 運動補償部，被配置成基于所述參考圖像的空間信息，對輸出圖像執(zhí)行運動補償以獲得插值輸出圖像，其中所述輸出圖像是從與期望處理的當前幀緊鄰的在前幀的所述輸入圖像獲得的；以及 混合部，被配置成通過基于所述反饋調(diào)整量將通過所述運動補償獲得的所述插值輸出圖像與所述當前幀的輸入圖像混合，生成所述當前幀的輸出圖像。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備， 其中，所述運動補償部被配置成通過將權(quán)重應(yīng)用于所述在前幀的輸出圖像中與所述當前幀的參考圖像上的關(guān)注像素相鄰的像素來生成所述插值輸出圖像，其中所述權(quán)重是由所述關(guān)注像素與所述在前幀的參考圖像上與所述關(guān)注像素相鄰的像素之間的亮度差來確定的。
3.根據(jù)權(quán)利要求I或2所述的圖像處理設(shè)備，還包括 視差檢測部，被配置成生成視差圖像作為所述輸入圖像，所述視差圖像表示用于顯示立體圖像的右圖像與左圖像之間的視差；以及 生成部，被配置成基于所述右圖像或所述左圖像生成所述參考圖像。
4.一種圖像處理方法，包括 基于在空間上與輸入圖像相關(guān)的參考圖像在時間方向上的變化來計算反饋調(diào)整量； 基于所述參考圖像的空間信息，對輸出圖像執(zhí)行運動補償，其中所述輸出圖像是從與期望處理的當前幀緊鄰的在前幀的所述輸入圖像獲得的；以及 通過基于所述反饋調(diào)整量將通過所述運動補償獲得的插值輸出圖像與所述當前幀的輸入圖像混合，生成所述當前幀的輸出圖像。
5.一種被配置為供計算機執(zhí)行處理的程序，所述處理包括 基于在空間上與輸入圖像相關(guān)的參考圖像在時間方向上的變化來計算反饋調(diào)整量； 基于所述參考圖像的空間信息，對輸出圖像執(zhí)行運動補償，其中所述輸出圖像是從與期望處理的當前幀緊鄰的在前幀的所述輸入圖像獲得的；以及 通過基于所述反饋調(diào)整量將通過所述運動補償獲得的插值輸出圖像與所述當前幀的輸入圖像混合，生成所述當前幀的輸出圖像。
全文摘要
本發(fā)明提供了一種圖像處理設(shè)備、圖像處理方法和圖像處理程序，該圖像處理設(shè)備包括計算部，被配置成基于在空間上與輸入圖像相關(guān)的參考圖像在時間方向上的變化來計算反饋調(diào)整量；運動補償部，被配置成基于參考圖像的空間信息，對輸出圖像執(zhí)行運動補償，其中該輸出圖像是從與期望處理的當前幀緊鄰的在前幀的輸入圖像獲得的；以及混合部，被配置成通過基于反饋調(diào)整量將通過運動補償獲得的插值輸出圖像與當前幀的輸入圖像混合，生成當前幀的輸出圖像。
文檔編號H04N5/21GK102957844SQ20121027422
公開日2013年3月6日 申請日期2012年8月3日 優(yōu)先權(quán)日2011年8月12日
發(fā)明者明官佳宏 申請人:索尼公司