專(zhuān)利名稱(chēng)：基于像素的自適應(yīng)濾波的制作方法
技術(shù)領(lǐng)域：
本公開(kāi)涉及圖像濾波。
背景技術(shù)：
減小視頻噪聲的濾波器被廣泛應(yīng)用于后期制作和視頻壓縮環(huán)境 中。前者往往要求濾波器保留盡可能多的細(xì)節(jié)，因此傾向于使用可能 導(dǎo)致圖像上不均勻噪聲去除的非常保守的設(shè)置。后者往往要求較高的 濾波強(qiáng)度(即使丟失一些細(xì)節(jié))，這是因?yàn)槠淠康氖且獪p小視頻中的信 息量，從而提高壓縮效率(即降低比特率)。
視頻濾波能夠在像素域中進(jìn)行，也可以在傅里葉域或者小波域等 變換域中進(jìn)行?；谙袼氐囊曨l濾波方法典型地通過(guò)將每個(gè)像素與多 個(gè)其它像素進(jìn)行平均來(lái)減小噪聲。在基于像素的空間濾波中，這些其 它像素往往是空間鄰近的像素?；谙袼氐目臻g濾波中己知技術(shù)包括
中值濾波。在時(shí)間濾波中，典型地，這些其它像素是根據(jù)n個(gè)鄰近參考 幀在時(shí)間上預(yù)測(cè)出的像素。之前的基于像素的視頻濾波方法以各種方 式結(jié)合了空間和時(shí)間濾波。

發(fā)明內(nèi)容
根據(jù)一種實(shí)現(xiàn)方式，從目標(biāo)數(shù)字圖像中選擇像素?；谝环蚨?幅數(shù)字圖像中的多個(gè)候選像素的值來(lái)對(duì)所述多個(gè)候選像素進(jìn)行評(píng)估。 從所述多個(gè)候選像素中，針對(duì)所選像素確定對(duì)應(yīng)像素集合，所述確定 是基于對(duì)所述多個(gè)候選像素的評(píng)估和所述對(duì)應(yīng)集合是否已經(jīng)包括預(yù)定 閾值數(shù)目的像素來(lái)做出的。還基于對(duì)應(yīng)像素集合中的像素的值來(lái)為所 選像素確定替代值。
在下面的附圖和描述中，將闡述一個(gè)或更多實(shí)現(xiàn)方式的細(xì)節(jié)。通 過(guò)以下結(jié)合附圖來(lái)考慮的詳細(xì)描述和權(quán)利要求，其他的方面和特征將變得顯而易見(jiàn)。然而，應(yīng)當(dāng)理解，附圖的目的只是示意，而不是本原 理的范圍的限定。還應(yīng)理解理解，這些圖表不必須被繪制以用于測(cè)量， 除非特別指出，否則其僅意在從概念上舉例說(shuō)明特定的結(jié)構(gòu)和過(guò)程。


圖l是基于像素的自適應(yīng)空間-時(shí)間視頻噪聲濾波系統(tǒng)的實(shí)現(xiàn)方式 的方框圖。
圖2是實(shí)現(xiàn)方式中由圖1的源所提供的內(nèi)容的方框圖。
圖3示出了圖1中的處理設(shè)備的實(shí)現(xiàn)方式的方框圖。
圖4是示出了使用圖1中的系統(tǒng)來(lái)執(zhí)行的視頻噪聲濾波方法的實(shí)
現(xiàn)方式的流程圖。
圖5是用于確定良好候選像素的小塊測(cè)量的實(shí)現(xiàn)方式的示意圖。
圖6是示出了空間候選像素的選擇的實(shí)現(xiàn)方式示意圖。
圖7是示出了基于像素的自適應(yīng)視頻噪聲濾波方法的實(shí)現(xiàn)方式的
流程圖。
圖8是示出了在像素p的空間濾波中的空間鄰近候選像素的5x5方 格的實(shí)現(xiàn)方式的示意圖。
具體實(shí)施例方式
一個(gè)挑戰(zhàn)在于，創(chuàng)建一種視頻濾波方法，處理與視頻噪聲去除相 關(guān)聯(lián)的兩個(gè)主要問(wèn)題(a)內(nèi)容細(xì)節(jié)的丟失和(b)濾波人工效應(yīng)，即在如
不均勻噪聲去除之類(lèi)的濾波過(guò)程中引入的人工效應(yīng)。現(xiàn)有的系統(tǒng)中， 像素級(jí)的空間和時(shí)間濾波之間缺乏交互，導(dǎo)致濾波強(qiáng)度在像素之間存 在差異，從而導(dǎo)致了由不均勻?yàn)V波引起的后濾波人工效應(yīng)的可能性。 一種實(shí)現(xiàn)方式通過(guò)提供空間和時(shí)間濾波之間的顯式交互來(lái)處理 這些問(wèn)題。這種顯式交互是通過(guò)在像素級(jí)組合空間和時(shí)間濾波來(lái)實(shí)現(xiàn) 的，同時(shí)繼續(xù)對(duì)視頻中的所有像素施加均勻量的噪聲減小，并同時(shí)盡 可能多地保留細(xì)節(jié)。將每個(gè)像素與時(shí)間和空間上相關(guān)的恒定數(shù)目的像 素進(jìn)行平均。將每個(gè)像素與恒定數(shù)目的其他像素來(lái)進(jìn)行平均，在存在 如高斯噪聲之類(lèi)的加性噪聲的情況下可能特別有優(yōu)勢(shì)，在存在其他類(lèi)型噪聲的情況下也同樣適用。通過(guò)對(duì)視頻中的所有像素施加均勻量的 噪聲減小，減少或避免了后濾波人工效應(yīng)。因此，這種實(shí)現(xiàn)方式在像 素級(jí)組合了空間和時(shí)間濾波。相對(duì)與現(xiàn)有的系統(tǒng)，這提供了顯著的優(yōu) 勢(shì)，現(xiàn)有的系統(tǒng)l)不存在像素級(jí)的空間和時(shí)間濾波的顯式交互，或 2 )在像素級(jí)進(jìn)行空間或時(shí)間濾波的切換。
圖1給出了系統(tǒng)100的方框圖。視頻信息的源102向處理設(shè)備104提
供輸入。處理設(shè)備104進(jìn)行基于像素的自適應(yīng)空間-時(shí)間視頻噪聲濾波 處理，并將結(jié)果輸出給發(fā)射機(jī)和/或存儲(chǔ)設(shè)備106以進(jìn)行發(fā)送或存儲(chǔ)。 在所示的實(shí)現(xiàn)方式中，顯示器108從發(fā)射機(jī)106接收噪聲濾波后的視頻 信息，并進(jìn)行操作以顯示該視頻信息。本領(lǐng)域技術(shù)人員可以意識(shí)到， 顯示器108可以被其他設(shè)備所替代。例如，接收機(jī)，如存儲(chǔ)器，可以適 于接收濾波后的視頻，并可選地，將該視頻傳送給其他視頻處理設(shè)備。
圖2示出了由源102提供給處理設(shè)備104的一些源內(nèi)容200的示例 示意圖。這些內(nèi)容是基于時(shí)間產(chǎn)生的，并且可能采取在特定時(shí)刻t的幀 和基于附近時(shí)刻(例如t-l， t+l)的幀的形式。每一幀包含像素集合， 其中，各像素使用其在幀中的空間位置(x， y)作為索引。
圖3是處理設(shè)備104的實(shí)現(xiàn)方式的方框圖。處理設(shè)備104的輸入是 源視頻，輸出是濾波后的視頻。圖3所示的實(shí)現(xiàn)方式可以對(duì)源視頻中的 一個(gè)或多個(gè)像素進(jìn)行各種處理，產(chǎn)生這些像素中的每個(gè)像素的替代值 (即濾波后的值)。將對(duì)其確定替代值的像素(或者換言之，正在被濾 波的像素)稱(chēng)為當(dāng)前像素，從中提取出當(dāng)前像素的幀稱(chēng)為當(dāng)前幀。對(duì) 每一個(gè)當(dāng)前像素，選擇器110從一個(gè)或多個(gè)參考幀中選擇候選像素集 合。在一種實(shí)現(xiàn)方式中，參考幀是當(dāng)前幀周?chē)膸?，也可以包含?dāng)前 幀本身。選擇器110也可以選擇當(dāng)前像素。評(píng)估器112確定候選像素集 合中每個(gè)像素的良好性(goodness)值或質(zhì)量度量。根據(jù)各種實(shí)現(xiàn)方 式，可以使用以下方式來(lái)計(jì)算良好性值或質(zhì)量度量，例如l)像素與 所選候選像素之間的色差；2)像素周?chē)鶰xN塊與候選像素周?chē)鶰xN塊 之間的絕對(duì)差之和(SAD);或者3)與當(dāng)前像素的距離。
集合控制單元114基于對(duì)評(píng)估器112的結(jié)果應(yīng)用的一種或多種準(zhǔn) 則來(lái)確定當(dāng)前像素的對(duì)應(yīng)像素集合。這些準(zhǔn)則可以確定l)以預(yù)定順序來(lái)考慮，候選集合中的一個(gè)或多個(gè)像素是否應(yīng)當(dāng)包括在對(duì)應(yīng)集合中； 和2)何時(shí)停止將候選集合中的像素包括在對(duì)應(yīng)集合中。對(duì)于一種實(shí)現(xiàn) 方式，用于停止將候選集合中的像素包括在對(duì)應(yīng)集合中的準(zhǔn)則按優(yōu)先 級(jí)順序依次為A)對(duì)應(yīng)集合中已經(jīng)包括了預(yù)定數(shù)目的像素，或B)己經(jīng)
考慮過(guò)了候選集合中的所有像素。確定單元116基于對(duì)應(yīng)集合中的像素
的值來(lái)確定當(dāng)前像素的替代值。
可選地，處理設(shè)備104中包括用戶(hù)輸入單元118，圖3中使用虛線(xiàn) 框來(lái)表示用戶(hù)輸入單元118以指示它是可選的。舉例來(lái)說(shuō)，用戶(hù)輸入單 元118可以用于允許用戶(hù)輸入停止準(zhǔn)則，如N值，其中N可以是當(dāng)前像 素的對(duì)應(yīng)像素集合中包括的像素?cái)?shù)目。如圖3所示，用戶(hù)輸入單元118 可以耦合至集合控制單元114，或者(直接或間接地)耦合至一個(gè)或多 個(gè)其他組件。在各種實(shí)現(xiàn)方式中，例如，N值可以固定在軟件或硬件 中而不允許用戶(hù)調(diào)整。
圖4示出了根據(jù)一種實(shí)現(xiàn)方式的處理過(guò)程的流程圖400。訪問(wèn)402
源視頻的目標(biāo)數(shù)字圖像并選擇當(dāng)前像素。本實(shí)現(xiàn)方式的源視頻可能包 括一個(gè)或多個(gè)各種不同的視頻源。對(duì)從目標(biāo)圖像中選擇的至少一個(gè)像 素執(zhí)行接下來(lái)的操作404-412。對(duì)所選的當(dāng)前像素，從一個(gè)或多個(gè)參考 幀(可能包括或不包括當(dāng)前幀)中選擇404候選像素集合。 一旦選擇了 候選像素集合，則計(jì)算每個(gè)候選像素的一個(gè)或多個(gè)良好性值(或質(zhì)量 度量)(406)。此時(shí)，基于一個(gè)或多個(gè)準(zhǔn)則來(lái)確定當(dāng)前像素的對(duì)應(yīng)像素 集合(40S)。該準(zhǔn)則可能包括例如良好性值是否滿(mǎn)足閾值。操作408可 以按預(yù)定順序來(lái)考慮候選集合中的一個(gè)或多個(gè)像素。
然后，確定是否滿(mǎn)足停止準(zhǔn)則(410)。再次說(shuō)明，如上所述，停止 準(zhǔn)則可以是例如A)對(duì)應(yīng)集合中已經(jīng)包括了預(yù)定數(shù)目的像素，或者B)
已經(jīng)考慮過(guò)了候選集合中的所有像素。 一旦滿(mǎn)足了該停止準(zhǔn)則，則基 于對(duì)應(yīng)集合中的像素的值來(lái)確定當(dāng)前像素的替代值(412)。
參見(jiàn)圖5，顯示了兩個(gè)相鄰幀610和620，如圖所示，其各自具有3x3 的像素小塊630和640。按照一種實(shí)現(xiàn)方式，基于小塊的"良好性值"測(cè) 量首先計(jì)算兩個(gè)小塊內(nèi)對(duì)應(yīng)像素的絕對(duì)差，然后將這些絕對(duì)差相加求 和來(lái)形成絕對(duì)差之和(SAD)。如果這兩個(gè)小塊中的像素之間的SAD小于預(yù)定閾值，則時(shí)間預(yù)測(cè)值pred[j]被認(rèn)為是"良好"。本領(lǐng)域技術(shù)人
員可以意識(shí)到，實(shí)際上，該閾值可能被分為兩個(gè)閾值， 一個(gè)針對(duì)像素
的亮度分量的SAD， 一個(gè)針對(duì)像素的色度分量的SAD。重要的是，應(yīng)
注意以下內(nèi)容l)這些幀不必是相鄰的(雖然圖5中所示的是相鄰的)；
以及2)這兩幀中像素的(x， y)位置不必相同。本領(lǐng)域技術(shù)人員知曉多 種方式來(lái)選擇小塊和閾值。
圖6是示出了幀710的示意圖，幀710具有當(dāng)前像素(x， y)和被選擇 為"良好"的空間候選像素(即空間鄰近區(qū)域中"通過(guò)"空間濾波的良 好性準(zhǔn)則的像素)的像素集合720。例如， 一種判決準(zhǔn)則是當(dāng)前像素和 候選像素的值之間的差值，可以將該差值與閾值相比較。如果圖5和圖 6表示通過(guò)時(shí)間(圖5)和空間(圖6)域的良好性測(cè)試的像素集合，則 N等于15，反映了9個(gè)時(shí)間像素，5個(gè)空間像素和目標(biāo)像素。
圖7示出了根據(jù)一種實(shí)現(xiàn)方式的自適應(yīng)空間-時(shí)間視頻噪聲濾波的 過(guò)程500的流程圖。為了對(duì)輸入視頻幀中的每個(gè)像素p進(jìn)行濾波，過(guò)程 500的目標(biāo)就是要找到N個(gè)"良好"候選像素，用于與p (包括其本身) 的平均，其中N貫穿濾波過(guò)程500的全局常數(shù)。將這些"良好"候選像素 放入平均值集合Ap-(p, ci; i=l，...,M}，其中M^N-1,并且僅當(dāng)有足夠的 "良好"候選像素不可用時(shí)允許NKN-1。然后，該濾波過(guò)程包括使用Ap 中元素的平均值來(lái)替換p。注意，盡管實(shí)現(xiàn)方式并不需要分別執(zhí)行平均， 但是這里使用的短語(yǔ)"平均像素"指的是分別對(duì)像素的亮度和色度分量 值(例如，Y， U和V)進(jìn)行平均。對(duì)于確實(shí)要對(duì)分量分別執(zhí)行平均的 實(shí)現(xiàn)方式，典型地或必要地，也要對(duì)分量分別執(zhí)行各種其他操作(或 甚至整個(gè)過(guò)程)。
在過(guò)程500中，可以從時(shí)間或者空間域中選擇N個(gè)"良好"候選像
素。按照一種實(shí)現(xiàn)方式，由于時(shí)間濾波模糊視覺(jué)細(xì)節(jié)的可能性較低， 因此首先在時(shí)間域中尋找N個(gè)"良好"候選像素。如圖7所示，過(guò)程500 包括三個(gè)主要方面時(shí)間候選像素的選擇550;空間候選像素的選擇 560;以及通過(guò)對(duì)所選候選像素進(jìn)行平均來(lái)進(jìn)行濾波570。過(guò)程500使用 從時(shí)間和/或空間域中選擇的候選像素對(duì)每一個(gè)像素進(jìn)行濾波。這與各 種現(xiàn)有技術(shù)方法的方法相反，在現(xiàn)有技術(shù)方法中， 一次對(duì)整個(gè)幀進(jìn)行
10空間或時(shí)間濾波，并將結(jié)果進(jìn)行組合來(lái)形成濾波后的幀。
參考圖7，根據(jù)本原理的一種實(shí)現(xiàn)方式，時(shí)間候選像素的選擇550
首先包括估計(jì)像素p從當(dāng)前幀到n個(gè)參考幀的運(yùn)動(dòng)。如圖所示，使用輸 入幀中的像素p來(lái)對(duì)平均值集合Ap^p)進(jìn)行初始化(502)。執(zhí)行對(duì)參考 幀」=1,...,11的循環(huán)(504)，并且根據(jù)參考幀j來(lái)產(chǎn)生基于運(yùn)動(dòng)的預(yù)測(cè)像素 pred[j](506)。此后，依次將每一個(gè)時(shí)間預(yù)測(cè)的像素pred[j](從第j個(gè)參 考幀起)考慮為Ap的候選像素(508)。如果確定是"良好"預(yù)測(cè)像素(即 符合質(zhì)量度量準(zhǔn)則)，則將其添加至集合Ap(510)。在選擇時(shí)間候選像 素的過(guò)程中，如果在512處I Ap I =N (即Ap中元素的數(shù)目等于N)，則 尋找候選像素的過(guò)程終止，并轉(zhuǎn)移至濾波步驟570。
如果在從時(shí)間域中選擇候選像素之后i Ap I <N，則對(duì)j的循環(huán)結(jié) 束(514)，我們開(kāi)始在空.間域中尋找候選像素。如圖8所示， 一種可能 性是，考慮在p的bxb鄰近區(qū)域中的所有像素。本領(lǐng)域技術(shù)人員知曉選 擇鄰近區(qū)域大小的各種技術(shù)。在循環(huán)k-l,...m中，我們考慮空間鄰近 像素(516)的順序由候選像素與p的鄰近性來(lái)確定。如果候選鄰近像素 被確定為"良好"(518)，則將其添加至Ap。如果在掃描空間候選像素時(shí) I Ap I =N(522)，或者已經(jīng)掃描了所有候選像素，則我們繼續(xù)至濾波步 驟570的處理。
最終，在濾波步驟570中，使用Ap中元素的平均值(526)來(lái)替代像 素p，該過(guò)程轉(zhuǎn)移至要濾波的下一像素。替代平均的其他操作，或除平 均之外的其他操作也可以用于確定像素P的替代值。更一般地， 一種實(shí) 現(xiàn)方式可以基于Ap中的像素的值來(lái)確定替代值，包括但不限于這些值 的平均值。應(yīng)當(dāng)清楚，雖然對(duì)于目標(biāo)數(shù)字圖像中的每個(gè)像素，數(shù)值N 典型地保持為常數(shù)，但是，對(duì)于目標(biāo)數(shù)字圖像中的每個(gè)像素，N個(gè)像 素的相對(duì)位置可以改變。
圖8示出了對(duì)當(dāng)前像素p周?chē)暮蜻x像素集合的一種編號(hào)方式 800。這種編號(hào)方式800基于與當(dāng)前像素p的空間距離，或與當(dāng)前像素p 的空間鄰近性來(lái)向鄰近像素分配編號(hào)。標(biāo)記為"l"的四個(gè)像素與p具有 相同距離，并且都是離p最近的。標(biāo)記為"2"的四個(gè)像素與p具有相同距 離，并且都是離p第二近的。標(biāo)記為"3"的四個(gè)像素與p具有相同距離，并且都是離p第三近的。標(biāo)記為"4"的四個(gè)像素與p具有相同距離，并且 都是離p第四近的。標(biāo)記為"5"的四個(gè)像素與p具有相同距離，并且都是 離p第五近的。編號(hào)方式800可以用于確定在建立p的對(duì)應(yīng)像素集合時(shí)先
測(cè)試哪些像素。例如， 一種實(shí)現(xiàn)方式是先考慮所有"l"像素，然后是所
有"2"像素，然后是所有"3"像素，然后是所有"4"像素，然后是所有"5" 像素，直到對(duì)應(yīng)集合具有N個(gè)像素為止。這與如從左到右、從上到下 之類(lèi)的光柵順序來(lái)考慮所有像素相反。
圖8中的"距離"方法也可以適用于其他幀內(nèi)的時(shí)間候選像素。一種 實(shí)現(xiàn)方式使用"時(shí)間距離"而不是圖8中的空間距離，在使用幀的實(shí)現(xiàn)方 式中，可以使用"幀距離"來(lái)替代"時(shí)間距離"。例如，對(duì)與幀j中的當(dāng) 前像素p， 一種實(shí)現(xiàn)方式是首先考慮pred[j-l](對(duì)幀j-l中的p的預(yù)測(cè))， 然后是pred[j+l]，然后是pred[j-2]，然后是pred[j+2]等等，以幀距離遞 增的方式來(lái)進(jìn)行。
實(shí)現(xiàn)方式可以在考慮在時(shí)間域中對(duì)候選像素進(jìn)行評(píng)估之前(或不 在時(shí)間域中對(duì)候選像素進(jìn)行評(píng)估)，在空間域中對(duì)候選像素進(jìn)行評(píng)估。 也可以采用其他域。這樣的其他域可以包括例如變換域(例如傅里葉 域，小波域)，和從相同圖像的分離的記錄中獲取的域。例如，在涉及 從膠片巻軸獲取視頻的一種實(shí)現(xiàn)方式中，從不同膠片巻軸數(shù)字化而得 到的相同視頻中提取域。如果另一膠片巻軸具有與第一膠片巻軸相似 的膠片顆粒(更一般地而言是噪聲)特性，則該其他膠片巻軸可能尤 其有用。
實(shí)現(xiàn)方式可以包括對(duì)視頻進(jìn)行濾波或?qū)o止圖像進(jìn)行濾波。 "N"的選擇可以基于需要去除的噪聲量。例如對(duì)不同的幀(例如， 可以對(duì)覆蓋場(chǎng)景的給定幀序列來(lái)設(shè)置N)，對(duì)一幀內(nèi)的不同區(qū)域，和對(duì) 不同的分量或分離(例如，亮度和色度可以有不同的"N"，或者如R、 G、 B或Y、 U、 V之類(lèi)的不同顏色分離也可以有不同的"N"值)，"N" 可以變化。
此外，用戶(hù)可以根據(jù)經(jīng)驗(yàn)來(lái)選擇N，在一種實(shí)現(xiàn)中，可以允許用 戶(hù)使用用戶(hù)接口來(lái)輸入N值。該用戶(hù)接口可能包括例如機(jī)械設(shè)備(例 如開(kāi)關(guān)或者旋鈕)、計(jì)算機(jī)設(shè)備(例如鍵盤(pán)或鼠標(biāo)，可能與所選值的下拉菜單或顯示相結(jié)合)、或語(yǔ)音輸入系統(tǒng)。
用戶(hù)可以為對(duì)應(yīng)像素集合的大小選擇一個(gè)或多個(gè)值。例如，這一個(gè)或多個(gè)值可以是具有封閉或開(kāi)放端點(diǎn)的范圍。示例包括(i)N加或減X、 (ii)大于N、以及(iii)小于N，其中N和X都是固定的。在該大小被
選擇為(或者硬編碼為)"大于N"的各種實(shí)現(xiàn)方式中，只要對(duì)應(yīng)集合中有N個(gè)像素，則認(rèn)為該對(duì)應(yīng)集合已經(jīng)完成。對(duì)與具有對(duì)應(yīng)像素集合
中可以包括的像素?cái)?shù)目的最大值的實(shí)現(xiàn)方式，用戶(hù)可以選擇(或者系統(tǒng)可以硬編碼)對(duì)應(yīng)像素集合中可以包括的像素?cái)?shù)目的預(yù)定最大數(shù)目。許多實(shí)現(xiàn)方式使用預(yù)定閾值來(lái)確定對(duì)應(yīng)像素集合中要包括多少像素。根據(jù)實(shí)現(xiàn)方式和預(yù)定閾值的使用，預(yù)定閾值可以涉及預(yù)定最小或預(yù)定最大值。在各種實(shí)現(xiàn)方式中，預(yù)定閾值可以用作停止點(diǎn)。
良好性或質(zhì)量度量可以變化。此外，上述SAD可以用于空間域，而上述的像素差值可以用于時(shí)間域。
實(shí)現(xiàn)方式不需要進(jìn)行運(yùn)動(dòng)估計(jì)。例如在確定pred[j]時(shí)，這種實(shí)現(xiàn)方式可以假設(shè)零運(yùn)動(dòng)。
根據(jù)另一實(shí)現(xiàn)方式，確定對(duì)應(yīng)像素集合包括從參考圖像集合中的候選像素集合中選擇像素；計(jì)算所選的候選像素的質(zhì)量度量；如果該質(zhì)量度量滿(mǎn)足一個(gè)或多個(gè)預(yù)定準(zhǔn)則，則將該候選像素添加至對(duì)應(yīng)像素集合中；以及重復(fù)所述選擇、計(jì)算和添加，直到滿(mǎn)足一個(gè)或多個(gè)停止準(zhǔn)則為止。
根據(jù)各種實(shí)現(xiàn)方式，質(zhì)量度量可以是例如l)像素與所選候選像素之間的色差；2)像素周?chē)鶰xN塊與候選像素周?chē)鶰xN塊之間的絕對(duì)差之和；或者3)與當(dāng)前像素的距離。
在另一實(shí)現(xiàn)方式中，計(jì)算替代值可以包括l)將對(duì)應(yīng)像素集合中的像素的值進(jìn)行平均；和/或2)對(duì)應(yīng)像素集合中像素的值的加權(quán)平均。在這種實(shí)現(xiàn)方式中，基于每個(gè)像素的質(zhì)量度量值，對(duì)對(duì)應(yīng)像素集合中的像素進(jìn)行加權(quán)。確定單元執(zhí)行的平均可以對(duì)像素的Y、 U和V值(或其他顏色分離)分別進(jìn)行。
在另一實(shí)現(xiàn)方式中，獨(dú)立地對(duì)每個(gè)像素的每個(gè)顏色分量進(jìn)行處理，并將對(duì)應(yīng)像素集合中像素?cái)?shù)目用作停止準(zhǔn)則。在又一實(shí)現(xiàn)方式中， 一種用于對(duì)視頻進(jìn)行濾波的設(shè)備包括選擇器，用于為目標(biāo)數(shù)字圖像中的多個(gè)像素中的每個(gè)像素選擇對(duì)應(yīng)像素集合中可能包括的像素；評(píng)估器，用于計(jì)算所選像素的良好性值；集合控制單元，基于為多個(gè)像素中至少一個(gè)像素而計(jì)算的良好性值來(lái)確定對(duì)應(yīng)像素集合；確定單元，基于對(duì)應(yīng)像素集合中的像素的值來(lái)確定多
個(gè)像素中的每個(gè)像素的對(duì)應(yīng)替代值。
根據(jù)其他一些實(shí)現(xiàn)方式，所選的像素包含在一幅或多幅數(shù)字圖像中，所述一幅或多幅數(shù)字圖像可能包括目標(biāo)數(shù)字圖像。集合控制單元也可以基于預(yù)定準(zhǔn)則來(lái)確定對(duì)應(yīng)集合。用于集合控制單元的預(yù)定準(zhǔn)則
包括以預(yù)定順序來(lái)考慮，候選集合中的一個(gè)或多個(gè)像素是否應(yīng)當(dāng)包
括在對(duì)應(yīng)集合中。此外，控制單元還包括用于停止像素處理的停止準(zhǔn)
則。在一種實(shí)現(xiàn)方式中，該停止準(zhǔn)則包括確定對(duì)應(yīng)集合中是否已經(jīng)包括了預(yù)定數(shù)目的像素。在另一實(shí)現(xiàn)方式中，停止準(zhǔn)則包括了確定已經(jīng)考慮過(guò)了候選集合中的所有像素。
在另一實(shí)現(xiàn)方式中，集合控制單元控制對(duì)應(yīng)集合的大小，使得除
非在包括N個(gè)像素之前滿(mǎn)足停止準(zhǔn)則，否則每個(gè)對(duì)應(yīng)集合包括N個(gè)像素。在又一實(shí)現(xiàn)方式中， 一個(gè)對(duì)應(yīng)集合(與一個(gè)像素相對(duì)應(yīng))中N個(gè)像素的位置與另一對(duì)應(yīng)集合(與另一像素相對(duì)應(yīng))中的N個(gè)像素的位置不同。
集合控制單元對(duì)對(duì)應(yīng)像素集合的選擇可以包括多種域中的像素。另外，例如，可以按距離螺旋式遞增的順序來(lái)進(jìn)行像素選擇。這個(gè)距離可以是例如空間域中的空間距離和/或時(shí)間域中的距離，例如參考圖8所描述的順序。
根據(jù)另一實(shí)現(xiàn)方式， 一種自適應(yīng)視頻噪聲濾波方法包括獲取包括像素的目標(biāo)數(shù)字圖像；為目標(biāo)數(shù)字圖像中的多個(gè)像素中的每個(gè)像素確定對(duì)應(yīng)像素集合。對(duì)應(yīng)像素集合中的像素包括在兩幅或更多數(shù)字圖像中，所述兩幅或更多數(shù)字圖像包括目標(biāo)數(shù)字圖像和另一參考數(shù)字圖像。對(duì)多個(gè)像素中至少一個(gè)像素確定對(duì)應(yīng)集合包括計(jì)算像素的質(zhì)量度量；以及基于所計(jì)算的質(zhì)量度量結(jié)果將該像素包括在對(duì)應(yīng)集合中。
對(duì)所述多個(gè)像素中的每個(gè)像素，繼續(xù)確定對(duì)應(yīng)集合直到對(duì)應(yīng)集合中包括N個(gè)像素為止，除非在包括N個(gè)像素之前滿(mǎn)足停止準(zhǔn)則。此時(shí)，通過(guò)對(duì)對(duì)應(yīng)像素集合中的像素的值進(jìn)行平均來(lái)確定所述多個(gè)像素中的每個(gè)像素的對(duì)應(yīng)替代值。
根據(jù)另一實(shí)現(xiàn)方式，評(píng)估像素是與所述多個(gè)像素之一不同的像素，確定對(duì)應(yīng)集合還包括從大于N個(gè)的候選像素池中確定對(duì)應(yīng)集合。
在另一實(shí)現(xiàn)方式中，計(jì)算每個(gè)像素的質(zhì)量度量可以包括對(duì)時(shí)間預(yù)測(cè)的候選像素執(zhí)行基于小塊的絕對(duì)差之和測(cè)量；以及對(duì)空間預(yù)測(cè)的候選像素執(zhí)行像素差值測(cè)量。這種質(zhì)量度量計(jì)算適于確保實(shí)質(zhì)上從每一個(gè)像素去除的噪聲量實(shí)質(zhì)上相同。
在又一實(shí)現(xiàn)方式中，提供了一種軟件載體，具有用于使一個(gè)或多
個(gè)設(shè)備執(zhí)行以下方法的指令l)訪問(wèn)包括像素的目標(biāo)數(shù)字圖像；2)為目標(biāo)數(shù)字圖像中的多個(gè)像素中的每個(gè)像素確定對(duì)應(yīng)像素集合；以及3)基于對(duì)對(duì)應(yīng)像素集合中像素的值進(jìn)行平均，確定所述多個(gè)像素中的每一像素的對(duì)應(yīng)替代值。
在另一實(shí)現(xiàn)方式中，對(duì)應(yīng)像素集合包括在一幅或更多數(shù)字圖像中，其中所述一幅或更多數(shù)字圖像可能包括目標(biāo)數(shù)字圖像。
在另一實(shí)現(xiàn)方式中，確定對(duì)應(yīng)集合包括確定像素的良好性值，
并基于良好性值的確定結(jié)果將該像素包括在對(duì)應(yīng)集合中。此外，為所述多個(gè)像素中的每個(gè)像素確定對(duì)應(yīng)集合包括繼續(xù)確定對(duì)應(yīng)集合直到
對(duì)應(yīng)集合中包括N個(gè)像素為止，除非在包括N個(gè)像素之前滿(mǎn)足停止準(zhǔn)則。
以上描述的實(shí)現(xiàn)方式包括例如各種系統(tǒng)和處理過(guò)程。實(shí)現(xiàn)方式可以包括被配置為執(zhí)行一個(gè)或多個(gè)過(guò)程的一個(gè)或多個(gè)設(shè)備。設(shè)備可以包括例如離散的或集成的硬件、固件和軟件。設(shè)備可以包括例如處理器，
一般將其稱(chēng)為處理設(shè)備，包括例如微處理器、集成電路或可編程邏
輯設(shè)備。
設(shè)備也可以包括一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)，所述介質(zhì)具有用于
執(zhí)行一個(gè)或多個(gè)過(guò)程的指令。這種計(jì)算機(jī)可讀介質(zhì)可以包括例如存
儲(chǔ)設(shè)備，如硬盤(pán)、光盤(pán)、隨機(jī)存取存儲(chǔ)器("RAM")或只讀存儲(chǔ)器("ROM")。計(jì)算機(jī)可讀介質(zhì)還可以包括例如編碼或傳輸指令的格式化電磁波。例如，指令可以存在于硬件、固件、軟件或電磁波中。指令可以在例如操作系統(tǒng)、獨(dú)立應(yīng)用程序或兩者的結(jié)合中找到。因此，處理器的特征可以在于例如被配置為執(zhí)行過(guò)程的設(shè)備和包括具有用于執(zhí)行過(guò)程的指令的計(jì)算機(jī)可讀介質(zhì)的設(shè)備。
應(yīng)當(dāng)理解，可以以各種不同形式的硬件、軟件、固件、專(zhuān)用處理器或其結(jié)合來(lái)實(shí)現(xiàn)本原理。很多實(shí)現(xiàn)使用了硬件和軟件的結(jié)合。此外，軟件可以被實(shí)現(xiàn)為程序存儲(chǔ)設(shè)備上明確實(shí)現(xiàn)的應(yīng)用程序。應(yīng)用程序可以被加載至包括任何適當(dāng)架構(gòu)的機(jī)器上并由該機(jī)器來(lái)執(zhí)行?？梢栽趽碛腥缫粋€(gè)或多個(gè)中央處理單元(CPU)、隨機(jī)存取存儲(chǔ)器(RAM)和輸入/輸出(I/O)接口之類(lèi)的硬件的計(jì)算機(jī)平臺(tái)上實(shí)現(xiàn)該機(jī)器。計(jì)算機(jī)平臺(tái)也可以包括操作系統(tǒng)和微指令代碼。此處描述的各種過(guò)程和功能可以是在操作系統(tǒng)上執(zhí)行的微指令代碼的一部分或應(yīng)用程序的一部分(或其結(jié)合)。另外，各種其他外圍設(shè)備可以連接到該計(jì)算機(jī)平臺(tái)，如額外的數(shù)據(jù)存儲(chǔ)設(shè)備和打印設(shè)備。
還應(yīng)理解，由于附圖中描述的一些組成系統(tǒng)的組件和方法步驟優(yōu)選地以軟件來(lái)實(shí)現(xiàn)，因此系統(tǒng)組件(或處理步驟)之間的實(shí)際聯(lián)系可能根據(jù)對(duì)本發(fā)明進(jìn)行編程的方式而不同。由于這里的教導(dǎo)，相關(guān)領(lǐng)域中的普通技術(shù)人員能夠能夠想到本原理的這些和類(lèi)似實(shí)現(xiàn)方式或配置。
盡管已經(jīng)說(shuō)明、描述并指出了應(yīng)用至特定實(shí)現(xiàn)方式的基本的新穎特征，但是，可以理解的是，本領(lǐng)域技術(shù)人員可以對(duì)所描述方法和所示設(shè)備的形式、細(xì)節(jié)和操作進(jìn)行各種省略、替換和改變。例如，很清楚，以實(shí)質(zhì)上相同的方法來(lái)執(zhí)行實(shí)質(zhì)上相同的功能以實(shí)現(xiàn)相同結(jié)果的元件和/或方法操作的所有組合，都包含在本原理的范圍之內(nèi)。此外，應(yīng)當(dāng)認(rèn)識(shí)到，與本原理的任何公開(kāi)的形式或?qū)崿F(xiàn)方式相結(jié)合來(lái)說(shuō)明和/或描述的結(jié)構(gòu)和/或元件和/或方法步驟， 一般可以在任何其他公開(kāi)、描述或建議的形式或?qū)崿F(xiàn)方式中使用。此外，不同實(shí)現(xiàn)方式中的元件可以組合、補(bǔ)充、修改或去除，以產(chǎn)生其他實(shí)現(xiàn)方式。相應(yīng)地，其他實(shí)現(xiàn)方式落入所附權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1、一種方法，包括從目標(biāo)數(shù)字圖像中選擇(402)第一像素；基于一幅或多幅數(shù)字圖像中的多個(gè)候選像素的值來(lái)對(duì)所述多個(gè)候選像素進(jìn)行評(píng)估(406)；從所述多個(gè)候選像素中，針對(duì)所選的第一像素確定(408)第一對(duì)應(yīng)像素集合，所述確定是基于以下判斷來(lái)做出的(i)對(duì)所述多個(gè)候選像素的評(píng)估以及(ii)第一對(duì)應(yīng)集合是否已經(jīng)包括預(yù)定閾值數(shù)目的像素；以及基于第一對(duì)應(yīng)像素集合中的像素的值來(lái)為所選的第一像素確定(412)替代值。
2、 如權(quán)利要求l所述的方法，還包括 從所述目標(biāo)數(shù)字圖像中選擇第二像素；基于一幅或多幅數(shù)字圖像中的多個(gè)候選像素的可能不同的集合 的值，對(duì)所述多個(gè)候選像素的可能不同的集合進(jìn)行評(píng)估；從所述多個(gè)候選像素的可能不同的集合中，針對(duì)所選的第二像素 確定第二對(duì)應(yīng)像素集合，所述確定是基于以下判斷來(lái)做出的(i)對(duì) 所述多個(gè)候選像素的可能不同的集合的評(píng)估以及(ii)第二對(duì)應(yīng)集合 是否已經(jīng)包括預(yù)定閾值數(shù)目的像素，所述第二對(duì)應(yīng)像素集合可能與所 述第一對(duì)應(yīng)像素集合不同；以及基于第二對(duì)應(yīng)像素集合中的像素的值來(lái)為所選的第二像素確定 替代值。
3、 如權(quán)利要求l所述的方法，其中對(duì)多個(gè)候選像素進(jìn)行評(píng)估包括對(duì)來(lái)自多幅數(shù)字圖像中的候選像 素進(jìn)行評(píng)估，以及確定第一對(duì)應(yīng)像素集合包括將多幅數(shù)字圖像中的每幅數(shù)字圖像 中的一個(gè)或多個(gè)候選像素包括在第一對(duì)應(yīng)像素集合中。
4、 如權(quán)利要求l所述的方法，其中對(duì)多個(gè)候選像素進(jìn)行評(píng)估包括對(duì)來(lái)自多個(gè)域中的候選像素進(jìn)行評(píng)估，以及確定第一對(duì)應(yīng)像素集合包括將來(lái)自多個(gè)域中的每個(gè)域中的一個(gè) 或多個(gè)候選像素包括第一對(duì)應(yīng)像素集合中。
5、 如權(quán)利要求4所述的方法，其中，所述多個(gè)域包括從由空間域、 時(shí)間域和變換域組成的組中選擇的域。
6、 如權(quán)利要求l所述的方法，其中 對(duì)多個(gè)候選像素進(jìn)行評(píng)估包括從多個(gè)候選像素中選擇候選像素；以及 計(jì)算所選的候選像素的質(zhì)量度量，以及 確定第一對(duì)應(yīng)像素集合包括如果所述質(zhì)量度量符合一個(gè)或多個(gè) 預(yù)定準(zhǔn)則，則將所選的候選像素添加至第一對(duì)應(yīng)像素集合。
7、 如權(quán)利要求6所述的方法，其中，所述質(zhì)量度量包括像素和所選的候選像素之間的色差。
8、 如權(quán)利要求6所述的方法，其中，所述質(zhì)量度量包括所選的第 一像素周?chē)腗xN塊與所選的候選像素周?chē)腗xN塊之間的絕對(duì)差 之和。
9、 如權(quán)利要求l所述的方法，其中，確定替代值包括將第一對(duì) 應(yīng)像素集合中的像素的值進(jìn)行平均。
10、 如權(quán)利要求l所述的方法，其中，確定替代值包括確定第一對(duì)應(yīng)像素集合中的像素的值的加權(quán)平均值。
11、 如權(quán)利要求10所述的方法，其中，確定加權(quán)平均值包括基 于每個(gè)像素的質(zhì)量度量值，對(duì)第一對(duì)應(yīng)像素集合中的像素進(jìn)行加權(quán)。
12、 如權(quán)利要求ll所述的方法，其中，所述質(zhì)量度量基于與所選的第一像素的距離。
13、 如權(quán)利要求l所述的方法，其中，對(duì)所述多個(gè)候選像素進(jìn)行評(píng)估的順序基于多個(gè)候選像素與所選的第一像素之間的距離。
14、 如權(quán)利要求l所述的方法，其中所選的第一像素包括多個(gè)分量，以及對(duì)所選的第一像素的每個(gè)分量分別執(zhí)行以下操作對(duì)多個(gè)候選像 素進(jìn)行評(píng)估、確定第一對(duì)應(yīng)像素集合以及確定替代值。
15、 如權(quán)利要求14所述的方法，其中，所述分量是Y、 U和V。
16、 如權(quán)利要求l所述的方法，還包括選擇所述預(yù)定閾值數(shù)目。
17、 如權(quán)利要求l所述的方法，其中，確定第一對(duì)應(yīng)像素集合包括將正好所述預(yù)定閾值數(shù)目的像素包括在第一對(duì)應(yīng)集合中。
18、 一種設(shè)備，包括選擇器(110)，被配置為，從一幅或多幅數(shù)字圖像中，針對(duì)來(lái)自 目標(biāo)數(shù)字圖像的目標(biāo)像素，選擇對(duì)應(yīng)像素集合中可能包括的像素；評(píng)估器(112)，被配置為計(jì)算所選像素的質(zhì)量度量；控制單元(114)，被配置為，基于以下判斷來(lái)確定所述對(duì)應(yīng)像素 集合(1)所計(jì)算的所選像素的質(zhì)量度量以及(2)對(duì)應(yīng)集合是否己經(jīng) 包括預(yù)定閾值數(shù)目的像素；以及確定單元(116)，被配置為，基于所述對(duì)應(yīng)像素集合中的像素的值來(lái)為所述目標(biāo)像素確定替代值。
19、 如權(quán)利要求18所述的設(shè)備，其中所述設(shè)備被配置為，為第二目標(biāo)像素確定第二對(duì)應(yīng)像素集合，以及與所述目標(biāo)像素相對(duì)應(yīng)的對(duì)應(yīng)像素集合中的像素的一個(gè)或多個(gè) 位置不同于與所述第二目標(biāo)像素相對(duì)應(yīng)的第二對(duì)應(yīng)像素集合中的像素 位置。
20、 如權(quán)利要求18所述的設(shè)備，其中，選擇所述對(duì)應(yīng)像素集合中 可能包括的像素是按與所述目標(biāo)像素的距離螺旋式遞增的順序來(lái)進(jìn)行 的。
21、 如權(quán)利要求20所述的設(shè)備，其中，所述距離包括空間域中的 空間距離和時(shí)間域中的時(shí)間距離。
22、 如權(quán)利要求18所述的設(shè)備，還包括用戶(hù)輸入單元(118)，被 配置為從用戶(hù)接受所述預(yù)定閾值數(shù)目。
23、 如權(quán)利要求18所述的設(shè)備，其中，所述控制單元被配置為將 多幅數(shù)字圖像中的像素包括在所述對(duì)應(yīng)像素集合中。
24、 如權(quán)利要求23所述的設(shè)備，其中，所述控制單元被配置為控 制所述對(duì)應(yīng)像素集合的大小，使得所述對(duì)應(yīng)像素集合包括預(yù)定閾值數(shù)目的像素，除非在包括預(yù)定閾值數(shù)目的像素之前滿(mǎn)足了停止準(zhǔn)則。
25、 一種設(shè)備，包括用于從目標(biāo)數(shù)字圖像中選擇第一像素的裝置U10);基于一幅或多幅數(shù)字圖像中的多個(gè)候選像素的值來(lái)對(duì)所述多個(gè) 候選像素進(jìn)行評(píng)估的裝置(112);從所述多個(gè)候選像素中，針對(duì)所選的第一像素確定第一對(duì)應(yīng)像素 集合的裝置(114)，所述確定是基于以下判斷來(lái)做出的(i)對(duì)所述 多個(gè)候選像素的評(píng)估以及(ii)第一對(duì)應(yīng)集合是否已經(jīng)包括預(yù)定閾值 數(shù)目的像素；以及基于第一對(duì)應(yīng)像素集合中的像素的值來(lái)為所選的第一像素確定替代值的裝置(116)。
26、 一種計(jì)算機(jī)可讀介質(zhì)，包括使一個(gè)或多個(gè)設(shè)備執(zhí)行以下步驟的指令從目標(biāo)數(shù)字圖像中選擇第一像素；基于一幅或多幅數(shù)字圖像中的多個(gè)候選像素的值來(lái)對(duì)所述多個(gè) 候選像素進(jìn)行評(píng)估；從所述多個(gè)候選像素中，針對(duì)所選的第一像素確定第一對(duì)應(yīng)像素 集合，所述確定是基于以下判斷來(lái)做出的(i)對(duì)所述多個(gè)候選像素 的評(píng)估以及(ii)第一對(duì)應(yīng)集合是否已經(jīng)包括預(yù)定閾值數(shù)目的像素； 以及基于第一對(duì)應(yīng)像素集合中的像素的值來(lái)為所選的第一像素確定 替代值。
全文摘要
在一種實(shí)現(xiàn)方式中，從目標(biāo)數(shù)字圖像中選擇像素?；谝环蚨喾鶖?shù)字圖像中的多個(gè)候選像素的值來(lái)對(duì)所述多個(gè)候選像素進(jìn)行評(píng)估。從所述多個(gè)候選像素中，針對(duì)所選像素確定對(duì)應(yīng)像素集合，所述確定是基于對(duì)所述多個(gè)候選像素的評(píng)估和所述對(duì)應(yīng)集合是否已經(jīng)包括預(yù)定閾值數(shù)目的像素來(lái)做出的。還基于對(duì)應(yīng)像素集合中的像素的值來(lái)為所選像素確定替代值。所描述的各種實(shí)現(xiàn)方式提供了基于像素的圖像或視頻自適應(yīng)空間-時(shí)間濾波技術(shù)，用來(lái)減少膠片顆?；蛟肼?。實(shí)現(xiàn)方式可以通過(guò)例如將每個(gè)像素與時(shí)間和/或空間上相關(guān)的恒定數(shù)目N個(gè)像素進(jìn)行平均，在每個(gè)像素處實(shí)現(xiàn)“均勻”的噪聲減小量，同時(shí)保留盡可能多的畫(huà)面細(xì)節(jié)。
文檔編號(hào)H04N7/26GK101473656SQ200680055142
公開(kāi)日2009年7月1日 申請(qǐng)日期2006年6月29日 優(yōu)先權(quán)日2006年6月29日
發(fā)明者吉恩·拉什, 錫塔拉姆·伯哈加瓦西 申請(qǐng)人:湯姆森許可貿(mào)易公司