專利名稱：使用頻率濾波來模擬膠片顆粒的技術(shù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在解碼之后的編碼的圖像中模擬膠片顆粒(grain)的技術(shù)。
背景技術(shù)：
電影膠片包括在以薄層被涂敷在膠片基底上的感光乳劑中所散布的鹵化銀晶體。這些晶體的曝光和顯影形成包括許多分立的、微小的銀微粒的攝影圖像。在彩色負(fù)象中，在生膠片(film stock)顯影期間在以化學(xué)方法去除銀之后，在形成銀晶體的位置上產(chǎn)生染料的微小團點(blob)。染料的這些小斑點通常被稱作彩色膠片中的“顆?！薄Ｒ驗樵谠几泄馊閯┥香y晶體是隨機形成的，所以顆粒在所得到的圖像上呈現(xiàn)出隨機分布。在均勻曝光區(qū)域內(nèi)，一些晶體在曝光之后顯影而另一些卻沒有。
顆粒的尺寸和形狀是變化的。膠片越快，則所形成的銀的塊和所產(chǎn)生的染料團點越大，并且它們越容易以隨機的圖案聚合在一起。術(shù)語“顆粒度(granularity)”通常指顆粒圖案。肉眼不能區(qū)分從0.0002mm到大約0.002mm變化的各個顆粒。相反地，眼睛可以分辨被稱為團點的顆粒群。觀看者將這些團點群識別為膠片顆粒。隨著圖像分辨率變得越大，對膠片顆粒的感覺變得越明顯。在電影和高分辨率圖像上膠片顆粒變得清晰可見，然而膠片顆粒逐漸地在標(biāo)準(zhǔn)分辨率電視(SDTV)中失去重要性并且在較小的格式中變得不能被察覺。
電影膠片通常包含因為攝影膠片的曝光和顯影的物理處理過程或者因為后來對圖像的編輯而產(chǎn)生的依賴于圖像的噪聲。攝影膠片具有因為攝影感光乳劑的物理顆粒度而產(chǎn)生的特征準(zhǔn)隨機圖案，或紋理。或者，在計算機所產(chǎn)生的圖像中也能產(chǎn)生類似圖案的模擬以將它們與攝影膠片進行混合。在兩種情況中，這種依賴于圖像的噪聲都負(fù)有“膠片顆?！敝?。經(jīng)常地，適當(dāng)?shù)念w粒紋理在電影中呈現(xiàn)所希望的效果。在某些情況中，膠片顆粒提供幫助正確理解兩維畫面的視覺提示。膠片等級經(jīng)常在單個膠片內(nèi)變化以提供關(guān)于時間參考、觀看點等的各種線索。在電影行業(yè)中還存在許多其他的技術(shù)和藝術(shù)目的需要來控制顆粒紋理。因此，在整個圖像處理和交付鏈中保持圖像的顆粒狀顯示已經(jīng)變成了電影行業(yè)的要求。
幾種可商用的產(chǎn)品具有模擬膠片顆粒的能力，通常用于將計算機產(chǎn)生的對象混合到自然場景中。作為實現(xiàn)顆粒模擬的最先的數(shù)字膠片應(yīng)用之一的、來自紐約州羅徹斯特市伊斯門柯達(dá)公司(Eastman Kodak Co.)的Cineon對許多顆粒類型都能產(chǎn)生非常真實的結(jié)果。但是，因為Cineon應(yīng)用對于高顆粒尺寸設(shè)置而產(chǎn)生的明顯的對角條紋，所以該應(yīng)用不能為許多高速膠片產(chǎn)生良好的效果。而且，當(dāng)圖像經(jīng)歷有之前的處理時，例如當(dāng)圖像被復(fù)制過或者被數(shù)字處理過時，Cineon應(yīng)用不能以足夠的逼真度來模擬顆粒。
另一個模擬膠片顆粒的商用產(chǎn)品是來自Visual Infinity Inc.的GrainSurgeryTM，其用作AdobeAfter Effect的插件。Grain SurgeryTM產(chǎn)品看起來是通過對一組隨機數(shù)進行濾波來產(chǎn)生合成顆粒。這種方法受到高計算復(fù)雜性缺點的影響。
膠片顆粒模擬繼續(xù)保持為一個感興趣的題目。近來，H.264視頻壓縮標(biāo)準(zhǔn)進行了改進以采用指定膠片顆粒模擬參數(shù)的標(biāo)準(zhǔn)補充增強信息(SEI)消息。采用特定格式膠片顆粒SEI消息將顯著地促進解碼器的開發(fā)，以使用由用于模擬膠片顆粒的即時應(yīng)用的受讓人(assignee)近來公開的技術(shù)來模擬膠片顆粒。由申請人的受讓人所開發(fā)的技術(shù)通過下面步驟來模擬膠片顆粒(1)首先在壓縮之前從圖像中將顆粒濾波出來，然后(2)將壓縮的視頻與包含關(guān)于原始顆粒的信息的消息一同發(fā)送到解碼器，以及(3)通過根據(jù)SEI消息的內(nèi)容使得解碼器模擬膠片顆粒來恢復(fù)圖像的原始顆粒狀的外觀。這種技術(shù)為需要膠片顆粒保持的高質(zhì)量應(yīng)用節(jié)省許多比特率。但是，由于膠片顆粒產(chǎn)生需要通過對16×16像素的塊進行操作，并且隨后對膠片顆粒圖像的16×16塊邊緣進行解塊(deblocking)處理，來產(chǎn)生膠片顆粒圖像，所以這種技術(shù)增加了解碼器復(fù)雜度。
因此，存在對能夠通過提供更高的效率來克服現(xiàn)有技術(shù)的缺點的膠片顆粒模擬技術(shù)的需求。

發(fā)明內(nèi)容
簡要地，根據(jù)本原理的優(yōu)選實施方式，提供一種用于模擬膠片顆粒的方法。該方法以接收圖像信息和接收包括指定之前在圖像中的膠片顆粒的不同屬性的一組可能參數(shù)之中至少一個參數(shù)的膠片顆粒信息開始。使用膠片顆粒模型，顆粒模擬根據(jù)依照圖像中用于像素塊的目標(biāo)像素塊尺寸被縮放的至少一個參數(shù)而進行。然后將模擬的膠片顆粒并入到圖像中。
根據(jù)目標(biāo)像素塊尺寸來縮放膠片顆粒信息允許使用任意的塊尺寸，其允許使用傳統(tǒng)硬件元件來執(zhí)行與膠片顆粒模擬關(guān)聯(lián)的、基于塊的操作。


圖1示出了用于模擬膠片顆粒的系統(tǒng)的示意框圖；圖2示出了根據(jù)本原理的第一方面的、圖1的系統(tǒng)通過其產(chǎn)生膠片顆粒信息的方法的步驟的流程圖；圖3示出了根據(jù)本原理的第二方面的、圖1的系統(tǒng)通過其產(chǎn)生膠片顆粒信息的方法的步驟的流程圖；圖4示出了根據(jù)本原理被縮放的8×8像素塊的例子；圖5A示出了僅僅其垂直邊緣進行縮放的8×8像素塊的例子；和圖5B示出了僅僅其水平邊緣進行縮放的8×8像素塊的例子。
具體實施例方式
圖1示出了用于模擬圖像中的膠片顆粒的系統(tǒng)10的示意框圖。系統(tǒng)10包括用于從輸入圖像104和嵌入到諸如SEI消息106的膠片顆粒消息中的至少一個膠片顆粒參數(shù)兩者中產(chǎn)生膠片顆粒信息的第一塊12。膠片顆粒產(chǎn)生器塊12使用諸如要在下面詳細(xì)描述的圖2和3的方法之一從這種輸入信息產(chǎn)生膠片顆粒信息。由膠片顆粒產(chǎn)生器塊12所產(chǎn)生的膠片顆粒信息在混合塊16接收之前經(jīng)歷膠片顆粒解塊處理濾波器14的解塊處理。混合塊16將濾波過的膠片顆粒信息與輸入圖像混合以產(chǎn)生包含膠片顆粒的輸出圖像。
圖2示出了根據(jù)用于產(chǎn)生膠片顆粒的本原理的第一方面的方法的步驟的流程圖。如將在下面詳細(xì)描述的，圖2的方法進行操作以從頻率濾波之前被縮放的高斯噪聲中產(chǎn)生膠片顆粒。圖2的膠片顆粒產(chǎn)生方法開始于執(zhí)行在其間系統(tǒng)變量經(jīng)歷初始化的步驟100。在步驟100之后，進行從輸入圖像104中提取連續(xù)的N×M像素塊，其中N和M每一個都是大于零的整數(shù)。
在步驟102之后，進行步驟105，并且在圖1的膠片顆粒產(chǎn)生器塊12內(nèi)的噪聲產(chǎn)生器(未示出)根據(jù)伴隨輸入圖像的SEI消息106中所包含的、以將在下面討論的方式被縮放的至少一個膠片顆粒參數(shù)來產(chǎn)生隨機(高斯)噪聲。正如在H.264壓縮標(biāo)準(zhǔn)中所采用的，在16×16像素塊上可以預(yù)測SEI消息106中的膠片顆粒參數(shù)。從實現(xiàn)效率的角度來說這種塊尺寸沒能總提供最大的便利。
根據(jù)本原理，在SEI消息中的膠片顆粒參數(shù)在步驟107期間經(jīng)歷縮放，從而允許以不同于16×16像素的塊尺寸來模擬膠片顆粒。實際上，SEI消息定義各種膠片參數(shù)，包括兩組截止頻率(cut frequency)，即水平和垂直低端截止頻率以及水平和垂直高端截止頻率。為了理解其中SEI參數(shù)，特別是水平和垂直高端截止和低端截止頻率，經(jīng)歷縮放的方式，令Ns×Ms表示原始塊尺寸(即，16×16像素)，令Nt×Mt表示新縮放的參數(shù)在其上操作的目標(biāo)塊尺寸。則水平和垂直高端截止頻率經(jīng)歷如下縮放ftHH=ceil(NtNsfsHH)---(1)]]>ftHV=ceil(MtMsfsHV)---(2)]]>其中函數(shù)fceil(x)返回大于或等于x的最小整數(shù)，ftHH是用于目標(biāo)塊尺寸的新高端水平截止頻率而ftHV是用于目標(biāo)塊尺寸的新高端垂直截止頻率。這種縮放包括以塊尺寸的比例分割原始頻率并且上舍入到最接近的整數(shù)的等效情況。類似地，水平和垂直低端截止頻率經(jīng)歷如下縮放ftLH=floor(NtNsfsLH)---(3)]]>ftLV=floor(MtMsfsLV)---(4)]]>其中floor(x)返回小于或等于x的最大整數(shù)，ftLH是用于目標(biāo)塊尺寸的新低端水平截止頻率而ftLV是用于目標(biāo)塊尺寸的新低端垂直截止頻率。這種縮放包括以塊尺寸的比例分割原始頻率并且下舍入到最接近的整數(shù)的等效情況。
上述舍入與使用在16×16像素的塊上所定義的原始截止頻率值來產(chǎn)生膠片顆粒相比較，可以在目標(biāo)塊尺寸上產(chǎn)生最類似的膠片顆粒。但是，任何類型的舍入(下截止(floor)、上截止(ceil)或最接近整數(shù))都可能縮放水平和垂直截止頻率兩者。
在所示的實施方式中，原始塊是16×16像素并且目標(biāo)塊是8×8像素。在這種情況中，可以進行高端截止頻率的縮放如下ftH=(foH+1)>>1---(5)]]>其中ftH表示新高端截止頻率。因為源和目標(biāo)塊是正方形的，所以等式(5)可以對水平和垂直高端截止頻率進行縮放。對低端截止頻率的縮放變?yōu)閒tL=foL>>1---(6)]]>其中ftL表示新低端截止頻率。類似地，所以等式(5)可以對水平和垂直低端截止頻率進行縮放。
可以將SEI消息的參數(shù)縮放到任何需要的塊尺寸，從而允許之前所述的膠片顆粒模擬算法的有效實施。在所示的實施方式中，將膠片顆粒參數(shù)值縮放到8×8像素塊，從而允許重新使用許多現(xiàn)有的集成電路以執(zhí)行硬件加速的離散余弦變換(DCT)、逆離散余弦變換(IDCT)和其他基于塊的操作。
在步驟108期間，隨機噪聲經(jīng)歷縮放以改變已經(jīng)處于最終尺寸(例如，8×8)的N×M像素塊的像素值，從而避免/減小解塊處理過程的復(fù)雜度。在步驟108期間進行的縮放采用根據(jù)在SEI消息中所指定的(被縮放過的)值來修改噪聲的方差(variance)的形式。假設(shè)對于給定塊B，在步驟105期間所產(chǎn)生的隨機噪聲具有平均值μ和方差σ2。給出為塊B的每個像素而定義的縮放函數(shù)SB，所縮放的像素值將具有下面關(guān)系Bscaled(i，j)＝(B(i，j)-μ)·S(i，j)+μ (7)其中B(i，j)表示塊B的坐標(biāo)(i，j)處的像素。注意等式(7)只應(yīng)用于其中s(i，j)不是1的那些像素。
在步驟108期間進行的噪聲縮放解除了對解塊處理濾波器的需要從而減小組塊處理偽像(artifact)。使用噪聲縮放來減小這種偽像使用了因為橫跨塊邊緣的不相關(guān)像素而產(chǎn)生組塊處理偽像的原理。為了減少這種偽像，必須增加橫跨塊邊緣的相關(guān)性，其等效于減小在塊邊緣上的噪聲量。
在步驟108之后，縮放過的隨機噪聲在步驟110期間經(jīng)歷離散余弦變換。之后，根據(jù)SEI消息106中的對應(yīng)濾波器參數(shù)在步驟112期間系數(shù)變?yōu)闉V波過的頻率。在步驟114期間執(zhí)行逆離散余弦變換(IDCT)。在步驟116，進行檢查以確定是否還剩下額外的N×M像素塊沒有被讀出。如果沒有剩下其他的塊，則所產(chǎn)生的噪聲形成膠片顆粒圖像118，并且處理過程在步驟120期間結(jié)束。否則，重新執(zhí)行步驟102和其之后的那些步驟直到從輸入圖像104中沒有剩下還沒有讀出的其他N×M塊為止。
圖3示出了根據(jù)用于產(chǎn)生膠片顆粒的本原理的第二方面的方法的步驟的流程圖。圖3的膠片顆粒產(chǎn)生方法包括許多與圖2的方法相同的步驟，并且在圖3中出現(xiàn)的類似標(biāo)記指示類似的步驟。圖3的膠片顆粒產(chǎn)生方法與圖2的方法的不同之處在于噪聲縮放的進行。如上所述，圖2的膠片產(chǎn)生方法在步驟112期間進行的頻率濾波之前在步驟108期間進行噪聲縮放。相反地，圖3的膠片產(chǎn)生方法在步驟112所執(zhí)行的頻率濾波之后，在步驟114期間進行的逆離散余弦變換的后面在步驟115期間進行噪聲縮放。以與等式(7)所述的等效的方式進行圖4的步驟115期間施加到濾波過的隨機噪聲的每個像素的縮放操作。
根據(jù)SEI消息106的參數(shù)和塊尺寸，縮放函數(shù)的確定可以是先驗生成的或者可以是自動生成的?？s放函數(shù)也可以適應(yīng)于在SEI消息中所指定的不同組的參數(shù)。
在所示的實施方式中，縮放函數(shù)減少塊邊緣上的噪聲量(以避免組塊處理偽像)，而同時增加塊內(nèi)的噪聲量以保持相同的總體噪聲量。對于具體到8×8像素塊的縮放，縮放函數(shù)可以實現(xiàn)圖4中所示用于像素塊200的結(jié)果。在像素塊200的邊緣上的最暗的灰色區(qū)域202表示噪聲的減小(S(i，j)＜1)，而在塊內(nèi)的最亮灰色區(qū)域204表示噪聲的增加(S(i，j)＞1)。中間灰色區(qū)域206表示在噪聲強度中沒有變化((S(i，j)＝1)。
使用縮放函數(shù)構(gòu)成(因為SEI消息的參數(shù)改變所以)維持膠片顆粒外觀與降低解碼器復(fù)雜性(即，避免解塊處理)之間的折衷。在其中不是所有的塊邊緣都均等地相關(guān)的情況中，縮放函數(shù)可以只修改特定邊緣。例如在CRT顯示器上，在垂直邊緣上的偽像比水平邊緣上的要明顯得多。在這種情況下，減小的噪聲強度應(yīng)該只在像素塊300的垂直邊緣302上發(fā)生，如圖5A所示。在特定情況下，縮放函數(shù)可以僅僅修改像素塊400的水平邊緣402，如圖5B所示。
上面所描述的是一種通過縮放膠片顆粒參數(shù)而減小復(fù)雜度來模擬在以后要解碼的編碼圖像中的膠片顆粒的技術(shù)。
權(quán)利要求
1.一種用于模擬膠片顆粒的方法，包括步驟接收圖像信息；接收膠片顆粒信息，其包括在之前指定圖像中的膠片顆粒的不同屬性的一組可能的參數(shù)中的至少一個參數(shù)；根據(jù)依照圖像中像素塊的目標(biāo)像素塊尺寸所縮放的至少一個參數(shù)來模擬膠片顆粒；以及將所模擬的膠片顆?；旌系綀D像中。
2.根據(jù)權(quán)利要求1所述的方法，其中所述接收膠片顆粒信息的步驟還包括接收其比特流已經(jīng)根據(jù)預(yù)定的壓縮標(biāo)準(zhǔn)而被壓縮的圖像的步驟；和所述接收膠片顆粒信息的步驟還包括接收在圖像比特流中所嵌入的附加數(shù)據(jù)的步驟。
3.根據(jù)權(quán)利要求2所述的方法，其中所述接收膠片顆粒信息的步驟還包括接收其比特流已經(jīng)根據(jù)H.264壓縮標(biāo)準(zhǔn)而被壓縮的圖像的步驟；和所述接收膠片顆粒信息的步驟還包括接收SEI消息的步驟。
4.根據(jù)權(quán)利要求2所述的方法，還包括以Nt×Mt像素的目標(biāo)塊尺寸對膠片顆粒信息進行縮放的步驟，其中Nt和Mt不是16。
5.根據(jù)權(quán)利要求2所述的方法，還包括以8×8像素的目標(biāo)塊尺寸對膠片顆粒信息進行縮放的步驟。
6.根據(jù)權(quán)利要求1所述的方法，其中所述模擬膠片顆粒的步驟包括步驟根據(jù)至少一個參數(shù)來產(chǎn)生隨機噪聲；以及對噪聲進行縮放以改變之前被縮放到目標(biāo)塊尺寸的像素塊的像素值；在縮放之后對噪聲進行頻率濾波。
7.根據(jù)權(quán)利要求1所述的方法，其中所述模擬膠片顆粒的步驟包括步驟根據(jù)至少一個參數(shù)來產(chǎn)生隨機噪聲；以及對噪聲進行頻率濾波；和對頻率濾波過的噪聲進行縮放以改變之前被縮放到目標(biāo)塊尺寸的像素塊的像素值。
8.根據(jù)權(quán)利要求2所述的方法，其中所述膠片顆粒信息包括水平和垂直高端和低端截止頻率用于以目標(biāo)像素塊尺寸進行縮放。
9.根據(jù)權(quán)利要求4所述的方法，其中所述噪聲進行縮放以減小主要在垂直邊緣上的噪聲強度。
10.根據(jù)權(quán)利要求4所述的方法，其中所述噪聲進行縮放以減小主要在水平邊緣上的噪聲強度。
11.一種模擬膠片顆粒的方法，包括步驟(a)接收表示其中膠片顆粒已經(jīng)至少被衰減過的圖像的圖像信息；(b)接收膠片顆粒信息，其包括在之前指定圖像中的膠片顆粒的不同屬性的一組可能的參數(shù)中的至少一個參數(shù)；(c)對于圖像中不同于16×16塊的目標(biāo)像素塊，對膠片顆粒信息進行縮放；(d)讀出圖像的連續(xù)的一個像素塊；(e)根據(jù)至少一個參數(shù)為連續(xù)的像素塊產(chǎn)生隨機噪聲；(f)對隨機噪聲進行縮放以改變之前被縮放到目標(biāo)塊尺寸的像素塊的像素值；(g)對縮放過的噪聲執(zhí)行基于塊的變換以產(chǎn)生一組系數(shù)；(h)對系數(shù)進行頻率濾波；以及(i)對頻率濾波過的系數(shù)執(zhí)行基于塊的逆變換以產(chǎn)生膠片顆粒圖像塊。
12.根據(jù)權(quán)利要求11所述的方法，其中重復(fù)所述步驟(d)-(i)直到已經(jīng)將圖像中的所有像素塊讀出為止。
13.根據(jù)權(quán)利要求11所述的方法，其中所述執(zhí)行基于塊的變換的步驟還包括執(zhí)行離散余弦變換的步驟。
14.根據(jù)權(quán)利要求13所述的方法，其中所述執(zhí)行基于塊的逆變換的步驟還包括執(zhí)行逆離散余弦變換的步驟。
15.一種模擬膠片顆粒的方法，包括步驟(a)接收表示其中膠片顆粒已經(jīng)至少被衰減過的圖像的圖像信息；(b)接收膠片顆粒信息，其包括在之前指定圖像中的膠片顆粒的不同屬性的一組可能的參數(shù)中的至少一個參數(shù)；(c)對于圖像中不同于16×16塊的目標(biāo)像素塊，對膠片顆粒信息進行縮放；(d)讀出圖像的連續(xù)的一個像素塊；(e)根據(jù)至少一個參數(shù)為連續(xù)的像素塊產(chǎn)生隨機噪聲；(f)對噪聲執(zhí)行基于塊的變換以產(chǎn)生一組系數(shù)；(g)對系數(shù)進行頻率濾波；(h)對頻率濾波過的系數(shù)執(zhí)行基于塊的逆變換以產(chǎn)生膠片顆粒圖像塊；以及(i)對噪聲進行縮放以改變之前被縮放到目標(biāo)塊尺寸的像素塊的像素值。
16.根據(jù)權(quán)利要求15所述的方法，其中重復(fù)所述步驟(d)-(i)直到已經(jīng)將圖像中的所有像素塊讀出為止。
17.根據(jù)權(quán)利要求15所述的方法，其中所述執(zhí)行基于塊的變換的步驟還包括執(zhí)行離散余弦變換的步驟。
18.根據(jù)權(quán)利要求15所述的方法，其中所述執(zhí)行基于塊的逆變換的步驟還包括執(zhí)行逆離散余弦變換的步驟。
全文摘要
模擬圖像中的膠片顆?？梢酝ㄟ^下面步驟來進行壓縮視頻圖像，然后將壓縮過的視頻與包含指示原始膠片顆粒的至少一個參數(shù)的消息一同傳送到解碼器，以及通過使得解碼器根據(jù)膠片顆粒消息的內(nèi)容來模擬膠片顆粒來恢復(fù)原始的顆粒狀的圖像外觀。為了提高效率，膠片顆粒信息的一個或多個參數(shù)根據(jù)用于圖像中的像素塊的目標(biāo)像素塊而經(jīng)歷縮放。這種縮放允許使用傳統(tǒng)電路結(jié)合膠片顆粒模擬而執(zhí)行基于塊的操作。
文檔編號G06T5/00GK1857005SQ200480027522
公開日2006年11月1日 申請日期2004年9月22日 優(yōu)先權(quán)日2003年9月23日
發(fā)明者瓊·拉克, 吉爾·M·博伊斯, 亞歷山德羅斯·圖拉皮斯 申請人:湯姆森特許公司