專利名稱：視頻信號處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻信號的處理，特別地但是不排他地涉及呈現(xiàn)在采樣保持類型顯示 器上或具有提高的幀速率的顯示器上的視頻信號的處理。
背景技術(shù)：
通常用于呈現(xiàn)視頻信號的一類顯示器(例如電視)被稱為(采樣)保持類型顯示 器。保持時間顯示器的一個例子是在當前許多電視中使用的液晶顯示器(LCD)。對于大部 分IXD電視和顯示器，保持時間典型地為20毫秒。在傳統(tǒng)的陰極射線管(CRT)顯示器中，電子束僅在幀時間的極小部分內(nèi)掃描陰極 射線管的表面以點亮屏幕的任意給定部分，與之相反，保持類型顯示器的圖像被采樣并在 整個幀時間內(nèi)保持恒定。保持效應對應有限沖激響應濾波器的時間域濾波，其具有持續(xù)時 間等于幀時間的方形沖激響應。由于這對應頻域低通濾波(具有sin χ/χ脈沖形狀)，因此 采樣和保持方法可以顯著地降低時間帶寬，導致顯著地降低的動態(tài)性能以及特別是可感知 的運動模糊。因此，諸如IXD顯示器的保持類型顯示器以高空間帶寬和低時間帶寬為特征。這 不但影響圖像細節(jié)的可視性，而且在若干方面影響視頻信號中的噪聲的可視性。首先，噪聲 在這樣的顯示器上更可視(與例如CRT相比)，因為高空間帶寬意味著顯示器無高空間頻率 衰減。而且，低時間帶寬不但對圖像中的移動對象引入運動模糊，而且由于單獨的幀的長保 持時間的原因而導致對用戶愈加可感知的噪聲。第一方面通過使用可以降低空間噪聲的有效噪聲降低技術(shù)來解決。這樣的噪聲降 低技術(shù)典型地包括空間低通濾波元件以降低顯示器的高空間帶寬(同時例如通過使用邊 緣保持噪聲降低算法設法維持與高空間分辨率關(guān)聯(lián)的清晰度)。為了解決運動模糊，已經(jīng)引入了設法有效降低視頻信號的保持時間的技術(shù)，對應 于時間帶寬的提高。Michiel Klompenhouwer的“使用時間沖激響應和MPRT的LCD運動模 糊降低方法的對比(Comparison of LCD Motion Blur ReductionMethods using Temporal Impulse Response and MPRT) ”，SID 會議錄(Proceedings of the SID)，54. 1，2006 中給
出了這樣的技術(shù)的例子。這樣的技術(shù)可分成兩類脈沖驅(qū)動(掃描背光，黑幀插入......)
和提高的幀速率。因為如果幀速率不提高則前者將引入大面積的閃爍，所以現(xiàn)有技術(shù)水平 的運動模糊降低將首先提高幀速率，并且只有在這時才可選地施加脈沖驅(qū)動。由于沒有輸 入視頻格式提供提高的幀速率，因而現(xiàn)有技術(shù)水平的運動模糊降低包括具有運動補償幀速 率上轉(zhuǎn)換的運動估計，如例如Frank van Heesch和MichielKlompenhouwer等人的“LCD ±白勺云力 δ 會白勺(Video Processingfor Opt imal Motion Portrayal on LCDs) ”，IDW會議錄(Proceedings of theIDW)，2006中所描述的。因此，在這種方法中，對 運動對象做運動估計，并且估計的運動補償引入到內(nèi)插的上轉(zhuǎn)換幀，從而導致提高的幀速 率和因此降低的保持時間。然而，盡管這樣的方法對于運動對象可以提高保持類型顯示器的時間帶寬，但是 其僅降低圖像自身的分量的運動模糊并且因此僅改善無噪聲視頻信號的質(zhì)量，但是不會改善視頻噪聲。特別地，保持時間對視頻噪聲的影響沒有降低。根本的區(qū)別是無噪聲視頻信 號沿著估計的運動方向在幀之間相互相關(guān)(并且因此在內(nèi)插上轉(zhuǎn)換幀中可被運動補償)， 然而噪聲在幀之間不相互相關(guān)。換言之，通過這些方法，視頻信號的時間帶寬提高了而噪聲 的時間帶寬沒有提高。即使當施加了一定程度的脈沖驅(qū)動時，這對于提高的幀速率運動模 糊降低系統(tǒng)也是事實。其可視影響是所謂的“灰窗(dirty-window)”效應，其中噪聲看起來 與圖像信號不同地運動。因此，改善的視頻信號處理將是有益的，特別是允許提高的靈活性、降低的復雜 性、便利的實現(xiàn)、改善的時間性能(特別是對于保持時間顯示器)、改善的感知視頻噪聲降 低、改善的視頻質(zhì)量和/或改善的性能的系統(tǒng)將是有益的。發(fā)明概述因此，本發(fā)明旨在優(yōu)選地單獨或以任意組合緩解、減輕或消除以上提到的缺點的 一個或多個。根據(jù)本發(fā)明的一個方面，提供了一種用于處理視頻信號的視頻信號處理設備，該 設備包括接收單元，用于接收包括圖片序列的視頻信號；處理單元，用于將圖片噪聲改變 算法應用到該圖片序列；變化單元，用于響應于預定的變化規(guī)則，在該圖片序列的至少一些 連續(xù)圖片之間改變圖片噪聲改變算法的噪聲降低設置。在許多實施例中本發(fā)明可以提供改善的性能，特別地可以允許視頻信號的改善的 感知視頻質(zhì)量。特別地，對于保持類型顯示器，可獲得提高的噪聲閃爍，導致對觀察者的降 低的噪聲感知。所呈現(xiàn)的圖像中視頻噪聲提高的高頻調(diào)制可被獲得，從而補償顯示器的時 間低通特性。所描述的方法可以兼容諸如空間噪聲降低以補償保持類型顯示器的高頻響應 的其它圖像質(zhì)量改善技術(shù)和/或運動模糊補償技術(shù)。特別地，在許多實施例中，通過改善高幀速率噪聲污染視頻信號(例如電視信號) 中的噪聲的時間方面，該方法可以降低噪聲的可視性。不用降低或可接受地降低視頻信號 的感知空間清晰度便可取得該效果。在許多實施例中，該方法可以將噪聲能量從較低頻率傳遞到較高頻率(導致噪聲 閃爍)，其中噪聲被觀察者較少地可感知。圖片噪聲改變算法可以具體是噪聲降低算法和/或可以包括一個或多個噪聲降 低過程，特別地可以是空間噪聲降低算法和/或可以包括一個或多個空間噪聲降低過程。 圖片噪聲改變算法可以包括對一個或多個圖片不執(zhí)行任何處理或不執(zhí)行任何噪聲降低處理。預定的變化規(guī)則獨立于視頻信號的特性和/或所述圖片序列的特性。因此，預定 的空間噪聲降低變化被引入到該圖片序列，從而引入噪聲閃爍。變化規(guī)則可以例如規(guī)定，偏 差(bias)的隨機的或預定的變化被引入到空間噪聲降低過程中和/或為連續(xù)的圖片引入 不同空間噪聲降低過程之間的隨機的或預定的交替。預定的變化規(guī)則可以規(guī)定周期性的變化。這種變化可以具有快速的變化頻率，諸 如例如小于5或10幀的周期。圖片序列具體可以是幀序列，諸如例如上轉(zhuǎn)換幀序列，和/ 或可以是場序列。根據(jù)本發(fā)明的可選特征，權(quán)利要求1的視頻信號處理設備進一步包括一組圖片 操作過程，該組可執(zhí)行的圖片操作過程中的圖片操作過程具有不同的噪聲降低特性；以及
5其中變化單元被設置成從該組圖片操作過程中選擇不同的圖片操作過程作為用于所述至 少一些連續(xù)圖片的圖片噪聲改變算法。這可以提供特別有益的性能和/或可以便于實現(xiàn)。該組圖片操作過程具體可以是一組空間噪聲降低過程?？臻g噪聲降低過程可以具 有不同的空間噪聲降低特性，因為它們使用不同的算法和/或因為它們使用不同的操作參 數(shù)。該組中的一個空間噪聲降低過程具體可以對應于不執(zhí)行空間噪聲降低。預定的變化規(guī)則可以例如規(guī)定為每一個連續(xù)的圖片從該組圖片操作過程中偽隨 機選擇圖片操作過程。根據(jù)本發(fā)明的可選特征，預定的變化規(guī)則包括所述不同圖片操作過程的預定交替 序列。這可以提供特別有益的性能和/或可以便于實現(xiàn)。預定的變化規(guī)則可以例如規(guī)定預定的周期性選擇模式，用于為連續(xù)的圖片從該組 圖片操作過程中選擇圖片操作過程。選擇模式可被重復并且可以有益地具有少于5或10 個圖片的周期和/或?qū)糜谏蛇B續(xù)的圖片的上轉(zhuǎn)換因子的周期。在用于連續(xù)圖片的該 組可執(zhí)行圖片操作過程中的圖片操作過程的數(shù)目可以與上轉(zhuǎn)換速率相同和/或與預定的 周期性選擇模式的周期相同。預定的交替序列/選擇模式可以獨立于視頻信號和/或圖片特性。各個圖片操作 過程的空間噪聲降低屬性可以依賴于視頻信號的特性和/或圖片特性。例如，第一圖片操 作過程可以具有對于圖片特性的給定依賴性(例如，圖片的噪聲估計的加權(quán))，第二圖片操 作過程可以具有對于同一圖片特性的不同依賴性(例如，圖片的噪聲估計的不同加權(quán))，并 且預定的交替序列可以例如規(guī)定這些過程對于連續(xù)的圖片是交替的，從而引入空間噪聲閃 爍。根據(jù)本發(fā)明的可選特征，視頻信號處理設備進一步包括噪聲估計器，用于生成所 述至少一些連續(xù)圖片的第一圖片的噪聲估計；其中該組圖片操作過程的至少第一圖片操作 過程被設置成當該第一圖片操作過程應用于該第一圖片時，響應噪聲估計而調(diào)整噪聲降低 特性。這可以提供特別有益的性能和/或可以便于實現(xiàn)。特別地，其可以允許該空間噪 聲降低適于單獨的圖片的當前需要，從而導致該圖片的改善的圖像質(zhì)量。根據(jù)本發(fā)明的可選特征，該組圖片操作過程的至少一個圖片操作過程是邊緣保持 空間噪聲降低過程。這可以提供特別有益的性能和/或可以便于實現(xiàn)。特別地，其可以允許具有降低 的空間噪聲的改善的圖像質(zhì)量、提高的噪聲閃爍和因此降低的噪聲感知，同時提供了高感 知的空間分辨率。根據(jù)本發(fā)明的可選特征，該組圖片操作過程的圖片操作過程是空間噪聲降低過程。這可以提供特別有益的性能和/或可以便于實現(xiàn)。特別地，這可以導致有效的、低 復雜性和/或高性能的視頻信號處理，其可以特別適合保持類型顯示器。根據(jù)本發(fā)明的可選特征，視頻信號處理設備進一步包括幀速率上轉(zhuǎn)換器，其被設 置成生成圖片序列作為從較低幀速率視頻信號生成的上轉(zhuǎn)換幀序列。
6
這可以提供特別有益的性能和/或可以便于實現(xiàn)。特別地，上轉(zhuǎn)換以及引入噪聲閃爍的組合可以提供改善的感知圖像質(zhì)量，其中感 知的幀/視頻空間噪聲充分地降低。具體地，上轉(zhuǎn)換可以允許將高頻空間噪聲閃爍引入到 常規(guī)幀速率系統(tǒng)(其典型地具有大約50Hz的幀速率，對應20ms幀時間)，從而允許從用戶 的感知中屏蔽閃爍同時仍然維持感知的噪聲降低效果。根據(jù)本發(fā)明的可選特征，預定的變化規(guī)則規(guī)定對于上轉(zhuǎn)換幀序列的上轉(zhuǎn)換幀和原 始幀之間的增加的時差增大空間噪聲降低。這可以提供特別有益的性能和/或可以便于實現(xiàn)。特別地，其可以提供觀看被補 償?shù)囊曨l信號的用戶所感知的降低的噪聲。根據(jù)本發(fā)明的可選特征，所述至少一些上轉(zhuǎn)換幀是較低幀速率視頻信號的原始 幀，預定的變化規(guī)則規(guī)定，對所述至少一些上轉(zhuǎn)換幀比對不是較低幀速率視頻信號的原始 幀的未轉(zhuǎn)換幀應用較少的空間噪聲降低。這可以提供特別有益的性能和/或可以便于實現(xiàn)。特別地，其可以提供觀看補償 的視頻信號的用戶所感知的降低的噪聲。根據(jù)本發(fā)明的可選特征，變化單元引入的噪聲降低設置變化獨立于所述至少一些 連續(xù)圖片的特性。這可以提供特別有益的性能和/或可以便于實現(xiàn)。根據(jù)本發(fā)明的可選特征，預定的變化規(guī)則是這樣的，即使得空間噪聲降低設置的 變化頻率在30Hz以上。這可以提供特別有益的性能和/或可以便于實現(xiàn)。特別地，其可以允許噪聲的閃 爍僅被感知為噪聲降低，從而導致改善的感知視頻質(zhì)量。特別地，預定的變化規(guī)則可以被設 置成使得變化頻率(以及因此噪聲閃爍)在例如人類用戶的閃爍感知頻率(即為用戶不再 感知到閃爍的頻率)之上。閃爍感知頻率可以被確定為顯示器尺寸、顯示器亮度、到顯示器 的典型觀看距離、顯示器的分辨率等的函數(shù)。根據(jù)本發(fā)明的一個方面，提供了一種視頻顯示器設備，該視頻顯示器設備包括接 收單元，用于接收包括圖片序列的視頻信號；處理單元，用于將圖片噪聲改變算法應用于該 圖片序列以生成修改的視頻信號；變化單元，用于響應預定的變化規(guī)則，在該圖片序列的至 少一些連續(xù)圖片之間改變圖片噪聲改變算法的噪聲降低設置；以及顯示器，用于顯示修改 的初頻信號。根據(jù)本發(fā)明的一個方面，提供了一種處理視頻信號的方法，該方法包括接收包括 圖片序列的視頻信號；將圖片噪聲改變算法應用于該圖片序列；響應預定的變化規(guī)則，在 該圖片序列的至少一些連續(xù)圖片之間改變圖片噪聲改變算法的噪聲降低設置。根據(jù)本發(fā)明的一個方面，提供了一種包含軟件代碼的載體，該軟件代碼使得處理 器能夠執(zhí)行包括以下步驟的方法接收包括圖片序列的視頻信號；將圖片噪聲改變算法應 用于該圖片序列；響應預定的變化規(guī)則，在該圖片序列的至少一些連續(xù)圖片之間改變圖片 噪聲改變算法的噪聲降低設置。本發(fā)明的這些以及其它方面、特征和優(yōu)點根據(jù)下文描述的實施例將是清楚明白 的，并且將參照所述實施例進行闡述。附圖的簡更描述
僅通過例子，參考附圖，將描述本發(fā)明的實施例，其中

圖1示出了根據(jù)本發(fā)明的一些實施例的顯示器設備的例子；圖2示出了根據(jù)本發(fā)明的一些實施例的視頻信號處理設備的例子；以及圖3示出了根據(jù)本發(fā)明的一些實施例的視頻信號處理方法的例子。實施例詳述下面的描述集中在本發(fā)明的可應用于保持類型顯示器以及特別是LCD顯示器的 實施例。然而，應當理解的是，本發(fā)明不限于該應用。圖1示出了根據(jù)本發(fā)明的一些實施例的IXD顯示器設備的例子。該IXD顯示器設 備具體地包括根據(jù)本發(fā)明的一些實施例的視頻信號處理設備。顯示器設備包括視頻信號輸入101，其接收包括圖片序列的視頻信號。下面的描述 將集中在其中該圖片序列的每一圖片是一幀的實施例，但是應當理解的是，該圖片序列可 以可替換地或額外地包括場。特別地，描述的原理和例子可以容易地被擴展到對場序列的處理。在本例子中，視頻信號是數(shù)字電視接收機(未示出)接收的數(shù)字電視信號。視頻 信號具體可以是具有與50Hz幀更新速率對應的20ms幀持續(xù)時間的MPEG 2編碼視頻信號。 視頻信號可以從諸如外部或內(nèi)部源(例如本地視頻存儲器)的任意合適的源接收。視頻信號被從視頻信號輸入101饋送到第一噪聲處理器103，該第一噪聲處理器 被設置成對接收的視頻信號執(zhí)行初始噪聲降低算法。例如，第一噪聲處理器103可以執(zhí)行 空間噪聲降低過程，該過程降低了圖像中的高頻空間噪聲，同時盡可能維持圖像中的對象 邊緣以及轉(zhuǎn)變。第一噪聲處理器103被耦合到幀上轉(zhuǎn)換器105，該幀上轉(zhuǎn)換器執(zhí)行視頻信號的轉(zhuǎn) 換以生成具有更高幀速率的上轉(zhuǎn)換視頻信號。例如，幀上轉(zhuǎn)換器105可以為每一輸入幀生 成兩個輸出幀，從而提高幀速率到IOOHz并且降低幀持續(xù)時間到10ms。應當理解的是，可以使用已知用于幀上轉(zhuǎn)換的各種技術(shù)和算法來實現(xiàn)幀上轉(zhuǎn)換。 特別地，可以通過在從第一噪聲處理器103接收的視頻信號的原始幀之間的內(nèi)插而生成新 幀，并且可以對視頻圖像的運動對象執(zhí)行運動估計和運動補償。因此，幀上轉(zhuǎn)換器105可以 降低無噪聲視頻圖像的運動模糊。因此，幀上轉(zhuǎn)換器105生成包括幀序列的視頻信號，所述幀序列具體為從自第一 噪聲處理器103接收的較低幀速率視頻信號所生成的上轉(zhuǎn)換幀序列。應當理解的是，在一 些實施例中，該系統(tǒng)將不包括任何幀上轉(zhuǎn)換，但是例如將以生成或接收視頻信號的幀速率 直接對幀操作。幀上轉(zhuǎn)換器105進一步耦合到空間噪聲處理器107，該空間噪聲處理器被設置成 將圖片噪聲改變算法應用到從幀上轉(zhuǎn)換器105接收的視頻信號的上轉(zhuǎn)換幀。在該例子中，空間噪聲處理器107被設置成將空間噪聲降低應用到上轉(zhuǎn)換幀。以 原始的較低的幀速率執(zhí)行的初始空間噪聲降低以及以上轉(zhuǎn)換幀速率執(zhí)行的后續(xù)空間噪聲 降低這兩者的使用允許執(zhí)行改善的總體噪聲降低。特別地，第一噪聲處理器103的初始噪 聲處理可以在上轉(zhuǎn)換之前移除噪聲，從而降低了噪聲的額外引入以及由應用于噪聲的上轉(zhuǎn) 換過程所引起的偽像。對上轉(zhuǎn)換幀執(zhí)行的空間噪聲降低可以提供非常有效的空間噪聲降 低，因為其被直接應用于將被顯示的幀。例如，應用于上轉(zhuǎn)換幀的空間噪聲降低可以移除由幀上轉(zhuǎn)換器105的上轉(zhuǎn)換過程所引入的空間偽像?？臻g噪聲處理器107被耦合到顯示器驅(qū)動器109，該顯示器驅(qū)動器被設置成驅(qū)動 在這個具體的例子中是IXD電視顯示器的顯示器111。由于幀上轉(zhuǎn)換器105的上轉(zhuǎn)換，與接 收信號的較低幀速率相比，保持時間可以充分地降低。在其中執(zhí)行兩倍的上轉(zhuǎn)換的具體例 子中，保持時間降低為一半。因此，由于幀上轉(zhuǎn)換器105執(zhí)行的內(nèi)插以及運動估計和補償可 以導致有效的輸出幀更新速率加倍(因為上轉(zhuǎn)換幀代表在原始較低幀速率圖像的幀時間 之間的中間時間處的(估計的)圖像，并且不僅僅是原始幀的重復)，因而運動模糊可以充 分地降低。而且，在本例子中，空間噪聲處理器107由變化處理器113控制，從而空間噪聲處 理器107執(zhí)行的幀處理的空間噪聲降低設置在至少一些連續(xù)幀之間是變化的。因為該變 化，連續(xù)(上轉(zhuǎn)換)幀之間的空間噪聲的可變性或去相關(guān)被引入，導致噪聲閃爍效應引入到 圖像中。這種噪聲閃爍的效應可以導致觀看顯示的輸出的用戶的充分降低的噪聲感知。特別地，已經(jīng)發(fā)現(xiàn)，對于高于給定門限頻率的噪聲閃爍頻率，人類感知不會檢測單 獨的更高頻率閃爍，而是感知到噪聲因為引入的變化而降低。特別地，已經(jīng)發(fā)現(xiàn)，噪聲閃爍 被感知為比呈現(xiàn)了具有與噪聲閃爍的平均值同樣水平的恒定噪聲的情況較少的噪聲。在該具體的例子中，噪聲降低可以在導致對應上轉(zhuǎn)換幀速率的噪聲閃爍頻率(即 具有50Hz閃爍頻率)(顯示速率100Hz)的每一上轉(zhuǎn)換幀之間變化。與維持噪聲在50Hz的 較低幀速率的整個持續(xù)時間恒定相比，該噪聲被感知為大大地降低。根據(jù)預定的變化規(guī)則，變化處理器113改變噪聲降低設置。該規(guī)則獨立于接收的 視頻信號和/或上轉(zhuǎn)換信號的任何特性(盡管幀操作過程自身的屬性、特性和變量可能依 賴于這樣的特性)。因此，不管視頻信號的特性如何，變化處理器113都引入噪聲閃爍效應。預定的變化規(guī)則可以例如對于每一連續(xù)的幀修改空間噪聲降低算法的偏差。作為 一個簡單的例子，空間噪聲處理器107可以將空間噪聲降低過程應用到每一上轉(zhuǎn)換幀，包 括空間低通濾波。可以響應變化處理器113提供的偏差值，為每一上轉(zhuǎn)換幀確定該低通濾 波的帶寬。因此，通過改變連續(xù)幀之間的該偏差值，變化處理器113可以將噪聲閃爍引入到 圖像。偏差值的變化是預定的并且獨立于任何視頻信號特性。應當理解的是，低通濾波的 帶寬也可以響應包括視頻信號或噪聲降低所應用的單獨的幀的特性在內(nèi)的其它參數(shù)和特 性而確定。例如，帶寬也可以響應出現(xiàn)在單獨的上轉(zhuǎn)換幀中的空間噪聲量的估計而確定。還應當理解的是，變化處理器113可能不必改變所有連續(xù)幀之間的噪聲降低設 置。例如，可以例如僅每隔一個幀轉(zhuǎn)變而引入變化。然而，在該具體實施例中，對于每一個 幀轉(zhuǎn)變改變噪聲降低設置，因為這導致更高的噪聲閃爍頻率，從而增大用戶感知的噪聲降 低并且降低噪聲閃爍自身的感知。在該具體例子中，取得50Hz的噪聲閃爍頻率。在其它實施例中，可使用其它噪聲 閃爍頻率。然而，在許多這樣的實施例中，變化可以有益地使得噪聲閃爍頻率在與處理的視 頻信號相關(guān)聯(lián)的特定顯示器的人類感知閃爍速率門限之上。例如，根據(jù)顯示器尺寸、分辨 率、典型的觀看距離等可以確定閃爍速率門限(作為另一個例子，可以做實驗以獲取經(jīng)驗 值)。變化處理器113的變化于是可以被設計為在該閃爍速率門限之上。對于大部分用戶和顯示器而言，30Hz之上的變化頻率將導致噪聲閃爍不會被感知 到(或僅僅在可接受的程度上感知到)。因此，在許多實施例中，預定的變化規(guī)則使得空間噪聲降低設置的變化頻率在30Hz之上。在該具體例子中，空間噪聲處理器107可以執(zhí)行從一組幀操作處理器中選擇的幀 操作過程。幀操作過程具有不同的空間噪聲降低特性，并且變化處理器113可以通過在連 續(xù)的幀中選擇不同的幀操作過程改變噪聲降低設置。具體地，該組幀操作過程可以包括多個不同的空間噪聲降低過程。每一空間噪聲 降低過程相比其它噪聲降低過程可以使用不同的算法和/或具有不同的參數(shù)設置。通過在 連續(xù)的幀中選擇具有不同噪聲降低特性的不同空間噪聲降低過程，低復雜性和簡單的操作 可以用來提供非常靈活和有效的噪聲閃爍。應當理解的是，不同噪聲降低過程可以包括使用不同算法或方法的過程，和/或 可以包括使用相同算法但是具有不同噪聲降低參數(shù)(諸如例如不同的空間低通濾波帶寬) 的過程。還應當理解的是，該組噪聲降低過程之一可以是空的(或啞)過程，其對幀不執(zhí)行 任何處理和/或空間噪聲降低。因此，一個過程可以簡單地對應于讓(上轉(zhuǎn)換)幀不變。下 面的例子集中在其中噪聲降低過程是空間噪聲降低過程的例子，但是應當理解的是，在其 它實施例中，可以使用其它的噪聲降低過程。接下來，將參考圖2描述具體的例子，該圖更詳細地示出了用于一個例子的空間 噪聲處理器107，在該例子中，該組空間噪聲降低過程包含兩個不同的空間噪聲降低過程， 此后稱為NRl和NR2。NRl和NR2具有不同的空間噪聲降低屬性，并且具體地可以是不同的 空間噪聲降低算法和/或是以不同參數(shù)設置使用的同樣的基本空間噪聲降低算法。在該例子中，預定的變化規(guī)則存在于用于不同的空間噪聲降低過程的預定的交替 序列。因此，變化處理器113簡單地控制空間噪聲處理器107以對連續(xù)的幀使用不同的噪 聲降低過程。在該具體例子中，其中該組過程僅包括兩個過程，變化處理器113簡單地控制 空間噪聲處理器107以在NRl和NR2之間交替。而且，在該例子中，空間噪聲處理器107被 控制以在每一幀轉(zhuǎn)變時切換到另一個噪聲降低過程。在該例子中，空間噪聲處理器107包括耦合到幀上轉(zhuǎn)換器105以及變化處理器113 的切換處理器201。切換處理器201耦合到第一噪聲降低單元203，該第一噪聲降低單元被 設置成將第一空間噪聲降低過程NRl應用到上轉(zhuǎn)換幀。而且，切換處理器201耦合到第二 噪聲降低單元205，該第二噪聲降低單元被設置成將第二空間噪聲降低過程NR2應用到上 轉(zhuǎn)換幀。對于每一上轉(zhuǎn)換幀，切換處理器201根據(jù)從變化處理器113接收的控制信號決定 應當將該幀饋送到噪聲降低單元203和205的哪一個。在該具體例子中，變化處理器113 簡單地控制切換處理器201以交替地將上轉(zhuǎn)換幀饋送到第一噪聲降低單元203和第二噪聲 降低單元205。第一噪聲降低單元203和第二噪聲降低單元205耦合到幀組合器207，其中通過將 第一噪聲降低單元203或第二噪聲降低單元205的空間噪聲降低處理所產(chǎn)生的單獨的上轉(zhuǎn) 換幀組合而生成補償?shù)囊曨l信號。該補償?shù)囊曨l信號因此包括噪聲閃爍效應并且其被饋送 到顯示驅(qū)動器109以便呈現(xiàn)在顯示器111上。應當理解的是，在其它實施例中，可以使用用于在可用的噪聲降低過程之間進行 選擇的其他規(guī)則。例如，在一些實施例中，可以應用上轉(zhuǎn)換幀到噪聲降低單元203和205之 一的隨機分配。這可以導致隨機噪聲閃爍而不是在一些實施例中可能是有益的更高頻率周
10期性噪聲閃爍。應當理解的是，可以使用任意合適的噪聲降低過程而不偏離本發(fā)明。還應當理解 的是，多個這樣的噪聲降低過程對于本領(lǐng)域技術(shù)人員將是已知的。在該具體例子中，噪聲降低過程NRl和NR2兩者都是邊緣保持空間噪聲降低過程。 因此，兩個噪聲降低過程都被設置成保持(盡可能合理地考慮其它沖突需求)圖像中對象 的邊緣，從而確保組合的視頻輸出圖像維持高的邊緣分辨率。特別地，這可以向用戶提供改 善的總體清晰度印象。在該具體例子中，NRl進一步提供比NR2(潛在地顯著)更強的空間噪聲降低。因此，在該具體系統(tǒng)中，輸入視頻序列被上轉(zhuǎn)換為更高的顯示幀速率以獲取高幀 速率視頻信號。對于高幀速率視頻信號，連續(xù)幀被NRl或被NR2交替地降低噪聲，并且作為結(jié)果得 到的幀被組合以生成輸出視頻序列。該輸出視頻序列具有以下特性-幀速率對于不可視的幀交替細節(jié)閃爍足夠高，-邊緣由NRl和NR2保持，從而維持總體清晰度印象，以及-相對于NR2，NRl更強烈地降低(優(yōu)選完全消除)噪聲，從而噪聲在逐幀基礎(chǔ)上 交替。該噪聲交替序列的可視結(jié)果是整體噪聲印象和“灰窗”效應降低了，從而提供顯著 改善的視頻質(zhì)量和用戶體驗。通過降低噪聲的時間低頻分量同時提高觀察者較少感知的高時間頻率分量，所提 出的方法因此降低了保持類型顯示器上噪聲的可視性。該效果通過在逐幀基礎(chǔ)上交替噪聲 降低的量和/或類型來取得。而且，結(jié)果得到的顯示速率被設置的如此高以至于該細節(jié)閃 爍對普通用戶不可視(優(yōu)選地使用高于-80Hz的顯示速率)。在該具體例子中，強大的邊緣 保持(空間)噪聲降低過程NRl與適度的或沒有空間噪聲降低過程NR2交替。在該例子中，NRl以高噪聲降低效果和以丟失細節(jié)為代價強調(diào)降低噪聲為特征。而且，在該例子中，響應被處理的幀中的實際空間噪聲而調(diào)整NRl的確切噪聲降 低效果。因此，第一噪聲降低單元203耦合到噪聲估計單元209，該噪聲估計單元被設置成 生成幀的噪聲估計并將該噪聲估計饋送到第一噪聲降低單元203，第一噪聲降低單元然后 響應該噪聲估計而調(diào)整幀的空間噪聲降低特性。具體地，對于增大的估計空間噪聲，可以應 用增大的空間噪聲降低。例如，可以降低NRl的空間低通濾波的帶寬以便提高噪聲估計。應 當理解的是，可以使用任何適當?shù)目臻g噪聲估計方法或算法而不偏離本發(fā)明。在該例子中，NR2執(zhí)行不太嚴厲的空間噪聲降低并且特征在于以有限的噪聲降低 為代價強調(diào)保持空間細節(jié)和清晰度。NRl和NR2兩者都可以是任意類型的已知噪聲降低方法，并且可以是不同的方法 或僅有一個變化(例如門限或噪聲強度)參數(shù)的相同方法。所描述的方法的優(yōu)點在于，可以獨立于其它噪聲降低方法以及尤其是獨立于不考 慮時間特性的其它噪聲降低方法而應用該方法。例如，在轉(zhuǎn)換之前，初始空間噪聲降低過程 可被應用于原始的較低幀速率視頻信號。還應當理解的是，通過恰當?shù)剡x擇所應用的噪聲降低過程的噪聲降低屬性，可以取得期望水平的平均總體噪聲降低。例如，在該具體的例子中，為了取得給定整體平均水平 的噪聲降低，可以選擇NRl的噪聲降低的量以導致高于期望的總體水平的總體噪聲降低， 同時可以選擇NR2的噪聲降低的量以導致低于期望的總體水平的總體噪聲降低。還應當理解的是，所描述的方法可以容易地擴展到多組多于兩個的不同空間噪聲 降低過程(例如NR3、NR4等)。在已經(jīng)被上轉(zhuǎn)換的視頻信號中，一些幀可能更接近低幀速率原始幀，或者甚至與 原始幀相同，并且一些幀將更加遠離原始幀。優(yōu)選地，噪聲降低過程NRl和NR2與視頻信號 如此聯(lián)合(align)，使得較低量的噪聲降低被盡可能地應用于與原始幀接近或相同的幀，并 且使得最高量的噪聲降低被應用于更遠離原始幀的幀。在該具體例子中，上轉(zhuǎn)換是這樣的，使得上轉(zhuǎn)換幀的一些直接對應原始幀的一些。 在一些這樣的實施例中，預定的變化規(guī)則規(guī)定，與不對應原始幀但是是內(nèi)插幀的上轉(zhuǎn)換幀 相比，對對應原始幀的上轉(zhuǎn)換幀應用較少的空間噪聲降低。這種方法將典型地導致較少的 偽像，因為內(nèi)插幀典型地可以包含比用于生成內(nèi)插幀的原始幀更多的偽像。因此，將更強的 噪聲降低應用到內(nèi)插幀導致總體更高的視頻質(zhì)量。因此，在其中僅使用兩個不同的噪聲降低過程NRl和NR2的具體例子中，對于偶數(shù) 幀速率上轉(zhuǎn)換因子(例如2、4等)，典型地優(yōu)選應用NRl和NR2，從而NR2被應用于原始幀， 因為與內(nèi)插幀相比，它們典型地包含更多細節(jié)和更少偽像。更一般地，如果幀速率上轉(zhuǎn)換比率是偶整數(shù)，即m/n = 2*i，i 乒 0 并且 i e N，那么上轉(zhuǎn)換算法典型地每m/n幀輸出具有與輸入幀的時間戳匹配的時間戳的幀。 優(yōu)選地，這些原始幀由比用于內(nèi)插幀的噪聲降低更弱的噪聲降低來處理。這在圖2的例子 中通過如下面的表格所示適當?shù)爻跏蓟袚Q處理器201的交替而取得 作為具體的例子，25Hz的電影序列可以具有運動補償?shù)厣限D(zhuǎn)換到IOOHz的幀速 率。在該例子中，為每一原始幀生成三個內(nèi)插幀。然而，這些內(nèi)插幀的噪聲特性是不同的， 并且典型地由于雙向內(nèi)插的使用，位于兩個原始幀中間的內(nèi)插幀經(jīng)歷比其它內(nèi)插幀更少的 噪聲。因此，為這些噪聲特性優(yōu)化的不同噪聲降低過程NR3可以用于中間內(nèi)插幀。該附加的噪聲降低過程NR3可以例如被設計為導致與由較弱的噪聲降低過程NR2處理的原始幀同 樣的中間內(nèi)插幀的輸出噪聲特性。結(jié)果，這種系統(tǒng)的噪聲水平可以在50Hz的頻率上交替。 這種系統(tǒng)的例子呈現(xiàn)在下面的表格中
輸入幀上轉(zhuǎn)換奇/偶’相位噪聲劇氐IN(O)— Ε, 0NR2內(nèi)插0、10，1NRl內(nèi)插0、1E, 2NR3內(nèi)插0、10’ 3NRlIN⑴— Ε, 0NR2內(nèi)插1、20’ 1NRl內(nèi)插1、2E, 2NR3內(nèi)插1、20, 3NRl圖3示出了根據(jù)本發(fā)明一些實施例的視頻信號處理方法。該方法在步驟301啟動，其中接收包括幀序列的視頻信號。步驟301之后是步驟303，其中圖片噪聲改變算法應用于該幀序列。步驟303之后是步驟305，其中圖片噪聲改變算法的空間噪聲降低設置在該幀序 列的至少一些連續(xù)幀之間響應預定的變化規(guī)則而變化。在一些實施例中，可以提供包含軟件代碼的載體，其使處理器能夠執(zhí)行圖3的方 法。載體具體可以包括計算機可讀指令，當其被計算機或其它合適的處理設備執(zhí)行時使得 該方法被執(zhí)行。術(shù)語載體應當解釋為對于特定的時間量可以包含作為物理參數(shù)(比如電 壓)的代碼的任意事物。術(shù)語載體例如可以包括實體，諸如設備內(nèi)存儲器(諸如硬盤或固 態(tài)存儲器)、可斷開存儲器(諸如磁盤或記憶棒或記憶卡)、連接電纜或其它信號運輸裝置寸。應當理解的是，出于清楚的目的，以上描述已經(jīng)參考不同的功能單元和處理器描 述了本發(fā)明的實施例。然而，顯而易見的是，可以使用不同功能單元或處理器之間的任何適 當?shù)墓δ芊植级黄x本發(fā)明。例如，被示出由單獨的處理器或控制器執(zhí)行的功能可由同 一處理器或控制器執(zhí)行。因此，對特定功能單元的引用僅被視為對用于提供所描述功能的 適當裝置的引用，而不是指示嚴格的邏輯的或物理的結(jié)構(gòu)或組織。本發(fā)明可以以包括硬件、軟件、固件或這些的任意組合在內(nèi)的任意合適形式實現(xiàn)。 本發(fā)明可選地可以至少部分地被實現(xiàn)為運行在一個或多個數(shù)據(jù)處理器和/或數(shù)字信號處 理器上的計算機軟件。本發(fā)明實施例的元件和組件可以以任意合適的方式物理地、功能地、 邏輯地實現(xiàn)。實際上，功能可以以單個單元、以多個單元或作為其他功能單元的部分來實 現(xiàn)。因此，本發(fā)明可以以單個單元來實現(xiàn)或者可以物理地并且功能上分布在不同的單元和 處理器之間。盡管已經(jīng)結(jié)合一些實施例描述了本發(fā)明，但是并不預期其限于這里闡述的具體形
13式。相反，本發(fā)明的范圍僅由所附權(quán)利要求書限制。而且，盡管可能結(jié)合特定實施例描述了 特征，但是本領(lǐng)域技術(shù)人員應當認識到，所描述實施例的各種特征可以根據(jù)本發(fā)明進行組 合。在權(quán)利要求書中，措詞包括不排除其他元件或步驟的存在。 而且，盡管是個別地列舉的，但是多個裝置、元件或方法步驟可以通過例如單個單 元或處理器來實現(xiàn)。而且，盡管個別的特征可以包含在不同的權(quán)利要求中，但是這些特征可 以可能地被有益組合，并且包含在不同權(quán)利要求中并不意味著特征的組合是不可行和/或 不是有益的。而且，在一類權(quán)利要求中包含特征并不意味著對該類的限制，而是指示在適當 情況下該特征同樣可應用于其他類權(quán)利要求。而且，權(quán)利要求中特征的順序不意味著特征 必須工作在任何特定的順序，尤其是方法權(quán)利要求中單獨的步驟的順序不意味著步驟必須 以該順序執(zhí)行。相反地，步驟可以以任意適當?shù)捻樞驁?zhí)行。此外，單數(shù)引用不排除多個。因 此，提到“一”、“一個”、“第一”、“第二”等不排除多個。在權(quán)利要求中僅僅作為澄清的例子 而提供的附圖標記不應當以任意方式解釋為限制權(quán)利要求書的范圍。
權(quán)利要求
一種用于處理視頻信號的視頻信號處理設備，該設備包括 接收單元(101，103，105)，用于接收包括圖片序列的視頻信號； 處理單元(107)，用于將圖片噪聲改變算法應用到該圖片序列； 變化單元(113)，用于響應預定的變化規(guī)則，在該圖片序列的至少一些連續(xù)圖片之間改變圖片噪聲改變算法的噪聲降低設置。
2.如權(quán)利要求1的視頻信號處理設備，進一步包括-一組圖片操作過程(203，205)，該組可執(zhí)行的圖片操作過程中的圖片操作過程具有 不同的噪聲降低特性；并且其中所述變化單元(113)被設置成從該組圖片操作過程中選擇不同的圖片操作過程作為 用于所述至少一些連續(xù)圖片的圖片噪聲改變算法。
3.如權(quán)利要求2的視頻信號處理設備，其中所述預定的變化規(guī)則包括不同圖片操作過 程的預定交替系列。
4.如權(quán)利要求2的視頻信號處理設備，進一步包括-噪聲估計器(209)，用于為所述至少一些連續(xù)圖片的第一圖片生成噪聲估計；并且其 中該組圖片操作過程(203，205)的至少第一圖片操作過程(203)被設置成當該第一圖片操 作過程應用于該第一圖片時，響應噪聲估計而調(diào)整噪聲降低特性。
5.如權(quán)利要求2的視頻信號處理設備，其中該組圖片操作過程(203，205)的至少一個 圖片操作過程是邊緣保持空間噪聲降低過程。
6.如權(quán)利要求2的視頻信號處理設備，其中該組圖片操作過程(203，205)的圖片操作 過程是空間噪聲降低過程。
7.如權(quán)利要求1的視頻信號處理設備，進一步包括幀速率上轉(zhuǎn)換器(105)，被設置成生 成該圖片序列作為從較低幀速率視頻信號生成的上轉(zhuǎn)換幀序列。
8.如權(quán)利要求7的視頻信號處理設備，其中所述預定的變化規(guī)則規(guī)定，為該上轉(zhuǎn)換幀 序列中的上轉(zhuǎn)換幀和原始幀之間的增加的時差增大空間噪聲降低。
9.如權(quán)利要求1的視頻信號處理設備，其中所述變化單元(113)引入的噪聲降低設置 變化獨立于所述至少一些連續(xù)圖片的特性。
10.如權(quán)利要求3的視頻信號處理設備，其中所述預定的變化規(guī)則是這樣的，使得噪聲 降低設置的變化頻率在30Hz以上。
11.一種視頻顯示器設備，包括-接收單元(101，103，105)，用于接收包括圖片序列的視頻信號；-處理單元(107)，用于將圖片噪聲改變算法應用于該圖片序列以生成修改的視頻信號；-變化單元(113)，用于響應預定的變化規(guī)則，在該圖片序列的至少一些連續(xù)圖片之間 改變圖片噪聲改變算法的噪聲降低設置；以及-顯示器(109，111)，用于顯示修改的視頻信號。
12.一種處理視頻信號的方法，該方法包括-接收(301)包括圖片序列的視頻信號；-將圖片噪聲改變算法應用(303)于該圖片序列；以及-響應預定的變化規(guī)則，在該圖片序列的至少一些連續(xù)圖片之間改變(305)圖片噪聲改變算法的噪聲降低設置。
13. 一種包含軟件代碼的載體，該軟件代碼使得處理器能夠執(zhí)行包括以下步驟的方法-接收(301)包括圖片序列的視頻信號；-將圖片噪聲改變算法應用(303)于該圖片序列；以及-響應預定的變化規(guī)則，在該圖片序列的至少一些連續(xù)圖片之間改變(305)圖片噪聲 改變算法的噪聲降低設置。
全文摘要
一種用于處理視頻信號的視頗信號處理設備包括接收單元(101，103，105)，其接收包括圖片序列的視頻信號。處理單元(107)將圖片噪聲改變算法應用到該圖片序列中，并且變化單元(113)響應預定的變化規(guī)則而在該圖片序列的至少一些連續(xù)圖片之間改變圖片噪聲改變算法的空間噪聲降低設置。特別地，可提供具有不同空間噪聲降低特性的一組圖片操作過程(203，205)，并且變化單元(113)可以在連續(xù)的圖片中選擇不同的圖片操作過程。該方法可以引入觀察者較少感知的高頻噪聲閃爍，從而降低感知的噪聲。本發(fā)明特別地可以應用到保持類型顯示器(比如液晶顯示器)的上轉(zhuǎn)換高圖片速率視頻信號中。
文檔編號H04N5/21GK101919233SQ200880120981
公開日2010年12月15日 申請日期2008年12月12日 優(yōu)先權(quán)日2007年12月17日
發(fā)明者F·H·范希施, M·A·克洛姆彭霍沃 申請人:皇家飛利浦電子股份有限公司;Nxp有限公司