專利名稱：通過(guò)平滑塊偽影改進(jìn)壓縮視頻信號(hào)的質(zhì)量的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻信號(hào)，更具體地涉及通過(guò)將視頻信號(hào)分離成去塊(Deblock) 區(qū)和細(xì)節(jié)區(qū)(Detail region)、以及通過(guò)平滑去塊區(qū)，來(lái)提高壓縮數(shù)字視頻信號(hào)的質(zhì)量的系 統(tǒng)和方法。
背景技術(shù)：
眾所周知的是，與表示文本信息或聲頻信號(hào)的所需要的數(shù)字?jǐn)?shù)據(jù)的量相比，視頻 信號(hào)由大量的數(shù)字?jǐn)?shù)據(jù)所表示。因此當(dāng)數(shù)字視頻信號(hào)以高比特率傳輸時(shí)，尤其是當(dāng)這些比 特率必須對(duì)應(yīng)于視頻顯示裝置所需要的實(shí)時(shí)數(shù)字視頻信號(hào)時(shí)，數(shù)字視頻信號(hào)占據(jù)相當(dāng)大的 帶寬。尤其是，在例如為電纜或者光纖的通信信道上同時(shí)傳輸和接收大量的不同的視頻 信號(hào)常常是通過(guò)以在不同的通信信道中共享可用帶寬的方式頻分復(fù)用或者時(shí)分復(fù)用這些 視頻信號(hào)來(lái)實(shí)現(xiàn)。數(shù)字化的視頻數(shù)據(jù)通常在根據(jù)國(guó)際認(rèn)同的格式標(biāo)準(zhǔn)(例如MPEG2、MPEG4、H264)的 格式化的媒體文件中嵌入音頻和其它數(shù)據(jù)。這些文件通常在互聯(lián)網(wǎng)上分布和多路傳輸，并 且分別存儲(chǔ)在計(jì)算機(jī)的數(shù)字存儲(chǔ)器、移動(dòng)電話、數(shù)碼攝像機(jī)中以及存儲(chǔ)在光碟(CD)和數(shù)字 化視頻光盤(DVD)上。許多這些裝置被物理上的難以察覺(jué)地結(jié)合到單個(gè)裝置中。在創(chuàng)建格式化的媒體文件的過(guò)程中，對(duì)文件數(shù)據(jù)進(jìn)行各種級(jí)別和類型的數(shù)字壓縮 以降低它們?cè)佻F(xiàn)所需要的數(shù)字?jǐn)?shù)據(jù)的量，由此減少所需要的記憶存儲(chǔ)量以及減少當(dāng)與許多 其它視頻文件多路復(fù)用時(shí)的準(zhǔn)確可靠的同時(shí)傳輸所需要的帶寬。互聯(lián)網(wǎng)提供一個(gè)特別復(fù)雜的傳輸視頻數(shù)據(jù)的例子，其中當(dāng)終端用戶從中央服務(wù)器 下載視頻文件的傳輸過(guò)程中，視頻文件以許多不同的方式沿著許多不通的信道(即路徑) 多路傳輸。然而，在幾乎所有的情況下，對(duì)于給定的原始數(shù)據(jù)視頻源和給定的終端用戶的接 受和顯示視頻的質(zhì)量，期望使獲得的視頻文件被壓縮至最小可能的尺寸。格式化的視頻文件可以表示完全數(shù)字化的影片。影片文件可以“按需”下載以用 于立即顯示和實(shí)時(shí)觀看，或者用于存儲(chǔ)在終端用戶的例如為數(shù)碼攝像機(jī)的記錄裝置中，用 于將來(lái)實(shí)時(shí)觀看。這些視頻文件的視頻部分的壓縮不僅由于傳輸?shù)哪康亩?jié)約了帶寬，還減少了存 儲(chǔ)這些影片文件所需要的總存儲(chǔ)量。在上述通信信道的接收終端，典型的是使用單用戶計(jì)算和存儲(chǔ)裝置。這些單用戶 裝置的目前不同的例子為個(gè)人計(jì)算機(jī)和數(shù)字機(jī)頂盒，它們中的每個(gè)或全部典型地輸出連接 到終端用戶的視頻顯示裝置(例如TV)，直接或間接輸入連接到有線銅分布電纜線(即有線 電視)。典型地，該電纜同時(shí)傳輸數(shù)百個(gè)實(shí)時(shí)多路傳輸?shù)臄?shù)字視頻信號(hào)，并且常常輸入連接 到一個(gè)光纖電纜，該光纖電纜從視頻節(jié)目的本地分發(fā)服務(wù)器傳輸來(lái)自地面站的視頻信號(hào)。 終端用戶的衛(wèi)星天線也用來(lái)接受廣播視頻信號(hào)。不論終端用戶使用的是通過(guò)地球線纜還 是衛(wèi)星所傳輸?shù)囊曨l信號(hào)，終端用戶數(shù)字機(jī)頂盒或者等同設(shè)備通常被用來(lái)接收數(shù)字視頻信號(hào)，以及選擇要觀看的特定的視頻信號(hào)(即所謂TV頻道或者TV節(jié)目)。這些傳輸?shù)臄?shù)字視 頻信號(hào)常常為壓縮數(shù)字格式，并且因此必須在由終端用戶接收后進(jìn)行實(shí)時(shí)解壓縮。大多數(shù)的視頻壓縮方法通過(guò)僅保留原始未壓縮的視頻信號(hào)的數(shù)字近似值而減少 了數(shù)字視頻數(shù)據(jù)的量。因此，在壓縮之前的原始視頻信號(hào)與被壓縮的視頻信號(hào)之間存在著較大差異。該 差異被定義為視頻失真。對(duì)于給定的視頻壓縮方法，由于通過(guò)為這些方法選擇不同參數(shù)而 降低被壓縮的視頻數(shù)據(jù)的數(shù)據(jù)量，視頻失真的程度幾乎總是變大。即，視頻失真隨著壓縮程 度的增加而趨于增加。隨著視頻壓縮程度的增加，視頻失真最終對(duì)于人類視覺(jué)系統(tǒng)(HVQ變得可視的， 并且最終該失真在選擇的顯示裝置上對(duì)于實(shí)時(shí)視頻的通常觀眾而言變得明顯的令人不愉 快。被觀察到的該視頻失真為所謂的偽影。視頻偽影是HVS所解讀出的不屬于原始未壓縮 的視頻場(chǎng)景中的觀察到的視頻內(nèi)容。已有用于在壓縮過(guò)程中或者在壓縮之后從壓縮視頻中顯著減少明顯的令人不愉 快的偽影的方法。這些方法中的大多數(shù)僅適用于使用基于塊的二維OD)離散余弦轉(zhuǎn)換 (DCT)或其近似法的壓縮方法。下文中，我們稱這些方法為基于DCT的。在這種情況下，迄 今為止的最明顯的令人不愉快的偽影是在顯示的視頻場(chǎng)景中出現(xiàn)的偽影塊。已有通常通過(guò)查找塊或者通過(guò)需要塊在視頻的每個(gè)幀的位置的先驗(yàn)知識(shí)而減輕 偽影塊的方法。對(duì)于視頻數(shù)據(jù)已經(jīng)預(yù)先被壓縮和解壓縮可能超過(guò)一次、或者視頻數(shù)據(jù)已經(jīng)預(yù)先被 調(diào)整了大小、轉(zhuǎn)換了格式或者再混了顏色的廣泛發(fā)生的情況下，減輕視覺(jué)上令人不愉快的 偽影的出現(xiàn)的問(wèn)題尤其困難。例如，視頻數(shù)據(jù)可能已經(jīng)從NTSC重新被格式化為PAL格式， 或者從RGB格式轉(zhuǎn)換為YCrCb格式。在這些情況下，幾乎肯定不知道偽影塊的位置的先驗(yàn) 知識(shí)，因此基于該知識(shí)的方法不起作用。用于減輕視頻偽影的出現(xiàn)的方法必須不明顯增加表示被壓縮視頻數(shù)據(jù)所需要的 數(shù)據(jù)總量。這一約束是主要的設(shè)計(jì)難題。例如，在顯示的視頻的每個(gè)幀中的每個(gè)像素的三色 中的每個(gè)顏色通常用8比特來(lái)表示，因此每個(gè)有色像素總計(jì)為M比特。例如，如果在壓縮 的最大限度(此時(shí)有明顯的令人不愉快的偽影)，擬64(基于DCT)視頻壓縮標(biāo)準(zhǔn)能夠?qū)崿F(xiàn) 在其低端對(duì)應(yīng)于大約每個(gè)像素一比特的1/40的視頻數(shù)據(jù)的壓縮。因此這對(duì)應(yīng)于優(yōu)于40x24 =960的平均壓縮率。任何用于減輕視頻偽影的方法在該壓縮率時(shí)相對(duì)于每像素一比特的 1/40必須因此增加不顯著數(shù)量的比特，當(dāng)壓縮比如此高以致于每像素的平均比特?cái)?shù)典型地 小于一比特的1/40時(shí)，需要用于減輕塊偽影的出現(xiàn)的方法。對(duì)于基于DCT的和其它的基于塊的壓縮方法，最嚴(yán)重的明顯令人不愉快的偽影為 通常的隨著時(shí)間、大小和方向變化的小矩形塊的形式，該變化取決于視頻場(chǎng)景的局部時(shí)空 特性。特別地，偽影塊的性質(zhì)取決于視頻場(chǎng)景中的目標(biāo)的局部運(yùn)動(dòng)和那些目標(biāo)包含的空間 細(xì)節(jié)的量。對(duì)于一特定的視頻，隨著壓縮比的增加，基于MPEG的基于DCT的視頻編碼器逐 漸地分配較少的比特給代表每個(gè)塊內(nèi)的像素的強(qiáng)度的所謂量化基礎(chǔ)。每個(gè)塊中分配的比特 的數(shù)目取決于與HVS有關(guān)的大量的心理視覺(jué)知識(shí)。例如，視頻目標(biāo)的形狀和邊緣以及它們 運(yùn)動(dòng)的光滑的時(shí)間軌跡在心理視覺(jué)方面是重要的，因此如在所有基于MPEG DCT的方法中， 必須分配比特以確保它們的保真度。
隨著壓縮程度的增加，并且出于保持上述保真度的目的，壓縮方法(在所謂的編 碼器中)最終給每個(gè)塊分配恒定(或者幾乎恒定)的強(qiáng)度，這就是通常最明顯的令人不愉 快的塊偽影。預(yù)計(jì)，如果偽影塊比它們最接近的相鄰塊之間的相對(duì)均一強(qiáng)度大3%，那么包 含這些塊的空間區(qū)域是明顯的令人不愉快的。在通過(guò)使用基于塊的DCT型方法而嚴(yán)重壓縮 的視頻場(chǎng)景中，許多幀的大片區(qū)域包含這樣的塊偽影。

發(fā)明內(nèi)容
本發(fā)明涉及一種系統(tǒng)和方法，其中對(duì)于給定量的需要表示壓縮視頻信號(hào)的數(shù)據(jù)， 如由典型的人類觀察者察覺(jué)到的，提高了未被壓縮顯示的實(shí)時(shí)視頻的質(zhì)量。這里的系統(tǒng)和 方法通過(guò)減弱塊的出現(xiàn)實(shí)現(xiàn)這種改進(jìn)，而不一定需要事先知道它們的位置。在一些實(shí)施方 式中，這里描述的這些方法減弱了這些塊的出現(xiàn)，使得如HVS察覺(jué)到的，所產(chǎn)生的實(shí)時(shí)視頻 的質(zhì)量被改進(jìn)。就壓縮視頻和非壓縮視頻之間的強(qiáng)度差異而言，塊狀區(qū)域可能不是整個(gè)視頻失真 的數(shù)學(xué)度量的最大促成者。在視頻的細(xì)節(jié)區(qū)中通常有顯著的數(shù)學(xué)失真，但是其利用如下事 實(shí)HVS不像察覺(jué)由于塊偽影導(dǎo)致的失真一樣察覺(jué)這種失真。在在此公開(kāi)的實(shí)施方式中，該方法的第一步驟是將每個(gè)幀的數(shù)字表示分離成兩部 分，即去塊區(qū)和細(xì)節(jié)區(qū)。該方法的第二步驟是在去塊區(qū)上操作以減弱塊狀偽影從而產(chǎn)生平 滑的去塊區(qū)。該方法的第三步驟是重新組合平滑的去塊區(qū)和細(xì)節(jié)區(qū)。在一個(gè)實(shí)施方式中，去塊區(qū)的識(shí)別通過(guò)選擇候選區(qū)開(kāi)始，然后使用一套標(biāo)準(zhǔn)將每 個(gè)候選區(qū)與其周圍的相鄰區(qū)域比較，這些標(biāo)準(zhǔn)例如是a.強(qiáng)度平坦標(biāo)準(zhǔn)(F)b.不連續(xù)標(biāo)準(zhǔn)⑶，和c.向前看/向后看標(biāo)準(zhǔn)(L)。上文已經(jīng)相當(dāng)寬泛地概述了本發(fā)明的特征和技術(shù)優(yōu)勢(shì)，以便下文中本發(fā)明的具體 描述可以更易被理解。本發(fā)明的另外特征和優(yōu)勢(shì)將在下文中描述，并形成本發(fā)明的權(quán)利要 求的主題。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)可以領(lǐng)會(huì)到，所公開(kāi)的構(gòu)思和具體實(shí)施方式
可以作為基 礎(chǔ)，用于修改或設(shè)計(jì)其它結(jié)構(gòu)，以實(shí)現(xiàn)本發(fā)明的相同目的。本領(lǐng)域技術(shù)人員還應(yīng)當(dāng)體會(huì)到這 些等同構(gòu)造并不偏離在所附的權(quán)利要求中所述的本發(fā)明的精神和范圍。根據(jù)下文的描述并 結(jié)合考慮所附的附圖將更好地理解在結(jié)構(gòu)和操作方法方面被認(rèn)為是本發(fā)明的特點(diǎn)的新特 征、以及另外的目標(biāo)和優(yōu)勢(shì)。然后，可以清楚地理解提供的每個(gè)附圖僅是出于闡述和描述的 目的，而非用于定義限制本發(fā)明。


為了更全面地理解本發(fā)明，可以結(jié)合附圖參考下文的描述，其中圖1示出了典型的塊狀圖像幀；圖2示出了圖1的去塊區(qū)(以黑色表示)和細(xì)節(jié)區(qū)(以白色表示)的圖像；圖3示出了在幀中選擇分離的像素的一個(gè)示例；圖4顯示了候選像素Ci的一個(gè)閉合區(qū)，候選像素Ci相距χ像素，并且候選像素Ci 由于不滿足去塊標(biāo)準(zhǔn)而屬于細(xì)節(jié)區(qū)DET ；
圖5顯示了通過(guò)使用9像素交叉蒙版將一個(gè)塊分配到去塊區(qū)的一方法的一個(gè)實(shí)施 方式；圖6示出了在圖像幀的特定位置使用的9像素交叉蒙版(crossed mask)的一個(gè) 示例；圖7示出了用于獲得改進(jìn)的視頻圖像質(zhì)量的方法的一個(gè)實(shí)施方式；圖8示出了使用本文中所討論的概念的一個(gè)實(shí)施方式。
具體實(shí)施例方式公開(kāi)的實(shí)施方式的一個(gè)方面是通過(guò)使用平坦度標(biāo)準(zhǔn)(flatness criteria)和不連 續(xù)標(biāo)準(zhǔn)(discontinuity criteria)識(shí)別視頻信號(hào)的每個(gè)幀中的去塊區(qū)域，以減輕實(shí)時(shí)視頻 信號(hào)中塊偽影的出現(xiàn)?？梢越Y(jié)合使用另外的梯度標(biāo)準(zhǔn)(gradient criteria)來(lái)進(jìn)一步改善 魯棒性。使用這些概念，由于與被減少的文件大小相關(guān)聯(lián)的偽影的視覺(jué)效果被降低，視頻文 件的大小(或者在視頻信號(hào)的傳輸中需要的比特?cái)?shù))能夠被降低。。進(jìn)行這些概念的方法的一個(gè)實(shí)施方式包括與視頻信號(hào)的圖像幀相關(guān)的三個(gè)部 分1.識(shí)別去塊區(qū)(DEB)的步驟，將去塊區(qū)從所謂細(xì)節(jié)區(qū)DET中區(qū)分開(kāi)來(lái)；2.對(duì)去塊區(qū)DEB進(jìn)行處理，以通過(guò)空間上平滑來(lái)減輕去塊區(qū)中的塊偽影的出現(xiàn)； 以及3.將在第2部分中獲得的當(dāng)前平滑的去塊區(qū)合并到細(xì)節(jié)區(qū)的步驟。在該實(shí)施方式的方法中，空間平滑操作不對(duì)去塊區(qū)之外進(jìn)行處理相當(dāng)于，其不對(duì) 細(xì)節(jié)區(qū)進(jìn)行處理。如將在下文中所討論的，使用方法來(lái)確定空間平滑處理已經(jīng)到達(dá)去塊區(qū) DEB的邊界，以便平滑不在去塊區(qū)之外發(fā)生。預(yù)先已經(jīng)經(jīng)受過(guò)基于塊類型的視頻壓縮(例如基于DCT的壓縮)和解壓縮、以及 可能經(jīng)過(guò)調(diào)整大小和/或格式變換和/或顏色再混處理過(guò)的視頻信號(hào)，典型地包含明顯的 令人不愉快的塊偽影殘留，該塊偽影首先在先前的壓縮操作中發(fā)生。因此，僅通過(guò)減輕那些 在最后的或當(dāng)前的壓縮操作中產(chǎn)生的塊的出現(xiàn)是不可能完全實(shí)現(xiàn)塊誘發(fā)的偽影的移除。在許多情況下，關(guān)于這些先前創(chuàng)建的塊的位置的先驗(yàn)信息是得不到的，并且位于 未知位置的塊常常促成了令人不愉快的偽影。該方法的實(shí)施方式通過(guò)不需要關(guān)于塊的位置 的先驗(yàn)知識(shí)的標(biāo)準(zhǔn)來(lái)識(shí)別要被去塊的區(qū)。在一個(gè)實(shí)施方式中，使用了強(qiáng)度平坦化標(biāo)準(zhǔn)方法，以及使用強(qiáng)度不連續(xù)標(biāo)準(zhǔn)和/ 或強(qiáng)度梯度標(biāo)準(zhǔn)來(lái)識(shí)別每個(gè)視頻幀的將被去塊的去塊區(qū)，而不需要具體的尋找或識(shí)別單個(gè) 塊的位置。每個(gè)幀的去塊區(qū)通常包括各種大小和形狀的許多不連接的子區(qū)。該方法僅依靠 圖像幀內(nèi)的信息來(lái)識(shí)別該圖像幀中的去塊區(qū)。在該識(shí)別后，圖像幀的保留區(qū)被定義為細(xì)節(jié) 區(qū)。視頻場(chǎng)景由視頻目標(biāo)構(gòu)成。這些目標(biāo)典型地依據(jù)它們的強(qiáng)度邊緣的位置和運(yùn)動(dòng)以 及它們的內(nèi)部的紋理而被區(qū)分和識(shí)別(通過(guò)HVS和相關(guān)的神經(jīng)響應(yīng))。例如，圖1示出了 包含明顯的令人不愉快的塊偽影的典型的圖像幀10，當(dāng)實(shí)時(shí)顯示時(shí)，塊偽影同樣出現(xiàn)在對(duì) 應(yīng)的視頻剪輯中。典型地，在一秒鐘的片段中，HVS察覺(jué)并識(shí)別在對(duì)應(yīng)視頻剪輯中的原始目 標(biāo)。例如，臉目標(biāo)101和其子目標(biāo)(例如眼睛14和鼻子15)與帽子一起被HVS快速識(shí)別，帽子又包含子目標(biāo)，例如帶狀物13和帽沿12。HVS將臉的大的空曠的內(nèi)部識(shí)別為具有非常 少的細(xì)節(jié)并且特征在于其顏色和平滑描影的皮膚紋理。塊偽影雖然在圖1的圖像幀中不能清晰地可見(jiàn)，但是其在相應(yīng)的電子顯示實(shí)時(shí)視 頻信號(hào)中清楚地可見(jiàn)，塊偽影具有各種大小，它們的位置并不局限于在最后的壓縮操作中 所產(chǎn)生的塊的位置。僅減輕那些在最后的壓縮操作過(guò)程中所產(chǎn)生的塊常常是不夠的。該方法利用了 HVS能特別察覺(jué)到那些位于圖像的相對(duì)大的空曠的區(qū)域的塊偽影 (和它們的相關(guān)邊緣的強(qiáng)度不連續(xù))并對(duì)其敏感的心理視覺(jué)性質(zhì)，其中在該原始圖像的空 曠區(qū)域中有著幾乎不變的強(qiáng)度或者平穩(wěn)變化的圖像強(qiáng)度。例如，在圖1中，HVS相對(duì)不能察 覺(jué)到位于帽子的條紋之間的任何塊偽影，但是特別能察覺(jué)到在臉上的大的空曠的平滑描影 的皮膚區(qū)域中出現(xiàn)的塊偽影并且對(duì)其敏感，而且也對(duì)帽沿的左側(cè)(下方)大的空曠的區(qū)域 中的塊偽影敏感。作為HVS對(duì)塊偽影敏感的另一個(gè)例子，如果HVS察覺(jué)到均勻著色的平面陰影表面 的視頻圖像，例如被照明的墻，那么超過(guò)大約3%的塊邊緣強(qiáng)度不連續(xù)就是明顯的令人不愉 快的，而在高度紋理目標(biāo)的視頻圖像中的類似的塊邊緣的強(qiáng)度的不連續(xù)，例如草葉的高度 紋理區(qū)，通常對(duì)于HVS而言是不可見(jiàn)的。減輕大的空曠的平滑強(qiáng)度區(qū)域中的塊要比減輕高 空間細(xì)節(jié)區(qū)域中的塊更重要。該方法利用了 HVS的這一特性。然而，如果上述墻被遮擋，僅露出小部分的單獨(dú)的區(qū)域，HVS再次相對(duì)不能覺(jué)察到 塊偽影。即，HVS對(duì)于這些塊較不敏感，因?yàn)楸M管它們位于平滑強(qiáng)度的區(qū)域，這些區(qū)域不夠 大。該方法利用了 HVS的這一特性。將這一方法應(yīng)用到圖像幀的結(jié)果是，圖像被分離成至少兩個(gè)區(qū)去塊區(qū)和其余的 細(xì)節(jié)區(qū)。該方法可以分級(jí)使用，以便上述第一被識(shí)別出的細(xì)節(jié)區(qū)本身接著又被分離成第二 去塊區(qū)和第二細(xì)節(jié)區(qū)，如此遞推。圖2示出了識(shí)別去塊區(qū)(以黑色表示)和細(xì)節(jié)區(qū)(以白色表示)的結(jié)果20。眼 睛14、鼻子15和嘴屬于臉目標(biāo)的細(xì)節(jié)區(qū)(白色)，如同具有條紋的細(xì)節(jié)紋理的帽子的大部 分右側(cè)區(qū)。然而，帽子的左側(cè)的大部分是幾乎恒定強(qiáng)度的區(qū)域，因此屬于去塊區(qū)，而帽沿12 的邊緣為強(qiáng)烈的不連續(xù)區(qū)，且對(duì)應(yīng)于細(xì)節(jié)區(qū)的細(xì)線部分。如同在下文中所描述的，使用標(biāo)準(zhǔn)來(lái)確保去塊區(qū)是HVS最能察覺(jué)并對(duì)塊偽影敏感 的區(qū)域，并因此為將被去塊的區(qū)。然后細(xì)節(jié)區(qū)就是HVS對(duì)塊偽影不特別敏感的區(qū)域。在這一 方法中，去塊區(qū)的去塊可以通過(guò)空間強(qiáng)度平滑來(lái)實(shí)現(xiàn)。該空間強(qiáng)度平滑處理可以通過(guò)低通 量濾波器或者通過(guò)其它方式來(lái)實(shí)現(xiàn)。強(qiáng)度平滑顯著減輕了被平滑區(qū)域的所謂高空間頻率， 并因此顯著降低了與塊陰影的邊界相關(guān)的強(qiáng)度的邊緣不連續(xù)。該方法的一個(gè)實(shí)施方式使用空間不變低通量濾波器來(lái)對(duì)被識(shí)別出的去塊區(qū)進(jìn)行 空間平滑。所述濾波器可以是無(wú)窮脈沖響應(yīng)(IIR)濾波器或者有限脈沖響應(yīng)(FIR)濾波器 或者上述濾波器的組合。這些濾波器是典型的低通量濾波器，并被用來(lái)減輕去塊區(qū)的所謂 的高空間頻率，由此平滑強(qiáng)度，減輕塊偽影的出現(xiàn)。上述去塊區(qū)DEB和細(xì)節(jié)區(qū)DET的定義不妨礙對(duì)一個(gè)區(qū)或兩個(gè)區(qū)的進(jìn)一步的信號(hào)處 理。特別地，使用該方法，能夠?qū)ET區(qū)進(jìn)一步分離成新的DETl區(qū)和DEBl區(qū)，其中DEBl區(qū) 是第二個(gè)去塊區(qū)(DEB1 eDET)，與用于去塊DEB的方法或?yàn)V波器相比，可能使用不同的去塊 方法或者不同的濾波器。DEBl和DETl顯然是DET的子區(qū)。
識(shí)別去塊區(qū)(DEB)常常需要能夠?qū)崟r(shí)運(yùn)行視頻的識(shí)別算法。對(duì)于這樣的應(yīng)用，與 使用相對(duì)少的MACs/s和使用整數(shù)的簡(jiǎn)單邏輯語(yǔ)句的識(shí)別算法相比，高計(jì)算復(fù)雜度(例如使 用每秒大量的乘積累加操作(MACs)的識(shí)別算法)常常較不令人滿意。該方法的實(shí)施方式 使用相對(duì)少的MACs/s。類似地，該方法的實(shí)施方式保證了進(jìn)出片外存儲(chǔ)器的大量數(shù)據(jù)的交 換最小化。在該方法的一個(gè)具體實(shí)施方式
中，用于確定區(qū)DEB(因此也確定了 DET)的識(shí)別 算法利用了這樣的事實(shí)嚴(yán)重壓縮視頻剪輯中的大多數(shù)的明顯的令人不愉快的塊在它們的 整個(gè)內(nèi)部具有幾乎恒定的強(qiáng)度。在該方法的一個(gè)實(shí)施方式中，通過(guò)在幀中選擇候選區(qū)Ci來(lái)開(kāi)始去塊區(qū)DEB的識(shí) 別。在一個(gè)實(shí)施方式中，這些區(qū)Ci在空間大小上與一個(gè)像素一樣小。其它實(shí)施方式可以使 用大小大于一個(gè)像素的候選區(qū)Ci。每個(gè)候選區(qū)Ci通過(guò)一組標(biāo)準(zhǔn)與其周圍的相鄰區(qū)進(jìn)行對(duì) 照測(cè)試，如果符合標(biāo)準(zhǔn)，使得Ci被分類到圖像幀的去塊區(qū)DEB。如果Ci不屬于去塊區(qū)，則其 被設(shè)為屬于細(xì)節(jié)區(qū)DET。注意，這并不意味著所有Ci的集合等于DEB，而僅意味著它們形成 T DEB的子集。在該方法的一個(gè)實(shí)施方式中，用于確定Ci是否屬于去塊區(qū)DEB的這套標(biāo)準(zhǔn)可以分 類如下a.平坦強(qiáng)度標(biāo)準(zhǔn)(F)，b.不連續(xù)標(biāo)準(zhǔn)⑶，和c.向前看/向后看標(biāo)準(zhǔn)(L)。如果滿足上述標(biāo)準(zhǔn)(或者它們的任何有用組合)，候選區(qū)Ci就被分配到去塊區(qū)(即 Ci e DEB)。如果不滿足，那么候選區(qū)Ci被分配到細(xì)節(jié)區(qū)DET (Ci e DET)。在一個(gè)特定的實(shí) 施方式中，例如當(dāng)對(duì)特定的視頻剪輯去塊時(shí)，所有三種類型的標(biāo)準(zhǔn)(F、D和L)并不都是必須 的。另外，這些標(biāo)準(zhǔn)根據(jù)圖像幀的局部性質(zhì)來(lái)調(diào)整。所述局部性質(zhì)可以是統(tǒng)計(jì)學(xué)上的或者 它們可以具有與編碼器/解碼器相關(guān)的性質(zhì)，例如壓縮和解壓縮的部分處理中使用的量化 參數(shù)或者運(yùn)動(dòng)參數(shù)。在該方法的一個(gè)實(shí)施方式中，由于計(jì)算效率的原因，選擇候選區(qū)Ci,以使候選區(qū)稀 疏散布于圖像幀中。這具有明顯減少每個(gè)幀中的候選區(qū)Ci的數(shù)目的作用，由此，降低算法 復(fù)雜性和提高算法的計(jì)算能力(即速度)。圖3示出了對(duì)于幀的小區(qū)域被選擇的稀疏分布的像素，這些像素可以被用來(lái)根據(jù) 標(biāo)準(zhǔn)檢驗(yàn)圖1的圖像幀。圖3中，像素31-1至31-6在水平和垂直方向上都距它們的相鄰 像素7個(gè)像素。這些像素為原始圖像中像素的數(shù)目的大約1/64，這意味著用來(lái)識(shí)別去塊區(qū) 的任何基于像素的算法僅對(duì)每個(gè)幀中的像素?cái)?shù)目的1/64進(jìn)行運(yùn)算，由此相對(duì)于對(duì)每個(gè)像 素測(cè)試標(biāo)準(zhǔn)的方法，降低了復(fù)雜性，提高了計(jì)算能力。在該說(shuō)明性的示例中，將圖1的去塊標(biāo)準(zhǔn)應(yīng)用到圖3中的稀疏分布的候選區(qū)，獲得 如圖4中所示的對(duì)應(yīng)的稀疏分布的Ci e DEB。在該方法的一個(gè)實(shí)施方式中，整個(gè)去塊區(qū)DEB從上述的稀疏分布的候選區(qū) Ci e DEB “擴(kuò)大”到周圍的區(qū)域。例如，通過(guò)設(shè)定N為7像素，使圖2中的去塊區(qū)的識(shí)別從圖4中的稀疏分布的Ci進(jìn) 行“擴(kuò)大”，由此使得稀疏分布的候選區(qū)像素Ci “擴(kuò)大”為圖2中的更大的去塊區(qū)，該區(qū)具有 更連續(xù)連接的性質(zhì)。
上述擴(kuò)大處理在空間上連接稀疏分布的Ci e DEB以形成整個(gè)去塊區(qū)DEB。在該方法的一個(gè)實(shí)施方式中，上述擴(kuò)大處理是基于合適的距離長(zhǎng)度而進(jìn)行的，該 距離長(zhǎng)度為像素與最近的候選區(qū)像素Ci之間的水平或垂直距離。例如，對(duì)候選區(qū)像素Ci選 擇在豎直和水平方向上相距7像素，獲得如圖2所示的去塊區(qū)。作為一種增強(qiáng)，對(duì)細(xì)節(jié)區(qū)DET進(jìn)行擴(kuò)大處理，以將細(xì)節(jié)區(qū)DET擴(kuò)展到先前確定的去 塊區(qū)DEB中。這可用于防止空間上恒定的低通平滑濾波器的交叉蒙版突出到原始細(xì)節(jié)區(qū)， 并由此避免可能產(chǎn)生不期望的“光暈”效果。如果這樣，細(xì)節(jié)區(qū)可能在其擴(kuò)展邊界中包含未 被減輕的塊或其部分。這不成為實(shí)際問(wèn)題，因?yàn)镠VS對(duì)這樣的接近細(xì)節(jié)區(qū)的塊偽影相對(duì)不 敏感?？梢允褂锰鎿Q的距離度量標(biāo)準(zhǔn)。例如，可以使用這樣的度量標(biāo)準(zhǔn)，該度量標(biāo)準(zhǔn)對(duì)應(yīng) 于以候選區(qū)Ci為中心的給定直徑的圓內(nèi)的圖像幀的所有區(qū)域。通過(guò)上述或者其他擴(kuò)大方法獲得的去塊區(qū)具有包圍(即空間覆蓋)要被去塊的部 分圖像幀的特性。通過(guò)形象化上述的擴(kuò)大處理，整個(gè)去塊區(qū)DEB(或者整個(gè)細(xì)節(jié)區(qū)DET)能夠通過(guò)由 環(huán)繞的擴(kuò)大區(qū)Gi (Surrounding Grown region)環(huán)繞每個(gè)候選區(qū)Ci (符合標(biāo)準(zhǔn)Ci e DEB或 者(；e DET)來(lái)確定，因此，整個(gè)去塊區(qū)DEB (或者整個(gè)細(xì)節(jié)區(qū)DET)是所有Ci和所有Gi的并集。相當(dāng)于，整個(gè)去塊區(qū)能夠邏輯地表示成DET= ψ ((C,毛 DET) U GO = U ((G 6 DEB) U G)其中U是所述區(qū)的并集，而DET僅是圖像幀的其余部分?？蛇x擇地，整個(gè)細(xì)節(jié)區(qū) DET 可以根據(jù)DET=U ((C 電 DEB^ U Gi) = (J ((G € DET) U G,)
ιi通過(guò)限定候選區(qū)(使用CpDEB)而被確定。如果擴(kuò)大環(huán)繞區(qū)Gi (圖3中的32-1至32_N)足夠大，則它們可以與相鄰的區(qū)重疊 或接觸，以產(chǎn)生一個(gè)去塊區(qū)DEB，該去塊區(qū)在圖像幀的擴(kuò)展的區(qū)域上連續(xù)。該方法的一個(gè)實(shí)施方式如圖5所示，使用了 9像素的交叉蒙版(crossed-mask) 以識(shí)別候選區(qū)像素Ci,該候選區(qū)像素Ci將被分配到去塊區(qū)或者分配到細(xì)節(jié)區(qū)DET。在該實(shí) 施方式中，候選區(qū)Ci是Ixl像素大小(即單個(gè)像素)。交叉蒙版的中心(像素51)在像素 x(r，c)，其中(r，c)指的是像素的行和列位置，強(qiáng)度χ典型地由xe
給 出。注意的是該實(shí)施方式中，交叉蒙版由兩個(gè)相互垂直的單像素寬的線組成，從而形成一個(gè) + (交叉)。圖5中的8個(gè)獨(dú)立的平坦標(biāo)準(zhǔn)由ax、bx、cx、dx、ay、by、cy和dy標(biāo)記，并且應(yīng)用 在8個(gè)對(duì)應(yīng)的像素位置。接下來(lái)，在交叉蒙版52的內(nèi)部和可選的交叉蒙版52的外部應(yīng)用 不連續(xù)(即梯度強(qiáng)度)標(biāo)準(zhǔn)。圖6示出了在圖像幀60內(nèi)的特定位置使用9像素交叉蒙版52的示例。在一個(gè)特 定的位置來(lái)說(shuō)明，并且大體上在圖像幀的多個(gè)位置用標(biāo)準(zhǔn)來(lái)檢驗(yàn)交叉蒙版52。對(duì)于特定的 位置，例如圖像幀60的位置61，根據(jù)標(biāo)準(zhǔn)使用交叉蒙版52的中心和8個(gè)平坦強(qiáng)度標(biāo)準(zhǔn)ax、 bx、cx、dx、ay λ by、cy 禾口 dy0
用于這8個(gè)平坦標(biāo)準(zhǔn)的特定的識(shí)別算法可以是那些本領(lǐng)域技術(shù)人員所公知的算 法。符合8個(gè)平坦標(biāo)準(zhǔn)，則用邏輯符號(hào)ax e F、bx e F，...，dy e F表示。如果符合，對(duì)應(yīng) 區(qū)域根據(jù)采用的任何平坦強(qiáng)度標(biāo)準(zhǔn)均“足夠平坦”。可以使用下列示例邏輯條件來(lái)確定是否每個(gè)候選像素x(r，c)都滿足全部的平坦 標(biāo)準(zhǔn)如果(ax e F 和 bx e F)或者(cx e F 和 dx e F)(1)以及(ay e F 和 by e F)或者(cy e F 和 dy e F)(2)那么Ci e 平坦。等同地，上述布爾語(yǔ)句在下列三個(gè)條件中的至少一個(gè)的條件下，使得語(yǔ)句Ci e平 坦為真a)交叉蒙版52位于9像素區(qū)域上，該區(qū)域是完全足夠平坦的強(qiáng)度，因此，包括足夠 平坦的區(qū)域，52完全位于塊的內(nèi)部或者b)交叉蒙版52覆蓋四個(gè)位置之一的不連續(xù)點(diǎn)(r+1，c)或者(r+2，c)或者(r_l，c)或者(r_2，c)而在剩余的三個(gè)位置滿足平坦標(biāo)準(zhǔn)或者c)交叉蒙版52覆蓋四個(gè)位置之一的不連續(xù)點(diǎn)(r, c+1)或者(r, c+2)或者(r, c_l)或者(r, c_2)而剩余的三個(gè)位置滿足平坦標(biāo)準(zhǔn)。在上述過(guò)程中，正如識(shí)別候選像素所需要的，不管位置在哪，交叉蒙版52在空間 上覆蓋塊的不連續(xù)邊界、或者塊的部分，同時(shí)保持語(yǔ)句Ci e平坦為真。一個(gè)對(duì)上述邏輯的更詳細(xì)的解釋如下。當(dāng)⑴和(2)中所有的括號(hào)內(nèi)的語(yǔ)句為真， 條件a)為真。假設(shè)b)中給出的位置中有一個(gè)不連續(xù)，那么語(yǔ)句( 為真，因?yàn)槔ㄌ?hào)內(nèi)的語(yǔ) 句中的有一個(gè)為真。假設(shè)c)中給出的位置中有一個(gè)不連續(xù)。那么語(yǔ)句(1)為真，因?yàn)槔ㄌ?hào) 內(nèi)的語(yǔ)句中有一個(gè)為真。通過(guò)使用上述布爾邏輯，當(dāng)交叉蒙版52跨越了塊的邊界輪廓或者塊的一部分的 不連續(xù)點(diǎn)時(shí)，不管其位置在哪，都符合平坦標(biāo)準(zhǔn)。用于確定平坦標(biāo)準(zhǔn)F(應(yīng)用于候選像素Ci)的特定算法的使用對(duì)于該方法而言不 關(guān)鍵。然而，為了獲得高計(jì)算能力，一個(gè)示例算法對(duì)ax、bx、cx, dx、ay、by、cy和dy使用 簡(jiǎn)單的數(shù)學(xué)平坦標(biāo)準(zhǔn)為，即，“水平相鄰的和豎直相鄰的像素之間的強(qiáng)度的第一前部差異 (first-forward difference)的大小”。例如，2D連續(xù)的χ (r，c)在豎直方向上的第一前部 差異是簡(jiǎn)單的χ(r+Ι，c)-x(r，C)。上文討論的平坦標(biāo)準(zhǔn)有時(shí)不足以正確地識(shí)別每個(gè)視頻信號(hào)中的每個(gè)幀的每個(gè)區(qū) 中的區(qū)DEB?，F(xiàn)在假設(shè)對(duì)于Ci的候選像素而言符合上述平坦條件Ci e平坦。那么，在該方 法中，可以在壓縮前和壓縮后使用大小不連續(xù)標(biāo)準(zhǔn)來(lái)改善塊的邊界偽影部分的不連續(xù)和屬于存在于原始圖像中的需要的細(xì)節(jié)的非偽影不連續(xù)之間的區(qū)分。大小不連續(xù)標(biāo)準(zhǔn)(Magnitude-Discontinuity Criterion)方法設(shè)置了一個(gè)簡(jiǎn)單的 閾D，小于該閾時(shí)，不連續(xù)被假定為塊偽影。用其強(qiáng)度χ表示Ci的像素x(r，c)，大小不連續(xù) 標(biāo)準(zhǔn)的形式如下dx < D,其中dx為交叉蒙版52的中心(r，c)的強(qiáng)度的不連續(xù)的大小。需要的D的值能夠從壓縮算法的幀內(nèi)量化步驟大小推測(cè)出，幀內(nèi)量化步驟大小可 以從解碼器和編碼器中獲得或者從已知的被壓縮文件大小估計(jì)出。通過(guò)該方法，等于或大 于D的原始圖像中的轉(zhuǎn)換對(duì)于塊偽影的邊界來(lái)說(shuō)是正確的，因此被錯(cuò)誤地去塊了。將該條 件與平坦條件結(jié)合獲得了 一個(gè)有力的條件。發(fā)現(xiàn)D值為x(r，c)的強(qiáng)度范圍的10%至20%時(shí)能夠在寬范圍的各種類型的視頻 場(chǎng)景中使得塊偽影滿意地減輕。Cie平坦，且 dx<D。幾乎總是存在非偽影不連續(xù)(因此不應(yīng)被去塊)，因?yàn)樗鼈兇嬖谟谖幢粔嚎s的視 頻幀中。這樣的非偽影不連續(xù)可以滿足dx<D，也可能位于引起環(huán)繞區(qū)產(chǎn)生Ci e平坦的位 置，根據(jù)上述標(biāo)準(zhǔn)，這將導(dǎo)致所述不連續(xù)滿足上述標(biāo)準(zhǔn)，由此被錯(cuò)誤地分類到去塊區(qū)，并因 此被錯(cuò)誤的平滑。然而，所述非偽影不連續(xù)對(duì)應(yīng)于高度局部的圖像細(xì)節(jié)。實(shí)驗(yàn)證實(shí)，這樣的 錯(cuò)誤去塊對(duì)于HVS是典型地令人不愉快的。然而，為了顯著降低這種錯(cuò)誤去塊的罕見(jiàn)例子 的可能性，可以使用該方法的下列向前看(Look-Ahead) (LA)和向后看(Look-Behind) (LB) 實(shí)施方式。實(shí)驗(yàn)發(fā)現(xiàn)，在特定的視頻圖像幀中，可能存在一組特定的數(shù)值條件，在該條件下， 原始視頻幀中的需要的原始細(xì)節(jié)滿足上述局部平坦和局部不連續(xù)條件的要求，并因此被錯(cuò) 誤地識(shí)別(例如，遭受錯(cuò)誤去塊和錯(cuò)誤平滑)。相當(dāng)于,Ci的一小部分被錯(cuò)誤地分配到DEB， 而不是被分配到DET。例如，在目標(biāo)的邊緣的(在未被壓縮的原始圖像幀中)強(qiáng)度的豎直方 向的變換能夠滿足去塊的平坦條件和不連續(xù)條件。這有時(shí)會(huì)在顯示的對(duì)應(yīng)的實(shí)時(shí)視頻信號(hào) 過(guò)程中導(dǎo)致明顯的令人不愉快的偽影。下列LA和LB標(biāo)準(zhǔn)是可選的，能校正上述特定的數(shù)值條件。它們是通過(guò)測(cè)量從交 叉蒙版52到交叉蒙版52之外的合適的位置的圖像的強(qiáng)度改變而完成的。如果符合上述標(biāo)準(zhǔn)Ci e平坦和dx <D，并且也超出了“向前看LA”的閾值標(biāo)準(zhǔn)或 者“向后看LB”的閾值標(biāo)準(zhǔn)L，那么候選Ci像素就不被分配到去塊區(qū)。以導(dǎo)數(shù)的幅值表示， LA和LB標(biāo)準(zhǔn)的一個(gè)示例是如果(dxA彡L)或者(dxB彡L)或者(dxC彡L)或者(dxD彡L)那么
_] QiDEB上文中，表達(dá)方式例如(dxA彡L)僅意指，如從位置(r，c)到像素A的位置dx所 測(cè)量出的LA幅值梯度的幅值或者變化標(biāo)準(zhǔn)dx在此情況下大于或等于閾值數(shù)L。另外三個(gè) 表達(dá)方式的含義類似，但是相對(duì)于像素在位置B、C和D。上述LA和LB標(biāo)準(zhǔn)的作用是確保去塊不在強(qiáng)度幅值改變?yōu)長(zhǎng)或更大的特定距離內(nèi)發(fā)生。這些LA和LB約束條件具有降低可能的錯(cuò)誤去塊的期望效果。LA和LB約束條件 還足以防止不期望的在強(qiáng)度梯度幅值高的緊鄰區(qū)域去塊，而不考慮平坦和不連續(xù)標(biāo)準(zhǔn)。通過(guò)結(jié)合上述三組標(biāo)準(zhǔn)而獲得的用于將在Ci的像素分配至去塊區(qū)DEB的組合標(biāo) 準(zhǔn)的一個(gè)實(shí)施方式，可以表達(dá)為下列示例標(biāo)準(zhǔn)如果Ci e平坦且 χ < D 且((dxA < L 和 dxB < L 和 dxC < L 和 dxD < L))那么C1 e DEB作為該方法的一個(gè)實(shí)施方式，上述的事實(shí)可以通過(guò)使用短整型快速邏輯運(yùn)算的硬 件來(lái)確定。對(duì)各種類型的許多視頻進(jìn)行上述標(biāo)準(zhǔn)的評(píng)估證實(shí)了其在正確識(shí)別去塊區(qū)DEB方 面的魯棒性(也因此正確識(shí)別互補(bǔ)的細(xì)節(jié)區(qū)DET)。許多預(yù)先處理過(guò)的視頻具有“展開(kāi)”的塊邊緣不連續(xù)點(diǎn)。當(dāng)明顯的令人不愉快時(shí)， 展開(kāi)的塊邊緣不聯(lián)系點(diǎn)在豎直和/或水平方向上占據(jù)超過(guò)一個(gè)像素。這將引起不正確地將 塊邊緣不連續(xù)點(diǎn)分類到去塊區(qū)，這將在下文的示例中描述。例如，考慮水平的1像素寬的幅值為40的不連續(xù)點(diǎn)，該不連續(xù)點(diǎn)分離滿足Ci e平 坦的平坦強(qiáng)度區(qū)域，產(chǎn)生于從X (r，C) = 100至x(r，c+l) = 140，并且標(biāo)準(zhǔn)不連續(xù)閾值D = 30。不連續(xù)的幅值為40，并且這超過(guò)了 D，表明像素x(r，c)不屬于去塊區(qū)DEB?？紤]如果 其為從x(r，c) = 100向x(r，c+1) = 120向x(r，c+2) = 140展開(kāi)的不連續(xù)，該相同的幅 值為40的不連續(xù)點(diǎn)將如何分類。在這一情況下，在(r，c)和x(r，c+1)的不連續(xù)點(diǎn)的每個(gè) 幅值為20，并且由于其未超過(guò)值D，這導(dǎo)致錯(cuò)誤去塊的發(fā)生。S卩，x(r，c)和x(r，c+l)將被 錯(cuò)誤地被分配到去塊區(qū)DEB。類似的展開(kāi)邊緣不連續(xù)點(diǎn)可能存在于豎直方向。更通常地，所述展開(kāi)不連續(xù)點(diǎn)占據(jù)2像素，盡管在一些嚴(yán)重壓縮的視頻信號(hào)中也 發(fā)現(xiàn)占據(jù)3像素的。用于正確地對(duì)展開(kāi)邊緣不連續(xù)點(diǎn)分類的本方法的一個(gè)實(shí)施方式是使用擴(kuò)大類型 的上述9像素交叉蒙版52，其可以用來(lái)識(shí)別和由此對(duì)展開(kāi)的不連續(xù)邊界去塊。例如，圖5的 9像素交叉蒙版52所識(shí)別出的所有的候選區(qū)為1像素大小，但是對(duì)于整個(gè)交叉蒙版不能使 用類似邏輯而被在空間上擴(kuò)大(例如，伸展)是沒(méi)有理由的。因此，狀，1 ，...等相隔2像 素，并環(huán)繞一個(gè)2x2像素的中間區(qū)。上述合并的像素級(jí)別的去塊條件仍然有效，并被設(shè)計(jì)成 在下列三個(gè)條件中的至少一個(gè)成立的條件下Ci e平坦d)交叉蒙版52 (M)位于一個(gè)20像素區(qū)域上，該區(qū)域是完全的足夠平坦的強(qiáng)度，因 此，包括足夠平坦的區(qū)域，在該區(qū)域內(nèi)M完全位于塊的內(nèi)部，或者e)交叉蒙版52在四個(gè)1x2像素位置中的一個(gè)處位于2像素寬的不連續(xù)點(diǎn)上(r+2 :r+3, c)或者(r+4 :r+5, c)或者(r-2 :r_l，c)或者(r~4 :r_3，c)同時(shí)剩余的三個(gè)位置滿足平坦標(biāo)準(zhǔn)或者f)交叉蒙版52在四個(gè)2x1像素位置中的一個(gè)處位于2像素寬的不連續(xù)位置
(r, c+2 :c+3)或者(r，c+4 :c+5)或者(r，c_2 :c_l)或者(r，c_4 :c_3)同時(shí)在剩余三個(gè)位置滿足平坦標(biāo)準(zhǔn)。以這種方式，根據(jù)需要，交叉蒙版M能夠覆蓋塊的1像素寬的邊界以及展開(kāi)的2像 素寬的邊界，不管他們的位置在哪，同時(shí)保持語(yǔ)句Ci e平坦為真。用于20像素的交叉蒙版 的計(jì)算的最小數(shù)量與用于9像素類型的相同。具體有許多變量，可以通過(guò)這些變量確定上述的平坦和不連續(xù)標(biāo)準(zhǔn)。例如，用于 “平坦”的標(biāo)準(zhǔn)可以包括統(tǒng)計(jì)量度，例如方差、平均值和標(biāo)準(zhǔn)偏差以及異常值的去除，典型的 是額外的計(jì)算成本和較慢的計(jì)算能力時(shí)。類似地，限定不連續(xù)可以包括強(qiáng)度的分?jǐn)?shù)改變，而 不是絕對(duì)改變，并且交叉蒙版M可以被擴(kuò)大為允許不連續(xù)點(diǎn)在兩個(gè)方向上擴(kuò)展數(shù)個(gè)像素。上述標(biāo)準(zhǔn)的特定變量涉及強(qiáng)度的分?jǐn)?shù)改變而不是絕對(duì)改變。這很重要，因?yàn)楣?的是HVS以近似線性的方式對(duì)強(qiáng)度的分?jǐn)?shù)改變進(jìn)行響應(yīng)。對(duì)上述方法進(jìn)行若干的修改以適 用于分?jǐn)?shù)改變，并由此改善去塊的感知，尤其是在圖像幀的暗區(qū)。它們包括i.代替將圖像強(qiáng)度x(r，c)直接用于候選像素Ci用于平坦和不連續(xù)標(biāo)準(zhǔn)處理， 而是全部使用強(qiáng)度的對(duì)數(shù)Ci = Iogb(x (r, c))，其中底數(shù)b可以是10或者自然指數(shù)e = 2. 718...或者ii.代替直接使用強(qiáng)度差異的幅值，而是直接使用分?jǐn)?shù)差異作為用于平坦度、不連 續(xù)、向前看和向后看的全部或部分標(biāo)準(zhǔn)。例如，平坦度標(biāo)準(zhǔn)可將下列形式的絕對(duì)強(qiáng)度閾值ex(r+l, c)-x (r, c) | < e修改為包含相對(duì)強(qiáng)度的閾值，例如為下列形式的相對(duì)閾值％
權(quán)利要求
1.一種從圖像幀中移除偽影的方法，所述偽影對(duì)HVS具有視覺(jué)破壞性，所述方法包括 將每個(gè)圖像幀的數(shù)字表示分離成去塊區(qū)和細(xì)節(jié)區(qū)，所述去塊區(qū)被去塊，所述細(xì)節(jié)區(qū)保持基本上不去塊。
2.根據(jù)權(quán)利要求1所述的方法，還包括 平滑每個(gè)所述圖像幀的所述去塊區(qū)；和將已平滑的去塊區(qū)與所述不去塊的細(xì)節(jié)區(qū)結(jié)合，以形成比預(yù)分離的圖像幀對(duì)HVS具有 更小的視覺(jué)破壞性的新的圖像幀。
3.根據(jù)權(quán)利要求2所述的方法，其中所述分離包括用于確定所述去塊區(qū)的下列標(biāo)準(zhǔn)中 的至少一個(gè)強(qiáng)度-平坦度；不連續(xù)；向前看；向后看。
4.根據(jù)權(quán)利要求3所述的方法，其中所述標(biāo)準(zhǔn)的參數(shù)選擇為對(duì)被壓縮過(guò)的圖像幀進(jìn)行 偽影減輕，偽影塊的位置是先驗(yàn)未知的。
5.根據(jù)權(quán)利要求4所述的方法，其中所述偽影塊由于下列原因中的一個(gè)或多個(gè)而存在 于所述被壓縮過(guò)的視頻幀中先前被壓縮多次；重排圖像幀的格式；對(duì)圖像幀進(jìn)行了顏色 混合；調(diào)整了圖像幀的大小。
6.根據(jù)權(quán)利要求3所述的方法，其中所述強(qiáng)度平坦標(biāo)準(zhǔn)使用統(tǒng)計(jì)量度，所述統(tǒng)計(jì)量度 包括強(qiáng)度的局部方差和局部均值。
7.根據(jù)權(quán)利要求3所述的方法，其中強(qiáng)度變化標(biāo)準(zhǔn)是基于強(qiáng)度的分?jǐn)?shù)變化。
8.根據(jù)權(quán)利要求2所述的方法，其中所述平滑包括進(jìn)行空間平滑以減弱所述去塊區(qū)。
9.根據(jù)權(quán)利要求2所述的方法，其中所述平滑包括減弱所述去塊區(qū)的塊和其他偽影。
10.根據(jù)權(quán)利要求1所述的方法，其中所述分離發(fā)生在基于DCT的編碼器內(nèi)。
11.根據(jù)權(quán)利要求2所述的方法，其中所述平滑包括下列中的至少一個(gè)濾波、IIR 濾波。
12.根據(jù)權(quán)利要求11所述的方法，其中所述濾波是空間上可變的或者空間上不可變的。
13.根據(jù)權(quán)利要求11所述的方法，其中所述平滑包括至少一移動(dòng)平均FIR2D Box濾波。
14.根據(jù)權(quán)利要求2所述的方法，其中所述平滑包括用于確保平滑不會(huì)在所述去塊區(qū)的邊界之外發(fā)生的方式。
15.據(jù)權(quán)利要求1所述的方法，其中所述分離遞歸地將所述圖像幀分離成去塊區(qū)和細(xì) 節(jié)區(qū)。
16.根據(jù)權(quán)利要求1所述的方法，其中所述分離包括 選擇候選區(qū)；和根據(jù)某一標(biāo)準(zhǔn)在由所選擇的候選區(qū)選擇的候選物的基礎(chǔ)上確定所選擇的候選區(qū)是否 屬于所述去塊區(qū)。
17.根據(jù)權(quán)利要求16所述的方法，其中所述候選區(qū)稀疏分布在每個(gè)圖像幀中。
18.根據(jù)權(quán)利要求17所述的方法，其中分離的細(xì)節(jié)區(qū)被擴(kuò)展，以允許對(duì)所述去塊區(qū)進(jìn) 行空間上不變的濾波，而不會(huì)在所述細(xì)節(jié)區(qū)周圍導(dǎo)致光暈效應(yīng)。
19.根據(jù)權(quán)利要求18所述的方法，其中所述擴(kuò)展包括 將每個(gè)候選像素生長(zhǎng)成環(huán)繞的矩形像素。
20.根據(jù)權(quán)利要求1所述的方法，其中分離的細(xì)節(jié)區(qū)被擴(kuò)展，以允許對(duì)所述去塊區(qū)進(jìn)行 空間上不變的濾波，而不會(huì)在所述細(xì)節(jié)區(qū)周圍導(dǎo)致光暈效應(yīng)。
21.根據(jù)權(quán)利要求2所述的方法，其中所述平滑包括使用N像素的交叉蒙版。
22.根據(jù)權(quán)利要求21所述的方法，其中N為等于9。
23.根據(jù)權(quán)利要求2所述的方法，其中所述平滑包括使用擴(kuò)張的交叉蒙版用于對(duì)具有展開(kāi)邊緣不連續(xù)的視頻信號(hào)進(jìn)行去塊。
24.一種用于呈現(xiàn)視頻的系統(tǒng)，所述系統(tǒng)包括用于獲得第一視頻幀的輸入，所述第一視頻幀的每像素有特定的比特量；所述特定量 為使得當(dāng)所述視頻幀被呈現(xiàn)于顯示器時(shí)所述顯示會(huì)產(chǎn)生人類視覺(jué)系統(tǒng)(HVQ可察覺(jué)的偽 影的數(shù)量；和用于從所述第一視頻幀產(chǎn)生第二視頻幀的電路，當(dāng)所述第二視頻幀被呈現(xiàn)至所述顯示 器時(shí)，所述第二視頻幀產(chǎn)生的偽影不能被所述HVS察覺(jué)。
25.根據(jù)權(quán)利要求M所述的系統(tǒng)，其中所述特定量擴(kuò)展至0.1比特/像素的低點(diǎn)。
26.根據(jù)權(quán)利要求M所述的系統(tǒng)，其中所述特定量是通過(guò)使用H.264編碼器壓縮所述 第一視頻幀而提供的比特/像素的數(shù)。
27.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中所述特定量是通過(guò)H.264編碼器實(shí)現(xiàn)的比特?cái)?shù) 量的至少1/2。
28.根據(jù)權(quán)利要求M所述的系統(tǒng)，其中所述產(chǎn)生電路包括用于將所述視頻幀分成細(xì)節(jié)區(qū)和去塊區(qū)的分離裝置；和用于在結(jié)合所述兩個(gè)區(qū)以形成所述第二視頻幀之前平滑所述去塊區(qū)的裝置。
29.根據(jù)權(quán)利要求觀所述的系統(tǒng)，還包括允許用戶從多個(gè)數(shù)字視頻流中選擇一個(gè)數(shù)字視頻流的調(diào)諧器，每個(gè)所述視頻流包括多 個(gè)數(shù)字視頻幀。
30.根據(jù)權(quán)利要求觀所述的系統(tǒng)，其中所述平滑裝置包括具有一定的交叉蒙版尺寸的空間不變的FIR濾波器；和用于防止所述空間上不變的濾波器平滑所述細(xì)節(jié)區(qū)的處理器。
31.根據(jù)權(quán)利要求30所述的系統(tǒng)，其中所述處理器操作以將所述細(xì)節(jié)區(qū)擴(kuò)張至大致等 于所述交叉蒙版尺寸的1/2的距離。
32.根據(jù)權(quán)利要求觀所述的系統(tǒng)，其中所述平滑裝置包括空間上可變的HR濾波器。
33.根據(jù)權(quán)利要求觀所述的系統(tǒng)，其中所述分離裝置包括使用下列標(biāo)準(zhǔn)中的至少一個(gè)進(jìn)行處理以確定所述去塊區(qū)強(qiáng)度平坦；不連續(xù)；向前看； 向后看。
34.根據(jù)權(quán)利要求33所述的系統(tǒng)，其中所述標(biāo)準(zhǔn)的參數(shù)選擇為，對(duì)被壓縮過(guò)的圖像幀 進(jìn)行偽影減輕，其中偽影塊的位置是先驗(yàn)未知的。
35.根據(jù)權(quán)利要求34所述的系統(tǒng)，其中所述偽影塊是由于下列中的一個(gè)或多個(gè)原因而 存在于所述被壓縮過(guò)的視頻幀中預(yù)先被壓縮多次；重排圖像幀的格式；對(duì)圖像幀進(jìn)行了 顏色混合；調(diào)整圖像幀的大小。
36.根據(jù)權(quán)利要求33所述的系統(tǒng)，其中所述強(qiáng)度平坦標(biāo)準(zhǔn)使用統(tǒng)計(jì)量度，所述統(tǒng)計(jì)量 度包括強(qiáng)度的局部方差和局部均值。
37.根據(jù)權(quán)利要求33所述的系統(tǒng)，其中強(qiáng)度變化標(biāo)準(zhǔn)是基于強(qiáng)度的分?jǐn)?shù)變化。
38.根據(jù)權(quán)利要求觀所述的系統(tǒng)，其中所述平滑裝置包括 處理器，其可操作用于空間上平滑以減弱所述去塊區(qū)。
39.根據(jù)權(quán)利要求觀所述的系統(tǒng)，其中所述平滑裝置包括 處理器，用于減弱所述去塊區(qū)中的塊和其他偽影。
40.根據(jù)權(quán)利要求觀所述的系統(tǒng)，其中所述用于分離的裝置是基于DCT編碼器的一部分。
41.根據(jù)權(quán)利要求觀所述的系統(tǒng)，其中所述平滑裝置包括以下至少一個(gè)濾波器； 和UR濾波器。
42.根據(jù)權(quán)利要求41所述的系統(tǒng)，其中所述濾波器是空間上可變的或者空間上不可變的。
43.根據(jù)權(quán)利要求觀所述的系統(tǒng)，其中所述平滑裝置包括 至少一個(gè)移動(dòng)平均FIR 2D Box濾波器。
44.根據(jù)權(quán)利要求觀所述的系統(tǒng)，其中所述分離裝置遞歸地將所述圖像幀分離成去塊 區(qū)和細(xì)節(jié)區(qū)。
45.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中所述分離裝置包括 用于選擇候選區(qū)的裝置；和用于根據(jù)某一標(biāo)準(zhǔn)在由所選擇的候選區(qū)選擇的候選物的基礎(chǔ)上確定所選擇的候選區(qū) 是否屬于所述去塊區(qū)的裝置。
46.根據(jù)權(quán)利要求45所述的系統(tǒng)，其中所述候選區(qū)稀疏分布在每個(gè)圖像幀中。
47.一種用于呈現(xiàn)視頻的方法，所述方法包括獲得具有每像素特定比特量的第一視頻幀，所述特定量為使得當(dāng)所述視頻幀被呈現(xiàn)于 顯示器時(shí)所述顯示器產(chǎn)生人類視覺(jué)系統(tǒng)(HVQ可察覺(jué)的偽影的數(shù)量；并且從所述第一視頻幀生成第二視頻幀，當(dāng)所述第二視頻幀被呈現(xiàn)于所述顯示器時(shí)，所述 第二視頻幀產(chǎn)生的偽影不能被所述HVS察覺(jué)。
48.根據(jù)權(quán)利要求47所述的方法，其中所述特定量擴(kuò)展至0.1比特/像素的低點(diǎn)。
49.根據(jù)權(quán)利要求47所述的方法，其中所述生成包括 在每個(gè)所述幀中分離細(xì)節(jié)區(qū)和去塊區(qū)；和平滑所述去塊區(qū)；和將所述平滑的去塊區(qū)與所述分離的細(xì)節(jié)區(qū)結(jié)合。
50.根據(jù)權(quán)利要求49所述的方法，其中所述平滑包括使用具有特定交叉蒙版尺寸的空間上不可變的HR濾波器；和 將所述細(xì)節(jié)區(qū)擴(kuò)展至少等于所述交叉蒙版尺寸的1/2的距離，以避免在所述去塊區(qū)和 所述細(xì)節(jié)區(qū)之間的邊界產(chǎn)生光暈效應(yīng)。
51.根據(jù)權(quán)利要求50所述的方法，還包括在設(shè)備處接收多個(gè)數(shù)據(jù)視頻流，每個(gè)所述流具有多個(gè)所述數(shù)字視頻幀；和 所述獲得包括在所述設(shè)備處選擇所述接收的數(shù)字視頻流中的一個(gè)。
全文摘要
本發(fā)明涉及系統(tǒng)和方法，其中對(duì)于給定量的需要表示壓縮視頻信號(hào)的數(shù)據(jù)，如由典型的人類觀察者察覺(jué)到的，提高了未被壓縮顯示的實(shí)時(shí)視頻的質(zhì)量。這里的系統(tǒng)和方法通過(guò)減弱塊的出現(xiàn)實(shí)現(xiàn)這種改進(jìn)，而不一定需要事先知道它們的位置。這里描述的這些方法減弱了這些塊的出現(xiàn)，使得由HVS察覺(jué)到的所產(chǎn)生的實(shí)時(shí)視頻的質(zhì)量被提高。
文檔編號(hào)G06T5/00GK102099831SQ200980128343
公開(kāi)日2011年6月15日 申請(qǐng)日期2009年7月16日 優(yōu)先權(quán)日2008年7月19日
發(fā)明者丹尼·D·羅蔚, 李?yuàn)W那多·T·布朗頓, 葛瑞·蘭卡斯特, 麥特·夏伍德 申請(qǐng)人:寰宇?yuàn)蕵?lè)(巴巴多斯)公司