專利名稱：色度視頻信號(hào)的運(yùn)動(dòng)自適應(yīng)上采樣的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻處理領(lǐng)域，尤其涉及在視頻信號(hào)中上采樣色度信號(hào)以產(chǎn) 生更高分辨率或逐行掃描幀。
背景技術(shù)：
視頻信號(hào)可以由亮度(Y)和兩個(gè)色度(Cb， Cr)信號(hào)組成。亮度信號(hào) 表示亮度或者明亮度，而色度信號(hào)表示信號(hào)的顏色方面。這些信號(hào)可以是多 種不同的采樣格式中的任一種。4:4:4 YCbCr用于指定一種其中3個(gè)視頻分量 Y、 Cb、 Cr具有相同采樣率的格式。因?yàn)槿藢?duì)明亮(亮度方面)的感知比對(duì) 顏色(色度方面)的感知更加敏感，所以往往對(duì)信號(hào)的色度部分進(jìn)行二次采 樣以減少對(duì)信號(hào)進(jìn)行處理并將其保存所需要的帶寬量。4:2:2是在許多專業(yè)攝 像機(jī)和存儲(chǔ)設(shè)備中普遍使用的格式，其表示在水平方向上以亮度分量采樣率 的一半來采樣這兩個(gè)色度分量。4:1:1是在水平方向上以亮度信息的采樣率的 四分之一來對(duì)色度信息進(jìn)行二次采樣，并且其通常用于專業(yè)的便攜式視頻新 聞攝像機(jī)。
4:2:0 YCbCr通常用于廣播視頻、DVD (數(shù)字視頻光盤)以及其它流行的 娛樂設(shè)備。大多數(shù)MPEG (運(yùn)動(dòng)圖像專家組)壓縮格式以及許多其它格式支 持4:2:0YCbCr。在4:2:0視頻中，在垂直和水平兩個(gè)方向上以亮度采樣率的 一半對(duì)Cb和Cr分量進(jìn)行二次采樣。
例如，在視頻處理領(lǐng)域中使用色度上采樣來將視頻從4:2:0轉(zhuǎn)換到4:2:2， 或者更高的分辨率。這可以用于適應(yīng)特定類型的顯示器，允許將不同視頻源 合并成單個(gè)節(jié)目，或者提高最終顯示的視頻圖像的質(zhì)量。因?yàn)?:2:0視頻的垂 直色度分辨率是4:2:2視頻的垂直色度分辨率的一半，所以通常使用空間垂直 濾波來填充額外的色度像素。如果原始信號(hào)是隔行掃描的，那么可以使用去 隔行來獲得最終的逐行掃描幀。
色度上采樣在去隔行器的環(huán)境中變得困難，去隔行器將視頻從隔行掃描格式，例如480i或者1080i，內(nèi)插到逐行掃描格式，例如480p或者1080p。
傳統(tǒng)的色度上采樣方法應(yīng)用簡單的線性濾波技術(shù)，根據(jù)單個(gè)視頻幀中的空間 鄰域中的參考像素內(nèi)插得到同一視頻幀中的缺失像素。換句話說，色度像素 的值是根據(jù)緊鄰著它或者在其附近的像素的值推導(dǎo)得到的。 一些改進(jìn)的色度 上采樣技術(shù)考慮局部內(nèi)容信息來調(diào)整用于局部濾波的權(quán)重，從而提高圖像質(zhì) 量。然而，基于空間鄰域的這些空間技術(shù)忽略了時(shí)間信息，而時(shí)間信息常常 是視頻信號(hào)的重要方面。


通過下面結(jié)合附圖記載的詳細(xì)描述，將更加全面地理解本發(fā)明，在附圖
中類似的附圖標(biāo)記在附圖中的多個(gè)視圖中指代了對(duì)應(yīng)的部分，并且在附圖中 圖1是依照本發(fā)明的一個(gè)實(shí)施例，用于隔行掃描視頻的色度垂直上采樣 的處理流程圖2是依照本發(fā)明的一個(gè)實(shí)施例，隔行掃描4:2:0視頻的連續(xù)場中的亮度 和色度像素的圖，其示出了可以計(jì)算的像素；
圖3是依照本發(fā)明的一個(gè)實(shí)施例，隔行掃描視頻的單個(gè)幀中的亮度和色 度像素的圖，其示出了使用最佳邊緣方向進(jìn)行空間垂直上采樣的方法；
圖4是依照本發(fā)明的一個(gè)實(shí)施例，隔行掃描視頻的單個(gè)幀中的亮度和色 度像素的圖，其示出了用于確定相鄰亮度像素的最佳邊緣方向的方法；
圖5是依照本發(fā)明的一個(gè)實(shí)施例， 一種兩階段(two-stage)上采樣系統(tǒng) 的圖；以及
圖6是適合于執(zhí)行本發(fā)明的實(shí)施例的計(jì)算機(jī)系統(tǒng)的圖。
具體實(shí)施例方式
、/ * —、一
目U百
運(yùn)動(dòng)自適應(yīng)技術(shù)可以用來利用視頻信號(hào)中的時(shí)間信息。該時(shí)間信息可以 用于內(nèi)插處理，以進(jìn)一步提高圖像質(zhì)量?？梢酝ㄟ^以下來使用空間和時(shí)間信
息首先應(yīng)用運(yùn)動(dòng)檢測處理來估計(jì)在一個(gè)圖像區(qū)域中的運(yùn)動(dòng)或移動(dòng)的量，然 后應(yīng)用空間邊緣檢測來估計(jì)局部復(fù)雜度。可以將這兩個(gè)方面組合起來以實(shí)現(xiàn) 色度上采樣的精確內(nèi)插。可以將視頻信號(hào)分為視覺上靜止的區(qū)域和視覺上移動(dòng)的區(qū)域，并且可以自適應(yīng)地應(yīng)用場內(nèi)內(nèi)插或場間內(nèi)插來產(chǎn)生優(yōu)良的視頻質(zhì)
為了實(shí)現(xiàn)優(yōu)質(zhì)圖像，可以使用運(yùn)動(dòng)信息來消除在其它方法中存在的色度 質(zhì)量損失。還可以在色度上采樣中使用亮度邊緣方向信息來獲得更好的結(jié)果。
本發(fā)明適用于將4:2:0隔行掃描視頻的色度場轉(zhuǎn)換成4么2逐行掃描視頻 幀的色度場的例子，然而，本發(fā)明的實(shí)施例可以用于其它各種色度上采樣應(yīng) 用中。因?yàn)?:2:0視頻的垂直色度分辨率是4:2:2視頻的垂直色度分辨率的一 半，所以許多常規(guī)方法執(zhí)行空間垂直濾波以從4:2:0視頻獲得4:2:2視頻，然 后應(yīng)用去隔行以獲得最終的逐行掃描幀。然而，第一個(gè)步驟的空間垂直濾波 通常不僅造成垂直分辨率的損失，而且還造成水平偽影(feathering artifact)。
在本例子中，可以使用一種兩步法。可以將兩個(gè)步驟描述為運(yùn)動(dòng)自適應(yīng) 垂直時(shí)間和空間。每個(gè)步驟都可以使用運(yùn)動(dòng)檢測信息連同空間信息來確定用 于估計(jì)缺失像素的最佳方式。在圖1中示出了這兩個(gè)階段。在塊102，讀取 當(dāng)前視頻幀、先前視頻幀和后續(xù)視頻幀的像素?cái)?shù)據(jù)。在塊104，應(yīng)用該上采 樣處理中的第一階段。在此所描述的例子中，在考慮到先前幀和后續(xù)幀的同 時(shí)，將運(yùn)動(dòng)自適應(yīng)垂直上采樣應(yīng)用于當(dāng)前幀的像素。第一階段的時(shí)間運(yùn)動(dòng)檢 測信息消除了質(zhì)量衰減。該階段提供了一些視頻壓縮方案的缺失的垂直色度 分辨率。例如，該階段將4:2:0視頻轉(zhuǎn)換成4:2:2視頻。
在塊106,應(yīng)用第二階段。在本例子中，使用原始數(shù)據(jù)和對(duì)當(dāng)前視頻幀 進(jìn)行第一階段得到的數(shù)據(jù)來實(shí)施運(yùn)動(dòng)自適應(yīng)垂直上采樣。如同第一階段，例 如，可以使用亮度邊緣方向信息來產(chǎn)生相應(yīng)的色度像素。第二階段填充將視 頻從隔行掃描變?yōu)橹鹦袙呙杷匦璧南袼亍Ｗ詈?，在塊108，產(chǎn)生包括色度 的完全垂直分辨率的逐行掃描幀。
圖2示出了用于4:2:0視頻信號(hào)的采樣結(jié)構(gòu)(X和O)和為了進(jìn)行到4:2:2 的轉(zhuǎn)換而要計(jì)算的色度像素(正方形和菱形)。在圖2中，時(shí)間從左至右進(jìn)展， 并且每行示出了水平光柵線。通常具有好幾百條線。為了簡化附圖僅示出了 幾條。第一或者左側(cè)列對(duì)應(yīng)于先前幀的后場。第二列對(duì)應(yīng)于當(dāng)前幀的前場。 第三列對(duì)應(yīng)于當(dāng)前幀的后場，并且第四或者右側(cè)列對(duì)應(yīng)于下一幀的前場。在 隔行掃描視頻中，前場通常對(duì)應(yīng)于奇數(shù)的光柵線或者像素行l(wèi)， 3， 5， 7等， 而后場通常對(duì)應(yīng)于偶數(shù)的光柵線或者像素行2， 4， 6， 8等。然而，后場可以領(lǐng)先于前場并且相應(yīng)的線可以是相反的。其它類型的隔行掃描可以用于其它 類型的視頻編碼或者壓縮，并且本發(fā)明的原理也可以用于那些類型。
如圖2所示，在圖解說明部分中，當(dāng)前幀在前場和后場中都具有4行亮 度像素。這些行在圖2中表示為X。這也應(yīng)用于先前(列1)和下一 (列4) 幀。表示為O的色度像素僅在每隔一行才能獲得。在典型的4:2:0 YCrCb隔 行掃描方式中，前場提供行1和3 (像素D和E)，而后場提供行2和4 (像 素B和C)。
為了簡化起見，這里的說明將集中于像素A、 B、 C、 D、 E、 F和G。假 設(shè)當(dāng)前場是前場。換句話說，描述了像素A、 F和G的產(chǎn)生。然而，相同的 方法可以用于后場。在下面的例子中，首先考慮前場。相同的方法也可以用 于后場?？梢允紫瓤紤]后場而不是前場，或者可以采用適合于特定情形的方 式來應(yīng)用前場和后場的更加復(fù)雜的順序。另外，可以將該處理用于Cr分量、 Cb分量或者這兩個(gè)分量。相同的方法同樣可以適合于各種其它顏色空間。在 本說明書中，例如，術(shù)語"線A，"用于指代包含像素A的光柵線。
第一階段
可以使用運(yùn)動(dòng)自適應(yīng)垂直上采樣來計(jì)算圖2中的像素A。這會(huì)使得視頻 的色度部分的垂直分辨率等于視頻的亮度部分的垂直分辨率。在該圖解說明 的例子中，在視頻信號(hào)的當(dāng)前幀中的像素A是沒有值的，然而，在先前場中 的像素A，即像素B (其是相同位置中的不同像素)，以及在下一場中的像素 A，即像素C，是具有值的。同樣，在當(dāng)前幀中的空間相鄰線D和E中具有 像素。像素D處于像素A上面的線中，并且像素E處于像素A下面的線中 (分別為線D和E)。這些空間上和時(shí)間上相鄰的像素和線可以用來產(chǎn)生像素 A。在確定像素A時(shí)要對(duì)這些值使用的權(quán)重可以通過視頻中的運(yùn)動(dòng)的量來確 定。
在由塊104所示的圖1的兩個(gè)上采樣操作中，可以形成像素A的兩個(gè)候 選值?；跁r(shí)間因子產(chǎn)生時(shí)間候選或者時(shí)間預(yù)測，并且將其指定為At?？臻g 候選或者空間預(yù)測被指定為As。被指定為來自時(shí)間域的上釆樣候選的At可以 根據(jù)時(shí)間上或者時(shí)間相鄰的像素B和C來計(jì)算。至少具有3種可能的選擇來 計(jì)算At:
1) A產(chǎn)像素B和C的平均值。2) A產(chǎn)B
3) A產(chǎn)C
可以通過以下至少一個(gè)選擇，基于空間上相鄰的像素D和E來計(jì)算As:
4) A^像素D和E的平均值(參見圖2。)
5) Af像素Ds和Es的平均值(參見圖3。)
在圖2中，將像素D和E示出為在當(dāng)前幀的前場中的像素A的上面緊鄰 和下面緊鄰的像素。這些像素是與像素A相同色度分量的相應(yīng)色度像素，例 如Cr或者Cb的像素。基于邊緣方向確定，在圖3中示出了像素A和Es。 根據(jù)具體應(yīng)用，可以使用各種不同的邊緣方向算法中的任意一種。將會(huì)基于 邊緣檢測的結(jié)果來選擇等式4或者5。
圖3示出了D^ D1和D2之間以及&、 E1和E2之間的關(guān)系。該圖是當(dāng) 前幀的前場的一部分的空間圖，示出了在水平x軸和垂直y軸中的像素陣列。 圖3中的示圖對(duì)應(yīng)于圖2的中間兩列，即前場和后場的組合。順著該圖的3 行具有3條光柵線。線D是頂部線且包含像素D，其在像素As所在的位置上 面緊鄰。像素Dl和D2是在像素D右側(cè)相鄰的兩個(gè)色度像素。線A是在線 D下面的線，并且是將要在其中插入所計(jì)算的像素As的線。線E是底部線且 包含像素E，其在像素As下面緊鄰。像素El和E2是在像素E左側(cè)相鄰的兩 個(gè)像素。在圖3的幀中，首先確定邊緣方向，并且選擇最佳邊緣方向。給定 了最佳邊緣方向，可以通過使用分別是D1和D2的左側(cè)和右側(cè)色度像素進(jìn)行 雙線性濾波來獲得Ds。類似地，可以通過像素E1和E2的雙線性濾波來獲得 Es。在本例子中，通過Ds和E,之間的方向來確定最佳邊緣方向。圖3用于示 出使用相鄰的色度線D和E進(jìn)行最佳邊緣方向測定的一個(gè)例子。然而可以使 用各種其它的邊緣方向確定技術(shù)中的任意技術(shù)作為替代。
圖4示出了最佳邊緣確定的第二種方法。代替色度線，該方法使用亮度 (Y)像素線的最佳邊緣方向。在包括4:2:0在內(nèi)的許多視頻格式中，具有更 多的亮度像素，其包括與要計(jì)算的像素A相同的位置中的像素。另外，為了 對(duì)垂直方向上最接近的兩個(gè)亮度像素進(jìn)行去隔行，可能已經(jīng)計(jì)算了亮度像素。 在圖4中，還示出了行D、 A禾卩E。色度像素D具有最接近的亮度像素I。色 度像素A具有最接近的亮度像素H，而色度像素E具有最接近的亮度像素J。
如下所述，在圖4中，將兩個(gè)垂直方向上最接近的亮度像素圖示為圖4中的像素L1和L2。為了對(duì)該視頻進(jìn)行去隔行，這些像素通常已經(jīng)在另一無 關(guān)的處理中計(jì)算出來。因此在這種情況下，L2處于最接近像素A的位置處， 而Ll處于緊鄰的行中。這兩個(gè)像素的臨近性提供了更加精確的邊緣方向確 定。各種不同方法中的任何一種都可以用于使用相鄰的兩條亮度線計(jì)算最佳 邊緣方向?？晒┻x擇地，可以使用單個(gè)亮度像素的最佳角度，例如最接近的 亮度像素L1。這樣在計(jì)算上更簡單。也可以使用其它方法來確定最佳角度方 向。
給定了亮度像素的一個(gè)、兩個(gè)、或者更多個(gè)最佳方向，可以推導(dǎo)出色度 像素的最佳方向。從亮度方向推導(dǎo)出色度方向的一個(gè)方法是分析L1的方向和 L2的方向之間的差。如果這兩個(gè)方向之間的差大于某一閾值，那么可以將這 兩個(gè)方向的平均值作為最佳方向，如上述等式5中所示的。否則，可以如同 上述等式4 (D和E的平均值) 一樣來獲得As。另一方面，如果這兩個(gè)方向 之間的差小于某一閾值，那么可以將最接近90度(垂直方向)的方向作為最 佳方向，即Ds或者Es。否則，可以如同上述等式(4) 一樣來獲得As。
最后，在運(yùn)動(dòng)自適應(yīng)垂直上采樣階段中，可以通過At和As的加權(quán)組合 來計(jì)算輸出像素A。例如，其可以使用以下公式來完成
6) 如果(o>l)，那么像素A-As
7) 如果(a<0)，那么像素A二At
8) 如果(oX)且oKl)，那么像素A-aAs+(l-a)At
其中，a是由當(dāng)前色度像素或者最接近的亮度像素的運(yùn)動(dòng)檢測值(MD) 所確定的混合系數(shù)。例如，a可以由以下關(guān)系之一來確定
10) a=cl*MD+c2，其中，cl和c2是常數(shù)。在這種情況下，a與MD線
性相關(guān)。
11) 如果MD〉c3， a=l，否則01=0，其中，c3是常數(shù)。在這種情況下，a 是階梯函數(shù)。該混合系數(shù)提供了好的結(jié)果并且可以基于可能已經(jīng)為了其它視 頻處理操作而被確定的MD值來迅速地確定。然而，可以使用其它系數(shù)來加 權(quán)等式8的組合。還可以使用其它以及更加復(fù)雜的階梯函數(shù)。各種不同方法 中的任意方法都可以用于運(yùn)動(dòng)檢測。除了運(yùn)動(dòng)檢測之外，還可以基于視頻的 屬性來確定該混合系數(shù)。
通過使用像素D和E的平均值產(chǎn)生At，以及通過使用像素D和E的平均值產(chǎn)生As，可以以合理的低計(jì)算復(fù)雜性來獲得極好的質(zhì)量。 第二階段
一旦完成了階段l的運(yùn)動(dòng)自適應(yīng)垂直上采樣，就已經(jīng)使當(dāng)前色度場的垂 直分辨率等于亮度場的垂直分辨率。這個(gè)結(jié)果可以用于輸出完全分辨率的隔 行掃描視頻信號(hào)(例如480i， 540i， 1080i)。如果想要逐行掃描視頻，下一階 段將產(chǎn)生具有完全垂直分辨率的最終的色度逐行掃描幀。這是圖2所示的在 給定了相鄰線D和A的情況下像素F和G的計(jì)算。
可以通過以下任何一種方法來計(jì)算像素F:
a) 像素F是像素D和A的平均值。
b) 通過使用如圖3或者4所示的最佳邊緣方向來計(jì)算像素F。
c) 使用如第一階段中的等式6、 7、 8的混合操作來計(jì)算像素F。在這種 情況下，可以在等式l、 2和3中確定時(shí)間預(yù)測，并且可以在等式4和5中確 定該混合操作的空間預(yù)測。運(yùn)動(dòng)檢測值可以使用在空間上最接近F的亮度像 素來確定。
最佳邊緣方向可以以各種不同的方式確定。用于計(jì)算最佳邊緣方向的一 種方式是使用色度線D和A。各種不同處理中的任意處理都可以用來使用相 鄰的兩條線來計(jì)算最佳邊緣方向。
可選地，最佳邊緣方向可以通過使用已經(jīng)為要去隔行的垂直方向上最接 近的一個(gè)亮度像素所計(jì)算的亮度最佳邊緣方向來確定，在圖4中該亮度像素 是像素L1。此外，各種不同方法中的任意方法都可以用于使用這兩個(gè)相鄰線 來確定最佳邊緣方向。使用來自亮度預(yù)測的邊緣定向的內(nèi)插來產(chǎn)生該內(nèi)插得 到的F，提供了以合理的低復(fù)雜性產(chǎn)生極佳的質(zhì)量的一個(gè)良好的折衷選項(xiàng)。
對(duì)于像素G，可以使用相同的方法，依靠像素E和A而不是像素D和A。 像素A、 F和G提供了上述第n個(gè)當(dāng)前前場的區(qū)域內(nèi)的所有的缺失色度像素。 類似的操作可以在整個(gè)幀上執(zhí)行，以提供所有的缺失色度像素。然后，可以 組合它們，從而根據(jù)原始?jí)嚎s隔行掃描視頻產(chǎn)生完全逐行掃描幀。
在4:2:0視頻或者4:2:2視頻的例子中以及任何隔行掃描視頻中，同樣存 在缺失的亮度像素。可以使用上述或者其它方法來估計(jì)這些亮度像素。然后， 這些估計(jì)的亮度像素還用于產(chǎn)生完全分辨率的視頻幀。在輸出最終視頻信號(hào) 之前，還可以對(duì)視頻信號(hào)執(zhí)行各種其它的操作。這些操作可以包括對(duì)比度調(diào)
12整、運(yùn)動(dòng)效果校正、抗鋸齒處理、縱橫比調(diào)整、幀頻補(bǔ)償、疊加標(biāo)題和字幕等。
上采樣系統(tǒng)
圖5示出了依照本發(fā)明的一個(gè)實(shí)施例的上采樣系統(tǒng)。在圖5的例子中， 具有壓縮視頻源151，其提供對(duì)兩階段上采樣系統(tǒng)的一個(gè)或者全部兩個(gè)階段 155、 157的輸入，以產(chǎn)生用于視頻接收器(sink)的兩個(gè)不同的視頻輸出之 一。 一個(gè)接收器是隔行掃描視頻接收器175。另一個(gè)是逐行掃描接收器177。 每個(gè)接收器可以是記錄或者存儲(chǔ)設(shè)備、傳輸系統(tǒng)，例如廣播站、天線或者互 聯(lián)網(wǎng)服務(wù)器，或者接收器可以是編輯系統(tǒng)的一部分。每個(gè)接收器還可以用作 顯示器。隔行掃描視頻常常用于廣播并且顯示在基于熒光粉的視頻顯示器上。 逐行掃描視頻常常用于液晶、發(fā)光二極管和等離子顯示器，也用于編輯和一 些盤片格式。
如圖5所示，該壓縮視頻源耦合到幀讀取153。該幀讀取從所述源獲得 視頻以供該上采樣系統(tǒng)使用。圖2示出了可以由該幀讀取所捕獲的該類型視 頻的一部分的例子。該幀讀取可以響應(yīng)于上采樣階段而動(dòng)作，并且可以包括 緩沖器以允許將所獲得的視頻按照需要提供給上采樣階段。
該幀讀取將視頻數(shù)據(jù)提供給階段1 155中的像素選擇159，像素選擇159 選擇要被上采樣的像素和要用于該上采樣的像素。該像素選擇耦合到時(shí)間候 選161并且耦合到空間候選163。該時(shí)間候選形成時(shí)間候選像素，例如At， 而該空間候選形成空間像素候選，例如As。階段1還具有邊緣方向165，邊 緣方向165耦合到雙線性濾波器167以將結(jié)果提供給空間候選163。提供該 時(shí)間候選和空間候選作為組合器169的輸入。該組合器還接收來自運(yùn)動(dòng)檢測 171的輸入，例如混合系數(shù)。該組合器使用如圖2、 3和4的情景中所描述的 所有那些輸入來提供最初沒有包括在視頻源151中的像素。將這些像素提供 給視頻輸出173。
如上所述，來自視頻輸出173的結(jié)果可以如同例如隔行掃描視頻信號(hào)一 樣來使用?？蛇x地，其可以是到階段2 157的輸入。階段2可以具有與階段1 相似的結(jié)構(gòu)。為了簡化該圖，沒有示出該結(jié)構(gòu)。因而，階段2 (未示出)中 相應(yīng)的視頻輸出可以將逐行掃描信號(hào)提供給適當(dāng)?shù)囊曨l接收器177。
示出了這兩個(gè)階段以圖解說明符合如上所述的圖2、 3和4的情景中的觀點(diǎn)的結(jié)構(gòu)?；谛枰妮敵龈袷揭约盎谳斎敫袷?，可以使用更多或者更少
的階段。例如，如果將4:1:1視頻用作輸入，那么可能需要更多的階段。另一 方面，如果提供隔行掃描4:4:4視頻，那么可以僅僅需要一個(gè)階段。類似地， 用4:2:2視頻作為輸入，如果希望輸出隔行掃描視頻，那么也可以僅僅需要一 個(gè)階段。
圖5的設(shè)備可以用一組相關(guān)聯(lián)的硬件器件來實(shí)現(xiàn)，例如ASIC (專用集成 電路)、DSP (數(shù)字信號(hào)處理器)、控制器、或者其它硬件器件?？蛇x地，圖5 中的塊可以對(duì)應(yīng)于單個(gè)集成電路的不同區(qū)域。例如，對(duì)于其中要實(shí)時(shí)地提供 視頻的許多應(yīng)用，可能需要特定的專用硬件。作為另一可選方案，該塊可以 以由通用機(jī)器執(zhí)行的軟件模塊來實(shí)現(xiàn)。 ，
硬件例子
圖6中示出了計(jì)算機(jī)系統(tǒng)200,作為可以實(shí)現(xiàn)本發(fā)明的特征的系統(tǒng)示例。 可以在該設(shè)備上執(zhí)行色度上采樣，并且還可以顯示最終得到的視頻。雖然示 出了計(jì)算機(jī)系統(tǒng)，但是視頻編輯、視頻重放、盤片播放器、游戲控制臺(tái)、機(jī) 頂盒及其它設(shè)備可以采用相似的形式。該硬件結(jié)構(gòu)僅作為一個(gè)例子示出，并 且作為代替可以使用各種其它的結(jié)構(gòu)。計(jì)算機(jī)系統(tǒng)200包括用于傳送信息的 總線或者其它通信渠道201，以及與總線201耦合的用于處理信息的處理裝 置，例如微處理器、控制器、或者DSP (數(shù)字信號(hào)處理器)202。圖5中的塊 可以在該設(shè)備或者在相關(guān)聯(lián)的支持芯片(未示出)中實(shí)現(xiàn)。例如，該支持芯 片可以是專用芯片，或者是控制器或輸入/輸出中心(hub)的專用部分。
計(jì)算機(jī)系統(tǒng)200進(jìn)一步包括耦合到總線201以存儲(chǔ)信息和由處理器202 執(zhí)行的指令的主存儲(chǔ)器204，例如隨機(jī)存取存儲(chǔ)器(RAM)或者其它動(dòng)態(tài)數(shù) 據(jù)存儲(chǔ)設(shè)備。該主存儲(chǔ)器還可以用于在處理器執(zhí)行指令期間存儲(chǔ)臨時(shí)變量或 者其它中間信息。該主存儲(chǔ)器可以如所示的作為獨(dú)立設(shè)備實(shí)現(xiàn)或者與處理器 集成在單個(gè)芯片中。
該計(jì)算機(jī)系統(tǒng)還可以包括耦合到總線以存儲(chǔ)靜態(tài)信息以及用于處理器的 指令的非易失性存儲(chǔ)器206，例如只讀存儲(chǔ)器(ROM)或者其它靜態(tài)數(shù)據(jù)存 儲(chǔ)設(shè)備。諸如磁盤或者光盤的大容量存儲(chǔ)器207及其相應(yīng)的驅(qū)動(dòng)器也可以耦 合到該計(jì)算機(jī)系統(tǒng)的總線上以用于存儲(chǔ)信息和指令。該NVRAM和大容量存 儲(chǔ)器還可以并入處理器中以作為單個(gè)芯片。該計(jì)算機(jī)系統(tǒng)還可以經(jīng)由總線耦合到顯示設(shè)備或者監(jiān)視器221，例如液 晶顯示器(LCD),用于向用戶顯示信息。除視頻之外，可以在顯示設(shè)備上為 用戶呈現(xiàn)安裝狀態(tài)、操作狀態(tài)及其它信息的圖形和文本的指示。典型地，字 母數(shù)字輸入設(shè)備222，例如具有字母數(shù)字、功能鍵及其它鍵的鍵盤，或者遙 控器，可以耦合到總線以用于將信息和命令選擇傳送給處理器。光標(biāo)控制輸 入設(shè)備223，例如鼠標(biāo)、軌跡球、或者光標(biāo)方向鍵，可以耦合到總線以用于 將方向信息和命令選擇傳送給處理器并且控制光標(biāo)在顯示器221上的移動(dòng)。
通信設(shè)備225也耦合到總線201。例如，通信設(shè)備225可以包括調(diào)制解 調(diào)器、網(wǎng)絡(luò)接口卡、或者其它公知的接口設(shè)備，例如為了提供通信鏈路以支 持局域網(wǎng)或者廣域網(wǎng)(LAN或者WAN)的目的而用以耦合到以太網(wǎng)、令牌 環(huán)網(wǎng)，或者其它類型的物理附加設(shè)備的那些設(shè)備。在這種方式中，例如，計(jì) 算機(jī)系統(tǒng)還可以經(jīng)由常規(guī)的網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)耦合到多個(gè)客戶機(jī)或者服務(wù)器，所 述常規(guī)的網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)包括內(nèi)部網(wǎng)或者互聯(lián)網(wǎng)?？梢詾槠渌愋偷目偩€提供 額外的或者可替換的通信接口，例如USB (通用串行總線)、火線(i丄ink或 者正EE1394)、或者各種無線接口。
視頻接口 229進(jìn)一步耦合到總線以提供要被上采樣的視頻。該視頻接口 229可以僅僅是輸入以便隨后將視頻提供給顯示器221，或者它可以是兩路接 口以允許將視頻提供給編輯、傳輸、或者存儲(chǔ)設(shè)備?？蛇x地，上采樣的視頻 可以保存在大容量存儲(chǔ)設(shè)備中?？梢曰趹?yīng)用，使用大容量存儲(chǔ)設(shè)備和處理 器對(duì)上采樣視頻執(zhí)行編輯及其它操作。
對(duì)于某些實(shí)現(xiàn)方式，具有更少或更多配件的計(jì)算機(jī)系統(tǒng)會(huì)比上述的示例 更為優(yōu)選。因此，基于例如價(jià)格約束、性能要求、技術(shù)改進(jìn)或者其它情況的 許多因素，示例性計(jì)算機(jī)系統(tǒng)200的結(jié)構(gòu)將在不同的實(shí)現(xiàn)方式之間有所改變。 任何附屬設(shè)備的特定性質(zhì)都可以適合于該設(shè)備的預(yù)期使用。這些設(shè)備、總線、 或者互連之中的任何一個(gè)或多個(gè)都可以從該系統(tǒng)中除去，并且可以添加其它 的設(shè)備、總線、或者互連。例如，可以在PCI總線上、在AGP總線上、經(jīng)由 PCI Express總線、經(jīng)由一些其它總線、或者經(jīng)由主機(jī)控制器或者處理核心的 集成顯卡部分，來提供視頻?？梢越?jīng)由有線或者無線連接器來提供視頻。
其它考慮
雖然在將隔行掃描4:2:0 YCbCr隔行掃描視頻的色度(Cr， Cb)部分轉(zhuǎn)換成4:2:2 YcbCr逐行掃描視頻的情境中描述了本發(fā)明的各個(gè)實(shí)施例，但是在 此所描述的方法和技術(shù)可以用于各種不同的視頻分辨率和視頻轉(zhuǎn)換處理。這 里的這些方法和技術(shù)還可以用于廣泛范圍的能夠通過點(diǎn)對(duì)點(diǎn)互連總線進(jìn)行通 信的其它設(shè)備。另外，本發(fā)明的實(shí)施例可以用于專業(yè)或者消費(fèi)型設(shè)備，并且 可以用于視頻以及計(jì)算機(jī)設(shè)備。
在上述描述中，為了解釋的目的，闡明了許多具體細(xì)節(jié)以提供對(duì)本發(fā)明 的徹底理解。然而，對(duì)于本領(lǐng)域技術(shù)人員來說顯而易見的是，即使沒有這些 具體細(xì)節(jié)中的一些也可以實(shí)施本發(fā)明。在其它實(shí)例中，以框圖形式示出了公 知的結(jié)構(gòu)和設(shè)備。
本發(fā)明可以包括各種步驟。本發(fā)明的這些步驟可以由硬件組件執(zhí)行，例 如附圖中所示的那些硬件組件，或者這些步驟可以包含在機(jī)器可執(zhí)行指令中， 這些機(jī)器可執(zhí)行指令可以用來使得通用的或?qū)Ｓ玫奶幚砥骰蛘哂眠@些指令編 程的邏輯電路執(zhí)行這些步驟。可選地，可以通過硬件和軟件的組合來執(zhí)行這 些步驟。
本發(fā)明可以作為計(jì)算機(jī)程序產(chǎn)品來提供，該計(jì)算機(jī)程序產(chǎn)品可以包括具 有存儲(chǔ)在其上的指令的機(jī)器可讀介質(zhì)，該指令可以用來對(duì)代理或者計(jì)算機(jī)系 統(tǒng)進(jìn)行編程以執(zhí)行依照本發(fā)明的處理。該機(jī)器可讀介質(zhì)可以包括但不局限于 軟盤、光盤、CD-ROM、以及磁光盤、ROM、 RAM、 EPROM、 EEPROM、 磁或者光卡、閃存存儲(chǔ)器、或者適于存儲(chǔ)電子指令的其它類型的機(jī)器可讀介 質(zhì)。此外，本發(fā)明還可以作為計(jì)算機(jī)程序產(chǎn)品來下載，其中該程序以包含在 載波或其它傳播介質(zhì)中的數(shù)據(jù)信號(hào)的方式經(jīng)由通信鏈路(例如調(diào)制解調(diào)器或 者網(wǎng)絡(luò)連接)從遠(yuǎn)程計(jì)算機(jī)傳輸?shù)秸?qǐng)求計(jì)算機(jī)。
許多方法和裝置以它們最基本的形式進(jìn)行了描述，然而，在不脫離本發(fā) 明的基本范圍的情況下，可以對(duì)任一所述方法添加或者刪除步驟，并且可以 對(duì)任一所述裝置添加或者去除組件。對(duì)于本領(lǐng)域技術(shù)人員來說顯而易見的是， 可以做出許多進(jìn)一步的修改和改進(jìn)。這些具體實(shí)施例不是用來限制本發(fā)明， 而僅是為了舉例說明本發(fā)明。本發(fā)明的范圍不是由以上提供的具體示例來確 定的，而是僅僅由所附權(quán)利要求來確定。
權(quán)利要求
1、一種方法，包括以下步驟讀取當(dāng)前視頻幀、先前視頻幀和后續(xù)視頻幀的數(shù)據(jù)，其中，每個(gè)幀都具有構(gòu)成該幀的像素的行和列，所述讀取的數(shù)據(jù)包括每個(gè)幀的色度像素的值，所述色度像素中的至少一些從所述當(dāng)前幀的所述行和列的至少一些中缺失；選擇所述當(dāng)前幀的缺失色度像素；使用所述當(dāng)前幀中臨近像素的像素值形成所述缺失色度像素的空間候選值；使用所述先前幀和所述后續(xù)幀中臨近像素的像素值形成所述缺失色度像素的時(shí)間候選值；通過組合所述空間候選值和所述時(shí)間候選值來計(jì)算所述缺失色度像素的值；以及產(chǎn)生輸出視頻幀，所述輸出視頻幀包括所計(jì)算的缺失色度像素的值。
2、 根據(jù)權(quán)利要求1所述的方法，其中，形成空間候選值的步驟包括以 下步驟對(duì)在垂直方向上與所述缺失像素最接近的色度像素的值進(jìn)行平均。
3、 根據(jù)權(quán)利要求2所述的方法，其中，形成空間候選像素的步驟包括 以下步驟確定在同一幀中臨近像素的邊緣方向； 應(yīng)用雙線性濾波來獲得中間像素值；并且 組合所述中間像素值。
4、 根據(jù)權(quán)利要求3所述的方法，其中，所述幀具有亮度像素，并且其 中，確定邊緣方向的步驟包括確定臨近亮度像素的邊緣方向。
5、 根據(jù)權(quán)利要求1所述的方法，其中，形成時(shí)間候選的步驟包括以下 步驟對(duì)分別在所述先前幀和所述后續(xù)幀中與所述缺失像素相同位置處的色度像素的值進(jìn)行平均。
6、 根據(jù)權(quán)利要求1所述的方法，其中，組合所述空間候選值和所述時(shí)間候選值的步驟包括以下步驟 估計(jì)運(yùn)動(dòng)的量；并且基于所述估計(jì)，對(duì)所述空間候選值和所述時(shí)間候選值進(jìn)行加權(quán)。
7、 根據(jù)權(quán)利要求6所述的方法，其中，估計(jì)運(yùn)動(dòng)的量的步驟包括以下 步驟應(yīng)用運(yùn)動(dòng)檢測。
8、 根據(jù)權(quán)利要求1所述的方法，還包括以下步驟計(jì)算額外的缺失色 度像素的值，并且其中，產(chǎn)生輸出視頻幀的步驟包括包含所有所計(jì)算的值。
9、 根據(jù)權(quán)利要求1所述的方法，其中，讀取步驟包括以下步驟從具 有垂直方向上欠采樣的色度分量的復(fù)合視頻信號(hào)中讀取所述當(dāng)前視頻幀、 所述先前視頻幀以及所述后續(xù)視頻幀。
10、 根據(jù)權(quán)利要求1所述的方法，其中，讀取步驟包括以下步驟從 隔行掃描視頻信號(hào)中讀取所述當(dāng)前視頻幀、所述先前視頻幀以及所述后續(xù) 視頻幀，并且其中，產(chǎn)生輸出視頻幀的步驟包括產(chǎn)生逐行掃描視頻幀。
11、 根據(jù)權(quán)利要求1所述的方法，還包括以下步驟 選擇所述當(dāng)前幀的第二缺失色度像素；部分地使用所計(jì)算的所述第一缺失色度像素的值形成所述第二缺失色 度像素的空間候選值；并且部分地基于所形成的空間候選值來計(jì)算所述第二缺失色度像素的值。
12、 一種包含指令的機(jī)器可讀介質(zhì)，當(dāng)在機(jī)器上操作所述指令時(shí)使得所述機(jī)器執(zhí)行操作，所述操作包括讀取當(dāng)前視頻幀、先前視頻幀和后續(xù)視頻幀的數(shù)據(jù)，其中，每個(gè)幀都 具有構(gòu)成該幀的像素的行和列，所述讀取的數(shù)據(jù)包括每個(gè)幀的色度像素的 值，所述色度像素中的至少一些從所述當(dāng)前幀的所述行和列的至少一些中 缺失；選擇所述當(dāng)前幀的缺失色度像素；使用所述當(dāng)前幀中臨近像素的像素值形成所述缺失色度像素的空間候 選值；使用所述先前幀和所述后續(xù)幀中臨近像素的像素值形成所述缺失色度 像素的時(shí)間候選值；通過組合所述空間候選值和所述時(shí)間候選值來計(jì)算所述缺失色度像素 的值；以及產(chǎn)生輸出視頻幀，所述輸出視頻幀包括所計(jì)算的缺失色度像素的值。
13、 根據(jù)權(quán)利要求12所述的介質(zhì)，其中，形成空間候選值的操作包括 以下操作對(duì)在垂直方向上與所述缺失像素最接近的色度像素的值進(jìn)行平 均。
14、 根據(jù)權(quán)利要求13所述的介質(zhì)，其中，形成空間候選像素的操作包 括以下操作確定在同 一幀中臨近像素的邊緣方向； 應(yīng)用雙線性濾波來獲得中間像素值；并且 組合所述中間像素值。
15、 根據(jù)權(quán)利要求14所述的介質(zhì)，其中，所述幀具有亮度像素，并且 其中，確定邊緣方向的操作包括確定臨近亮度像素的邊緣方向。
16、 —種設(shè)備，包括數(shù)據(jù)讀取，耦合到視頻源以便讀取當(dāng)前視頻幀、先前視頻幀和后續(xù)視 頻幀的數(shù)據(jù)，其中，每個(gè)幀都具有構(gòu)成該幀的像素的行和列，所述讀取的數(shù)據(jù)包括每個(gè)幀的色度像素的值，所述色度像素中的至少一些從所述當(dāng)前 幀的所述行和列的至少一些中缺失；像素選擇，用于選擇所述當(dāng)前幀的缺失色度像素；空間候選，用于使用所述當(dāng)前幀中臨近像素的像素值形成所述缺失色 度像素的空間候選值；時(shí)間候選，用于使用所述先前幀和所述后續(xù)幀中臨近像素的像素值形 成所述缺失色度像素的時(shí)間候選值；組合器，用于通過組合所述空間候選值和所述時(shí)間候選值來計(jì)算所述 缺失色度像素的值；以及視頻輸出，用于產(chǎn)生輸出視頻幀，所述輸出視頻幀包括所計(jì)算的缺失 色度像素的值。
17、 根據(jù)權(quán)利要求16所述的設(shè)備，進(jìn)一步用于計(jì)算額外的缺失色度像 素的值，并且其中，所述輸出視頻幀包括所有的所計(jì)算的值。
18、 根據(jù)權(quán)利要求16所述的設(shè)備，其中，所述數(shù)據(jù)讀取從具有垂直方 向上欠采樣的色度分量的復(fù)合視頻信號(hào)中讀取所述當(dāng)前視頻幀、所述先前 視頻幀以及所述后續(xù)視頻幀。
19、 根據(jù)權(quán)利要求16所述的設(shè)備，其中，所述數(shù)據(jù)讀取從隔行掃描視 頻信號(hào)中讀取所述當(dāng)前視頻幀、所述先前視頻幀以及所述后續(xù)視頻幀，并 且其中，所述輸出視頻幀是逐行掃描視頻幀。
全文摘要
本發(fā)明描述了用于視頻信號(hào)的上采樣。尤其可以使用運(yùn)動(dòng)自適應(yīng)方法在亮度、色度信號(hào)中上采樣色度像素。在一個(gè)例子中，這些操作包括選擇當(dāng)前幀的缺失色度像素；使用當(dāng)前幀中臨近像素的像素值形成缺失色度像素的空間候選值；使用先前幀和后續(xù)幀中臨近像素的像素值形成缺失色度像素的時(shí)間候選值；通過組合該空間候選值和該時(shí)間候選值來計(jì)算缺失色度像素的值；以及產(chǎn)生輸出視頻幀，所述輸出視頻幀包括所計(jì)算的缺失色度像素值。
文檔編號(hào)H04N9/78GK101647292SQ200880001486
公開日2010年2月10日 申請(qǐng)日期2008年1月30日 優(yōu)先權(quán)日2007年2月12日
發(fā)明者S·李, Y-J·秋 申請(qǐng)人:英特爾公司