專利名稱：具有反向投影限制的自回歸邊緣定向插值的制作方法
具有反向投影限制的自回歸邊緣定向插值
背景技術(shù)：
由于網(wǎng)絡(luò)帶寬的限制以及服務(wù)器存儲空間的限制，可以在萬維網(wǎng)和其他網(wǎng)絡(luò)上得到的大多數(shù)圖像/視頻是以從原始圖像/視頻降級的低質(zhì)量版本的形式存在的。最常見的降級處理是下采樣和壓縮處理。下采樣處理會降低空間分辨率，例如通過消除圖像中的像素值來將640x480的圖像轉(zhuǎn)換成320x240圖像。而壓縮處理則通常會有選擇地移除不太重要的細節(jié)，并以更有效的方式來表示圖像/視頻中的冗余部分。下采樣和壓縮處理可以極大降低圖像/視頻所需要的帶寬和存儲空間，以便能夠切實可行以及便利地訪問圖像/視頻。然而，這些益處是以用戶的感知體驗為代價獲得的，這是因為降級處理通常會在由此產(chǎn)生的圖像/視頻中導(dǎo)致出現(xiàn)缺陷形式的明顯質(zhì)量損失，例如模糊、方塊和振鈴。為了回放數(shù)字圖像/視頻內(nèi)容，高分辨率顯示器業(yè)已更普遍地用于個人計算機、 電視乃至移動計算設(shè)備。在高分辨率顯示器上，經(jīng)過下采樣的壓縮圖像/視頻內(nèi)容可被重新構(gòu)造，并在與下采樣分辨率匹配的很小的區(qū)域中顯示。然而，重新構(gòu)造的圖像/視頻經(jīng)常會被上采樣，以便在具有很大面積的高分辨率顯示器中呈現(xiàn)。不幸的是，在提升圖像/視頻的尺寸來將其呈現(xiàn)在高分辨率的顯示器上的時候，下采樣和壓縮處理引入的缺陷有可能會變得更加明顯。通過理解為什么會出現(xiàn)這種情況，有助于理解如何在計算機中表示和處理視頻和圖像信息。計算機是將媒體信息作為代表該信息的一系列數(shù)字來處理的。例如，單個數(shù)字可以代表圖片中每ー個基本小型區(qū)域所具有的諸如紅色、緑色或藍色之類的顏色分量的強度或亮度強度，由此，圖片的數(shù)字表示是由這種數(shù)字的一個或多個陣列組成的。每ー個這樣的數(shù)字可被稱為ー個采樣或像素值。對于彩色圖像來說，通常為其使用了ー個以上的采樣來表示每ー個基本區(qū)域的顏色，并且所使用的采樣往往是三個。用于基本區(qū)域的采樣集合可被稱為像素，其中單詞“像素”是“圖像元素”的縮寫。例如，ー個像素可以由三個像素值組成，這些像素值代表的是表示該基本區(qū)域所需要的紅光、綠光和藍光的強度。在對圖像/視頻進行上采樣時，在現(xiàn)有像素之間會通過插值處理產(chǎn)生新的像素值。用于圖像和視頻插值的線性上采樣技術(shù)有很多種，例如最近鄰法、雙線性法、雙三次法、 蘭索斯法以及辛格插值法。雙線性插值法主要包括通過取像素值的平均值來找出新的中間像素值，該方法的計算非常簡單，但是往往會導(dǎo)致產(chǎn)生模糊效應(yīng)。而雙三次插值法之類的其他插值形式在計算方面則更為復(fù)雜，并且會保留更多的邊緣細節(jié)，但是這些插值形式往往會引入可見的贗像。出現(xiàn)這種情況的部分原因在于雙線性和雙三次插值方案通常會簡單地假設(shè)圖像/視頻內(nèi)容在空間上是不變的(也就是說，在圖像/視頻內(nèi)容內(nèi)部不會發(fā)生性質(zhì)方面的變化)，因此，在插值過程中應(yīng)用的加權(quán)是預(yù)先為圖像中的任何區(qū)域定義的。這種插值無法顧及圖像/視頻內(nèi)容內(nèi)部的紋理、邊緣和對象輪廓的快速變化特性以及局部特性， 而這通常導(dǎo)致經(jīng)過插值處理的高分辨率圖像具有模糊或不清晰的紋理、邊緣和對象輪廓。其他ー些插值處理形式會根據(jù)被過濾圖像/視頻的局部內(nèi)容來適配插值過程中應(yīng)用的加權(quán)。然而，先前的插值處理形式無法為某些類型的圖像/視頻內(nèi)容產(chǎn)生在插值過程中應(yīng)用的可靠加權(quán)，而這有可能導(dǎo)致在紋理、邊緣和對象輪廓的區(qū)域中產(chǎn)生可見失真。

發(fā)明內(nèi)容
總的來說，這里的詳細描述給出的是用于自適應(yīng)插值的技術(shù)和工具，在很多情景中，所述自適應(yīng)插值即使在紋理、邊緣和對象輪廓的區(qū)域內(nèi)部也提供了在視覺上令人愉快的結(jié)果。該插值處理可以使用過濾系數(shù)的前向預(yù)測來適配圖像/視頻內(nèi)容中變化的局部特性，與此同時還會顧及反向投影限制(backward projection constraint),以使過濾系數(shù)更為可靠并且對于誤預(yù)測具有很好的魯棒性。根據(jù)這里描述的技術(shù)和工具的ー個方面，ー種諸如計算設(shè)備中的后處理模塊、顯示處理模塊或其他模塊之類的工具執(zhí)行ー種像素值插值處理方法。該工具接收圖片的像素值。其中舉例來說，該圖片是由圖像或視頻解碼器重新構(gòu)造的低分辨率圖片。該工具確定在圖片的一組像素值之間內(nèi)插的像素值。例如，所述內(nèi)插像素值位于圖片的四個像素值之間，并且處于與圖片的四個相鄰像素值中的每ー個相対的對角線上。在確定內(nèi)插像素值的過程中，該工具使用了引入反向投影限制的自回歸邊緣定向插值 (auto-regressive edge-airected interpolation)、AR_EDIBしノ。例如，作為 AR-EDIBC 的一部分，該工具從圖片中位于內(nèi)插像素值位置周圍的局部窗ロ的那些像素值中計算自回歸 (AR)系數(shù)，然后將所述AR系數(shù)應(yīng)用于該像素值集合，以便確定內(nèi)插像素值。作為反向投影限制的一部分，關(guān)于AR系數(shù)的計算考慮了將AR系數(shù)應(yīng)用于內(nèi)插像素值的效果，就好像將內(nèi)插像素值反向投影來與圖片的原始像素值相比較一祥。在一些實施方式中，關(guān)于AR系數(shù)的計算使用了一種同時引入前向預(yù)測(從原始像素值中創(chuàng)建內(nèi)插像素值)和反向投影限制(從內(nèi)插像素值反向投影)的閉型解(closed-form solution)。所述工具存儲該內(nèi)插像素值。例如，該工具將內(nèi)插像素值作為高分辨率圖片的ー 部分連同已被拷貝至高分辨率圖片的低分辨率圖片的像素值一起存入存儲器。之后，該エ 具可以輸出ー些或所有高分辨率圖片以進行顯示。在一些實施方式中，該工具適配AR-EDIBC的ー個或多個參數(shù)。例如，該工具根據(jù)內(nèi)插像素值位置周圍的圖像特性來調(diào)節(jié)在AR-EDIBC中使用的局部窗ロ的尺寸或形狀。或者，該工具根據(jù)哪些像素值的近鄰與內(nèi)插像素值的近鄰相似來改變應(yīng)用于局部窗口中的不同像素值的加權(quán)?；蛘撸摴ぞ吒鶕?jù)與內(nèi)插像素值位置的鄰近度來改變應(yīng)用于局部窗口中的不同像素值的加權(quán)?；蛘?，該工具根據(jù)圖片中的斑點的自相似性來改變應(yīng)用于局部窗ロ 中的不同像素值的加權(quán)。 該工具可以根據(jù)內(nèi)容而在圖片內(nèi)部有選擇地使用自適應(yīng)插值，由此權(quán)衡插值質(zhì)量與計算復(fù)雜度。例如，通過使用AR-EDIBC來確定在原始像素值之間的對角線位置上的某些內(nèi)插像素值，但是使用計算較簡單的插值處理形式(例如雙線性法、雙三次法、蘭索斯法或辛格插值法)來確定其他位置的像素值，該工具會在多個階段中為處于高分辨率圖片中的不同位置的像素值執(zhí)行插值處理?；蛘?，該工具可以在邊界區(qū)域(對這些區(qū)域來說，處于 AR-EDIBC中使用的局部窗ロ的像素值將會處于圖片以外)或平滑區(qū)域(對這些區(qū)域來說，計算成本要比AR-EDIBC的質(zhì)量效益更為重要)使用較簡單的插值處理形式。
本概述是為了以簡化形式引入精選概念而被提供的，并且在以下參考附圖而進行的詳細描述中將會進ー步描述這些概念。本概述的目的既不是用于確定所保護主題的關(guān)鍵或決定性特征，也不是用于限制所保護的主題的范圍。
從以下參考附圖的詳細描述中可以更清楚地了解本公開的前述和其他特征及優(yōu)
好、ο


圖IA是示出了上采樣處理中的第一階段的像素值的圖示，其中所述處理使用了具有反向投影限制的自回歸邊緣定向插值(AR-EDIBC)來內(nèi)插像素值。圖IB是示出了處于上采樣處理中的第二階段的像素值的圖示，其中該處理使用了來自AR-EDIBC的內(nèi)插像素值來內(nèi)插像素值。圖2A和2B是示出了使用AR-EDIBC來前向預(yù)測AR系數(shù)，以便為高分辨率圖片實施像素值插值處理的圖示。圖3A是示出了在自回歸邊緣定向插值處理中使用反向投影作為限制的圖示，并且圖3B是示出了處于使用AR-EDIBC過濾的紋理區(qū)域中的像素值的圖示。圖4示出的是具有從有選擇地應(yīng)用的AR-EDIBC中得到的內(nèi)插像素值的高分辨率圖像。圖5是示出了使用AR-EDIBC來確定內(nèi)插像素值的概括性方法的流程圖。圖6是示出了有選擇地使用AR-EDIBC來增強分辨率的例示方法的流程圖。圖7A示出的是具有使用AR-EDIBC來內(nèi)插四個對角線像素的已知像素值的高分辨率圖像的一部分，圖7B示出的是用于預(yù)測另一個像素值的已知局部像素值，圖7C示出的是反向投影到已知像素值的局部像素值，圖7D示出的是矢量
I,圖7E示出的是矩陣C，圖7F示出的是矩陣隊圖7G示出的是矩陣廠，以及圖7H示出的
是矩陣W。圖8是示出了可以實施所描述的實施例的例示計算環(huán)境的圖示。圖9是示出了可以實施所描述的實施例的適當實施環(huán)境的概括性示例的圖示。
具體實施例方式由于數(shù)字圖像/視頻內(nèi)容的存儲空間的實際限制，以及由于遞送數(shù)字圖像/視頻內(nèi)容時的網(wǎng)絡(luò)帶寬的實際限制，數(shù)字圖像/視頻內(nèi)容往往具有低分辨率。在將低分辨率的圖像/視頻內(nèi)容擴大至高分辨率并呈現(xiàn)在顯示器上的時候，諸如模糊和方塊之類的質(zhì)量缺陷將會特別明顯。由此，有必要改進通常被稱為超分辨率處理或智能上采樣的分辨率增強處理。目前有很多種用于圖像和視頻插值處理的技術(shù)可以用于分辨率增強處理(也被稱為超分辨率處理或智能上采樣)。已知的線性插值方案假設(shè)的是在空間上不變的穩(wěn)定圖像信號，該方案通常無法捕獲紋理、邊緣及對象輪廓的快速變化特性和局部特性。因此，該插值處理方案通常產(chǎn)生的是具有模糊或不太清晰的紋理、邊緣和對象輪廓的插值圖像。對于自然圖像來說，在圖片內(nèi)部，紋理、邊緣和對象輪廓有可能會突然改變。盡管如此，在圖像的低分辨率與高分辨率版本之間仍然存在對偶性(duality)。也就是說，在高分辨率版本中出現(xiàn)的紋理、邊緣或?qū)ο筝喞拿黠@特征也會在該圖像的低分辨率版本中出現(xiàn)。只要特征足夠明顯，那么這些特征就不會因為從高分辨率到低分辨率的下采樣而消失。此外，自然圖像通常在很小的像素區(qū)域(例如5x5的局部窗ロ或是具有21個像素的圓圈)中是局部穩(wěn)定的。隨著用于圖像和視頻處理的計算硬件的計算能力的不斷提升(例如多處理核心和圖形處理器)，在空間域中可以應(yīng)用具有反向投影限制的自回歸邊緣定向插值處理 (AR-EDIBC),以便實現(xiàn)對于低分辨率圖像/視頻內(nèi)容的高質(zhì)量超分辨率增強處理。例如， AR-EDIBC既可以在對來自相機的VGA視頻進行上采樣而在高分辨率顯示器上回放的時候使用，也可以在對低分辨率網(wǎng)絡(luò)視頻進行上采樣而在個人計算機監(jiān)視器的全屏窗ロ中回放的時候應(yīng)用，還可以在其他不同的使用情景中應(yīng)用。I. AR-EDIBC 示例和說明
圖IA-B顯示的是使用了 AR-EDIBC的分辨率增強處理中的像素值。在圖IA中，低分辨率圖像100中的3x3部分包括所述低分辨率圖像的初始像素值。這些低分辨率像素值被從低分辨率圖像中的位置(i，j)拷貝至高分辨率圖像120中的位置Oi，2j)，并且在這里顯示了所述高分辨率圖像的ー個5x5部分。通過使用AR-EDIBC，高分辨率對角線像素值130、 132、134、136被確定成處于與被拷貝像素相対的水平+1以及垂直+1的位置。為了完成AR-EDIBC，自回歸(AR)系數(shù)是在假設(shè)(1)分辨率之間的對偶性以及(2) 圖像局部穩(wěn)定的情況下被計算的。此外，在AR-EDIBC中使用了反向投影限制來檢查AR系數(shù)是否足夠穩(wěn)定和可靠，以便產(chǎn)生從高分辨率的對角線像素值回退到拷貝自低分辨率圖像的像素值的良好預(yù)測。在圖IA顯示的示例中，用于高分辨率對角線像素值130的插值處理的AR系數(shù)是基于拷貝自低分辨率圖像的相鄰像素值140、142、144、146而被計算的。等式1示出的是將 AR系數(shù)應(yīng)用于相鄰像素值的處理
'24 + 1.2/+4 = Lji=O Σ =0 + i ^2(1+ft),2(/+1)(1)
其中な+1,2/+1是在高分辨率圖像的對角線位置內(nèi)插的像素值，
ΣΙ=οΣΙ=οa .k n是相鄰像素值的四個Ar系數(shù)，以及Σ =οΣ =ο y-Ki+mu+i)是
處于內(nèi)插像素值位置周圍的位置(2i, 2j)、(2i, 2j+2)、(2i+2, 2j)以及(2i+2, 2j+2)的相鄰
像素值。在使用AR-EDIBC確定了對角線像素值130、132、134、136之后，如圖IB所示，通過應(yīng)用(在概念上)旋轉(zhuǎn)了 45度的AR-EDIBC的二次迭代或是使用另ー種插值處理形式，可以確定垂直對準的像素值150、156以及水平對準的像素值152、154。利用45度旋轉(zhuǎn)，垂直對準的像素值和水平對準的像素值150、152、154、156將被確定成是從低分辨率圖像拷貝的像素值與所確定的對角線像素值130、132、134、136的對角線。例如，對于所給出的垂直對準的像素值或水平對準的像素值來說，AR系數(shù)或其他加權(quán)是應(yīng)用于等式1所示的四個相鄰像素值的。通常，在AR-EDIBC期間應(yīng)用的AR系數(shù)是通過從低分辨率圖片的初始像素值估計而被計算的。為了提供附加保護措施來確保AR系數(shù)對于用于確定高分辨率圖片像素值的前向預(yù)測處理是可靠的，在這里還考慮了反向投影限制。對于反向投影限制來說，從高分辨率圖片的估計像素值返回到低分辨率圖片的已知初始像素值的投影誤差被認為是ー種限制。圖2A顯示了ー個由來自低分辨率圖像的25個像素值組成的局部窗ロ 200。在這里使用了四個初始像素值215、216、219和220來內(nèi)插像素值252的值。在從像素值252具有的拷貝自低分辨率圖像的四個相鄰像素值215、216、219、220估計像素值252在高分辨率中的值的時候，為這四個相鄰像素值215、216、219、220確定自回歸(AR)系數(shù)。對于別的內(nèi)插像素值來說，即使某ー個內(nèi)插值使用了相同的初始像素值215、216、219、220中的ー個像素值，其他AR系數(shù)也是可以計算的。例如，對于像素值254的插值處理來說，AR系數(shù)是為初始像素值216、217、220、221計算的。為了預(yù)測所給出的內(nèi)插像素值(例如像素值252)與它的四個對角線相鄰像素值(例如初始像素值215、216、219、220)之間的關(guān)系，可以考慮所給出的初始像素值(例如初始像素值215)與它的四個已知的對角線相鄰像素值(例如初始像素值210、212、218、220)之間的關(guān)系。假設(shè)圖像局部穩(wěn)定以及假設(shè)低分辨率與高分辨率圖像之間具有對偶性，可以從局部窗ロ(例如圍繞內(nèi)插像素值位置的切5的初始像素值窗ロ，圍繞內(nèi)插像素值位置的初始像素值小圓圏，或是具有其他尺寸或形狀的局部窗ロ)中的已知初始像素值估計出AR系數(shù) aJO舉個例子，已知相鄰像素值215、216、219、220的未知系數(shù)σ y是從所選擇的局部窗ロ 內(nèi)部的已知初始像素值獲取的。在圖2A中，用于四個相鄰像素值215、216、219、220的AR 系數(shù)(四個未知數(shù))是從具有25個已知像素值的5x5局部窗ロ 200中獲取的。所述AR系數(shù)可以通過求解等式2中的最小化問題來確定，其中該等式在兩個項
與P之間使用了將最小均方誤差(LMSE)最小化的處理
其中α = (Ci1,cr2fo:3la4)是用于低分辨率像素的AR系數(shù)的矢量，??？是局部窗ロ
中的像素的列矢量，以及C是具有與局部窗ロ中的像素值數(shù)目相關(guān)的列數(shù)目以及與AR系數(shù)的數(shù)目相關(guān)聯(lián)的行數(shù)目的矩陣。等式2的LMSE計算可以使用等式3中的閉型解來確定
其中α = (alta2fa3la4), 和c與其在等式2中的定義相同，グ是c的矩陣轉(zhuǎn)
置，以及(ヴ游1是方陣(JOrXC)的逆矩陣。作為替換，等式2的LMSE計算是用別的方法執(zhí)行的。 在圖2A和圖2B描述的示例中，高分辨率像素值252是用5x5局部窗ロ 200內(nèi)部
的已知像素值215、216、219、220內(nèi)插的，p是切5的局部窗ロ 200中的25個像素值的列矢
量ぶ是ー個25x4矩陣，其中該矩陣具有用于局部窗ロ的25個像素值中的每ー個的列，并且所述列包含了用于所述局部窗口中的像素值的四個對角線相鄰初始像素值。舉例來說，如圖2A所示ぶ中用于像素值215的列包含了對角線相鄰像素值210、212、218和220。同樣， C中用于像素值216的列包含了對角線相鄰像素值211、213、219和221。對于所給出的內(nèi)插像素值位置來說，四個AR系數(shù)“ρ α2, α 3, α 4被確定成是4x4矩陣(C^OT1與4x1
矩陣iCT X Γ)的乘積。這樣ー來，應(yīng)用于初始像素值215、216、219、220的值^1, a 2,
8ひ3，へ是依照5x5局部窗ロ 200中的每ー個像素值與其四個對角線相鄰初始像素值相關(guān)聯(lián)的方式確定的。在一些實施方式中，如圖2A所示，局部窗ロ 200具有固定的尺寸和形狀。作為替換，局部窗ロ的大小和/或形狀可以改變，從而與內(nèi)插像素值位置周圍的圖像內(nèi)容的局部特性相適配。例如，局部窗ロ的尺寸可以在穩(wěn)定的圖像區(qū)域中増大，以及在不穩(wěn)定的圖像區(qū)域中減小。理論上，局部窗ロ可被選擇成包含的像素值的數(shù)量可以達到圖像中的像素的數(shù)量，然而一般來說，局部窗ロ的大小將被調(diào)整，以便顧及圖像的局部穩(wěn)定特性。此外，局部窗口中的像素值可以處于不同的像素方位(例如圓形窗ロ或矩形窗ロ)。在一些實施方式中行，如參考圖2A和圖2B所述，在確定AR系數(shù)的時候?qū)紤]局部窗ロ 200中的每ー個像素值，并且為其給出相等的加權(quán)。作為替換，異常值將被丟棄或不予考慮。例如，在確定AR系數(shù)的時候會有選擇地使用或者不使用局部窗ロ中的像素值， 或者在確定AR系數(shù)的時候會以別的方式來對局部窗口中的像素值執(zhí)行不同的加權(quán)。因此， 所使用的可以是局部窗口中那些相鄰像素值與所估計的像素值位置周圍的相鄰像素值具有相似特征的像素值，而局部窗口中的其他像素值則不會被使用。舉個例子，在圖2中，如果像素值215的四個對角線相鄰像素值210、212、218和220分別與像素值215、216、219和 220相似，那么將會使用這些像素值，否則將不會使用這些像素值。諸如均方差、均方差總和之類的相似性度量或其他度量也可以用于該判定?；蛘?，不同的加權(quán)可以依照與內(nèi)插像素值位置相対的空間位置/距離或是依照使用了相似性度量的相鄰像素的相似性而被應(yīng)用于局部窗ロ 200中的像素值。來自低分辨率圖像的已知像素值的斑點的自相似性可以用于為AR系數(shù)估計識別更多的相似像素值。圖1A、1B和2以及等式1_3概括性地示出了 AR-EDIBC中的前向預(yù)測方面。依照關(guān)于局部穩(wěn)定性和對偶屬性的假設(shè)，出于對魯棒性和可靠性的考慮，從所估計的像素值到已知的初始像素值的反向投影可以充當前向自回歸邊緣定向插值結(jié)果的附加限制。通過考慮反向投影限制，往往會使AR系數(shù)更加穩(wěn)定可靠，并且在很多情況中，這樣做改善了插值
ノ貝里。舉個例子，如圖3A所示，針對從低分辨率圖像拷貝的初始像素值350考慮來自對角線像素值的反向投影，類似地，針對其他初始像素值考慮來自其他對角線像素值的反向投影，以令人滿意地核實反向投影產(chǎn)生的結(jié)果與前向預(yù)測相符合。等式1可以用等式4所示的矢量和矩陣運算的形式來表述。
權(quán)利要求
1.一種像素值插值的計算機實施的方法，該方法包括 接收圖片的像素值(510);確定在該圖片的一組像素值之間的內(nèi)插像素值，其中所述確定使用了引入反向投影限制的自回歸邊緣定向插值(520);以及存儲所述內(nèi)插像素值(530)。
2.權(quán)利要求1的計算機實施的方法，其中引入了反向投影限制的自回歸邊緣定向插值包括從圖片中那些位于圍繞內(nèi)插像素值位置的局部窗ロ的像素值中計算自回歸系數(shù)，其中作為反向投影限制的一部分，該計算考慮了將自回歸系數(shù)應(yīng)用于內(nèi)插像素值的效果；以及將自回歸系數(shù)應(yīng)用于該組像素值，以便確定所述內(nèi)插像素值。
3.權(quán)利要求2的計算機實施的方法，其中自回歸邊緣定向插值還引入了前向預(yù)測，并且其中關(guān)于自回歸系數(shù)的計算使用了同時引入前向預(yù)測和反向投影限制的閉型解。
4.權(quán)利要求2的計算機實施的方法，其中反向投影限制的滿足是以圍繞內(nèi)插像素值位置的相鄰像素值與來自內(nèi)插像素值的投影之間的誤差為基礎(chǔ)的。
5.權(quán)利要求1的計算機實施的方法，其中內(nèi)插像素值的確定是第一階段的插值處理的一部分，該方法還包括作為第二階段的插值處理的一部分，確定該組像素值中的至少ー些像素值與第一階段的內(nèi)插像素值之間的第二內(nèi)插像素；以及存儲第二內(nèi)插像素值。
6.權(quán)利要求1的計算機實施的方法，還包括在確定內(nèi)插像素值之前，從多個可用的過濾類型中選擇自回歸邊緣定向插值處理，所述多個可用過濾類型包括別的過濾類型，與自回歸邊緣定向插值處理相比，所述別的過濾類型具有更低的計算復(fù)雜度，但會降低用于過濾有紋理的內(nèi)容的預(yù)期質(zhì)量； 選擇其他的過濾類型；以及使用其他過濾類型來確定圖片中經(jīng)過過濾的像素值。
7.權(quán)利要求6的計算機實施的方法，其中內(nèi)插像素值處于ー個內(nèi)部區(qū)域，在該區(qū)域中， 提供給自回歸邊緣定向插值處理的像素值處于圖片內(nèi)部，以及其中經(jīng)過過濾的像素值處于邊界區(qū)域，并且在所述邊界區(qū)域，提供給自回歸邊緣定向插值處理的像素值將會處于圖片外部。
8.權(quán)利要求6的計算機實施的方法，其中選擇自回歸邊緣定向插值處理包括 確定圍繞內(nèi)插像素值位置的局部變化量度滿足閾值變化。
9.一種存儲了計算機可執(zhí)行指令的計算機可讀存儲器，其中在由處理器運行時，所述指令促使計算機設(shè)備執(zhí)行ー種方法，該方法包括將像素值從較低分辨率的第一圖像拷貝到較高分辨率的第二圖像(610)；以及基于引入了反向投影限制的自回歸邊緣定向插值處理，在第二圖像(120)的一組拷貝像素值之間插入像素值(130)。
10.一種計算設(shè)備，包括 至少ー個處理器；以及用于存儲了計算機可執(zhí)行指令的存儲器，其中在被運行時，所述指令促使計算設(shè)備執(zhí)行ー種方法，包括將低分辨率像素值從低分辨率圖像拷貝到較高分辨率的圖像(610); 在較高分辨率的圖像(650)中插入對角線像素值，其中所插入的對角線像素值中的一些特定的值位于與一些被拷貝的低分辨率像素值相對的對角線上，其中插入對角線像素值的處理包括對于給出的對角線像素值之一，通過將閉型解用于具有反向投影限制的自回歸邊緣定向插值處理來估計自回歸系數(shù)，所述反向投影限制是以將自回歸系數(shù)應(yīng)用于ー些對角線像素值為基礎(chǔ)的；在較高分辨率的圖像中，基于被拷貝的低分辨率像素值以及被插入的對角線像素值來插入垂直對準的像素值以及水平對準的像素值(660)，所述垂直對準的像素值在垂直方向上與被拷貝的低分辨率像素值對準，并且水平對準的像素值在水平方向上與被拷貝的低分辨率像素值對準；以及存儲被拷貝的低分辨率像素值(670)、所插入的對角線像素值，所插入的垂直對準的像素值以及所插入的水平對準的像素值。
全文摘要
所公開的是用于圖像/視頻內(nèi)容插值處理的技術(shù)和工具。例如，諸如計算設(shè)備中的數(shù)據(jù)處理模塊之類的工具接收低分辨率圖片的像素值，并且確定來自所述低分辨率圖片的一組像素值之間的內(nèi)插像素值。該工具使用了引入反向投影限制的自回歸邊緣定向插值(AR-EDIBC)。作為AR-EDIBC的一部分，該工具可以計算自回歸(AR)系數(shù)，然后將AR系數(shù)應(yīng)用于該組像素值，以便確定內(nèi)插像素值。對于反向投影限制來說，該工具顧及了將內(nèi)插像素值反向投影到低分辨率圖片的像素值的效果。該工具保存內(nèi)插像素值以及來自低分辨率圖片的像素值，以此作為高分辨率圖片的一部分。該工具可以根據(jù)內(nèi)容和其他因素來自適應(yīng)地使用AR-EDIBC。
文檔編號H04N7/26GK102572359SQ20111042617
公開日2012年7月11日 申請日期2011年12月19日 優(yōu)先權(quán)日2010年12月17日
發(fā)明者W.高, Y.吳 申請人:微軟公司