專利名稱：利用輔助信息的針對視頻編碼的紋理合成方法、設備、程序以及介質(zhì)的制作方法
技術領域：
本公開總體上涉及視頻處理。更具體地，本公開涉及利用輔助信息的針對視頻編 碼的紋理合成的方法、設備、程序以及介質(zhì)。
背景技術：
本公開總體上涉及視頻內(nèi)的紋理，即，視覺紋理。如這里所使用的，術語“紋理”可 以指代包括重復元素的數(shù)字圖像或數(shù)字圖像序列。這些重復的元素會產(chǎn)生三維紋理狀表面 幻像，即，對于眼睛呈現(xiàn)紋理狀表面。更具體地，本公開涉及針對視頻編碼的紋理合成的問題。紋理合成的基本目標是 合成在感知上與原始圖像序列相同(或類似)的圖像序列。然而，允許合成的序列的像素 值與原始序列中的像素值顯著不同。這與傳統(tǒng)編碼方法不同，在傳統(tǒng)編碼方法中尋求盡可 能接近原始像素值。紋理合成的最佳動機是針對有些隨機的圖像序列。例如，水、草以及樹的運動是紋 理合成的良好候選。紋理合成使用在許多領域，包括數(shù)字圖像編輯、三維計算機圖形、電影的后期制作 等。紋理合成可以用于填充圖像中的洞、創(chuàng)建較大非重復背景圖像、擴展較小畫面等等。

發(fā)明內(nèi)容
公開了一種利用輔助信息的針對視頻編碼的紋理合成方法。該方法可以由解碼器 設備來實現(xiàn)。該方法可以包括以高保真度接收種子紋理。該方法還可以包括以低保真度 接收合成區(qū)域的剩余部分。該方法還可以包括接收對要合成的區(qū)域的標記。該方法還可以 包括基于高保真度種子紋理以及合成區(qū)域的低保真度部分來合成所標記的區(qū)域。合成所標記的區(qū)域可以包括識別種子紋理內(nèi)的至少一個最佳匹配區(qū)域。可以獲得 初始估計。獲得初始估計可以包括將來自于最佳匹配區(qū)域的像素值拷貝至當前合成區(qū)域。 可以從至少一個最佳匹配區(qū)域中導出圖像模型。可以從接收到的比特流中提取附加的圖像 模型。可以基于初始估計以及導出和提取的圖像模型來合成當前合成區(qū)域?？梢宰R別多個最佳區(qū)域。在這種情況下，多個最佳匹配區(qū)域的加權組合可以用于 合成所標記的區(qū)域。所傳送的圖像模型可以包括量化參數(shù)、量化的等級值、以及預測模式中的至少一 個。可以通過迭代地投影至從接收到的比特流中提取的圖像模型以及從種子紋理中 提取的圖像模型，來執(zhí)行合成當前合成區(qū)域。作為一個示例，從種子紋理中提取的圖像模型可以是自相關的。用于迭代投影動 作的投影算子可以是至所需相關模型的線性映射。作為另一示例，從種子紋理中提取的圖像模型在變換域中可以是稀疏的。用于迭代投影動作的投影算子可以是用于達到所需稀疏性的閾值化。該方法還可以包括執(zhí)行補丁混合以及去塊，以施行邊界平滑。所導出的圖像模型以及所傳送的不同類型的圖像模型可以包括以下中的至少一 個基于空時相關的模型、基于像素亮度直方圖的模型、基于變換系數(shù)直方圖的模型、以及 基于變換域中相關的模型。合成所標記的區(qū)域可以包括識別種子紋理內(nèi)至少一個最佳匹配區(qū)域。紋理相似性 度量可以被定義為，指示至少一個最佳匹配區(qū)域與當前合成區(qū)域之間的差異。輔助信息度 量可以被定義為，指示輔助信息與當前合成區(qū)域之間的差異。輔助信息度量可以通過在變 換域中投影找到最接近點來確定。合成所標記的區(qū)域還可以包括聯(lián)合地最小化紋理相似性 度量與輔助信息度量的組合?？梢詧?zhí)行逐塊處理?？梢岳孟噜徱蚬麎K的合成結果的知識，來執(zhí)行合成特定塊 的動作。備選地，可以利用所有相鄰塊的合成結果的知識，來執(zhí)行合成特定塊的動作。作為 另一備選方案，合成所標記的區(qū)域的動作可以包括相對于所標記的區(qū)域來執(zhí)行因果紋理合 成，然后以非因果方式來處理所標記的區(qū)域。該方法還可以包括通過執(zhí)行以下中的至少一個來降低計算復雜性無交疊至交疊 網(wǎng)格搜索、使用空間和多分辨率關系來減小搜索空間、以及使用變換域系數(shù)來降低計算復 雜性。公開了一種解碼器設備，該解碼器設備被配置用于利用輔助信息的針對視頻編碼 的紋理合成。解碼器設備包括處理器和與該處理器進行電子通信的存儲器。可以將指令存 儲在存儲器中。指令可執(zhí)行用于以高保真度接收種子紋理。指令還可執(zhí)行用于以低保真度 接收合成區(qū)域的剩余部分。指令還可執(zhí)行用于接收對要合成的區(qū)域的標記。此外，指令可 執(zhí)行用于基于高保真度種子紋理以及合成區(qū)域的低保真度部分，來合成所標記的區(qū)域。解碼器設備還可以包括計算機程序，該計算機程序用于利用輔助信息的針對視頻 編碼的紋理合成。該計算機程序存儲在例如光盤或磁盤之類的存儲介質(zhì)上。計算機程序可以執(zhí)行用于以高保真度接收種子紋理的指令。計算機程序還可以執(zhí) 行用于以低保真度接收合成區(qū)域的剩余部分的指令。計算機程序還可以執(zhí)行用于接收對要 合成的區(qū)域的標記的指令。計算機程序還可以執(zhí)行用于基于高保真度種子紋理以及合成區(qū) 域的低保真度部分來合成所標記的區(qū)域的指令。公開了一種對利用輔助信息的針對視頻編碼的紋理合成進行輔助的方法。該方法 可以由編碼器設備來實現(xiàn)。該方法可以包括識別要合成的輸入視頻區(qū)域。該方法還可以包 括將合成區(qū)域的一部分標記為種子紋理。該方法還可以包括以高保真度將種子紋理傳送至 解碼器設備。該方法還可以包括以低保真度將合成區(qū)域的剩余部分傳送至解碼器設備。結合附圖，考慮本發(fā)明的以下詳細描述時，本發(fā)明的上述以及其他目標、特征和優(yōu) 點將變得顯而易見。


圖1示出了配置為執(zhí)行針對視頻編碼的紋理合成的系統(tǒng)的示例；圖2示出了配置為執(zhí)行使用輔助信息的針對視頻編碼的紋理合成的系統(tǒng)的示例；圖3示出了根據(jù)本公開的可以由編碼器設備實現(xiàn)的方法的示例；
圖4示出了根據(jù)本公開的可以由解碼器設備實現(xiàn)的方法的示例；圖5示出了圖4方法中合成紋理數(shù)據(jù)的區(qū)域的步驟的一種可能實現(xiàn)方式；圖6示出了圖4方法中合成紋理數(shù)據(jù)的區(qū)域的步驟的另一種可能實現(xiàn)方式；圖7示出了種子紋理內(nèi)的最佳匹配區(qū)域的示例；圖8示出了用于確定輔助信息度量的方法的示例；圖9示出了根據(jù)本公開的用于確定要發(fā)送的引導信息的量的方法的示例；圖10示出了圖9方法的圖示；圖11示出了用于減小搜索空間的多分辨率方法的示例；圖12示出了基于空間關系限制搜索空間的示例；圖13示出了配置用于利用輔助信息的針對視頻編碼的紋理合成的解碼器設備的 示例；以及圖14示出了配置為輔助利用輔助信息的針對視頻編碼的紋理合成的編碼器設備 的示例。
具體實施例方式存在兩種針對紋理合成的主要研究領域。第一研究領域包括參數(shù)方法。在這些方 法中，通過多個參數(shù)對圖像序列進行建模。例如，直方圖提供一個模型。類似地，像素值的 相關性提供另一模型。在給定足夠數(shù)目的模型的情況下，能夠通過找到滿足參數(shù)化約束的 像素亮度值的集合，來重新創(chuàng)建任何紋理的“外觀和感覺”。能夠利用投影算子(硬約束) 或加權處罰規(guī)范來描述這些約束。相應地，這些相當于意味著，合成的亮度值“必須”滿足 參數(shù)化約束，或者亮度值“應當接近”參數(shù)化模型。第二主要研究領域包括非參數(shù)方法。這里，從先驗已知的范例紋理中導出合成的 紋理。紋理合成處理通過檢查該范例或種子紋理并且將種子紋理中的亮度值拷貝至新的紋 理區(qū)域，來創(chuàng)建附加的紋理數(shù)據(jù)。這里，找到要拷貝的亮度值是區(qū)別因素。然而，常規(guī)方法 是在種子紋理中搜索與要合成的區(qū)域的相鄰像素值最匹配的圖像區(qū)域。然后，拷貝鄰近該 最佳匹配的像素值。備選方法是找到多個匹配，或者利用針對鄰域的不同定義。在視頻編碼應用中采用紋理合成緩和了紋理合成問題。注意以下差異。首先，視頻 編碼應用不允許至合成器的種子紋理或模型信息的無損傳輸。此外，大量種子紋理或模型 信息的傳輸降低了紋理合成器的價值(視頻編碼環(huán)境具有對紋理進行顯式編碼的選項)。 此外，合成操作的復雜性應當是易處理的。(例如，這種復雜性應當在其他視頻解碼處理的 復雜性的量級內(nèi))同樣，與用于圖形應用的紋理合成不同，視頻編碼系統(tǒng)知道紋理中的原 始亮度值。最后，紋理合成操作應當與其他編碼手段(例如，幀間和幀內(nèi)預測以及殘差編 碼)相互操作?？傮w設計能夠?qū)崿F(xiàn)對單純合成與傳統(tǒng)視頻編碼的可調(diào)節(jié)組合。在給定以上差異的情況下，本公開考慮利用當前現(xiàn)有技術視頻編碼系統(tǒng)的技術的 紋理合成系統(tǒng)。(示例包括國際電信聯(lián)盟(ITU)和運動圖像專家組(MPEG)標準族。)根據(jù) 本公開，比特流可以用于向紋理合成器傳輸輔助信息。該輔助信息的分量可以被結構化為， 直接對應于圖像序列的低質(zhì)量版本。這樣，紋理合成器的目的可以是改善低質(zhì)量版本內(nèi)紋 理的呈現(xiàn)?，F(xiàn)在參照圖1，圖1示出了配置為執(zhí)行針對視頻編碼的紋理合成的系統(tǒng)100的示例。向編碼器104提供輸入視頻102，編碼器104對輸入視頻102進行編碼。然后通 過通信信道106向解碼器108傳送編碼視頻數(shù)據(jù)。解碼器108對接收到的視頻數(shù)據(jù)進行解 碼，從而獲得解碼視頻數(shù)據(jù)110。解碼視頻數(shù)據(jù)110包括至少一些紋理數(shù)據(jù)114。紋理數(shù)據(jù)的一部分是種子紋理 114a，紋理數(shù)據(jù)的剩余部分是目標紋理114b。以高質(zhì)量編碼和傳送種子紋理114a，從而以 與解碼視頻數(shù)據(jù)110內(nèi)的非紋理數(shù)據(jù)相同的方式對種子紋理114a進行解碼。目標紋理114b 是要在解碼器側合成的紋理數(shù)據(jù)110的一部分。向紋理合成器116提供解碼視頻110。紋理合成器116合成目標紋理114b。從 而，輸出視頻118內(nèi)的紋理數(shù)據(jù)114包括解碼區(qū)域120a(對應于種子紋理)和合成區(qū)域 120b (對應于目標紋理)?，F(xiàn)在參照圖2。圖2示出了配置為使用輔助信息222執(zhí)行針對視頻編碼的紋理合 成的系統(tǒng)200的示例。系統(tǒng)200包括編碼器204和解碼器208。編碼器所位于的設備被稱作編碼器設備 224。類似地，解碼器所位于的設備被稱作解碼器設備226。向編碼器204和紋理分析器228均提供輸入視頻202。編碼器204對輸入視頻202 進行編碼，并且將編碼視頻作為數(shù)據(jù)比特流230傳送給向解碼器208。紋理分析器228識別輸入視頻202內(nèi)的紋理數(shù)據(jù)。大多數(shù)紋理數(shù)據(jù)是不進行編碼 的；而是，只有小部分紋理數(shù)據(jù)(即，種子紋理)要進行編碼和傳送，剩余的紋理數(shù)據(jù)232由 紋理合成器216進行合成。紋理分析器228檢查輸入視頻202，以確定輔助信息222，輔助信 息222被傳送給紋理合成器216。輔助信息222輔助紋理數(shù)據(jù)232的合成。輔助信息222 可以包括要合成的紋理數(shù)據(jù)的低質(zhì)量版本。解碼器208對接收到的數(shù)據(jù)比特流230進行解碼，并輸出解碼視頻210。紋理合成 器216產(chǎn)生合成的紋理數(shù)據(jù)232。將解碼視頻210和合成的紋理數(shù)據(jù)232加在一起以獲得 輸出視頻118。現(xiàn)在參照圖3。圖3示出了根據(jù)本公開的可以由編碼器設備實現(xiàn)的方法300的示 例。方法300可以關于包括紋理數(shù)據(jù)在內(nèi)的輸入視頻來執(zhí)行。方法300可以包括識別 輸入視頻中要合成的一個或多個區(qū)域，即，識別包括紋理數(shù)據(jù)在內(nèi)的輸入視頻區(qū)域。這些區(qū) 域這里被稱作合成區(qū)域?？梢詫⒑铣蓞^(qū)域的一個或多個部分標記為304種子紋理?？梢砸愿弑Ｕ娑认蚪獯a 器傳送306種子紋理?？梢砸缘捅Ｕ娑认蚪獯a器傳送合成區(qū)域的剩余部分。現(xiàn)在參照圖4。圖4示出了根據(jù)本公開的可以由解碼器設備實現(xiàn)的方法400的示 例。方法400可以包括以高保真度接收402種子紋理。方法400還可以包括以低保真 度接收404合成區(qū)域的剩余部分。方法400還可以包括接收406對要合成的區(qū)域的標記。 然后，可以基于接收到的高保真度種子紋理，并且還可以基于接收到的合成區(qū)域的低保真 度部分，來合成408這些區(qū)域?，F(xiàn)在參照圖5。圖5示出了圖4方法中合成紋理數(shù)據(jù)的區(qū)域的步驟的一種可能實現(xiàn)方式。圖5所示的方法500示出了可以關于要合成的特定數(shù)據(jù)區(qū)域(例如，塊)來執(zhí)行 的步驟。該區(qū)域被稱作當前合成區(qū)域?？梢葬槍σ铣傻拿總€數(shù)據(jù)區(qū)域來重復圖5所示的 步驟。例如，可以逐塊地執(zhí)行紋理合成，并且可以針對每個塊執(zhí)行所示步驟。方法500可以包括識別502種子紋理內(nèi)與當前合成區(qū)域的低保真度版本(即，要 合成的區(qū)域的低保真度版本)最佳匹配的區(qū)域。在種子紋理內(nèi)識別的區(qū)域被稱作最佳匹配 區(qū)域。作為一個特定實現(xiàn)，可以計算所提取的像素與種子數(shù)據(jù)內(nèi)所有可能位置之間的平 方誤差?？梢詫⒕哂凶钚≌`差的位置識別為最佳匹配。在第二特定實現(xiàn)中，計算平方誤差。 然而，首先識別具有小于閾值的平方誤差的位置。然后，可以隨機地從所識別的位置中選擇 最佳匹配?？梢詫碜杂谧罴哑ヅ鋮^(qū)域的像素值拷貝504至當前合成區(qū)域。這為當前合成區(qū) 域提供了像素值的初始估計?？梢詮淖罴哑ヅ鋮^(qū)域中導出506圖像模型。在本公開中，考慮使用空時相關的特 定情況作為模型。然而，其他模型也是合理的。例如，可以使用像素亮度直方圖、變換系數(shù) 直方圖、以及變換域中的相關。圖像建模還能夠基于來自于種子紋理的多個補丁?？梢酝ㄟ^在搜索種子紋理時保 持N個最佳候選來獲得多個補丁，并且使用這些補丁使得可以探究補丁外觀的變化(以相 鄰像素以條件)。在實際建模中，多個補丁可以簡單地用作模型估計中的額外樣本；或者備 選地，多個補丁可能是統(tǒng)計建模的額外維度。在后一種情況下，可以將每個模型參數(shù)CM(i) (從第i個補丁中提取的)視為所有可能圖像模型的空間中的一個實例。隨后，能夠使用模 型參數(shù)空間中那些實例的分布來提供更靈活的統(tǒng)計圖像模型。稍后給出探究圖像建模中多 個補丁信息的一個具體示例，其使用補丁相關空間中的主分量分析。方法500還可以包括從傳送的比特流中提取508圖像模型。例如，可以從傳送的 比特流中提取508量化參數(shù)、量化的等級值、以及可選地提取預測模式?？梢允褂矛F(xiàn)有技術 視頻編碼系統(tǒng)的方法(例如，ITU和MPEG標準族)來傳送所有信息。接收到的數(shù)據(jù)然后可 以用于產(chǎn)生重構的圖像幀，從而除了比特流中信息以外，還具有重構的像素值。然后可以基于初始估計以及導出和提取的圖像模型，來合成510當前合成區(qū)域。 更具體地，可以通過找到像素值集合來合成所需圖像區(qū)域，該像素值集合相對“接近”于合 成補丁，而且還滿足導出和提取的圖像模型。在本討論中，假定圖像模型是二進制約束。即， 合成結果要么滿足圖像模型，要么不滿足圖像模型。(不存在部分隸屬關系。)這可以表達 為ρ = arg min ||p - p||2 s.t. Corr (ρ) = Cm , β [τ (ρ - b^ ), 9] = ζ(1)其中，β是合成結果，P表示被選作種子紋理與局部鄰域之間的匹配算法的結果的 亮度值，CorrO是計算ρ的相關的函數(shù)，Cm是針對從種子紋理提取的相關的模型，Q[]是量 化算子，T是變換矩陣，bE是重構的圖像幀，q是量化參數(shù)，以及ζ是零向量。為了找到合成結果β，本發(fā)明考慮迭代解ρ,+1=(2)
其中，&和P。分別是施行在比特流中的輔助信息的投影算子以及從種子數(shù)據(jù)中導 出的圖像模型的投影算子，α是控制算法收斂性的參數(shù)，以及k是迭代標識符。該處理在 以下條件時終止
3
Xc其中，T是接近零的閾值。變換系數(shù)的投影約束輔助信息約束Pt使用比特流中的信息來限制合成紋理。這里本發(fā)明假定，編碼器 向解碼器傳送原始圖像序列的低質(zhì)量版本，并且解碼器使用在合成操作期間使用該低質(zhì)量 版本。該低質(zhì)量版本逐塊地表示為 bK = bpr^THc, q]
⑷其中，bK表示當前塊的重構亮度值，bPred表示當前塊的預測亮度值，T1是逆變換運 算，Q-1是逆量化過程，以及c表示在比特流中傳送的針對當前塊的系數(shù)。項(Γ不是嚴格的 Q的逆，而是表示被稱作逆量化的過程。這樣，目的是要限制針對紋理合成的解空間，以僅僅包含可以映射到相同bK的信 號。(換言之，該思想是，任何有效紋理在被提供給編碼器時應當量化/重構至比特流中表 達的相同的bK)。該約束可以表示為
Pt [χ] = χ-Γ 其中
(5)
xr,=
max
max
上 J
r(x-wo
6
/Iv以及Xc是校正向量，xai是xc的第i個分量，以及T(x_bK)是T(x_bK)的第i個分 量。應當注意，Ρτ[Ρτ[χ]]等于Ρτ[χ]。相關模型的投影約束信號模型約束P。使用來自于種子紋理的信息，來限制合成結果。這里，本發(fā)明假定 合成算法確定種子紋理中與正合成的當前塊相對應的區(qū)域。對于本討論的剩余部分，本發(fā) 明假定該定位由三元組(X，1，t)確定，三元組(X，y，t)表示種子紋理上空間和時間位置。為了應用約束，以找到種子中相鄰像素之間的關系開始。這可以通過對以下方程 進行求解來完成 mc = (NtN) ^1Nt0
(7) 其中，ο是包含來自于種子紋理的像素值在內(nèi)的向量，N是包含種子紋理的鄰域在 內(nèi)的矩陣，以及m。是用于給定鄰域情況下的觀察的最佳(w.r.t.l2)線性預測。為了示意0 和N的內(nèi)容，考慮以下情況。假定在給定鄰域大小為AXBXC的情況下，希望估計種子紋理 中大小為XXYXZ的塊的線性預測。可以利用以下偽代碼來構造矩陣z=0for(i = X ;i < i+X ；i++)0087]for(j = y ;j < j+Y ；j++)
0088]for(k = t ;k < t+Z ；k++)
0089]{
0090]o(z) = Seed(i，j，k)
0091]1 = 0；
0092]for (a = -A/2 ；a < A/2 ；a++)
0093]for (b = _B/2 ；b < B/2 ；b++)
0094]for(c = O ;c < C ；c++)
0095]{
0096]if(a&&b&&c)
0097]{
0098]N(l, z) = Seed(i+a, j+b, k_c)；
0099]1++ ；
0100]} 0101] }
0102]ζ++;
0103]}然后可以針對當前合成結果來重復相同過程。即，對于Pe [χ]，可以計算χ中位置 的鄰域。這表示為Nx，然后獲得以下方程IT^=(NX)-Xx(8)其中，mx表示針對當前合成結果的最佳線性預測。然后利用以下過程更新X，使得 其具有與％相同的線性預測χ = x+Nx (mc-mx)(9)然而，對于大多數(shù)實際應用而言，鄰域的構造不允許針對投影的直接解。這是由于 以下事實以上方程一次更新所有像素值，并且這些更新是基于更新之前的X的值?？赡芨?好的求解是使用迭代方程xk+1 = xk+^Nx,k(mc-mx,k)(10)其中，k表示迭代。則約束的表達式為Pc [x] = Xk+ β Nx, k (mc-mx, k) s. t. mc = = mx, k+1 (11)其中，β是控制收斂性的標量。有利地，在每個時間步驟k，僅更新χ的一部分。滿足相關模型的備選解決方案是使用頻域方法。這里，針對要合成的塊計算自相 關矩陣C。同樣假定可以從可用于解碼器的信息中導出的所需的自相關模型CD。然后，對 矩陣H求解，使得HC = CD。這里，矩陣H描述了將要合成的塊映射至所需相關模型而所需 的濾波器。則得到濾波器f由所需的H描述。作為用于找到濾波器的一個方法，本發(fā)明在頻 域中表示H。然后，對頻域值應用絕對值和平方根運算。最后，計算傅立葉逆變換以確定濾 波器f的值。對于f可能存在多個解，這導致相同幅度響應。根據(jù)本公開可以使用用于選 擇f的值的其他方法。無論使用何種方法，通過f中的濾波器值對要合成的塊進行濾波。
在算法的一些實現(xiàn)中，可以在濾波之后對要合成的塊的自相關進行重新計算。當 該塊不滿足所需的自相關時，重復上述過程。該過程繼續(xù)，直到滿足模型為止。稀疏性約束統(tǒng)計圖像模型也可以基于稀疏性假定。不嚴格地講，針對紋理圖像的稀疏性假定 意味著，只有少數(shù)“紋理圖元”是活躍的。為此，本發(fā)明采用局部基礎的線性正交變換，例如， 塊DCT和小波。變換域中的稀疏表示將提供以下約束N個變換系數(shù)中大約M個變換系數(shù) 具有較小幅度。索引集合I(i)指定N個系數(shù)中哪些較小。或者，本發(fā)明還可以將稀疏性約 束擴展為直方圖不變量約束，該直方圖不變量約束結合了變換系數(shù)幅度的分布。相應的投影算法可以看起來與以下有些類似。首先，可以通過在變換域中應用閾 值化來從種子補丁獲知直方圖H*。然后，可以使用公知的直方圖均衡技術，將當前信號估 計的直方圖H(T(xk))與H*相匹配。該操作可以表示為H*(T(Xk))?？梢酝ㄟ^應用諸如移動 DCT等過完備變換，來實現(xiàn)附加的平滑。假定T1 Tp表示具有不同移動的DCT變換，可以
使用簡單平均或加權平均，來組合ΤΤΥ/ΖΥΓ^λ^Λ^ Τ；'(H*(Tp(Xk)))。當然，除了諸如補丁自相關等其他模型以外，稀疏性約束還能夠用作投影過程中 的附加模型。邊界考慮惱人的邊界偽像可能由基于逐塊的紋理合成器產(chǎn)生。這樣的不連續(xù)會出現(xiàn)在兩種 類型的塊邊界上，即，補丁邊界和施行輔助信息約束時的變換塊邊界。關于補丁邊界，這里，補丁是用于種子紋理搜索的單元。由于在大多數(shù)情況下，在 搜索種子紋理時對于相鄰區(qū)域不存在完美匹配，因此會在修補的結果中出現(xiàn)不連續(xù)。關于施行輔助信息約束時的變換塊邊界，由于在無交疊塊上指定輔助信息，因此， 針對每個塊單獨施行輔助信息約束會不可避免地引起塊狀偽像。為了修正第一種類型的不連續(xù)，已經(jīng)提出了用于混合交疊補丁的多種方法。在視 頻編碼設計中，去塊濾波器通過對尖銳邊緣進行平滑來提高視覺質(zhì)量和預測性能，其中尖 銳邊緣是在使用塊編碼技術時在塊之間形成的。利用這種現(xiàn)有方法的一個問題是，不能保 證最終結果滿足輔助信息約束或滿足本發(fā)明假定的圖像模型。因此，期望構建邊界平滑性 約束，作為紋理合成器設計的完整部分，從而不需要后處理步驟來平滑不連續(xù)。處理邊界偽像的一種方法是在投影序列中添加邊界平滑施行步驟 Ps[Pc[Ρτ[X]]]。這里，ps[]步驟通過執(zhí)行補丁混合以及去塊，來處理兩種類型的塊邊界。使 用重復的投影，整體合成器旨在找到滿足所涉及的所有約束(包括邊界平滑性)的解?，F(xiàn)在提供對以上算法的附加的置換和增強的討論。針對限幅的投影約束信號模型約束P。使用來自于種子紋理的信息來限制合成結果。這里，本發(fā)明引入 針對種子紋理的附加模型。即，施行紋理的動態(tài)范圍。在一個示例中，本發(fā)明首先測量種子 紋理中的最大和最小亮度值。然后，將合成結果限制到不超過該范圍。這可以通過將合成 結果中的任何亮度值映射至最小或最大值中更接近的那個值來施行。作為第二示例，本發(fā)明不測量種子紋理中的最大和最小亮度值。而是確定合成結 果的比特深度。對落在該范圍之外的亮度值進行限幅，以使其處于允許的范圍內(nèi)。具體地， 如果合成結果是8比特圖像，則小于0或大于255的值是不允許的。在該示例中，為任何大
12于255的值分配值255。類似地，為任何小于0的值分配值0。模型參數(shù)的提取在先前討論中，本發(fā)明假定將種子紋理中的唯一位置識別為最佳匹配。然后，從該 區(qū)域中提取針對種子紋理的模型。這里，本發(fā)明對該構思進行廣義化，考慮將種子紋理中的 多個位置識別為良好匹配。此外，可以利用置信度度量來表示匹配的“良好性”。在這種更一般的情況下，針對種子的相關模型擴展如下mc = (NtWtWN) ^1NtWtWo(12)其中，W是對角矩陣，元素W(k，k)表示向量ο中位置k處的置信度。因果性針對給定塊的補丁ρ的選擇需要與塊的空間和時間鄰域有關的信息。在該擴展中， 識別補丁P并隨后將該補丁細化，以產(chǎn)生P。然后，在構造后續(xù)塊的鄰域時使用補丁鄉(xiāng)，以找到 針對那些塊的P。不幸地，當施行信號建模約束時，該因果處理導致折衷。具體地，模型可以針對因 果像素和非因果像素來描述關系。(例如，相關約束可以要求像素值是平滑的，應當在當前 塊的因果和非因果邊界處均施行該約束)。當上述為真實情況時，期望使用先前段落中描 述的因果方法來初始地找到針對每個塊的β的值。盡管遵照這些計算，但是，可以利用更全 局的操作，來細化所有位置處的β值。在這種全局操作中，本發(fā)明同時對幀中的所有6進行求 解。這可以通過同時針對所有塊使用方程(1)中的迭代來完成。即，使用所有塊處的β值， 計算每個塊位置的。對信號模型的信號通知可以不從種子紋理中顯式地導出信號模型。而是，可以在比特流中傳送信號模型。 這種傳送可以是顯式的，原因在于可以直接從編碼器向解碼器傳送所需的模型信息。備選 地，信號通知可以是對解碼器處導出的模型的細化。在第二種情況下，紋理合成操作仍檢查 種子紋理并提取模型信息。但是，通過在比特流中傳送的信息來細化模型信息。非因果處理在大多數(shù)以上討論中，紋理合成算法以因果方式對相鄰因果塊進行操作。這是由 于需要用于從種子紋理中選擇補丁的鄰域信息。盡管作為算法的廣義化，上述方法也可以 在沒有因果限制的情況下實現(xiàn)。即，可以對于圖像幀/序列中的每個塊，識別補丁。此外，也 可以識別出信號模型和輔助信息。紋理合成操作同時合成圖像幀/序列中的所有相鄰塊。 注意，這可能需要迭代過程來解決圖像塊和/或幀之間的依賴性。作為非因果處理的特定實現(xiàn)，可以實現(xiàn)因果紋理合成，以允許補丁的識別。然后， 可以以非因果方式來處理圖像幀(或序列)?，F(xiàn)在參照圖6。圖6示出了圖4方法中合成紋理數(shù)據(jù)區(qū)域的步驟的另一種可能實 現(xiàn)方式。圖6所示的方法600示出了可以關于要合成的具體數(shù)據(jù)區(qū)域而執(zhí)行的步驟，該具 體數(shù)據(jù)區(qū)域被稱作當前合成區(qū)域?？梢葬槍σ铣傻拿總€數(shù)據(jù)區(qū)域來重復圖6所示的步
馬聚ο方法600可以包括識別602種子紋理內(nèi)與當前合成區(qū)域的低保真度版本(即，要 合成的區(qū)域的低保真度版本)最佳匹配的區(qū)域。在種子紋理內(nèi)識別的區(qū)域被稱作最佳匹配區(qū)域?？梢栽谧罴哑ヅ鋮^(qū)域與當前合成區(qū)域之間定義604紋理相似性度量。然后可以使 用迭代最優(yōu)化來最小化606紋理相似性能量。在圖6的方法600中，可以將紋理相似性定義為合成圖像的給定塊與種子紋理中 其最佳匹配塊之間的距離(如圖7所示，將在以下進行討論)。然后可以通過對所有這些塊 失真值進行求和，來獲得總紋理能量?？梢砸匀绶匠?3所示的交疊方式來從合成的紋理中 提取這些塊。 其中，下標ρ指示交疊網(wǎng)格像素ρ周圍的NXN塊，即鄰域塊synp之間具有交疊區(qū) 域。例如，如果合成的紋理與種子紋理相同，則紋理能量為零。如果簡單修補兩個種子紋理， 則包括補丁邊界在內(nèi)的一些塊將產(chǎn)生較大失真。最后，最優(yōu)輸出是具有如方程13中的最小紋理能量值的一個輸出。然而，重要的 是，找到最小化紋理能量的最優(yōu)解。一種方法是使用基于多分辨率方法的類似EM的迭代最 優(yōu)化方法，其中，迭代地定義紋理的初始估計，以減小紋理能量。具體而言，M步驟通過從種 子中找到最佳匹配圖像塊，來基于固定的合成圖像，最小化紋理能量，并且隨后的E步驟通 過對方程14的系統(tǒng)方程進行求解，來基于一組固定種子塊，最小化紋理能量。 此外，可以使用多分辨率和多標度形式的紋理合成方法?？梢院铣纱致约墑e圖像 處的紋理，可以利用上采樣來對在精細級別圖像處的當前階段的輸出紋理進行細化。這樣 的多分辨率方法能夠保留全局紋理結構，并防止最優(yōu)化過程容易地落入局部最小值中。與 多分辨率方法類似，還提供了多標度形式合成，其中，該方法從大塊到小塊地改變塊大小。 這樣的方法有利地保持全局結構，同時合成精細細節(jié)?，F(xiàn)在參照圖7。在圖7中，示出了合成的紋理714c以及種子紋理714a。如上所述， 合成紋理數(shù)據(jù)可以包括識別種子紋理714a內(nèi)與當前合成區(qū)域720b的低保真度版本(即， 要合成區(qū)域的低保真度版本)最佳匹配的區(qū)域720c。基于粗標度版本圖像的視頻紋理合成基于上述基于范例的方法，本發(fā)明將算法擴展至3D視頻域。事實上，可以通過從 3D立方體而不是2D圖像塊方面定義方程12中說明的紋理能量，來直接明了地進行擴展。 此外，如上所述，當合成新紋理時應當考慮附加的信息。換言之，當搜索最佳匹配立方體時 應當包括附加的引導信息。(這里術語“引導信息”和“輔助信息”可以相互交換使用)這 可以用方程15來表示。其中，Cp是交疊網(wǎng)格像素ρ周圍的立方體，Il Synp-Seedp Il 2是指示 最佳匹配區(qū)域與當前合成區(qū)域之間的差異的紋理相似性度量，函數(shù)d指示輔助信息度量， 輔助信息度量指示合成的圖像與粗標度圖像之間的差異，可以根據(jù)粗標度圖像的類型來確 定這種差異。
當從以上方程14找到最優(yōu)輸出時，顯而易見地，合成的紋理很大程度上依賴于λ值和引導信息的量。例如，如果設置λ =0，則在沒有任何引導信息的情況下，總體框架與 合成的新紋理相同。另一方面，較大的λ值使得引導信息對總體紋理形狀產(chǎn)生嚴重影響。為了確定圖像的粗標度版本，所提出的方法使用標準編碼器/解碼器，并使用重 構的圖像作為粗標度引導信息。作為不同觀點，可以解釋為基于先前解碼的高質(zhì)量視頻 (種子視頻)對低質(zhì)量視頻(粗標度目標視頻)進行重新合成。對用于粗標度數(shù)據(jù)提取的 當前標準編碼算法的選擇在許多方面是有用的。首先，使得更容易將當前算法嵌入至當前 標準中，而無需系統(tǒng)的任何較大改變，并且不需任何附加模塊來產(chǎn)生引導信息。同樣，可以 通過簡單改變量化參數(shù)(QP)值來容易地控制引導信息的質(zhì)量。由于通過當前編碼算法的塊變換和量化來獲得粗標度圖像，因此應當仔細確定輔 助信息度量d。例如，簡單的歐式距離可能不是有效的，特別在使用較大QP值時。本發(fā)明通 過在變換域中投影來找到最接近的點，并且假定是如圖8所示的投影點與當前點之間的距罔。區(qū)域自適應量的引導信息在當前框架中，可以將低質(zhì)量圖像視為引導信息，以控制合成的輸出紋理的大體 形狀。因此，引導信息的重要性應當是局部地不同的。換言之，在沒有任何引導信息的情況 下，能夠很好地合成紋理的一些部分，這是由于這些紋理的鄰域紋理也控制當前紋理形狀， 但是，一些區(qū)域卻不能被很好地合成。在這種情況下，所提出的算法針對紋理的不同區(qū)域使 用不同量的引導信息。因此，問題在于如何確定引導信息的量，S卩，應當在編碼器側向不同區(qū)域分配多少 信息，并且編碼器與其附加輔助信息一起發(fā)送區(qū)域自適應引導信息，來識別哪個區(qū)域使用 哪個QP值。由于應當在編碼器側確定引導信息的量，因此值得注意的是，種子和目標紋理 均是已知的，從而本發(fā)明提出迭代算法來確定引導信息的量。圖9示出了用于確定引導信息的量的方法900。根據(jù)所示的方法900，以非常少的 引導信息(最高QP)開始902。然后，針對每個立方體從種子紋理中找到904最佳匹配立方 體(M步驟)。根據(jù)最佳匹配立方體的集合來計算906合成的紋理(E步驟)。然后逐立方 體地計算908誤差值，并且找到910最大誤差。然后，可以為最大誤差立方體提供912附加 引導信息?？梢灾貜筒襟E904至912，直到滿足預定比特預算為止，或者直到?jīng)]有進一步的 明顯改善為止。在圖10中以圖形方式示出了圖9的方法900。搜索算法的復雜性降低為了降低計算復雜性，本發(fā)明盡可能多地利用當前框架的獨特屬性，這些獨特屬 性是(1)所有種子(參考)圖像是固定的并可用于所有目標圖像，(2)種子數(shù)據(jù)是圖像(或 視頻)，從而在鄰近立方體之間具有較強的空間和時間相關，(3)目標塊的塊變換通過基于 塊的編碼/解碼而可用，以及(4)當前框架基于多分辨率方法。為了最大化上述屬性，利用 以下來實現(xiàn)復雜性降低方法(1)無交疊至交疊的網(wǎng)格搜索，(2)使用空間和多分辨率關系 減小搜索空間，以及(3)使用變換域系數(shù)來減少計算。以下描述詳細內(nèi)容。首先，由于當前算法在交疊網(wǎng)格空間中搜索最佳匹配立方體，這比僅搜索無交疊 網(wǎng)格空間需要更多的計算量。思想在于，如果兩個鄰近立方體包括種子的相同部分，則內(nèi)部 立方體簡單采用該相同的種子部分，而無需搜索。其次，本發(fā)明基本上使用多分辨率方法， 即，首先在粗分辨率下搜索最佳匹配立方體，隨后在精細分辨率下對該立方體進行細化。由于粗分辨率空間的大小遠小于更精細的分辨率空間的大小，因此，可以節(jié)省顯著的計算量。 例如，當在粗分辨率級別下選擇網(wǎng)格(i，j)時，如圖11所示，在精細分辨率級別下探究該網(wǎng) 格的 9 個鄰域值，即，(2i-l，2j-l)至(2i+l，2j+l)。作為空間關系，本發(fā)明還基于預先已找到的內(nèi)容來限制搜索空間。例如，當搜索如 圖12所示的交疊網(wǎng)格(i，j)時，本發(fā)明使用其最佳匹配索引信息的鄰域(已經(jīng)找到的)集 合，來限制種子空間。最后，本發(fā)明在計算紋理距離時使用塊變換域。因此，本發(fā)明在計算距離時僅考慮 幾個最大幅度系數(shù)，以降低復雜性。這類似于一般的主分量分析(PCA)方法，并且假定塊變 換允許提取圖像中的幾個主分量。這種通過維度降低的近似不會使輸出質(zhì)量劣化很多?，F(xiàn)在參照圖13。圖13示出了根據(jù)本公開的可以包括在解碼器設備1326中的一些 組件，解碼器設備1326被配置用于利用輔助信息的針對視頻編碼的紋理合成。解碼器設備1326包括處理器1334。處理器1334可以是通用的單或多芯片微處 理器(例如，ARM)、專用微處理器(例如，數(shù)字信號處理器(DSP))、微控制器、可編程門陣列 等。處理器1334可以被稱作中央處理單元(CPU)。盡管在圖13的解碼器設備1326中僅示 出了單個微處理器1334，但是在備選配置中，能夠使用處理器的組合(例如，ARM和DSP)。解碼器設備1326還包括存儲器1336。存儲器1336可以是能夠存儲電子信息的任 何電子組件。存儲器1336可以具體實現(xiàn)為隨機存取存儲器(RAM)、只讀存儲器(ROM)、磁盤 存儲介質(zhì)、光存儲介質(zhì)、RAM中的閃速存儲器件、與處理器包括在一起的板上存儲器、EPROM 存儲器、EEPROM存儲器、寄存器等，并包括上述的組合。數(shù)據(jù)1338和指令1340可以存儲在存儲器1336中。指令1340由處理器1334可 執(zhí)行，以實現(xiàn)各種功能。執(zhí)行指令1340可以包括使用在存儲器1336中存儲的數(shù)據(jù)1338。存儲器1336中的數(shù)據(jù)1338的一些示例包括種子紋理1314a、合成區(qū)域的低保真 度部分1342、對要合成的區(qū)域的標記1344、合成區(qū)域1320b等。與實現(xiàn)這里描述的技術有 關的其他類型的數(shù)據(jù)1338也可以包括在存儲器1336中。存儲器1336中的指令1340的一些示例包括用于以高保真度接收種子紋理 1314a的指令1346、用于以低保真度接收合成區(qū)域的剩余部分1342的指令1348、用于接收 對要合成的區(qū)域的標記1344的指令1350、以及用于基于高保真度種子紋理1314a和合成區(qū) 域的低保真度部分1342來合成標記的區(qū)域的指令1352。與實現(xiàn)這里描述的技術有關的其 他指令1340也可以包括在存儲器1336中。解碼器設備1326也可以包括發(fā)射機1354和接收機1356，以允許解碼器設備1326 與遠程位置之間的信號發(fā)送和接收。發(fā)射機1354和接收機1356可以共同被稱作收發(fā)機 1358。天線1360可以電耦合至收發(fā)機1358。解碼器設備1326還可以包括多個發(fā)射機、多 個接收機、多個收發(fā)機和/或多個天線(未示出)。解碼器設備1326還可以包括用于與其他設備進行通信的一個或多個通信端口 1326。與其他設備的通信可以直接和/或經(jīng)由計算機網(wǎng)絡而發(fā)生。通信端口 1362的一些 示例包括以太網(wǎng)端口、通用串行總線(USB)端口、并行端口、串行端口等。解碼器設備1326還可以包括一個或多個輸入設備1364。輸入設備1364的示例包 括鍵盤、鼠標、遙控器、麥克風、按鈕、操縱桿、軌跡球、觸摸板、光筆等。解碼器設備1326還可以包括顯示器1366。也可以提供顯示控制器1368，用于將存儲在存儲器1336中的數(shù)據(jù)1338轉換成在顯示器1366上顯示的文本、圖形、和/或運動 圖像(如果適當)。解碼器設備1326的各種組件可以通過一個或多個總線耦合在一起，所述一個或 多個總線可以包括電源總線、控制信號總線、狀態(tài)信號總線、數(shù)據(jù)總線等。為了清楚起見，在 圖13中示出了各種總線作為總線系統(tǒng)1372。現(xiàn)在參照圖14。圖14示出了根據(jù)本公開的可以包括在編碼器設備1424中的特定 組件，該編碼器設備1424被配置為對利用輔助信息的針對視頻編碼的紋理合成進行輔助。編碼器設備1424包括與上述結合解碼器設備1326描述的那些組件類似的組件。 具體地，編碼器設備1424包括處理器1434、存儲器1436、存儲在存儲器1436中的數(shù)據(jù)1438 和指令1440、發(fā)射機1454和接收機1456 (可以共同被稱作收發(fā)機1458)、天線1460、通信 端口 1462、輸入設備1464、顯示器1466、顯示控制器1468、輸出設備1470等。編碼器設備 1424的各個組件可以通過總線系統(tǒng)1472耦合在一起。存儲器1436中的數(shù)據(jù)1438的一些示例包括輸入視頻1402、種子紋理1414a、合 成區(qū)域的低保真度部分1442、對要合成的區(qū)域的標記1444等。與實現(xiàn)這里描述的技術有關 的其他類型的數(shù)據(jù)1438也可以包括在存儲器1436中。存儲器I436中的指令I440的一些示例包括用于識別輸入視頻1402中要合成的 區(qū)域的指令1474、用于將合成區(qū)域的一部分1442標記為種子紋理1414a的指令1476、用于 以高保真度向解碼器設備傳輸?shù)姆N子紋理1414a的指令1478、以及用于以低保真度向解碼 器設備傳輸合成區(qū)域的剩余部分1442的指令1480。與實現(xiàn)這里描述的技術有關的其他指 令1440也可以包括在存儲器1436中。在以上描述中，有時結合各種術語使用了參考數(shù)字。其中，術語與參考數(shù)字結合使 用，這意味著指代在一幅或多幅圖中所示的特定元素。其中，在沒有參考數(shù)字的情況下適于 術語，這意味著一般指代該術語，而不限制于任何具體的圖。例如，對“解碼器設備1326”的 引用指代了圖13中所示的特定電子設備。然而，沒有參考數(shù)字的“解碼器設備”的使用指 代適合于使用該術語的上下文的任何解碼器設備，并不限于圖中所示的任何具體解碼器設 備。如這里所使用的，術語“確定”包括多種類型的動作，從而“確定”可以包括推算、 計算、處理、導出、調(diào)查、查找(例如，在表、數(shù)據(jù)庫或其他數(shù)據(jù)結構中的查找)、判定等。同 樣，“確定”可以包括接收(例如，接收信息)、訪問(例如，訪問存儲器中的數(shù)據(jù))等。同 樣，“確定”可以包括解決、選擇、選定、建立等。短語“基于”并不意味著“僅基于”，除非另外明確指定。換言之，短語“基于”描述 “僅基于”和“至少基于”。術語“處理器”應當廣義解釋為包括通用處理器、中央處理單元(CPU)、微處理器、 數(shù)字信號處理器(DSP)、控制器、微控制器、狀態(tài)機等。在一些情況下，“處理器”可以指代專 用集成電路(ASIC)、可編程邏輯器件(PLD)、現(xiàn)場可編程邏輯門陣列(FPGA)等。術語“處理 器”可以指代處理器件的組合，例如，DSP與微處理器的組合、多個微處理器、與DSP核結合 的一個或多個微處理器、或任何其他這樣的配置。術語“存儲器”應當廣義解釋為包括能夠存儲電子信息的任何電子組件。術語存儲 器可以指代各種類型的處理器可讀介質(zhì)，例如，隨機存取存儲器(RAM)、只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、可編程只讀存儲器(PR0M)、可擦可編程只讀存儲器 (EPROM)、電可擦PROM(EEPROM)、閃速存儲器、磁或光數(shù)據(jù)存儲器、寄存器等。如果處理器可 以從存儲器讀取信息和/或向存儲器寫信息，則存儲器被稱為與處理器進行電子通信。存 儲器可以與處理器集成并且仍可以被稱為與處理器進行電子通信。術語“指令”和“代碼”應當廣義解釋為包括任何類型的計算機可讀語句、例如，術 語“指令”和“代碼”可以指代一個或多個程序、例程、子例程、函數(shù)、過程等。“指令”和“代 碼”可以包括單個計算機可讀語句或多個計算機可讀語句。這里所描述的功能可以以硬件、軟件、固件或其任何組合來實現(xiàn)。如果以軟件來 實現(xiàn)，則功能可以作為一個或多個指令存儲在計算機可讀存儲介質(zhì)上。術語“計算機可讀 存儲介質(zhì)”指代可以由計算機訪問的任何可用存儲介質(zhì)。作為示例，并不作為限制，計算機 可讀存儲介質(zhì)可以包括RAM、ROM、EEPROM、CD-ROM或其他光盤存儲、磁盤存儲或其他磁存 儲器件、或者可以用于承載或存儲指令或數(shù)據(jù)結構形式的所需程序代碼以及可以由計算機 訪問的任何其他介質(zhì)。這里所使用的磁盤或盤包括壓縮盤(CD)、激光盤、光盤、數(shù)字萬能盤 (DVD)、軟盤以及Blu-ray 盤，其中磁盤通常以磁方式再現(xiàn)數(shù)據(jù)，而盤利用激光以光方式再 現(xiàn)數(shù)據(jù)。還可以通過傳輸介質(zhì)來傳輸軟件或指令。例如，如果使用同軸電纜、光纜、雙絞線、 數(shù)字訂戶線路(DSL)或無線技術(例如，紅外、無線電以及微波)來從網(wǎng)站、服務器或其他 遠程源傳輸軟件，則同軸電纜、光纜、雙絞線、DSL或無線技術(例如，紅外、無線電以及微 波)包括在傳輸介質(zhì)的定義中。這里所公開的方法包括用于實現(xiàn)所描述方法的一個或多個步驟或動作。在不背離 權利要求范圍的前提下，方法步驟和/或動作可以彼此互換。換言之，除非步驟或動作的特 定順序是所描述的方法正確操作的需要，否則在不背離權利要求的范圍的前提下，可以對 特定步驟和/或動作的順序和/或使用進行修改。諸如執(zhí)行、處理、進行、運行、確定、通知、發(fā)送、接收、存儲、請求等功能和/或其他 功能可以包括使用web服務執(zhí)行功能。web服務可以包括軟件系統(tǒng)，軟件系統(tǒng)被設計為支 持通過計算機網(wǎng)絡(例如，互聯(lián)網(wǎng))的可相互操作的機器與機器的交互。web服務可以包 括可以用于在應用程序或系統(tǒng)之間交換數(shù)據(jù)的各種協(xié)議和標準。例如，web服務可以包括 消息收發(fā)規(guī)范、安全規(guī)范、可靠消息收發(fā)規(guī)范、事務處理規(guī)范、元數(shù)據(jù)規(guī)范、XML規(guī)范、管理規(guī) 范、和/或商業(yè)過程規(guī)范?？梢允褂美鏢OAP、WSDL、XML的常用規(guī)范和/或其他規(guī)范。應理解，權利要求不限于以上示出的精確配置和組件。在不背離權利要求的范圍 的前提下，可以對系統(tǒng)、方法和設備的布置、操作和細節(jié)進行各種修改、改變和變化。
權利要求
一種利用輔助信息的針對視頻編碼的紋理合成方法，所述方法由解碼器設備來實現(xiàn)，所述方法包括以高保真度接收種子紋理；以低保真度接收合成區(qū)域的剩余部分；接收對要合成的區(qū)域的標記；以及基于高保真度種子紋理以及合成區(qū)域的低保真度部分來合成所標記的區(qū)域。
2.根據(jù)權利要求1所述的方法，其中，合成所標記的區(qū)域包括 識別種子紋理內(nèi)的至少一個最佳匹配區(qū)域；獲得初始估計；從所述至少一個最佳匹配區(qū)域中導出圖像模型； 從接收到的比特流中提取附加的圖像模型；以及 基于初始估計以及導出和提取的圖像模型來合成當前合成區(qū)域。
3.根據(jù)權利要求2所述的方法，其中，獲得初始估計包括將來自于最佳匹配區(qū)域的像 素值拷貝至當前合成區(qū)域。
4.根據(jù)權利要求2所述的方法，其中，識別多個最佳匹配區(qū)域，所述方法還包括使用 所述多個最佳匹配區(qū)域的加權組合來合成所標記的區(qū)域。
5.根據(jù)權利要求2所述的方法，其中，所傳送的圖像模型包括量化參數(shù)、量化的等級 值、以及預測模式中的至少一個。
6.根據(jù)權利要求2所述的方法，其中，合成當前合成區(qū)域是通過迭代地投影到以下圖 像模型來執(zhí)行的從接收到的比特流中提取的圖像模型；以及 從種子紋理中提取的圖像模型。
7.根據(jù)權利要求6所述的方法，其中，從種子紋理中提取的圖像模型是自相關的，以及 用于迭代投影動作的投影算子是至預期相關模型的線性映射。
8.根據(jù)權利要求6所述的方法，其中，從種子紋理中提取的圖像模型在變換域中是稀 疏的，以及用于迭代投影動作的投影算子是用于達到所需的稀疏性的閾值化。
9.根據(jù)權利要求2所述的方法，還包括執(zhí)行補丁混合以及去塊，以施行邊界平滑。
10.根據(jù)權利要求2所述的方法，其中，所導出的圖像模型以及所傳送的不同類型的圖 像模型包括以下中的至少一個基于空時相關的模型； 基于像素亮度直方圖的模型； 基于變換系數(shù)直方圖的模型；以及 基于變換域中相關的模型。
11.根據(jù)權利要求1所述的方法，其中，合成所標記的區(qū)域包括 識別種子紋理內(nèi)的至少一個最佳匹配區(qū)域；定義紋理相似性度量，所述紋理相似性度量指示所述至少一個最佳匹配區(qū)域與當前合 成區(qū)域之間的差異；定義輔助信息度量，所述輔助信息度量指示輔助信息與當前合成區(qū)域之間的差異；以及聯(lián)合地最小化紋理相似性度量與輔助信息度量的組合。
12.根據(jù)權利要求11所述的方法，其中，通過在變換域中投影找到最接近點，來確定輔助信息度量。
13.根據(jù)權利要求11所述的方法，其中，執(zhí)行逐塊處理，以及利用針對(i)相鄰因果塊 或(ii)所有相鄰塊的合成的結果的知識，來執(zhí)行合成特定塊的動作。
14.根據(jù)權利要求11所述的方法，其中，合成所標記的區(qū)域的動作包括相對于所標記 的區(qū)域，執(zhí)行因果紋理合成，然后以非因果方式來處理所標記的區(qū)域。
15.根據(jù)權利要求1所述的方法，還包括通過執(zhí)行以下中的至少一個來降低計算復雜性無交疊網(wǎng)格搜索；使用空間和多分辨率關系來減小搜索空間；以及 在計算距離時使用數(shù)目減少的變換系數(shù)。
16.一種解碼器設備，被配置用于利用輔助信息的針對視頻編碼的紋理合成，包括 處理器；與所述處理器進行電子通信的存儲器； 存儲在存儲器中的指令，所述指令可執(zhí)行用于 以高保真度接收種子紋理； 以低保真度接收合成區(qū)域的剩余部分； 接收對要合成的區(qū)域的標記；以及基于高保真度種子紋理以及合成區(qū)域的低保真度部分，來合成所標記的區(qū)域。
17.根據(jù)權利要求16所述的解碼器設備，其中，合成所標記的區(qū)域包括 識別種子紋理內(nèi)的至少一個最佳匹配區(qū)域；獲得初始估計；從所述至少一個最佳匹配區(qū)域中導出圖像模型； 從接收到的比特流中提取附加的圖像模型；以及 基于初始估計以及導出和提取的圖像模型來合成當前合成區(qū)域。
18.根據(jù)權利要求17所述的解碼器設備，其中，合成當前合成區(qū)域是通過迭代地投影 到以下圖像模型來執(zhí)行的從接收到的比特流中提取的圖像模型；以及 從種子紋理中提取的圖像模型。
19.根據(jù)權利要求16所述的解碼器設備，其中，合成所標記的區(qū)域包括 識別種子紋理內(nèi)的至少一個最佳匹配區(qū)域；定義紋理相似性度量，所述紋理相似性度量指示所述至少一個最佳匹配區(qū)域與當前合 成區(qū)域之間的差異；定義輔助信息度量，所述輔助信息度量指示輔助信息與當前合成區(qū)域之間的差異；以及聯(lián)合地最小化紋理相似性度量與輔助信息度量的組合
20.一種編碼器設備，被配置輔助利用輔助信息的針對視頻編碼的紋理合成，包括 處理器；與所述處理器進行電子通信的存儲器； 存儲在存儲器中的指令，所述指令可執(zhí)行用于 識別要合成的輸入視頻區(qū)域； 將合成區(qū)域的一部分標記為種子紋理； 以高保真度將種子紋理傳送至解碼器設備；以及 以低保真度將合成區(qū)域的剩余部分傳送至解碼器設備。
21. 一種在計算機上執(zhí)行的計算機程序，所述計算機執(zhí)行以下步驟 以高保真度接收種子紋理；以低保真度接收合成區(qū)域的剩余部分； 接收對要合成的區(qū)域的標記；以及基于高保真度種子紋理以及合成區(qū)域的低保真度部分，來合成所標記的區(qū)域。
22.一種其上存儲有根據(jù)權利要求21所述的計算機程序的計算機可讀存儲介質(zhì)。
23.一種對利用輔助信息的針對視頻編碼的紋理合成進行輔助的方法，所述方法由編 碼器設備來實現(xiàn)，所述方法包括識別要合成的輸入視頻區(qū)域； 將合成區(qū)域的一部分標記為種子紋理； 以高保真度將種子紋理傳送至解碼器設備； 以低保真度將合成區(qū)域的剩余部分傳送至解碼器設備。
24.根據(jù)權利要求23所述的方法，還包括向解碼器設備發(fā)送針對不同紋理區(qū)域的不 同量的輔助信息。
全文摘要
一種利用輔助信息的針對視頻編碼的紋理合成方法，該方法可以由解碼器設備來實現(xiàn)。該方法可以包括以高保真度接收種子紋理。該方法還可以包括以低保真度接收合成區(qū)域的剩余部分。該方法還可以包括接收對要合成的區(qū)域的標記。該方法還可以包括基于高保真度種子紋理以及合成區(qū)域的低保真度部分來合成所標記的區(qū)域。解碼器設備還可以包括存儲在存儲介質(zhì)上的計算機程序。一種對利用輔助信息的針對視頻編碼的紋理合成進行輔助的方法也可以由編碼器設備來實現(xiàn)。
文檔編號H04N7/26GK101911703SQ200980102050
公開日2010年12月8日 申請日期2009年1月16日 優(yōu)先權日2008年1月18日
發(fā)明者克里斯多佛·A·西蓋, 吳秉泰, 蘇野平 申請人:夏普株式會社