專利名稱：視頻編碼中紋理合成區(qū)域的選取方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻編碼技術(shù)領(lǐng)域，尤其涉及一種視頻編碼中紋理合成區(qū)域的選
取方法及裝置。
背景技術(shù)：
為了在當(dāng)前有限的傳輸帶寬和存儲媒體中傳輸和存放圖像，在傳輸和存放視頻數(shù) 據(jù)時(shí)，通常需要對視頻數(shù)據(jù)進(jìn)行壓縮編碼處理。而對于每幅視頻畫面而言，由于具有均質(zhì)性 和特定樣式(例如唯一圖形或唯一紋理)的紋理區(qū)域占據(jù)了整個(gè)畫面的很大一部分，且其 攜帶信息相對較少，因此將紋理合成方法運(yùn)用到視頻壓縮編碼處理中，逐漸成為了近幾年 研究較熱門的課題之一。 把紋理合成的方法應(yīng)用于視頻編碼是指，將視頻圖像中部分紋理區(qū)域的紋理采用 相似的紋理進(jìn)行替換，產(chǎn)生主觀上相似的替代紋理，使合成的紋理塊在視覺上與輸入紋理 保持一致，以減少紋理區(qū)域的編碼比特，提高視頻壓縮的壓縮率。通常，為了實(shí)現(xiàn)對視頻圖 像的紋理合成，在對紋理區(qū)域進(jìn)行紋理合成之前，編碼器需要通過紋理分析提取紋理的統(tǒng) 計(jì)特征或根據(jù)紋理的差異，對每個(gè)圖像幀進(jìn)行區(qū)域的劃分。在此過程中，編碼器將每幀圖像 劃分為紋理區(qū)域和非紋理區(qū)域，對于紋理區(qū)域，采用紋理合成方法進(jìn)行紋理樣本的提取以 及編碼，而對于非紋理區(qū)域，則采用傳統(tǒng)的編碼方法進(jìn)行編碼壓縮。 現(xiàn)有的基于紋理合成的視頻編碼技術(shù)，雖然在提高圖像壓縮率上取得了很好的效 果，但是卻往往忽略了紋理合成區(qū)域的分配對主觀質(zhì)量造成的影響。對于單獨(dú)的一個(gè)圖像 幀而言，采用紋理合成方法可以使用很少的比特生成任意大小的高質(zhì)量相似紋理，且保證 視覺上不產(chǎn)生失真，但是對于一個(gè)視頻序列而言，若相鄰圖像幀之間紋理區(qū)域的分配沒有 一個(gè)適當(dāng)?shù)倪^度，而使得相鄰幀的紋理區(qū)域面積相差過大，這就必然會導(dǎo)致相鄰圖像幀從 紋理合成區(qū)域進(jìn)入非紋理合成區(qū)域，或者從非紋理合成區(qū)域進(jìn)入到紋理合成區(qū)域時(shí)，視頻 序列在播放時(shí)會在主觀視覺上產(chǎn)生不流暢、閃爍的現(xiàn)象。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種視頻編碼中紋理合成區(qū)域的選取方法及裝置，用以解決現(xiàn)
有技術(shù)中采用紋理合成方法進(jìn)行視頻壓縮編碼時(shí)，由于對相鄰圖像幀的紋理合成區(qū)域相差
過大，引起的主觀視覺上視頻序列出現(xiàn)不流暢、閃爍現(xiàn)象的缺陷。 本發(fā)明實(shí)施例提供一種視頻編碼中紋理合成區(qū)域的選取方法，包括 獲取視頻序列中的當(dāng)前圖像幀，判斷所述當(dāng)前圖像幀是否為幀間編碼幀； 若所述當(dāng)前圖像幀為幀間編碼幀，則按照為所述當(dāng)前圖像幀選取的紋理合成區(qū)域
的面積與所述當(dāng)前圖像幀和最近的幀內(nèi)編碼幀之間的間隔幀數(shù)成正比的選取原則，選取所
述當(dāng)前圖像幀中采用紋理合成方法進(jìn)行編碼的紋理合成區(qū)域。 本發(fā)明實(shí)施例還提供一種視頻編碼中紋理合成區(qū)域的選取裝置，包括 判斷單元，獲取視頻序列中的當(dāng)前圖像幀，判斷所述當(dāng)前圖像幀是否為幀間編碼幀； 紋理合成區(qū)域分配單元，用于若所述當(dāng)前圖像幀為幀間編碼幀，則按照為所述當(dāng) 前圖像幀選取的紋理合成區(qū)域的面積與所述當(dāng)前圖像幀和最近的幀內(nèi)編碼幀之間的間隔 幀數(shù)成正比的選取原則，選取所述當(dāng)前圖像幀中采用紋理合成方法進(jìn)行編碼的紋理合成區(qū) 域。 本發(fā)明實(shí)施例還提供一種視頻編碼裝置，包括上述的視頻編碼中紋理合成區(qū)域 的選取裝置、紋理樣本提取裝置以及編碼器；其中， 所述紋理樣本提取裝置與所述選取裝置連接，用于從所述選取裝置選取出的圖像 幀的紋理合成區(qū)域和非紋理合成區(qū)域中，提取出紋理樣本； 所述編碼器分別與所述選取裝置和所述紋理樣本提取裝置連接，用于對所述選取 裝置選取出的所述非紋理合成區(qū)域、以及所述紋理樣本提取裝置提取出的所述紋理樣本， 進(jìn)行編碼處理。 本發(fā)明實(shí)施例的視頻編碼中紋理合成區(qū)域的選取方法及裝置，通過在視頻編碼前 對視頻圖像進(jìn)行紋理分析時(shí)，對每個(gè)圖像幀分配的紋理合成區(qū)域進(jìn)行限定，根據(jù)當(dāng)前圖像 幀與最近的幀內(nèi)編碼幀之間的距離，選取每一圖像幀中的紋理合成區(qū)域，距離幀內(nèi)編碼幀 越近的圖像幀選取得到的紋理合成區(qū)域越多，使得整個(gè)視頻序列的相鄰圖像幀之間的紋理 合成區(qū)域面積逐漸地發(fā)生變化，從而在保證了壓縮率前提下，最大限度的避免了視頻播放 時(shí)不流暢、不連續(xù)以及閃爍現(xiàn)象的發(fā)生。


為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā) 明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明視頻編碼中紋理合成區(qū)域的選取方法實(shí)施例一的流程圖； 圖2為本發(fā)明視頻編碼中紋理合成區(qū)域的選取方法實(shí)施例二的流程圖； 圖3為本發(fā)明實(shí)施例中圖像幀的紋理合成區(qū)域面積與該圖像幀距幀內(nèi)編碼幀的
距離的一關(guān)系示意圖； 圖4為本發(fā)明實(shí)施例圖像幀的紋理合成區(qū)域面積與圖像幀的幀號的一關(guān)系示意 圖； 圖5為本發(fā)明視頻編碼中紋理合成區(qū)域的選取裝置實(shí)施例的結(jié)構(gòu)示意圖；
圖6為本發(fā)明視頻編碼裝置實(shí)施例的結(jié)構(gòu)示意圖。
具體實(shí)施例方式
為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是 本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員 在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
視頻壓縮編碼技術(shù)中，紋理合成方法是近年來研究較為熱門的課題之一。紋理合成方法將視頻圖像中的紋理區(qū)域部分的紋理，根據(jù)提取的紋理樣本進(jìn)行相似紋理的替換，在保證了主觀視覺質(zhì)量的同時(shí)，極大地減少了紋理區(qū)域在壓縮后的比特。但是在現(xiàn)有的紋理合成方法中，通常比較重視采取哪種紋理合成能夠帶來更大的壓縮率，而往往忽略了紋理分析時(shí)對紋理合成區(qū)域以及非紋理合成區(qū)域的分配，給視頻序列的主觀質(zhì)量造成的影響。 本發(fā)明實(shí)施例的核心在于，在對視頻圖像進(jìn)行壓縮解碼之前，對輸入的視頻序列進(jìn)行分析，根據(jù)當(dāng)前圖像幀的類型、以及與最近的幀內(nèi)編碼幀之間的距離確定分配的紋理合成區(qū)域的大小，使得相鄰圖像幀的紋理合成區(qū)域面積逐漸增加或減少，以最大限度地避免閃爍現(xiàn)象的發(fā)生。 圖1為本發(fā)明視頻編碼中紋理合成區(qū)域的選取方法實(shí)施例一的流程圖，如圖1所示，本方法包括如下步驟 步驟100，獲取視頻序列中的當(dāng)前圖像幀，判斷當(dāng)前圖像幀是否為幀間編碼幀；
對于一個(gè)視頻序列而言，其由多個(gè)連續(xù)的圖像幀組成，而且在圖像中，空間上相鄰的像素間存在很強(qiáng)的相關(guān)性，按照不同的編碼算法類型，從一定程序上，可以將圖像幀分為幀內(nèi)編碼幀和幀間編碼幀兩種。其中，幀內(nèi)編碼幀使用空間相鄰的像素值預(yù)測當(dāng)前的像素值，由實(shí)際值減去預(yù)測值得到預(yù)測誤差。強(qiáng)相關(guān)性使得預(yù)測值比較接近實(shí)際值，因此預(yù)測誤差序列是均值為零和具有更小方差的序列，可以有效去除圖像中的空間冗余信息。即幀內(nèi)預(yù)測幀的編碼不依賴于任何其他圖像幀，并可作為其他圖像幀的參考幀。
而另一方面，由于視頻序列中在時(shí)間上連續(xù)的圖像之間的運(yùn)動變化很小，因此存在著極強(qiáng)的相關(guān)性，這就產(chǎn)生了時(shí)間冗余信息。在視頻編碼中，通過幀間編碼技術(shù)去除圖像間的時(shí)間冗余信息。幀間預(yù)測以其他圖像幀作為參考幀，為當(dāng)前塊在參考幀中搜索一個(gè)或多個(gè)與其最為相近的塊，并將該塊作為當(dāng)前塊的預(yù)測值。即幀間編碼依賴于參考幀。
因此鑒于幀內(nèi)編碼幀的特點(diǎn)，其可作為其他圖像幀的參考幀，幀間編碼幀必須依賴于該參考幀，且為了保證幀內(nèi)編碼幀的完整性，在本實(shí)施例的視頻編碼中，幀內(nèi)編碼幀的所有圖像區(qū)域完全采用客觀質(zhì)量作為衡量標(biāo)準(zhǔn)進(jìn)行編碼，不采用任何紋理合成方法進(jìn)行編碼。這樣的目的在于通過不采用紋理合成方法對幀內(nèi)編碼幀進(jìn)行編碼，有效地阻隔了錯(cuò)誤數(shù)據(jù)的傳播，以及為其他幀間編碼幀提供了有效的參考。 因此，針對上述幀內(nèi)編碼幀與幀間編碼幀的區(qū)別性，以及鑒于幀內(nèi)編碼幀在本發(fā)
明實(shí)施例中完全采用客觀質(zhì)量作為衡量標(biāo)準(zhǔn)，不采用任何紋理合成方法進(jìn)行編碼的特性，
在本實(shí)施例中，當(dāng)視頻編碼端獲取到視頻序列，以及獲取到當(dāng)前圖像幀時(shí)，首先應(yīng)判斷獲取
到的當(dāng)前圖像幀是幀內(nèi)編碼幀還是幀間編碼幀，并根據(jù)不同的類型執(zhí)行不同的操作。 步驟101，若當(dāng)前圖像幀為幀間編碼幀，則按照為當(dāng)前圖像幀選取的紋理合成區(qū)域
的面積與當(dāng)前圖像幀和最近的幀內(nèi)編碼幀之間的間隔幀數(shù)成正比的選取原則，選取當(dāng)前圖
像幀中采用紋理合成方法進(jìn)行編碼的紋理合成區(qū)域。 具體地，若在上述步驟100中，根據(jù)判斷得知當(dāng)前圖像幀為幀間編碼幀時(shí)，由于在視頻編碼標(biāo)準(zhǔn)中，完全采用客觀質(zhì)量作為衡量標(biāo)準(zhǔn)，不采用紋理合成方法進(jìn)行編碼的幀內(nèi)編碼幀為以固定間隔幀數(shù)的形式而存在，因此對于幀間編碼幀而言，其必定存在于相鄰的兩個(gè)幀內(nèi)編碼幀之間，只是不同的幀間編碼幀，其與相鄰的幀內(nèi)編碼幀的距離會有所不同。此外，對于幀間編碼幀而言，由于其以其他圖像幀為參考幀進(jìn)行編碼，并非采用基準(zhǔn)幀的模
6式，因此，對幀間編碼幀的壓縮編碼，可以采用紋理合成方法，選取一定的紋理合成區(qū)域，對選取的該部分紋理合成區(qū)域進(jìn)行紋理合成的運(yùn)算。 而在本發(fā)明實(shí)施例中，為了避免視頻序列在播放時(shí)出現(xiàn)的不連續(xù)、不流暢且閃爍的現(xiàn)象，應(yīng)當(dāng)盡量避免相鄰圖像幀之間出現(xiàn)紋理合成區(qū)域相差過大的情況出現(xiàn)。例如，若視頻序列中為第n個(gè)圖像幀分配的紋理合成區(qū)域?yàn)?00個(gè)塊，而為第n+l個(gè)圖像幀分配的紋理合成區(qū)域卻為5000個(gè)塊，這樣必定會造成視頻序列在播放到第n及第n+l個(gè)圖像幀時(shí)，會有不連續(xù)的閃爍現(xiàn)象的發(fā)生。因此，在本發(fā)明實(shí)施例中，在盡大可能保證圖像幀的較大紋理區(qū)域的前提下，還盡量考慮了紋理合成區(qū)域的分配對視頻的主觀質(zhì)量造成的影響。
于是，在本實(shí)施例中，當(dāng)視頻編碼端通過判斷得知當(dāng)前編碼幀為幀間編碼幀時(shí)，根據(jù)當(dāng)前圖像幀與最近的幀內(nèi)編碼幀之間的距離，選取當(dāng)前圖像幀中的紋理合成區(qū)域。在該紋理合成區(qū)域的選取過程中，當(dāng)前圖像幀距離幀內(nèi)編碼幀越近，編碼端在其中選取的紋理合成區(qū)域面積越少，反之，當(dāng)前圖像幀距離幀內(nèi)編碼幀越遠(yuǎn)，則編碼端在其中選取的紋理合成區(qū)域的面積則越多。 如此一來，在整個(gè)連續(xù)的視頻序列中，每個(gè)圖像幀的紋理合成區(qū)域面積隨著其與幀內(nèi)編碼幀之間的距離而逐漸發(fā)生變化，距離幀內(nèi)編碼幀最近的幀間編碼幀，編碼端在進(jìn)行紋理分析時(shí)，選取的紋理合成區(qū)域很小，從而使得從紋理合成區(qū)域面積為零的幀內(nèi)編碼幀，過渡到幀間編碼幀時(shí)，紋理合成區(qū)域面積的變化很小，過渡較為平穩(wěn)。而隨著幀間編碼幀與幀內(nèi)編碼幀間距離的加大，在當(dāng)前的幀間編碼幀選取的紋理合成區(qū)域的面積逐漸增多，即在保證了盡大可能提高圖像幀的壓縮率的前提下，同樣保證了視頻序列播放時(shí)的連續(xù)流暢性。而當(dāng)當(dāng)前的幀間編碼幀處于相鄰兩個(gè)幀內(nèi)編碼幀的中間位置時(shí)，即該幀間編碼幀與幀內(nèi)編碼幀之間為最大距離時(shí)，紋理分析時(shí)在該幀間編碼幀中選取的紋理合成區(qū)域面積達(dá)到最大值。進(jìn)一步地，隨著當(dāng)前編碼幀的幀數(shù)的增大，其與后一個(gè)幀內(nèi)編碼幀之間的距離又逐漸拉近，此時(shí)在當(dāng)前的幀間編碼幀中選取的紋理合成區(qū)域又將逐漸地減小，直至與到達(dá)后一個(gè)幀內(nèi)編碼幀時(shí)，與其最近的一個(gè)幀間編碼幀的紋理合成區(qū)域又為較小值，該過程同時(shí)保證了相鄰圖像幀之間的平穩(wěn)過渡，保證了視頻序列播放時(shí)的連續(xù)流暢性。
即在本實(shí)施例中，對幀間編碼幀的紋理紋理合成區(qū)域進(jìn)行選取時(shí)，在以降低碼率為目的的同時(shí)，還最大限度地避免了閃爍現(xiàn)象的發(fā)生，且不使用絕對誤差和(Sum OfAbsolute Difference,簡稱SAD)、平均殘差絕對值(MeanAverage Differences,簡稱廳)、誤差平方禾口 (Sum of The SqimredDifferences，簡稱SSD)、均方誤差(Mean Square Error,簡稱MSE)和峰值信噪比(Peak Signal to Noise Ratio,簡稱PSNR)等客觀質(zhì)量評價(jià)指標(biāo)作為編碼評價(jià)的目標(biāo)。 本發(fā)明實(shí)施例的視頻編碼中紋理合成區(qū)域的選取方法，通過在視頻編碼前對視頻圖像進(jìn)行紋理分析時(shí)，對每個(gè)圖像幀分配的紋理合成區(qū)域進(jìn)行限定，根據(jù)當(dāng)前圖像幀與最近的幀內(nèi)編碼幀之間的距離，選取每一圖像幀中的紋理合成區(qū)域，距離幀內(nèi)編碼幀越近的圖像幀選取得到的紋理合成區(qū)域越多，使得整個(gè)視頻序列的相鄰圖像幀之間的紋理合成區(qū)域面積逐漸地發(fā)生變化，從而在保證了壓縮率前提下，最大限度的避免了視頻播放時(shí)不流暢、不連續(xù)以及閃爍現(xiàn)象的發(fā)生。 圖2為本發(fā)明視頻編碼中紋理合成區(qū)域的選取方法實(shí)施例二的流程圖，如圖2所示，本方法包括如下步驟
步驟200，獲取視頻序列中的當(dāng)前圖像幀； 步驟201，判斷當(dāng)前圖像幀是否為幀間編碼幀，若是，則執(zhí)行步驟202，若否，則執(zhí) 行步驟204 ; 在本實(shí)施例中，當(dāng)視頻編碼端選取到當(dāng)前圖像幀，對當(dāng)前圖像幀進(jìn)行壓縮編碼之 前，為了確定每個(gè)圖像幀中紋理合成區(qū)域以及非紋理合成區(qū)域的大小，以對紋理合成區(qū)域 采用紋理合成方法進(jìn)行紋理合成，需要對獲取到的當(dāng)前圖像幀進(jìn)行紋理分析。于是，在紋理 分析的過程中，視頻編碼端首先判斷當(dāng)前圖像幀是否為幀間編碼幀，或者為幀內(nèi)編碼幀，并 根據(jù)不同的編碼幀類型進(jìn)行不同的操作。 具體地，在視頻編碼標(biāo)準(zhǔn)中，圖像編可以具體可分為三種成分的編碼幀1幀、 P幀和B幀，其中I幀為幀內(nèi)編碼幀，P幀和B幀為幀間編碼幀。通常設(shè)定視頻序列中的 第一幅圖像幀為I幀，且I幀在整個(gè)視頻序列中以固定間隔進(jìn)行分布，例如每隔16個(gè)圖 像幀安插一個(gè)I幀，或者每隔32個(gè)圖像幀安插一個(gè)I幀；而P幀和B幀位于兩個(gè)相鄰 的I幀之間，且通常也按照一定的格式進(jìn)行排列。例如，典型的圖像幀編碼順序可以為
IBBPBBPBBPBBIBBPBBPBBPBBI......。具體地，P幀表示前向預(yù)測編碼幀，它以排列在它之
前的、已經(jīng)編碼的I幀或者P幀的時(shí)間冗余信息為參考，來對圖像進(jìn)行壓縮編碼；而B幀表
示雙向預(yù)測編碼幀，它以在它之前的已經(jīng)編碼的I幀或P幀，以及在它之后的已編碼的I幀
或P幀之間的時(shí)間冗余信息為參考，來對圖像進(jìn)行壓縮編碼。而無論是P幀或是B幀，在本
實(shí)施例中，在將其認(rèn)同為幀間編碼幀時(shí)，沒有任何差別。 步驟202，計(jì)算當(dāng)前圖像幀與最近的幀內(nèi)編碼幀之間間隔的幀數(shù)； 步驟203，按照為當(dāng)前圖像幀選取的紋理合成區(qū)域的面積與當(dāng)前圖像幀和最近的
幀內(nèi)編碼幀之間的間隔幀數(shù)成正比的選取原則，根據(jù)計(jì)算得到的幀數(shù)選取當(dāng)前圖像幀中的
紋理合成區(qū)域。 在上述步驟201中，若通過判斷得知當(dāng)前圖像幀為幀間編碼幀時(shí)，編碼端在進(jìn)行 紋理分析時(shí)，考慮到視頻序列在播放時(shí)相鄰圖像幀之間在主觀視覺上的流暢性，應(yīng)當(dāng)按照 為圖像幀分配的紋理合成區(qū)域的面積與圖像幀與最近的幀內(nèi)編碼幀的距離成正比的分配 原則，為獲取到的當(dāng)前圖像幀分配紋理合成區(qū)域。即在紋理區(qū)域選取過程中，當(dāng)前圖像幀距 離幀內(nèi)編碼幀越近，編碼端在其中選取的紋理合成區(qū)域面積越少，反之，當(dāng)前圖像幀距離幀 內(nèi)編碼幀越遠(yuǎn)，則編碼端在其中選取的紋理合成區(qū)域的面積則越多。 具體地，編碼端將首先計(jì)算獲取的當(dāng)前幀間編碼幀與距離其最近的幀內(nèi)編碼幀之
間間隔的幀數(shù)，接著再根據(jù)該計(jì)算得到的幀數(shù)，根據(jù)上述選取原則為當(dāng)前的幀間編碼幀分
配一定的紋理合成區(qū)域，間隔幀數(shù)越多，分配的紋理合成區(qū)域面積越大，使得相鄰圖像幀的
紋理合成區(qū)域的面積隨著其與幀內(nèi)編碼幀之間的距離，逐漸地增大或者減小。 需要說明的是，在實(shí)際應(yīng)用中，根據(jù)計(jì)算得到的間隔幀數(shù)，為當(dāng)前的幀間編碼幀分
配紋理合成區(qū)域面積時(shí)，編碼端具體應(yīng)用的選取原則可以為多種形式。例如，選取的紋理合
成區(qū)域的面積與間隔幀數(shù)為一固定比值，或者選取的紋理合成區(qū)域的面積根據(jù)間隔幀數(shù)成
一等比數(shù)列，或者為其他關(guān)系等等，且只要滿足上述為圖像幀選取的紋理合成區(qū)域的面積
與圖像幀和最近的幀內(nèi)編碼幀的距離成正比的選取原則，無論具體為何種選取形式，都屬
于本發(fā)明實(shí)施例所欲保護(hù)的范圍之內(nèi)。 進(jìn)一步優(yōu)化地，圖3為本發(fā)明實(shí)施例中圖像幀的紋理合成區(qū)域面積與該圖像幀距幀內(nèi)編碼幀的距離的一關(guān)系示意圖，如圖3所示，圖像幀的紋理合成區(qū)域的面積與該圖像 幀距最近的幀內(nèi)編碼幀的距離的關(guān)系，可以為一成弧形曲線的關(guān)系。且根據(jù)該弧形關(guān)系為 視頻序列的每一圖像幀進(jìn)行紋理合成區(qū)域的選取，以及進(jìn)行圖像壓縮編碼后，得到的編碼 后的視頻序列在保證了較高的壓縮率的同時(shí)，還很好地保證了視頻播放時(shí)在視覺上的流暢 性，以及避免出現(xiàn)閃爍的現(xiàn)象。 具體地，按照上述選取原則在當(dāng)前圖像幀中選取紋理合成區(qū)域可以采用下述的公 式 其中，x代表整個(gè)視頻序列中的第x個(gè)圖形幀，A,為編碼端為第x個(gè)圖像幀分配的 紋理合成區(qū)域的面積，M為視頻序列中相鄰兩個(gè)幀內(nèi)編碼幀之間的固定的間隔幀數(shù)，通常為 16、32等，而S則為在整個(gè)視頻序列中，能夠在單獨(dú)一個(gè)圖像幀選取的紋理合成區(qū)域的面積 的最大值。 圖4為本發(fā)明實(shí)施例圖像幀的紋理合成區(qū)域面積與圖像幀的幀號的一關(guān)系示意 圖，其橫軸代表的是當(dāng)前圖像幀的幀號，其縱軸代表的是選取的當(dāng)前圖像幀的紋理合成區(qū) 域面積，該選取原則可以參照上述公式(1)。如圖4所示，假定在本實(shí)施例中，M的值為16， 即每間隔16個(gè)圖像幀便安插一個(gè)I幀，可見，每個(gè)圖像幀的紋理合成區(qū)域面積隨著其與幀 內(nèi)編碼幀之間的距離而逐漸發(fā)生變化。如果當(dāng)前圖像幀為第1幀、15幀、17幀或者31幀時(shí)， 其距最近的I幀的間隔幀數(shù)為l，代入到上述公式(1)中，xmod M等于1或15，且此時(shí)計(jì)算 得到的Ax為較小值，即在該幀中選取的紋理合成區(qū)域的面積為較小值。而若當(dāng)前圖像幀為 第8幀、第24幀時(shí)，其距最近的I幀的間隔幀數(shù)為8，代入到上述公式(1)時(shí)，xmod M等于 8，得到的Ax為最大值S。而且根據(jù)上述公式(l)，在圖像幀選取的紋理合成區(qū)域的面積大 小為一平滑的弧形的曲線，因此在視頻序列的播放過程中，相鄰圖像幀的過渡也最為平穩(wěn) 流暢，最大程度地避免了視頻閃爍現(xiàn)象的發(fā)生。
步驟204，選取當(dāng)前圖像幀為非紋理區(qū)域。 而若在上述步驟中，通過判斷得知當(dāng)前圖像幀為幀內(nèi)編碼幀，即為I幀時(shí)，則應(yīng)該 完全采用客觀質(zhì)量為衡量標(biāo)準(zhǔn)，即不應(yīng)該采取紋理的合成方法對其進(jìn)行編碼。因此視頻編 碼端為其分配的紋理區(qū)域面積為0，即選取當(dāng)前圖像幀為非紋理區(qū)域，并返回到步驟200 中，獲取下一個(gè)圖像幀，并進(jìn)行該圖像幀的紋理合成區(qū)域的選取。 本發(fā)明實(shí)施例的視頻編碼中紋理合成區(qū)域的選取方法，通過在視頻編碼前對視頻 圖像進(jìn)行紋理分析時(shí)，對每個(gè)圖像幀分配的紋理合成區(qū)域進(jìn)行限定，根據(jù)當(dāng)前圖像幀與最 近的幀內(nèi)編碼幀之間的距離，選取每一圖像幀中的紋理合成區(qū)域，距離幀內(nèi)編碼幀越近的 圖像幀選取得到的紋理合成區(qū)域越多，使得整個(gè)視頻序列的相鄰圖像幀之間的紋理合成區(qū) 域面積逐漸地發(fā)生變化，從而在保證了壓縮率前提下，最大限度的避免了視頻播放時(shí)不流 暢、不連續(xù)以及閃爍現(xiàn)象的發(fā)生。 本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述方法實(shí)施例的全部或部分步驟可以通過 程序指令相關(guān)的硬件來完成，前述的程序可以存儲于一計(jì)算機(jī)可讀取存儲介質(zhì)中，該程序 在執(zhí)行時(shí)，執(zhí)行包括上述方法實(shí)施例的步驟；而前述的存儲介質(zhì)包括R0M、 RAM、磁碟或者 光盤等各種可以存儲程序代碼的介質(zhì)。
9
圖5為本發(fā)明視頻編碼中的紋理合成區(qū)域的選取裝置實(shí)施例的結(jié)構(gòu)示意圖，如圖 5所示，本實(shí)施例的紋理合成區(qū)域的選取裝置包括判斷單元ll和紋理合成區(qū)域選取單元 12。其中，判斷單元ll用于獲取視頻序列中的當(dāng)前圖像幀，并判斷當(dāng)前圖像幀是否為幀間 編碼幀；而紋理合成區(qū)域選取單元12則用于，若通過判斷獲知當(dāng)前圖像幀為幀間編碼幀， 則按照為當(dāng)前圖像幀選取的紋理合成區(qū)域的面積與當(dāng)前圖像幀和最近的幀內(nèi)編碼幀之間 的間隔幀數(shù)成正比的選取原則，選取當(dāng)前圖像幀中采用紋理合成方法進(jìn)行編碼的紋理合成 區(qū)域。 具體地，本實(shí)施例中紋理合成區(qū)域的選取裝置所涉及的所有功能模塊、以及其所 涉及的具體工作過程，可以參考上述視頻編碼中紋理合成區(qū)域的選取方法所涉及的實(shí)施例 揭露的相關(guān)內(nèi)容，在此不再贅述。 本發(fā)明實(shí)施例的視頻編碼中的紋理合成區(qū)域的選取裝置，通過在視頻編碼前對視 頻圖像進(jìn)行紋理分析時(shí)，對每個(gè)圖像幀分配的紋理合成區(qū)域進(jìn)行限定，根據(jù)當(dāng)前圖像幀與 最近的幀內(nèi)編碼幀之間的距離，選取每一圖像幀中的紋理合成區(qū)域，距離幀內(nèi)編碼幀越近 的圖像幀選取得到的紋理合成區(qū)域越少，使得整個(gè)視頻序列的相鄰圖像幀之間的紋理合成 區(qū)域面積逐漸地發(fā)生變化，從而在保證了壓縮率前提下，最大限度的避免了視頻播放時(shí)不 流暢、不連續(xù)以及閃爍現(xiàn)象的發(fā)生。 進(jìn)一步地，本實(shí)施例的紋理合成區(qū)域的選取裝置在上述技術(shù)方案的基礎(chǔ)上，其中 的紋理合成區(qū)域選取單元12還可以包括計(jì)算子單元121和區(qū)域選取子單元122。其中， 計(jì)算子單元121用于計(jì)算當(dāng)前圖像幀與最近的幀內(nèi)編碼幀之間間隔的圖像幀的幀數(shù)；而區(qū) 域選取子單元122則用于，按照為當(dāng)前圖像幀選取的紋理合成區(qū)域的面積與當(dāng)前圖像幀和 最近的幀內(nèi)編碼幀之間的間隔幀數(shù)成正比的選取原則，根據(jù)計(jì)算子單元121計(jì)算得到的幀 數(shù)選取當(dāng)前圖像幀中的紋理合成區(qū)域。 更進(jìn)一步地，本實(shí)施例中的紋理合成區(qū)域選取單元12具體用于，若判斷得知當(dāng)前
圖像幀為幀間編碼幀，則根據(jù)公式4=&|1-^mu:";;f "」為當(dāng)前圖像幀分配紋理2
合成區(qū)域，其中，Ax為視頻序列中第x個(gè)圖像幀的紋理合成區(qū)域的面積，M為所述視頻序列 中相鄰幀內(nèi)編碼幀之間的固定間隔幀數(shù)，S為在所述視頻序列中，在單獨(dú)一個(gè)圖像幀中選取 的紋理合成區(qū)域的面積的最大值。 更進(jìn)一步地，本實(shí)施例的紋理合成區(qū)域的選取裝置還可以包括非紋理合成區(qū)域選 取單元13，用于若判斷單元11通過判斷或者當(dāng)前圖像幀為幀內(nèi)編碼幀時(shí)，則選取當(dāng)前圖像 幀為非紋理合成區(qū)域。 具體地，上述技術(shù)方案中所涉及的所有功能模塊、以及其所涉及的具體工作過程， 同樣可以參考上述視頻編碼中紋理合成區(qū)域的選取方法所涉及的實(shí)施例揭露的相關(guān)內(nèi)容， 在此不再贅述。 圖6為本發(fā)明視頻編碼裝置實(shí)施例的結(jié)構(gòu)示意圖，如圖6所示，本實(shí)施例的視頻編 碼裝置包括上述實(shí)施例的紋理合成區(qū)域的選取裝置1、紋理樣本提取裝置2以及編碼器3。 其中，紋理樣本提取裝置2與紋理合成區(qū)域的選取裝置1連接，用于從紋理合成區(qū)域的選取 裝置1選取出的圖像幀的紋理合成區(qū)域以及非紋理合成區(qū)域中，提取出紋理樣本；而編碼 器3分別與紋理合成區(qū)域的選取裝置1和紋理樣本提取裝置2連接，用于對紋理合成區(qū)域本提取裝置2提取出的紋理 樣本，進(jìn)行編碼處理。 具體地，本實(shí)施例中的紋理合成區(qū)域的選取裝置所涉及的所有功能模塊、以及其
所涉及的具體工作過程，可以參考上述視頻編碼中紋理合成區(qū)域的選取方法、視頻編碼中
紋理合成區(qū)域的選取裝置所涉及的實(shí)施例揭露的相關(guān)內(nèi)容，在此不再贅述。 本發(fā)明實(shí)施例的視頻編碼裝置，通過在視頻編碼前對視頻圖像進(jìn)行紋理分析時(shí)，
對每個(gè)圖像幀分配的紋理合成區(qū)域進(jìn)行限定，根據(jù)當(dāng)前圖像幀與最近的幀內(nèi)編碼幀之間的
距離，選取每一圖像幀中的紋理合成區(qū)域，距離幀內(nèi)編碼幀越近的圖像幀選取得到的紋理
合成區(qū)域越多，使得整個(gè)視頻序列的相鄰圖像幀之間的紋理合成區(qū)域面積逐漸地發(fā)生變
化，從而在保證了壓縮率前提下，最大限度的避免了視頻播放時(shí)不流暢、不連續(xù)以及閃爍現(xiàn)
象的發(fā)生。 最后應(yīng)說明的是以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡 管參照前述實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解其依然 可以對前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替 換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精 神和范圍。
權(quán)利要求
一種視頻編碼中紋理合成區(qū)域的選取方法，其特征在于，包括獲取視頻序列中的當(dāng)前圖像幀，判斷所述當(dāng)前圖像幀是否為幀間編碼幀；若所述當(dāng)前圖像幀為幀間編碼幀，則按照為所述當(dāng)前圖像幀選取的紋理合成區(qū)域的面積與所述當(dāng)前圖像幀和最近的幀內(nèi)編碼幀之間的間隔幀數(shù)成正比的選取原則，選取所述當(dāng)前圖像幀中采用紋理合成方法進(jìn)行編碼的紋理合成區(qū)域。
2. 根據(jù)權(quán)利要求1所述的視頻編碼中紋理合成區(qū)域的選取方法，其特征在于，所述按 照為所述當(dāng)前圖像幀選取的紋理合成區(qū)域的面積與所述當(dāng)前圖像幀和最近的幀內(nèi)編碼幀 之間的間隔幀數(shù)成正比的選取原則，選取所述當(dāng)前圖像幀中采用紋理合成方法進(jìn)行編碼的 紋理合成區(qū)域包括計(jì)算所述當(dāng)前圖像幀與最近的幀內(nèi)編碼幀之間間隔的圖像幀的幀數(shù)； 按照為所述當(dāng)前圖像幀選取的紋理合成區(qū)域的面積與所述當(dāng)前圖像幀和最近的幀內(nèi)編碼幀之間的間隔幀數(shù)成正比的選取原則，根據(jù)所述幀數(shù)選取所述當(dāng)前圖像幀中的所述紋理合成區(qū)域。
3. 根據(jù)權(quán)利要求1所述的視頻編碼中紋理合成區(qū)域的選取方法，其特征在于，所述按 照為圖像幀分配的紋理合成區(qū)域的面積與所述圖像幀與最近的幀內(nèi)編碼幀的距離成正比 的分配原則，為所述當(dāng)前圖像幀分配紋理合成區(qū)域包括根據(jù)公式4=& I-" / 、2」為所述當(dāng)前圖像幀分配紋理合成區(qū)域，其中，)| (M/2)2Ax為所述視頻序列中第x個(gè)圖像幀的紋理合成區(qū)域的面積，M為所述視頻序列中相鄰幀內(nèi) 編碼幀之間的間隔幀數(shù)，S為在所述視頻序列中，在單獨(dú)一個(gè)圖像幀中選取的所述紋理合成 區(qū)域的面積的最大值。
4. 根據(jù)權(quán)利要求1 3任一所述的視頻編碼中紋理合成區(qū)域的選取方法，其特征在于， 所述方法還包括若所述當(dāng)前圖像幀為所述幀內(nèi)編碼幀，則選取所述當(dāng)前圖像幀為非紋理合成區(qū)域。
5. —種視頻編碼中紋理合成區(qū)域的選取裝置，其特征在于，包括 判斷單元，獲取視頻序列中的當(dāng)前圖像幀，判斷所述當(dāng)前圖像幀是否為幀間編碼幀； 紋理合成區(qū)域選取單元，用于若所述當(dāng)前圖像幀為幀間編碼幀，則按照為所述當(dāng)前圖像幀選取的紋理合成區(qū)域的面積與所述當(dāng)前圖像幀和最近的幀內(nèi)編碼幀之間的間隔幀數(shù) 成正比的選取原則，選取所述當(dāng)前圖像幀中采用紋理合成方法進(jìn)行編碼的紋理合成區(qū)域。
6. 根據(jù)權(quán)利要求5所述的視頻編碼中紋理合成區(qū)域的選取裝置，其特征在于，所述紋 理合成區(qū)域選取單元還包括計(jì)算子單元，用于計(jì)算所述當(dāng)前圖像幀與最近的幀內(nèi)編碼幀之間間隔的圖像幀的幀數(shù)；區(qū)域選取子單元，用于按照為所述當(dāng)前圖像幀選取的紋理合成區(qū)域的面積與所述當(dāng)前 圖像幀和最近的幀內(nèi)編碼幀之間的間隔幀數(shù)成正比的選取原則，根據(jù)所述幀數(shù)選取所述當(dāng) 前圖像幀中的所述紋理合成區(qū)域。
7. 根據(jù)權(quán)利要求5所述的視頻編碼中紋理合成區(qū)域的選取裝置，其特征在于，所述紋 理合成區(qū)域選取單元具體用于若所述當(dāng)前圖像幀為幀間編碼幀，則根據(jù)公式4=、:、、 ■*-為所述V (M/2)2當(dāng)前圖像幀分配紋理合成區(qū)域，其中，4為所述視頻序列中第x個(gè)圖像幀的紋理合成區(qū)域的 面積，M為所述視頻序列中相鄰幀內(nèi)編碼幀之間的間隔幀數(shù)，S為在所述視頻序列中，在單 獨(dú)一個(gè)圖像幀中選取的所述紋理合成區(qū)域的面積的最大值。
8 . 根據(jù)權(quán)利要求5 7任一所述的視頻編碼中紋理合成區(qū)域的選取裝置，其特征在于， 還包括非紋理合成區(qū)域選取單元，用于若所述當(dāng)前圖像幀為所述幀內(nèi)編碼幀，則選取所述當(dāng) 前圖像幀為非紋理合成區(qū)域。
9. 一種視頻編碼裝置，其特征在于，包括如權(quán)利要求5 8任一所述的視頻編碼中紋 理合成區(qū)域的選取裝置、紋理樣本提取裝置和編碼器；所述紋理樣本提取裝置與所述選取裝置相連接，用于從所述選取裝置選取出的圖像幀 的紋理合成區(qū)域和非紋理合成區(qū)域中，提取出紋理樣本；所述編碼器分別與所述選取裝置和所述紋理樣本提取裝置連接，用于對所述選取裝置 選取出的圖像幀的所述非紋理合成區(qū)域、以及所述紋理樣本提取裝置提取出的所述紋理樣 本進(jìn)行編碼處理。
全文摘要
本發(fā)明提供一種視頻編碼中紋理合成區(qū)域的選取方法及裝置，方法包括獲取視頻序列中的當(dāng)前圖像幀，判斷當(dāng)前圖像幀是否為幀間編碼幀；若所述當(dāng)前圖像幀為幀間編碼幀，則按照為當(dāng)前圖像幀選取的紋理合成區(qū)域的面積與當(dāng)前圖像幀和最近的幀內(nèi)編碼幀之間的間隔幀數(shù)成正比的選取原則，選取當(dāng)前圖像幀中采用紋理合成方法進(jìn)行編碼的紋理合成區(qū)域。本發(fā)明通過在視頻編碼前對視頻進(jìn)行紋理分析時(shí)，根據(jù)當(dāng)前圖像幀與最近的幀內(nèi)編碼幀之間的距離，在圖像幀中選取紋理合成區(qū)域，使得整個(gè)視頻序列的相鄰圖像幀之間的紋理合成區(qū)域面積逐漸發(fā)生變化，從而在保證了壓縮率前提下，最大限度的避免了視頻不流暢、不連續(xù)以及閃爍現(xiàn)象的發(fā)生。
文檔編號H04N7/26GK101742314SQ20091024407
公開日2010年6月16日 申請日期2009年12月28日 優(yōu)先權(quán)日2009年12月28日
發(fā)明者孫曉偉, 尹寶才, 施云惠, 荊國棟 申請人:北京工業(yè)大學(xué)