專利名稱：編碼和/或解碼畫(huà)面組的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種編碼和/或解碼畫(huà)面組的方法。
本發(fā)明應(yīng)用于基于3D小波分解的視頻壓縮上下文中。
背景技術(shù)：
在現(xiàn)有技術(shù)中，已經(jīng)提出使用3D小波畫(huà)面分解技術(shù)，其中根據(jù)將小波分解應(yīng)用于二維或2D畫(huà)面的處理，分解畫(huà)面組或GOP。在此基礎(chǔ)上，沿著作為第三維度的時(shí)間維度，執(zhí)行數(shù)據(jù)流的壓縮。
在現(xiàn)有技術(shù)中，難點(diǎn)發(fā)生在小波時(shí)間分解期間。當(dāng)已經(jīng)執(zhí)行過(guò)時(shí)間分解時(shí)，已經(jīng)給通過(guò)GOP畫(huà)面序列中的運(yùn)動(dòng)矢量連接的像素加上了標(biāo)簽?，F(xiàn)在，應(yīng)當(dāng)意識(shí)到在沿著時(shí)間維度執(zhí)行壓縮操作時(shí)，丟失了沒(méi)有運(yùn)動(dòng)矢量通過(guò)的像素。
為了解決此問(wèn)題并避免處理期間的信息丟失，因此需要對(duì)這些像素應(yīng)用特定的處理，由此降低了小波處理的效率。
在通常的視頻編碼方案中，按照塊來(lái)描述運(yùn)動(dòng)，例如16像素寬乘以16像素高。于是，上述問(wèn)題轉(zhuǎn)移到塊的邊界處。
為了解決此問(wèn)題，考慮像素在畫(huà)面序列的兩個(gè)運(yùn)行方向上的軌跡GOP畫(huà)面序列的自然方向和相反方向。但是，相對(duì)于傳統(tǒng)技術(shù)，使運(yùn)動(dòng)信息量加倍。

發(fā)明內(nèi)容
為了補(bǔ)救現(xiàn)有技術(shù)的這些缺點(diǎn)，本發(fā)明在于選擇針對(duì)每個(gè)序列的配置數(shù)據(jù)和最佳判據(jù)，使其能夠減少每個(gè)GOP畫(huà)面序列中的未連接像素的數(shù)量。
于是，極大地減少了未連接像素的數(shù)量，而無(wú)需根據(jù)3D小波分解的其他處理。
具體地，本發(fā)明涉及一種根據(jù)3D小波處理、編碼和/或解碼畫(huà)面序列的方法。本發(fā)明的方法包括編碼階段，其包括以下步驟-根據(jù)預(yù)定的最佳判據(jù)，確定用于配置3D小波編碼的至少一個(gè)信息項(xiàng)，作為針對(duì)隨后畫(huà)面序列的基準(zhǔn)畫(huà)面的選擇；然后，-產(chǎn)生包括針對(duì)所述畫(huà)面序列的基準(zhǔn)畫(huà)面的數(shù)據(jù)的配置信息單元；以及最后，-根據(jù)所述配置信息，執(zhí)行3D小波編碼，以如下方式進(jìn)行產(chǎn)生包括配置信息單元的每個(gè)畫(huà)面序列的聯(lián)合的已編碼數(shù)據(jù)流和/或針對(duì)畫(huà)面序列的畫(huà)面的3D小波編碼數(shù)據(jù)流。
根據(jù)本發(fā)明的方案，用于確定至少一個(gè)配置信息項(xiàng)的步驟包括以下步驟在作為基準(zhǔn)畫(huà)面的至少一個(gè)測(cè)試畫(huà)面中進(jìn)行小波分解；然后，進(jìn)行運(yùn)動(dòng)估計(jì)；然后，確定畫(huà)面序列中、在運(yùn)動(dòng)估計(jì)步驟期間、未連接像素的數(shù)量最小的畫(huà)面，作為基準(zhǔn)畫(huà)面。
根據(jù)本發(fā)明的方案，用于確定至少一個(gè)配置信息項(xiàng)的步驟包括以下步驟確定至少一個(gè)測(cè)試畫(huà)面中的運(yùn)動(dòng)幅度；然后，確定畫(huà)面序列中、畫(huà)面中的運(yùn)動(dòng)幅度最小的畫(huà)面，作為基準(zhǔn)畫(huà)面。
根據(jù)本發(fā)明的方案，用于確定至少一個(gè)配置信息項(xiàng)的步驟包括以下步驟在至少一個(gè)測(cè)試畫(huà)面中，通過(guò)測(cè)量高頻分量，確定紋理信息項(xiàng)；然后，確定畫(huà)面序列中、紋理信息項(xiàng)最豐富的畫(huà)面，作為基準(zhǔn)畫(huà)面。
根據(jù)本發(fā)明的方案，用于確定至少一個(gè)配置信息項(xiàng)的步驟還包括以下確定所述畫(huà)面序列中的畫(huà)面的數(shù)量。
根據(jù)本發(fā)明的方案，用于確定至少一個(gè)配置信息項(xiàng)的步驟還包括確定針對(duì)畫(huà)面序列的時(shí)間分解的至少一個(gè)方向。
根據(jù)本發(fā)明的方案，用于確定至少一個(gè)配置信息項(xiàng)的步驟包括-在第一步驟中構(gòu)造預(yù)定尺寸的畫(huà)面序列GOP，-在第二步驟中針對(duì)每個(gè)畫(huà)面序列，根據(jù)最小化未連接像素的數(shù)量的選擇，選擇畫(huà)面序列的第一個(gè)畫(huà)面，作為基準(zhǔn)畫(huà)面，且時(shí)間分解的方向?yàn)榍跋?；或者選擇畫(huà)面序列的最后一個(gè)畫(huà)面，作為基準(zhǔn)畫(huà)面，且時(shí)間分解的方向?yàn)楹笙颉?br> 根據(jù)本發(fā)明的方案，用于確定至少一個(gè)配置信息項(xiàng)的步驟包括-在第一步驟中構(gòu)造預(yù)定尺寸的畫(huà)面序列GOP，-在第二步驟中執(zhí)行基準(zhǔn)畫(huà)面的選擇，以及針對(duì)跟隨所選基準(zhǔn)畫(huà)面的畫(huà)面序列的畫(huà)面，確定時(shí)間分解的方向?yàn)榍跋?，以及針?duì)所選基準(zhǔn)畫(huà)面之前的畫(huà)面序列的畫(huà)面，確定時(shí)間分解的方向?yàn)楹笙颉?br> 根據(jù)本發(fā)明的方案，用于確定至少一個(gè)配置信息項(xiàng)的步驟包括以下步驟-沿畫(huà)面間的前向?qū)\(yùn)動(dòng)進(jìn)行估計(jì)；構(gòu)造前向運(yùn)動(dòng)估計(jì)中、運(yùn)動(dòng)點(diǎn)的軌跡；以及計(jì)算構(gòu)造軌跡的步驟期間、未連接像素的數(shù)量；-沿畫(huà)面間的后向?qū)Ξ?huà)面間的后向運(yùn)動(dòng)進(jìn)行估計(jì)；構(gòu)造后向運(yùn)動(dòng)估計(jì)中、運(yùn)動(dòng)點(diǎn)的軌跡；以及計(jì)算構(gòu)造軌跡的步驟期間、未連接像素的數(shù)量；-根據(jù)最小的未連接像素?cái)?shù)量，選擇最佳基準(zhǔn)畫(huà)面。
根據(jù)本發(fā)明的方案，用于確定至少一個(gè)配置信息項(xiàng)的步驟包括以下步驟-對(duì)畫(huà)面間的前向運(yùn)動(dòng)進(jìn)行估計(jì)，同時(shí)對(duì)畫(huà)面間的后向運(yùn)動(dòng)進(jìn)行估計(jì)；然后，-針對(duì)正在進(jìn)行適配的GOP序列的每個(gè)畫(huà)面，進(jìn)行循環(huán)，在其過(guò)程中，順序執(zhí)行構(gòu)造軌跡的步驟和計(jì)算未連接像素的數(shù)量的步驟；然后，-根據(jù)最小的未連接像素?cái)?shù)量，選擇正在進(jìn)行適配的GOP畫(huà)面序列中的最佳基準(zhǔn)畫(huà)面。
根據(jù)本發(fā)明的方案，所述方法包括解碼階段，其包括-對(duì)確定了在給定二進(jìn)制數(shù)據(jù)流上執(zhí)行的3D小波編碼的特性的配置信息單元進(jìn)行解碼；然后，-執(zhí)行3D小波解碼處理電路的更新；以及最后，-執(zhí)行對(duì)表示畫(huà)面序列的二進(jìn)制數(shù)據(jù)流的解碼，從而在輸出處產(chǎn)生包含在給定二進(jìn)制數(shù)據(jù)流中的至少一個(gè)畫(huà)面序列。
根據(jù)本發(fā)明的方案，將所述方法集成在基于3D小波的視頻壓縮器/解壓縮器方案中。
根據(jù)本發(fā)明的方案，將所述方法集成在MPEGTM編碼/解碼方案中。
作為通過(guò)運(yùn)動(dòng)連接的像素的數(shù)量的函數(shù)，執(zhí)行基準(zhǔn)畫(huà)面和時(shí)間分解的方向的選擇，其中根據(jù)所述基準(zhǔn)畫(huà)面，執(zhí)行對(duì)GOP中的運(yùn)動(dòng)的計(jì)算，所述像素?cái)?shù)量信息可以與運(yùn)動(dòng)矢量場(chǎng)紋理或運(yùn)動(dòng)數(shù)據(jù)進(jìn)行組合。利用時(shí)間連接的像素的數(shù)量，改善了2D+T小波分解的效率。


通過(guò)以下描述和附圖，本發(fā)明的其他特征和優(yōu)點(diǎn)將更加顯而易見(jiàn)，其中圖1到5是示出了現(xiàn)有技術(shù)的解決方案的圖；圖6到9示出了本發(fā)明方法的多個(gè)步驟；圖10和11示出了實(shí)現(xiàn)本發(fā)明方法的設(shè)備的特定實(shí)施例。
具體實(shí)施例方式
圖1所示為根據(jù)現(xiàn)有技術(shù)的3D小波壓縮方案的實(shí)施例。應(yīng)當(dāng)注意，此3D小波壓縮方案也可以用在執(zhí)行過(guò)本發(fā)明的方法之后。還應(yīng)當(dāng)注意，按照方法進(jìn)行描述的方案也可以按照用于處理畫(huà)面序列的計(jì)算機(jī)中的處理模塊的形式來(lái)實(shí)現(xiàn)。
在步驟1，獲取或合成包括N個(gè)連續(xù)畫(huà)面的畫(huà)面序列GOP。然后，將GOP序列傳輸?shù)叫〔ǚ纸獠襟E2，且并行地傳輸?shù)焦烙?jì)畫(huà)面間的運(yùn)動(dòng)的步驟3。
小波分解步驟包括時(shí)域分析步驟2a和空間域分析步驟2b(圖案重復(fù)頻率等)。
實(shí)際上，在現(xiàn)有技術(shù)中，運(yùn)動(dòng)估計(jì)步驟3以選擇GOP畫(huà)面序列中的基礎(chǔ)畫(huà)面(該序列的最后一個(gè)畫(huà)面)作為開(kāi)始。通過(guò)畫(huà)面之間的差別(畫(huà)面2與畫(huà)面1之間，然后是畫(huà)面3與畫(huà)面2之間等)，進(jìn)行運(yùn)動(dòng)估計(jì)。當(dāng)完成此運(yùn)動(dòng)估計(jì)時(shí)，通過(guò)運(yùn)動(dòng)估計(jì)信息項(xiàng)8，將運(yùn)動(dòng)估計(jì)信息項(xiàng)傳輸?shù)结槍?duì)小波分解的時(shí)域分析步驟2a，從而沿運(yùn)動(dòng)方向進(jìn)行一維小波分解。
在此小波分解期間，產(chǎn)生與不同時(shí)間頻率相對(duì)應(yīng)的變換畫(huà)面序列。然后，在空間分解步驟2b期間，通過(guò)2D小波變換處理被變換為時(shí)間頻率的畫(huà)面序列。
在運(yùn)動(dòng)估計(jì)步驟3的結(jié)尾，將表示GOP畫(huà)面序列中的運(yùn)動(dòng)矢量的運(yùn)動(dòng)系數(shù)傳輸?shù)綄?duì)表示GOP畫(huà)面序列中的運(yùn)動(dòng)的矢量場(chǎng)進(jìn)行編碼的步驟。
在空間分析步驟2b的結(jié)尾，將表示畫(huà)面序列的每個(gè)畫(huà)面中的空間頻率的系數(shù)傳輸?shù)届鼐幋a電路的輸入。
在步驟4中執(zhí)行的熵編碼包括兩個(gè)階段先驗(yàn)建模和適當(dāng)編碼。建模使其能夠?qū)⒏怕史峙浣o要處理的數(shù)據(jù)流中的每個(gè)符號(hào)。編碼為每個(gè)符號(hào)分配其長(zhǎng)度依賴于關(guān)聯(lián)概率的二進(jìn)制字。為此，使用如哈夫曼編碼或算術(shù)編碼等編碼方案。
將得自熵編碼4的編碼系數(shù)傳輸?shù)綌?shù)據(jù)流整形處理電路6的第一輸入，其第二輸入接收得自步驟3的運(yùn)動(dòng)矢量場(chǎng)的分量。因此，其全部構(gòu)成了3D小波系數(shù)數(shù)據(jù)流，按照產(chǎn)生可以對(duì)其應(yīng)用任何適當(dāng)后續(xù)處理(如加密、存儲(chǔ)或傳輸處理)的二進(jìn)制數(shù)據(jù)串7的方式使其串行化。
圖2所示為在四個(gè)畫(huà)面的GOP畫(huà)面序列的情況下、示出了一維變換技術(shù)的示意圖。沿著在運(yùn)動(dòng)估計(jì)步驟3期間被選擇出的基礎(chǔ)畫(huà)面的每個(gè)點(diǎn)的軌跡，執(zhí)行時(shí)間濾波。對(duì)應(yīng)于一維小波變換的傳統(tǒng)方案，以其像素的串行形式，示出了圖2中表示為畫(huà)面1、畫(huà)面2、…的每個(gè)畫(huà)面。因此，在圖2中，所考慮的軌跡通過(guò)分別在畫(huà)面1中以x1、在畫(huà)面2中以x2等作為其標(biāo)簽的位置。箭頭F1、F2和F3表示連續(xù)的畫(huà)面間位移，并使其能夠針對(duì)整個(gè)GOP畫(huà)面序列，標(biāo)識(shí)出與所考慮的軌跡相對(duì)應(yīng)的小波系數(shù)。
圖3所示為圖1的步驟2中所提及的一維小波分解步驟。在此示例中，考慮長(zhǎng)度為4的GOP、時(shí)間濾波長(zhǎng)度為2的兩級(jí)分解。如果將這種分解應(yīng)用于系數(shù)序列[x1，x2，x3，x4]，則首先應(yīng)用步驟10，進(jìn)行低通濾波，并以2進(jìn)行子采樣，產(chǎn)生低頻系數(shù)對(duì)[L1，L2]。并行地，應(yīng)用步驟11，進(jìn)行高通濾波，并以2進(jìn)行子采樣，產(chǎn)生高頻系數(shù)對(duì)[H1，H2]。
然后，針對(duì)低頻系數(shù)對(duì)[L1，L2]，再次應(yīng)用步驟12，進(jìn)行低通濾波，并以2進(jìn)行子采樣，產(chǎn)生表示最低時(shí)間頻率分量的系數(shù)[LL]，且并行地，應(yīng)用步驟13，進(jìn)行高通濾波，并以2進(jìn)行子采樣，產(chǎn)生表示中間頻率分量的系數(shù)[LH]。因此，獲得了四個(gè)時(shí)間頻率小波變換系數(shù)的組[LL，LH，H1，H2]。此外，在針對(duì)3D小波畫(huà)面壓縮的最新方案中，并不估計(jì)畫(huà)面2和3之間的場(chǎng)F2，實(shí)際上利用L1和L2之間所估計(jì)出的場(chǎng)進(jìn)行濾波12和13。
針對(duì)得自基準(zhǔn)畫(huà)面的每個(gè)軌跡，進(jìn)行此變換，從而使其能夠產(chǎn)生被變換為時(shí)間頻率的畫(huà)面，如圖4所示，分別為畫(huà)面H1、畫(huà)面H2、畫(huà)面LH和畫(huà)面LL。與在畫(huà)面(圖2中的畫(huà)面1、畫(huà)面2、…)中進(jìn)行了標(biāo)簽的運(yùn)動(dòng)點(diǎn)相對(duì)應(yīng)的四個(gè)系數(shù)為時(shí)間頻率調(diào)換的形式，分別為畫(huà)面H1中的H1、畫(huà)面H2中的H1、畫(huà)面LH中的LH和畫(huà)面LL中的LL。因此，所考慮的軌跡位于圖4所示的時(shí)間頻率圖上。
如本申請(qǐng)背景技術(shù)中所述，在完成圖4所示的時(shí)間分解時(shí)，在圖5所示的時(shí)間頻率域上，并未給沒(méi)有運(yùn)動(dòng)矢量通過(guò)的像素分配任何數(shù)值。在現(xiàn)有技術(shù)中，將其稱作未連接像素。正確地處理了分配給運(yùn)動(dòng)矢量的所有其他像素。但是，在最終變換8中，如果對(duì)于圖5左側(cè)表示為“畫(huà)面1”的示意圖上標(biāo)記為“X”的未連接像素(其中連接序列圖{畫(huà)面1、畫(huà)面2、畫(huà)面3、畫(huà)面4}的其他像素的運(yùn)動(dòng)矢量并未到達(dá))，不添加任何信息，則對(duì)于該序列的重構(gòu)將難以忠實(shí)于開(kāi)始的GOP畫(huà)面序列。
本發(fā)明的方法精確地借用了現(xiàn)有技術(shù)的元素，其如上定義。數(shù)據(jù)流由“自然”畫(huà)面流構(gòu)成，例如借助于攝像機(jī)產(chǎn)生的畫(huà)面，或借助于合成畫(huà)面生成器產(chǎn)生的畫(huà)面。簡(jiǎn)單地說(shuō)，本發(fā)明的方法在于將3D小波編碼的配置信息單元與傳統(tǒng)編碼器的輸出7處所描述的數(shù)據(jù)流相關(guān)聯(lián)。針對(duì)編碼的配置信息確保了對(duì)編碼方案成本判據(jù)的最佳響應(yīng)。
可以實(shí)現(xiàn)兩種模式-單向模式，或前向/后向模式。在此模式中，運(yùn)動(dòng)補(bǔ)償?shù)姆较虮仨氃贕OP內(nèi)恒定。在此模式中，只有GOP的第一個(gè)和最后一個(gè)畫(huà)面是選擇基準(zhǔn)畫(huà)面時(shí)的候選畫(huà)面；
-雙向模式，對(duì)于這種模式，GOP的所有畫(huà)面都是選擇基準(zhǔn)畫(huà)面時(shí)的候選畫(huà)面。在此模式中，可以在基準(zhǔn)畫(huà)面的任意一側(cè)，使用運(yùn)動(dòng)補(bǔ)償?shù)膬蓚€(gè)方向。圖6和7示出了單向模式，或“前向/后向”模式；圖8和9示出了雙向模式。
圖6所示為單向模式下、對(duì)畫(huà)面流的分解，其中每個(gè)GOP畫(huà)面序列，允許補(bǔ)償?shù)膯我环较?。在時(shí)域中，以垂直的記號(hào)表示每個(gè)畫(huà)面。在畫(huà)面的時(shí)間序列中，將畫(huà)面流從左至右分隔為三個(gè)GOP畫(huà)面序列，按時(shí)間順序指定為GOP1、GOP2和GOP3。
根據(jù)本發(fā)明，每個(gè)序列GOP1、GOP2、GOP3、…的畫(huà)面數(shù)與每個(gè)GOP的未連接像素?cái)?shù)的上限有關(guān)。
根據(jù)本發(fā)明，按照給定的判據(jù)，進(jìn)行以粗記號(hào)標(biāo)記的基準(zhǔn)畫(huà)面R的選擇。下面，將給出判據(jù)的一些示例。
第一判據(jù)是GOP中的未連接像素?cái)?shù)量最小。在這種情況下，針對(duì)運(yùn)動(dòng)補(bǔ)償?shù)膬蓚€(gè)方向中的每一個(gè)，計(jì)算GOP中的未連接像素?cái)?shù)量。然后，選擇使整個(gè)GOP中未連接像素的數(shù)量最小的方向和基準(zhǔn)畫(huà)面。
第二判據(jù)是運(yùn)動(dòng)的幅度最小。在這種情況下，針對(duì)兩個(gè)方向中的每一個(gè)，測(cè)量整個(gè)GOP中的運(yùn)動(dòng)幅度，例如，通過(guò)計(jì)算每個(gè)場(chǎng)的每個(gè)運(yùn)動(dòng)矢量的分量的平方和。然后，選擇表現(xiàn)出最小運(yùn)動(dòng)幅度的方向和基準(zhǔn)畫(huà)面。
第三判據(jù)是基準(zhǔn)畫(huà)面的信息豐富度。在這種情況下，通過(guò)其相應(yīng)小波分解的高頻的幅度，測(cè)量第一個(gè)和最后一個(gè)畫(huà)面的紋理信息項(xiàng)，并選擇最豐富的作為基準(zhǔn)畫(huà)面。
在圖6所示的示例中，應(yīng)當(dāng)注意，按照如下方式定義畫(huà)面流中的畫(huà)面序列，如下表所示

圖7所示為本發(fā)明方法的實(shí)施例，為單向模式，利用了未連接像素?cái)?shù)量的最小化?？梢栽诳蓸?biāo)識(shí)的處理器或可標(biāo)識(shí)的處理器的一部分上，以用于執(zhí)行所述方法的電路的形式，執(zhí)行所示出的每一個(gè)步驟，并且可以從中直接得出實(shí)施設(shè)備。
在步驟20，獲得畫(huà)面流，并傳輸?shù)讲襟E21，對(duì)畫(huà)面間的正向運(yùn)動(dòng)進(jìn)行估計(jì)，并同時(shí)傳輸?shù)讲襟E22，對(duì)畫(huà)面間的負(fù)向運(yùn)動(dòng)進(jìn)行估計(jì)。
然后，在步驟24，針對(duì)前向運(yùn)動(dòng)估計(jì)21，執(zhí)行運(yùn)動(dòng)點(diǎn)軌跡的構(gòu)造，以及在步驟25，針對(duì)后向運(yùn)動(dòng)估計(jì)22，執(zhí)行運(yùn)動(dòng)點(diǎn)軌跡的構(gòu)造。
然后，在步驟26，針對(duì)步驟24的軌跡構(gòu)造，執(zhí)行未連接像素?cái)?shù)量的計(jì)算，以及在步驟27，針對(duì)步驟25的軌跡構(gòu)造，執(zhí)行未連接像素?cái)?shù)量的計(jì)算。
最后，在步驟28，選擇運(yùn)動(dòng)補(bǔ)償?shù)淖罴逊较?，以便在步驟29中，產(chǎn)生表示這樣適配的GOP畫(huà)面序列的空間變換的二進(jìn)制流。
在步驟28中，通過(guò)選擇步驟26或步驟27中所記錄的未連接像素?cái)?shù)量中最小的一個(gè)，進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)淖罴逊较虻倪x擇。
應(yīng)當(dāng)注意，如果檢測(cè)到正向使未連接像素的數(shù)量最小，則所選擇的基準(zhǔn)畫(huà)面是正在進(jìn)行適配的GOP畫(huà)面序列中的最后一個(gè)畫(huà)面。相反，如果檢測(cè)到負(fù)向使未連接像素的數(shù)量最小，則所選擇的基準(zhǔn)畫(huà)面是正在進(jìn)行適配的GOP畫(huà)面序列中的第一個(gè)畫(huà)面。
通過(guò)允許GOP的所有畫(huà)面作為選擇基準(zhǔn)畫(huà)面時(shí)的候選畫(huà)面，可以拓寬本發(fā)明。這是雙向模式。于是，可以針對(duì)同一GOP畫(huà)面序列，采用時(shí)間分解的兩個(gè)方向，在基準(zhǔn)畫(huà)面的任意一側(cè)。
圖8所示為被分為三個(gè)GOP畫(huà)面序列的畫(huà)面流的一部分，借用了與參照?qǐng)D6所解釋的相同的編碼。但是，每個(gè)GOP序列包括分解的一個(gè)或兩個(gè)方向S和S’。當(dāng)提供分解的兩個(gè)方向S和S’時(shí)，確定基準(zhǔn)畫(huà)面在GOP序列的內(nèi)部。
在此模式中，可以根據(jù)與單向模式相同的判據(jù)來(lái)完成對(duì)基準(zhǔn)畫(huà)面R的選擇，也就是說(shuō)，整個(gè)GOP中未連接像素的數(shù)量最小、整個(gè)GOP中運(yùn)動(dòng)的幅度最小、以及畫(huà)面的選擇。
圖9所示為本發(fā)明方法的實(shí)施例，為雙向模式，即在GOP的所有畫(huà)面均為選擇基準(zhǔn)畫(huà)面時(shí)的候選畫(huà)面的情況下，以未連接像素?cái)?shù)量最小為判據(jù)。再一次，可以在可標(biāo)識(shí)的處理器或可標(biāo)識(shí)的處理器的一部分上，以用于執(zhí)行所述方法的電路的形式，執(zhí)行所示出的每一個(gè)步驟，并且可以從中直接得出實(shí)施設(shè)備。
在步驟30，獲得畫(huà)面流，并傳輸?shù)讲襟E31，對(duì)畫(huà)面間的正向運(yùn)動(dòng)進(jìn)行估計(jì)，并同時(shí)傳輸?shù)讲襟E32，對(duì)畫(huà)面間的負(fù)向運(yùn)動(dòng)進(jìn)行估計(jì)。
然后，針對(duì)正在進(jìn)行適配的GOP序列的每個(gè)畫(huà)面，執(zhí)行循環(huán)33，在其過(guò)程中，順序執(zhí)行構(gòu)造軌跡的步驟34和計(jì)算未連接像素的數(shù)量的步驟35。
然后，執(zhí)行選擇正在進(jìn)行適配的GOP畫(huà)面序列中的最佳基準(zhǔn)畫(huà)面R的步驟。在圖9中，選擇最佳基準(zhǔn)畫(huà)面的判據(jù)是最小的未連接像素?cái)?shù)量。
將本發(fā)明的方法集成在3D小波視頻壓縮器/解壓縮器方案中。在這種應(yīng)用中，可以在三個(gè)不同的地方實(shí)現(xiàn)本發(fā)明的方法-實(shí)現(xiàn)編碼步驟的地方；-包括配置信息單元和3D小波編碼數(shù)據(jù)的二進(jìn)制數(shù)據(jù)流存在的狀態(tài)為已記錄數(shù)據(jù)的傳輸信號(hào)或載波的形式的地方；以及-實(shí)現(xiàn)解碼步驟的地方。
根據(jù)本發(fā)明的方案，將所述方法集成在MPEGTM編碼/解碼方案中。此設(shè)置尤其與MPEG-7標(biāo)準(zhǔn)的實(shí)施框架相關(guān)。
圖10所示為詳細(xì)描述了實(shí)現(xiàn)本發(fā)明方法的3D小波編碼設(shè)備的實(shí)施例的方框圖。
該設(shè)備包括針對(duì)視頻數(shù)據(jù)流106的輸入端100，與畫(huà)面組分析器電路101的輸入相連；畫(huà)面組分析器電路101的第一輸出端107，與產(chǎn)生針對(duì)3D小波編碼的配置信息單元的電路103的輸入端109’相連，以及與3D小波編碼器102的輸入端109適當(dāng)相連，從而根據(jù)上述本發(fā)明的方法，向其提供定義了要應(yīng)用的3D小波處理的配置數(shù)據(jù)。電路101最后包括第二輸出端，用于適當(dāng)?shù)乩^續(xù)3D小波編碼器102上的3D小波處理。
編碼器102的輸出端110和產(chǎn)生電路103的輸出端111與電路104的對(duì)應(yīng)輸入相連，電路104對(duì)要呈現(xiàn)在其輸出105的二進(jìn)制數(shù)據(jù)流FDB進(jìn)行整形，根據(jù)確定的協(xié)議，其包括以下序列-與GOP畫(huà)面序列相關(guān)聯(lián)的3D小波編碼配置信息；以及-與相應(yīng)GOP畫(huà)面序列的3D小波編碼的結(jié)果相對(duì)應(yīng)的二進(jìn)制數(shù)據(jù)流。
可以將這樣構(gòu)造的數(shù)據(jù)流傳輸?shù)叫碌奶幚黼娐?、記錄設(shè)備或傳輸線。
圖11所示為詳細(xì)描述了實(shí)現(xiàn)本發(fā)明方法的3D小波解碼設(shè)備的實(shí)施例的方框圖。
該設(shè)備包括與鑒別電路121相連的輸入端120，鑒別電路121的輸出端126和127分別與3D解碼配置信息產(chǎn)生電路122和3D小波解碼電路123相連。當(dāng)?shù)米詧D10所示的電路的二進(jìn)制數(shù)據(jù)流傳輸?shù)捷斎攵?20時(shí)，鑒別器121分析數(shù)據(jù)，從而在鑒別器121的第一輸出端126上，呈現(xiàn)應(yīng)用于二進(jìn)制數(shù)據(jù)流的3D小波編碼的信息特性。
然后，二進(jìn)制數(shù)據(jù)流呈現(xiàn)在鑒別器的輸出127上，并被加載到解碼器123中。解碼器123包括配置輸入端，接收得自根據(jù)包含在每個(gè)配置信息單元中的信息、產(chǎn)生配置信息的電路122的接線端128的配置信息，如基準(zhǔn)畫(huà)面的數(shù)據(jù)、分解的方向和/或數(shù)據(jù)流120中所表示的畫(huà)面序列的畫(huà)面數(shù)。在輸出端124呈現(xiàn)已解碼GOP畫(huà)面序列。
本發(fā)明可應(yīng)用于基于3D小波分解的視頻壓縮領(lǐng)域。因此，可以將其集成在基于3D小波的視頻壓縮器/解壓縮器方案中。
本發(fā)明可應(yīng)用于傳統(tǒng)的混合編碼方案中，尤其是其中I型畫(huà)面和P型畫(huà)面用作基準(zhǔn)畫(huà)面的MPEG型方案中。在這種情況下，將本發(fā)明的方法集成在MPEG編碼/解碼方案中。
權(quán)利要求
1.一種根據(jù)3D小波處理來(lái)編碼和/或解碼畫(huà)面序列的方法，其特征在于所述方法包括編碼階段，其包括以下步驟-根據(jù)預(yù)定的最佳判據(jù)，確定用于配置3D小波編碼的至少一個(gè)信息項(xiàng)，作為針對(duì)隨后畫(huà)面序列的基準(zhǔn)畫(huà)面的選擇；然后，-產(chǎn)生包括針對(duì)所述畫(huà)面序列的基準(zhǔn)畫(huà)面的數(shù)據(jù)的配置信息單元；以及最后，-根據(jù)所述配置信息，執(zhí)行3D小波編碼，以如下方式進(jìn)行產(chǎn)生包括配置信息單元的每個(gè)畫(huà)面序列的聯(lián)合的已編碼數(shù)據(jù)流和/或針對(duì)畫(huà)面序列的畫(huà)面的3D小波編碼數(shù)據(jù)流。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于用于確定至少一個(gè)配置信息項(xiàng)的步驟包括以下步驟在作為基準(zhǔn)畫(huà)面的至少一個(gè)測(cè)試畫(huà)面中進(jìn)行小波分解；然后，進(jìn)行運(yùn)動(dòng)估計(jì)；然后，確定畫(huà)面序列中、在運(yùn)動(dòng)估計(jì)步驟期間、未連接像素的數(shù)量最小的畫(huà)面，作為基準(zhǔn)畫(huà)面。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于用于確定至少一個(gè)配置信息項(xiàng)的步驟包括以下步驟確定至少一個(gè)測(cè)試畫(huà)面中的運(yùn)動(dòng)幅度；然后，確定畫(huà)面序列中、畫(huà)面中的運(yùn)動(dòng)幅度最小的畫(huà)面，作為基準(zhǔn)畫(huà)面。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于用于確定至少一個(gè)配置信息項(xiàng)的步驟包括以下步驟在至少一個(gè)測(cè)試畫(huà)面中，通過(guò)測(cè)量高頻分量，確定紋理信息項(xiàng)；然后，確定畫(huà)面序列中、紋理信息項(xiàng)最豐富的畫(huà)面，作為基準(zhǔn)畫(huà)面。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于用于確定至少一個(gè)配置信息項(xiàng)的步驟還包括確定所述畫(huà)面序列中的畫(huà)面的數(shù)量。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于用于確定至少一個(gè)配置信息項(xiàng)的步驟還包括確定針對(duì)畫(huà)面序列的時(shí)間分解的至少一個(gè)方向。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于用于確定至少一個(gè)配置信息項(xiàng)的步驟包括-在第一步驟中構(gòu)造預(yù)定尺寸的畫(huà)面序列GOP，-在第二步驟中針對(duì)每個(gè)畫(huà)面序列，根據(jù)最小化未連接像素的數(shù)量的選擇，選擇畫(huà)面序列的第一個(gè)畫(huà)面，作為基準(zhǔn)畫(huà)面，且時(shí)間分解的方向?yàn)榍跋?；或者選擇畫(huà)面序列的最后一個(gè)畫(huà)面，作為基準(zhǔn)畫(huà)面，且時(shí)間分解的方向?yàn)楹笙颉?br> 8.根據(jù)權(quán)利要求1所述的方法，其特征在于用于確定至少一個(gè)配置信息項(xiàng)的步驟包括-在第一步驟中構(gòu)造預(yù)定尺寸的畫(huà)面序列GOP，-在第二步驟中執(zhí)行基準(zhǔn)畫(huà)面的選擇，以及針對(duì)跟隨所選基準(zhǔn)畫(huà)面的畫(huà)面序列的畫(huà)面，確定時(shí)間分解的方向?yàn)榍跋颍约搬槍?duì)所選基準(zhǔn)畫(huà)面之前的畫(huà)面序列的畫(huà)面，確定時(shí)間分解的方向?yàn)楹笙颉?br> 9.根據(jù)權(quán)利要求8所述的方法，其特征在于用于確定至少一個(gè)配置信息項(xiàng)的步驟包括以下步驟-沿畫(huà)面間的前向?qū)\(yùn)動(dòng)進(jìn)行估計(jì)(21)；構(gòu)造前向運(yùn)動(dòng)估計(jì)中、運(yùn)動(dòng)點(diǎn)的軌跡(24)；以及計(jì)算構(gòu)造軌跡的步驟(24)期間、未連接像素的數(shù)量(26)；-沿畫(huà)面間的后向?qū)Ξ?huà)面間的后向運(yùn)動(dòng)進(jìn)行估計(jì)(22)；構(gòu)造后向運(yùn)動(dòng)估計(jì)中、運(yùn)動(dòng)點(diǎn)的軌跡(25)；以及計(jì)算構(gòu)造軌跡的步驟(25)期間、未連接像素的數(shù)量(27)；-根據(jù)最小的未連接像素?cái)?shù)量，選擇最佳基準(zhǔn)畫(huà)面(28)。
10.根據(jù)權(quán)利要求1所述的方法，其特征在于用于確定至少一個(gè)配置信息項(xiàng)的步驟包括以下步驟-對(duì)畫(huà)面間的前向運(yùn)動(dòng)進(jìn)行估計(jì)(31)，同時(shí)對(duì)畫(huà)面間的后向運(yùn)動(dòng)進(jìn)行估計(jì)(32)；然后，-針對(duì)正在進(jìn)行適配的GOP序列的每個(gè)畫(huà)面，進(jìn)行循環(huán)(33)，在其過(guò)程中，順序執(zhí)行構(gòu)造軌跡的步驟(34)和計(jì)算未連接像素的數(shù)量的步驟(35)；然后，-根據(jù)最小的未連接像素?cái)?shù)量，選擇正在進(jìn)行適配的GOP畫(huà)面序列中的最佳基準(zhǔn)畫(huà)面(R)(36)。
11.根據(jù)前述權(quán)利要求之一所述的方法，其特征在于所述方法包括解碼階段，其包括-對(duì)確定了在給定二進(jìn)制數(shù)據(jù)流上執(zhí)行的3D小波編碼的特性的配置信息單元進(jìn)行解碼；然后，-執(zhí)行3D小波解碼處理電路的更新；以及最后，-執(zhí)行對(duì)表示畫(huà)面序列的二進(jìn)制數(shù)據(jù)流的解碼，從而在輸出處產(chǎn)生包含在給定二進(jìn)制數(shù)據(jù)流中的至少一個(gè)畫(huà)面序列。
12.根據(jù)前述權(quán)利要求之一所述的方法，其特征在于將所述方法集成在基于3D小波的視頻壓縮器/解壓縮器方案中。
13.根據(jù)權(quán)利要求1到12之一所述的方法，其特征在于將所述方法集成在MPEGTM編碼/解碼方案中。
全文摘要
本發(fā)明涉及一種編碼和/或解碼畫(huà)面組的方法。根據(jù)本發(fā)明，在3D小波處理的框架內(nèi)、對(duì)畫(huà)面流進(jìn)行時(shí)間分解期間，適配每個(gè)GOP型畫(huà)面序列的畫(huà)面數(shù)(GOP1、GOP2、…)、基準(zhǔn)畫(huà)面(R)的選擇和時(shí)間分解的方向(S)，以最小化未連接像素的數(shù)量。
文檔編號(hào)H04N7/26GK1784906SQ200480012420
公開(kāi)日2006年6月7日 申請(qǐng)日期2004年5月12日 優(yōu)先權(quán)日2003年5月23日
發(fā)明者愛(ài)德華·弗朗索瓦, 多米尼克·索羅, 紀(jì)堯姆·布瓦松 申請(qǐng)人:湯姆森許可貿(mào)易公司