專利名稱：通過向前運(yùn)動(dòng)補(bǔ)償、對(duì)應(yīng)的流和計(jì)算機(jī)程序?qū)嵤╊A(yù)測(cè)的用于對(duì)圖像序列進(jìn)行編碼和解碼 ...的制作方法
通過向前運(yùn)動(dòng)補(bǔ)償、對(duì)應(yīng)的流和計(jì)算機(jī)程序?qū)嵤╊A(yù)測(cè)的用于對(duì)圖像序列進(jìn)行編碼和解碼的方法和裝置1.技術(shù)領(lǐng)域
本發(fā)明的技術(shù)領(lǐng)域涉及對(duì)圖像進(jìn)行編碼和解碼，尤其涉及對(duì)由一系列的連續(xù)圖像組成的視頻流進(jìn)行編碼和解碼。
具體而言，本發(fā)明涉及實(shí)施向前運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)技術(shù)。
因此，本發(fā)明尤其適用于在當(dāng)前的視頻編碼器(MPEG，H. 264等)或未來的視頻編碼器(ITU-T/VCEG(H. 265)或ISO/MPEG(HVC))中實(shí)施的視頻編碼。2.背景技術(shù)
下文描述是關(guān)于在編碼或解碼圖像序列的領(lǐng)域中使用圖像的塊式圖示所進(jìn)行的圖像預(yù)測(cè)。因此，例如根據(jù)H. 264技術(shù)，可將每個(gè)圖像細(xì)分成宏塊，宏塊隨后被細(xì)分為塊。一個(gè)塊由一組點(diǎn)或一組像素組成。
具體而言，AVC編碼標(biāo)準(zhǔn)定義了一種塊編碼模式，稱作“時(shí)間直接”模式。這種編碼模式獲得用于當(dāng)前圖像的塊的運(yùn)動(dòng)信息，所述當(dāng)前圖像的塊將由參考圖像中被共同本地化的塊加以預(yù)測(cè)。運(yùn)動(dòng)矢量經(jīng)過縮放使得具有所述當(dāng)前圖像中的運(yùn)動(dòng)矢量的特征的位移振幅與以下兩項(xiàng)成比例參考圖像中的運(yùn)動(dòng)振幅，以及參考圖像與當(dāng)前圖像之間的時(shí)間距離 (temporal distance)。
圖I通過實(shí)例圖示了用于待預(yù)測(cè)的B型圖像Ic的編碼模式待預(yù)測(cè)圖像Ic的塊 21的運(yùn)動(dòng)信息，將從參考圖像Irefl中被共同本地化的塊22中獲得，塊21也稱作當(dāng)前塊。
對(duì)于B型圖像，可以對(duì)待預(yù)測(cè)圖像Ic的當(dāng)前塊21定義雙向預(yù)測(cè)法，具體是執(zhí)行雙向運(yùn)動(dòng)補(bǔ)償，一方面，是對(duì)運(yùn)動(dòng)矢量MV1和向前參考圖像Irefl進(jìn)行，而另一方面則是對(duì)運(yùn)動(dòng)矢量MVtl和向后參考圖像IrefO進(jìn)行。運(yùn)動(dòng)矢量MVtl和MV1都從相對(duì)于向后參考圖像 IrefO的向前參考圖像Irefl中被共同本地化的塊22的運(yùn)動(dòng)矢量MV。中獲得，并且所依據(jù)的是以下用于對(duì)待預(yù)測(cè)圖像Ic中的運(yùn)動(dòng)矢量進(jìn)行縮放的等式
權(quán)利要求
1.一種用于對(duì)圖像序列進(jìn)行編碼的編碼方法，所述編碼方法實(shí)施預(yù)測(cè)步驟，所述預(yù)測(cè)步驟借助于來自至少一個(gè)參考圖像的向前運(yùn)動(dòng)補(bǔ)償實(shí)施來預(yù)測(cè)至少一個(gè)當(dāng)前圖像，針對(duì)所述當(dāng)前圖像的至少一個(gè)塊，稱作當(dāng)前塊(32)，所述預(yù)測(cè)步驟實(shí)施將所述參考圖像的至少一個(gè)塊向前投影在所述當(dāng)前圖像上的子步驟(31)，以產(chǎn)生與所述當(dāng)前塊至少部分重疊的至少一個(gè)投影塊(311、312)，表示所述當(dāng)前圖像中的所述投影塊的位移的運(yùn)動(dòng)矢量經(jīng)標(biāo)準(zhǔn)化以考慮到所述參考圖像和所述當(dāng)前圖像之間的時(shí)間距離，所述運(yùn)動(dòng)矢量被稱作投影運(yùn)動(dòng)矢量，與每個(gè)投影塊相關(guān)聯(lián)，所述編碼方法的特征在于，針對(duì)所述當(dāng)前塊(32)，所述預(yù)測(cè)步驟實(shí)施以下子步驟-對(duì)所述當(dāng)前塊進(jìn)行分區(qū)(33)，以產(chǎn)生與所述投影塊中的至少一個(gè)投影塊至少部分重疊的至少一個(gè)子塊，所述子塊被稱作重疊子塊(331、332)；-針對(duì)至少一個(gè)重疊子塊，重復(fù)以下步驟至少一次 ο檢查(34)所述重疊子塊是否符合預(yù)定的分配標(biāo)準(zhǔn)；ο在檢查結(jié)果為符合的情況下，向所述重疊子塊分配(35)從與至少部分與所述重疊子塊重疊的所述投影塊相關(guān)聯(lián)的所述投影運(yùn)動(dòng)矢量中選出的所述投影運(yùn)動(dòng)矢量中的一個(gè)投影運(yùn)動(dòng)矢量；ο在檢查結(jié)果為不符合的情況下，且只要所述重疊子塊未達(dá)到預(yù)定的最小尺寸，則對(duì)所述重疊子塊進(jìn)行分區(qū)(36)，以產(chǎn)生至少一個(gè)新的重疊子塊。
2.根據(jù)權(quán)利要求I所述的編碼方法，其特征在于，所述預(yù)定的分配標(biāo)準(zhǔn)涉及包括以下標(biāo)準(zhǔn)的組-所述重疊子塊僅與所述投影塊中的一個(gè)投影塊至少部分重疊；-所述重疊子塊的預(yù)定數(shù)目像素與所述投影塊中的一個(gè)投影塊重疊。
3.根據(jù)權(quán)利要求I所述的編碼方法，其特征在于，所述分配步驟(35)選擇與所述重疊子塊重疊像素最多的所述投影塊相關(guān)聯(lián)的所述投影運(yùn)動(dòng)矢量。
4.根據(jù)權(quán)利要求I所述的編碼方法，其特征在于，所述分配步驟(35)針對(duì)至少部分與所述重疊子塊重疊的至少兩個(gè)投影塊實(shí)施以下步驟，被稱作候選矢量的投影運(yùn)動(dòng)矢量與所述投影塊相關(guān)聯(lián)_向后投影步驟，在所述參考圖像中，沿所述候選矢量中的每個(gè)候選矢量對(duì)所述重疊子塊向后投影，以產(chǎn)生至少兩個(gè)向后投影子塊；-針對(duì)沿候選矢量向后投影的每個(gè)子塊，確定與具有類似于所述候選矢量的運(yùn)動(dòng)矢量的所述向后投影子塊重疊的所述參考圖像的像素?cái)?shù)目，以產(chǎn)生每個(gè)候選矢量的重疊率；-向所述重疊子塊分配具有最佳重疊率的所述候選矢量。
5.根據(jù)權(quán)利要求I所述的編碼方法，其特征在于，所述編碼方法還包括以下步驟-預(yù)測(cè)所述當(dāng)前塊，方式為使與在所述分配步驟期間選定的所述投影運(yùn)動(dòng)矢量相關(guān)聯(lián)的所述參考圖像的所述塊沿所述選定的投影運(yùn)動(dòng)矢量移位，以產(chǎn)生預(yù)測(cè)塊；-通過比較所述當(dāng)前塊和所述預(yù)測(cè)塊來確定紋理的至少一個(gè)殘余；-對(duì)所述紋理的至少一個(gè)殘余進(jìn)行編碼。
6.根據(jù)權(quán)利要求I或權(quán)利要求5所述的編碼方法，其特征在于，所述編碼方法還包括以下步驟-確定與所述當(dāng)前塊相關(guān)聯(lián)的運(yùn)動(dòng)矢量；_通過比較所述選定的投影運(yùn)動(dòng)矢量和與所述當(dāng)前塊相關(guān)聯(lián)的所述運(yùn)動(dòng)矢量，確定至少一個(gè)運(yùn)動(dòng)矢量殘余；-對(duì)所述至少一個(gè)運(yùn)動(dòng)矢量殘余進(jìn)行編碼。
7.根據(jù)權(quán)利要求I所述的編碼方法，其特征在于，所述編碼方法包括預(yù)測(cè)步驟，用于根據(jù)在所述分配步驟(35)中選定的所述投影運(yùn)動(dòng)矢量來預(yù)測(cè)與鄰近所述當(dāng)前圖像中的所述當(dāng)前塊的塊相關(guān)聯(lián)的至少一個(gè)運(yùn)動(dòng)矢量。
8.根據(jù)權(quán)利要求I所述的編碼方法，其特征在于，所述編碼方法包括插入步驟，即，將表示針對(duì)所述當(dāng)前圖像的至少一個(gè)塊或子塊實(shí)施的新編碼模式的至少一個(gè)標(biāo)志插入到表示所述圖像序列的流中，從而表明使用了針對(duì)所述塊或子塊的編碼選定的至少一個(gè)投影運(yùn)動(dòng)矢量。
9.一種用于對(duì)圖像序列進(jìn)行編碼的裝置，所述裝置包括預(yù)測(cè)構(gòu)件，用于借助于來自至少一個(gè)參考圖像的向前運(yùn)動(dòng)補(bǔ)償來預(yù)測(cè)至少一個(gè)當(dāng)前圖像，針對(duì)所述當(dāng)前圖像的至少一個(gè)塊，稱作當(dāng)前塊(32)，所述預(yù)測(cè)構(gòu)件包括將所述參考圖像的至少一個(gè)塊向前投影(31)在所述當(dāng)前圖像上的構(gòu)件，以產(chǎn)生至少部分與所述當(dāng)前塊重疊的至少一個(gè)投影塊(311、312)，表示所述當(dāng)前圖像中的所述投影塊的位移的運(yùn)動(dòng)矢量經(jīng)標(biāo)準(zhǔn)化以考慮到所述參考圖像和所述當(dāng)前圖像之間的時(shí)間距離，所述運(yùn)動(dòng)矢量被稱作投影運(yùn)動(dòng)矢量，與每個(gè)投影塊相關(guān)聯(lián)，所述裝置的特征在于，所述預(yù)測(cè)構(gòu)件針對(duì)所述當(dāng)前塊(32)包括用于對(duì)所述當(dāng)前塊進(jìn)行分區(qū)(33)的構(gòu)件，以產(chǎn)生與所述投影塊中的至少一個(gè)投影塊至少部分重疊的至少一個(gè)子塊，所述子塊被稱作重疊子塊(331、332)。而且所述預(yù)測(cè)構(gòu)件包括針對(duì)至少一個(gè)重疊子塊而重復(fù)啟用至少一次的以下構(gòu)件 ο檢查構(gòu)件，用于檢查(34)所述重疊子塊是否符合預(yù)定的分配標(biāo)準(zhǔn)； ο分配構(gòu)件，用于向所述重疊子塊分配(35)從與至少部分與所述重疊子塊重疊的所述投影塊相關(guān)聯(lián)的所述投影運(yùn)動(dòng)矢量中選出的所述投影運(yùn)動(dòng)矢量中的一個(gè)投影運(yùn)動(dòng)矢量， 所述分配構(gòu)件在檢查結(jié)果為符合的情況下啟用；ο分區(qū)構(gòu)件，用于對(duì)所述重疊子塊進(jìn)行分區(qū)(36)，以產(chǎn)生至少一個(gè)新的重疊子塊，所述分區(qū)構(gòu)件在檢查結(jié)果為不符合的情況下，且只要所述重疊子塊未達(dá)到預(yù)定的最小尺寸便啟用。
10.一種表示根據(jù)權(quán)利要求I所述的編碼方法進(jìn)行編碼的圖像序列的流，其特征在于， 所述流包括表示針對(duì)所述當(dāng)前圖像的至少一個(gè)塊或子塊實(shí)施的新編碼模式的至少一個(gè)標(biāo)志，從而表明使用了用于對(duì)所述塊或子塊進(jìn)行編碼的至少一個(gè)選定的投影運(yùn)動(dòng)矢量。
11.一種用于對(duì)表示圖像序列的流進(jìn)行解碼的解碼方法，所述解碼方法包括預(yù)測(cè)步驟， 用于借助于來自至少一個(gè)參考圖像的向前運(yùn)動(dòng)補(bǔ)償實(shí)施來預(yù)測(cè)待重建的至少一個(gè)圖像，針對(duì)所述待重建的圖像的至少一個(gè)塊，稱作待重建的塊(52)，所述預(yù)測(cè)步驟實(shí)施將所述參考圖像的至少一個(gè)塊向前投影在所述待重建的圖像上的子步驟(51)，以產(chǎn)生至少部分與所述待重建的塊重疊的至少一個(gè)投影塊，表示投影在所述待重建的圖像中的塊的位移的運(yùn)動(dòng)矢量經(jīng)標(biāo)準(zhǔn)化以考慮到所述參考圖像和所述待重建的圖像之間的時(shí)間距離，所述運(yùn)動(dòng)矢量被稱作投影運(yùn)動(dòng)矢量，與每個(gè)投影塊相關(guān)聯(lián)，所述解碼方法的特征在于，針對(duì)所述待重建的塊(52)，所述預(yù)測(cè)步驟實(shí)施以下子步驟-對(duì)所述待重建的塊進(jìn)行分區(qū)(53)，以產(chǎn)生與所述投影塊中的至少一個(gè)投影塊至少部分重疊的至少一個(gè)子塊，所述子塊被稱作重疊子塊；-針對(duì)至少一個(gè)重疊子塊，重復(fù)以下步驟至少一次 ο檢查(54)所述重疊子塊是否符合預(yù)定的分配標(biāo)準(zhǔn)；ο在檢查結(jié)果為符合的情況下向所述重疊子塊分配(55)從與至少部分與所述重疊子塊重疊的所述投影塊相關(guān)聯(lián)的所述投影運(yùn)動(dòng)矢量中選出的所述投影運(yùn)動(dòng)矢量中的一個(gè)投影運(yùn)動(dòng)矢量；ο在檢查結(jié)果為不符合的情況下，且只要所述重疊子塊未達(dá)到預(yù)定的最小尺寸，則對(duì)所述重疊子塊進(jìn)行分區(qū)(56)，以產(chǎn)生至少一個(gè)新的重疊子塊。
12.根據(jù)權(quán)利要求I所述的解碼方法，其特征在于，所述解碼方法還實(shí)施以下步驟-預(yù)測(cè)所述待重建的塊，方式為使與在所述分配步驟期間選定的所述投影運(yùn)動(dòng)矢量相關(guān)聯(lián)的所述參考圖像的塊沿所述選定的投影運(yùn)動(dòng)矢量移位，以產(chǎn)生預(yù)測(cè)塊；-對(duì)從表示圖像序列的所述流中提取的紋理的至少一個(gè)殘余進(jìn)行解碼，所述殘余是在對(duì)所述圖像序列進(jìn)行編碼時(shí)獲得的；-根據(jù)所述紋理的至少一個(gè)殘余以及所述預(yù)測(cè)塊，重建所述待重建的塊。
13.根據(jù)權(quán)利要求11和12中任一權(quán)利要求所述的解碼方法，其特征在于，所述解碼方法還實(shí)施以下步驟_確定與所述待重建的塊相關(guān)聯(lián)的運(yùn)動(dòng)矢量；-對(duì)從表示圖像序列的所述流中提取的運(yùn)動(dòng)矢量的至少一個(gè)殘余進(jìn)行解碼，所述殘余是在對(duì)所述圖像序列進(jìn)行編碼時(shí)獲得的；-根據(jù)所述運(yùn)動(dòng)矢量的至少一個(gè)殘余以及與所述待重建的塊相關(guān)聯(lián)的所述運(yùn)動(dòng)矢量， 重建所述待重建的塊。
14.一種用于對(duì)表示圖像序列的流進(jìn)行解碼的裝置，所述裝置包括預(yù)測(cè)構(gòu)件，用于借助于來自至少一個(gè)參考圖像的向前運(yùn)動(dòng)補(bǔ)償來預(yù)測(cè)至少一個(gè)待重建的圖像，針對(duì)所述待重建的圖像的至少一個(gè)塊，稱作待重建的塊(52)，所述預(yù)測(cè)構(gòu)件包括將所述參考圖像的至少一個(gè)塊向前投影(51)在所述待重建圖像上的構(gòu)件，以產(chǎn)生至少部分與所述待重建的塊重疊的至少一個(gè)投影塊，表示投影在所述待重建的圖像中的塊的位移的運(yùn)動(dòng)矢量經(jīng)標(biāo)準(zhǔn)化以考慮到所述參考圖像和所述待重建的圖像之間的時(shí)間距離，所述運(yùn)動(dòng)矢量被稱作投影運(yùn)動(dòng)矢量，與每個(gè)投影塊相關(guān)聯(lián)，所述裝置的特征在于，所述預(yù)測(cè)構(gòu)件針對(duì)所述待重建的塊(52)，包括用于對(duì)所述待重建的塊進(jìn)行分區(qū)(53)的構(gòu)件，以產(chǎn)生與所述投影塊中的至少一個(gè)投影塊至少部分重疊的至少一個(gè)子塊，所述子塊被稱作重疊子塊，而且所述預(yù)測(cè)構(gòu)件包括針對(duì)至少一個(gè)重疊子塊而重復(fù)啟用至少一次的以下構(gòu)件 ο檢查構(gòu)件，用于檢查(54)所述重疊子塊是否符合預(yù)定的分配標(biāo)準(zhǔn)； ο分配構(gòu)件，用于向所述重疊子塊分配(55)從與至少部分與所述重疊子塊重疊的所述投影塊相關(guān)聯(lián)的所述投影運(yùn)動(dòng)矢量中選出的所述投影運(yùn)動(dòng)矢量中的一個(gè)投影運(yùn)動(dòng)矢量， 所述分配構(gòu)件在檢查結(jié)果為符合的情況下啟用；ο分區(qū)構(gòu)件，用于對(duì)所述重疊子塊進(jìn)行分區(qū)(56)，以產(chǎn)生至少一個(gè)新的重疊子塊，所述分區(qū)構(gòu)件在檢查結(jié)果為不符合的情況下，且只要所述重疊子塊并未達(dá)到預(yù)定的最小尺寸便啟用。
15.一種計(jì)算機(jī)程序，其包括用于在處理器執(zhí)行此程序時(shí)，實(shí)施根據(jù)權(quán)利要求I或根據(jù)權(quán)利要求11所述的方法的指令。
全文摘要
本發(fā)明涉及一種用于對(duì)圖像序列進(jìn)行編碼的方法，所述方法實(shí)施預(yù)測(cè)步驟，用于借助于來自至少一個(gè)參考圖像的向前運(yùn)動(dòng)補(bǔ)償來預(yù)測(cè)至少一個(gè)當(dāng)前圖像，針對(duì)所述當(dāng)前圖像的至少一個(gè)當(dāng)前塊(32)，所述預(yù)測(cè)步驟實(shí)施將所述參考圖像的至少一個(gè)塊向前投影在所述當(dāng)前圖像上的子步驟(31)，以產(chǎn)生至少部分與所述當(dāng)前塊重疊的至少一個(gè)投影塊(311、312)。根據(jù)本發(fā)明，所述預(yù)測(cè)步驟針對(duì)所述當(dāng)前塊(32)實(shí)施以下子步驟對(duì)所述當(dāng)前塊進(jìn)行分區(qū)(33)，以產(chǎn)生與至少一個(gè)投影塊至少部分重疊的至少一個(gè)子塊；針對(duì)至少一個(gè)重疊子塊，重復(fù)以下步驟至少一次檢查(34)所述重疊子塊是否符合預(yù)定的分配標(biāo)準(zhǔn)；在檢查結(jié)果為符合的情況下，向所述重疊子塊分配(35)所述投影運(yùn)動(dòng)矢量中的一個(gè)投影運(yùn)動(dòng)矢量；在檢查結(jié)果為不符合的情況下，且只要所述重疊子塊未達(dá)到預(yù)定的最小尺寸，則對(duì)所述重疊子塊進(jìn)行分區(qū)(36)。
文檔編號(hào)H04N7/36GK102939751SQ201180017661
公開日2013年2月20日 申請(qǐng)日期2011年3月29日 優(yōu)先權(quán)日2010年3月31日
發(fā)明者伊莎貝爾·阿莫努, 斯蒂芬·帕竇, 娜塔莉·伽馬 申請(qǐng)人:法國電信