專利名稱：視頻編碼、解碼方法、裝置和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼方法、視頻解碼方法、視頻編碼裝置、視頻解碼裝置、視頻處理系統(tǒng)、視頻編碼程序和視頻解碼程序。
背景技術(shù)：
通常，視頻信號(hào)編碼技術(shù)用于傳輸、存儲(chǔ)和再生視頻信號(hào)。眾所周知的技術(shù)包括，例如國(guó)際標(biāo)準(zhǔn)視頻編碼方法如ITU-T建議H.263(下文稱之為“H.263”)、ISO/IEC國(guó)際標(biāo)準(zhǔn)14496-2(MPEG-4圖像，下文稱之為“MPEG-4”)等等。
另一個(gè)已知更新的編碼系統(tǒng)是為ITU-T和ISO/IEC的聯(lián)合國(guó)際統(tǒng)一標(biāo)準(zhǔn)而制定的視頻編碼方法ITU-T建議H.264和ISO/IEC國(guó)際標(biāo)準(zhǔn)14496-10(聯(lián)合視頻規(guī)范的聯(lián)合最終委員會(huì)草案，下文稱之為“H.26L”)。關(guān)于在這些視頻編碼方法中所使用的常規(guī)編碼技術(shù)，將做一些參考，例如下面給出的非專利文獻(xiàn)1。
國(guó)際圖像編碼標(biāo)準(zhǔn)中的基本技術(shù)(Fumitaka Ono與Hiroshi Watanabe合著，CORONA出版有限公司1998年3月20日出版)運(yùn)動(dòng)視頻信號(hào)由一系列隨時(shí)間而逐漸變化的圖像(幀)構(gòu)成。出于這個(gè)原因，這些視頻編碼方法中的常規(guī)操作是在檢索作為編碼目標(biāo)的幀(當(dāng)前幀)與另一個(gè)幀(參考幀)之間執(zhí)行幀間預(yù)測(cè)，從而減少視頻信號(hào)中的暫時(shí)冗余。
在此情況中，幀間預(yù)測(cè)在當(dāng)前幀和與當(dāng)前幀差異較小的參考幀之間執(zhí)行，從而能夠進(jìn)一步減少冗余，因此能夠提高編碼效率。出于這個(gè)原因，參考幀相對(duì)于當(dāng)前幀，可以是暫時(shí)超前的幀(temporallyprevious frame)，或者是暫時(shí)滯后的幀(temporally subsequentframe)。參考超前幀的預(yù)測(cè)稱為前向預(yù)測(cè)(forward prediction)，而參考滯后幀的預(yù)測(cè)稱為后向預(yù)測(cè)(backward prediction)(如圖1)。雙向預(yù)測(cè)定義為，從這兩種預(yù)測(cè)方法中任意選擇出一種的預(yù)測(cè)，或者同時(shí)使用這兩種方法的預(yù)測(cè)。
大體上，在使用這種雙向預(yù)測(cè)時(shí)，用作前向預(yù)測(cè)參考幀的暫時(shí)超前幀和用作后向預(yù)測(cè)參考幀的暫時(shí)滯后幀每一個(gè)都在當(dāng)前幀之前存儲(chǔ)在幀緩沖器中。
例如，在解碼MPEG-4時(shí)，當(dāng)前幀用雙向幀間預(yù)測(cè)解碼，相對(duì)于當(dāng)前幀的暫時(shí)超前幀和暫時(shí)滯后幀，在解碼當(dāng)前幀之前，或者作為用幀內(nèi)預(yù)測(cè)而非用幀間預(yù)測(cè)解碼的幀，或者作為用前向幀間預(yù)測(cè)解碼的幀而首先解碼，并且它們都作為參考幀存儲(chǔ)在幀緩沖器內(nèi)。之后，當(dāng)前幀利用這樣存儲(chǔ)的兩個(gè)幀通過(guò)雙向預(yù)測(cè)而解碼(如圖2(a))。
因此在此情況中，暫時(shí)滯后參考幀和當(dāng)前幀的解碼時(shí)間次序與其各已解碼圖像的輸出時(shí)間次序相反。這些幀的每一個(gè)都與表示它們輸出時(shí)間的信息聯(lián)系在一起，這樣幀的暫時(shí)次序能夠根據(jù)這一信息而知道。出于這個(gè)原因，已解碼圖像能夠以正確的次序輸出(如圖2(b))。在MPEG-4中，輸出時(shí)間用絕對(duì)值表示。
最近的一些視頻解碼方法允許前述的幀間預(yù)測(cè)用多個(gè)參考幀執(zhí)行，而不是一個(gè)參考幀在前向方向上，一個(gè)參考幀在后向方向上，這樣便能夠從一個(gè)與當(dāng)前幀差異較小的幀進(jìn)行預(yù)測(cè)(如圖3)。
例如，在解碼H.26L時(shí)，多個(gè)參考幀(其范圍至多達(dá)預(yù)先確定的參考幀的最大數(shù)目)保留在幀緩沖器內(nèi)，在執(zhí)行幀間預(yù)測(cè)的時(shí)候，最優(yōu)的參考幀從它們之中任意地指定。在此情況中，當(dāng)前幀作為雙向預(yù)測(cè)幀而解碼，參考幀在解碼當(dāng)前幀之前首先解碼；相對(duì)于當(dāng)前幀的多個(gè)暫時(shí)超前幀和多個(gè)暫時(shí)滯后幀每一個(gè)都作為參考幀而進(jìn)行解碼，并且作為參考幀保留在幀緩沖器內(nèi)。當(dāng)前幀能夠由一個(gè)從那些幀中任意指定出的用作預(yù)測(cè)的幀進(jìn)行預(yù)測(cè)(如圖4(a))。
因此在此情況中，暫時(shí)滯后參考幀和當(dāng)前幀的解碼時(shí)間次序與其輸出時(shí)間次序相反。這些幀的每一個(gè)都與表示其輸出時(shí)間的信息或者表示其輸出次序的信息聯(lián)系在一起，故而幀的暫時(shí)次序可以根據(jù)這一信息而知道。出于這個(gè)原因，已解碼圖像能夠以正確的次序輸出(如圖4(b))。輸出時(shí)間通常用絕對(duì)值表示。而輸出次序則在幀的間隔為常數(shù)時(shí)使用。
在此情況中，多個(gè)參考幀也用在后向預(yù)測(cè)中，如上所述，這些保留在幀緩沖器內(nèi)的幀并不總是用在當(dāng)前幀之后幀的后向預(yù)測(cè)中。該情況的實(shí)例將參考圖5所示的預(yù)測(cè)結(jié)構(gòu)而加以說(shuō)明。我們假定，當(dāng)前幀F(xiàn)1從暫時(shí)滯后參考幀F(xiàn)2的后向預(yù)測(cè)而來(lái)，F(xiàn)2來(lái)自于F3，F(xiàn)3來(lái)自于F4，而F4從暫時(shí)超前參考幀F(xiàn)0的前向預(yù)測(cè)而來(lái)。這種預(yù)測(cè)是作為有效的預(yù)測(cè)操作而執(zhí)行的，例如在下述情況中，即暫時(shí)超前參考幀F(xiàn)0與當(dāng)前幀F(xiàn)1之間的差異較大，而F1與暫時(shí)滯后參考幀F(xiàn)2、F3、F4的差異較小時(shí)，F(xiàn)0與F3之間的差異會(huì)相對(duì)較小。
在此情況中，當(dāng)前幀F(xiàn)1僅從暫時(shí)滯后參考幀F(xiàn)2預(yù)測(cè)而來(lái)，因此在解碼當(dāng)前幀F(xiàn)1時(shí)，幀F(xiàn)3和F4并不用于幀間預(yù)測(cè)。然而，因?yàn)镕3和F4是當(dāng)前幀F(xiàn)1之后的暫時(shí)滯后幀，所以它們?cè)谟谄涓髯缘妮敵鰰r(shí)間作為已解碼圖像輸出之前，需要一直加以保留。
當(dāng)暫時(shí)滯后幀為了后向預(yù)測(cè)而以這種方式保留在幀緩沖器內(nèi)時(shí)，這些幀將劃分成兩種類型，即在當(dāng)前幀之后的幀間預(yù)測(cè)中用作參考幀的幀和不用作參考幀的幀。在下文的說(shuō)明中，那些不用作參考幀但在其輸出時(shí)間來(lái)臨之前存儲(chǔ)在幀緩沖器內(nèi)的幀稱為“輸出隊(duì)列幀”。
為了解釋這些幀的差異，圖6(a)和圖6(b)給出了視頻解碼設(shè)備構(gòu)型的示意性圖解。如圖6(a)所示，解碼設(shè)備1安裝有用于保留參考幀的幀緩沖器3，且在執(zhí)行幀間預(yù)測(cè)時(shí)，幀緩沖器3將參考幀輸出到解碼處理器2中。在此情況中，后向預(yù)測(cè)如上所述地使用多個(gè)參考幀，幀緩沖器同時(shí)保留參考幀與輸出隊(duì)列幀，而且從邏輯方面看，如圖6(b)所示，存在一個(gè)區(qū)域，其用來(lái)存儲(chǔ)作為固定時(shí)刻的參考幀而一直保留的、并且會(huì)輸出到解碼處理器2中的幀，還存在一個(gè)區(qū)域，其用來(lái)存儲(chǔ)不會(huì)輸出到解碼處理器2的、但在于各幀的輸出時(shí)刻作為已解碼圖像而輸出之前一直保留的幀。
順便說(shuō)明，在使用多個(gè)參考幀的情況中，例如，如果在某運(yùn)動(dòng)畫面中有一幀具有特殊的特征并且其與其它幀的差異很大，那么就不能夠做出有效的預(yù)測(cè)，即使該幀一直作為參考幀而保留著。因此，在某些情況下，幀間預(yù)測(cè)可以通過(guò)終止保留該幀作為參考幀并且允許幀緩沖器將其它的幀保留那么長(zhǎng)時(shí)間而有效地執(zhí)行。相反，在如下情況中，即在某運(yùn)動(dòng)畫面中有一個(gè)幀具有特殊的特征但其與其它幀的差異較小，則如果將該幀作為參考幀而長(zhǎng)時(shí)間地保留在幀緩沖器內(nèi)，而不考慮與當(dāng)前幀的暫時(shí)距離的話，就能夠?qū)υS多幀有效地執(zhí)行幀間預(yù)測(cè)。
為了實(shí)現(xiàn)這種參考幀的選擇操作，可以設(shè)想通過(guò)已編碼數(shù)據(jù)通知參考幀的選擇信息。例如，在H.26L中定義了存儲(chǔ)管理控制操作(MMCO)命令。MMCO命令包括，例如定義為能夠提供取消使用所有保留在幀緩沖器內(nèi)的參考幀的指令的重置命令，以及其它的命令，并且可能任意地提供指令作為偶然的命令以選擇出任何作為參考幀而保留在幀緩沖器內(nèi)的幀。
對(duì)于為了對(duì)運(yùn)動(dòng)畫面執(zhí)行隨機(jī)訪問(wèn)而從已編碼數(shù)據(jù)的中間開(kāi)始的解碼，所需要的條件是，起始解碼幀是通過(guò)使用幀內(nèi)預(yù)測(cè)而非使用由另一個(gè)幀的幀間預(yù)測(cè)而編碼的幀，且起始幀之后的幀不會(huì)使用任何解碼開(kāi)始幀之前的超前幀作為參考幀，也就是說(shuō)，取消使用所有保留在幀緩沖器內(nèi)的參考幀的指令需要在解碼解碼開(kāi)始幀之前發(fā)出。
例如，在H.26L中，定義了瞬時(shí)解碼器刷新(IDR)畫面以清楚地指定這種狀態(tài)。利用IDR畫面，在解碼IDR畫面之前，能夠取消使用所有的超前參考幀，而且對(duì)于之后幀的幀間預(yù)測(cè)不會(huì)參考IDR畫面之前的幀。這便允許解碼從已編碼數(shù)據(jù)的中間開(kāi)始，類似于隨機(jī)訪問(wèn)，從而不會(huì)遇到解碼從IDR畫面開(kāi)始時(shí)參考幀存在/不在的問(wèn)題。

發(fā)明內(nèi)容
如上所述，在后向幀間預(yù)測(cè)使用多個(gè)參考幀的情況中，通過(guò)提供用于控制參考幀在幀緩沖器內(nèi)保留的方法便能夠有效地對(duì)多個(gè)參考幀進(jìn)行操作。另一方面，該幀緩沖器同時(shí)保留用于幀間預(yù)測(cè)的參考幀和輸出時(shí)間尚未到來(lái)的輸出隊(duì)列幀，但是在傳統(tǒng)的用于控制參考幀保留的方法中，不考慮對(duì)該輸出隊(duì)列幀的控制。這便產(chǎn)生了一個(gè)問(wèn)題，即尚未確定輸出時(shí)間的輸出隊(duì)列幀要占據(jù)幀緩沖器很長(zhǎng)時(shí)間。
出于這個(gè)原因，如果沒(méi)有對(duì)輸出隊(duì)列幀適當(dāng)?shù)丶右钥刂?，就?huì)產(chǎn)生一個(gè)問(wèn)題，即已解碼圖像的輸出不能夠單獨(dú)地進(jìn)行操作等。
例如，我們假設(shè)，從圖7(a)中由已解碼數(shù)據(jù)F00-F04構(gòu)成的運(yùn)動(dòng)畫面到圖7(b)中由已解碼數(shù)據(jù)F10-F13構(gòu)成的運(yùn)動(dòng)畫面的視頻轉(zhuǎn)換，在F03時(shí)刻實(shí)現(xiàn)。這可以在如下情況中發(fā)生，例如當(dāng)為了編輯運(yùn)動(dòng)視頻而存儲(chǔ)的已解碼數(shù)據(jù)在幀單元中進(jìn)行轉(zhuǎn)換時(shí)，或者在廣播類型的視頻通訊中，某些相應(yīng)于一個(gè)頻道的已解碼數(shù)據(jù)會(huì)轉(zhuǎn)換成相應(yīng)于另一個(gè)頻道的另一個(gè)已解碼數(shù)據(jù)。
在此情況中，F(xiàn)10必須是IDR畫面，即在解碼F10之前，取消使用所有保留在幀緩沖器內(nèi)的參考幀，并且允許對(duì)F10之后幀的解碼無(wú)任何問(wèn)題地加以執(zhí)行。但是，在此情況中取消使用的幀是參考幀，這樣如果F03和F04不是參考幀而是輸出隊(duì)列幀的話就不允許進(jìn)行單獨(dú)的操作。也就是說(shuō)，在轉(zhuǎn)換成F10的情況中，并不清楚F03和F04是作為一直保留在幀緩沖器內(nèi)的并且會(huì)輸出的幀，還是作為在解碼F10之前取消其使用的幀而進(jìn)行操作的幀。因此，在此情況中不能夠單獨(dú)地確定哪個(gè)幀應(yīng)該作為已解碼圖像而輸出。
因此，本發(fā)明的一個(gè)目的在于，當(dāng)后向幀間預(yù)測(cè)使用多個(gè)參考幀時(shí)，在使用該多個(gè)參考幀時(shí)，明確地定義出保留在幀緩沖器內(nèi)的幀的操作。
為了解決上述問(wèn)題，根據(jù)本發(fā)明的視頻編碼方法是一種用于視頻編碼裝置的視頻編碼方法，其從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)，該視頻編碼方法包括輸出表示已選擇出取消使用暫時(shí)滯后幀已解碼圖像的選項(xiàng)的信息。
在根據(jù)本發(fā)明的視頻編碼方法中，優(yōu)選地，該信息是關(guān)于暫時(shí)滯后幀已解碼圖像的信息，并且提供了取消使用每一個(gè)幀的指令。
在根據(jù)本發(fā)明的視頻編碼方法中，優(yōu)選地，該信息是關(guān)于暫時(shí)滯后幀已解碼圖像的信息，并且提供了取消使用每一個(gè)不用作后向預(yù)測(cè)參考幀的幀的指令。
在根據(jù)本發(fā)明的視頻編碼方法中，優(yōu)選地，該信息包括關(guān)于已取消使用幀已解碼圖像的、表示輸出時(shí)間的信息。
根據(jù)本發(fā)明的視頻解碼方法是一種用于視頻解碼裝置的視頻解碼方法，其從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)，該視頻解碼方法包括與用于取消使用暫時(shí)滯后幀已解碼圖像的輸入信息相結(jié)合，并且以該信息為基礎(chǔ)避免輸出該幀的已解碼圖像。
在根據(jù)本發(fā)明的視頻解碼方法中，優(yōu)選地，該信息是關(guān)于暫時(shí)滯后幀已解碼圖像的信息，并且提供了取消使用每一個(gè)幀的指令。
在根據(jù)本發(fā)明的視頻解碼方法中，優(yōu)選地，該信息是關(guān)于暫時(shí)滯后幀已解碼圖像的信息，并且提供了取消使用每一個(gè)不用作后向預(yù)測(cè)參考幀的幀的指令。
在根據(jù)本發(fā)明的視頻解碼方法中，優(yōu)選地，該信息包括關(guān)于已取消使用幀已解碼圖像的、表示輸出時(shí)間的信息。
根據(jù)本發(fā)明的視頻編碼裝置是一種用于從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)的視頻編碼裝置，該視頻編碼裝置設(shè)定為輸出表示已選擇出取消使用暫時(shí)滯后幀已解碼圖像的選項(xiàng)的信息。
在根據(jù)本發(fā)明的視頻編碼裝置中，優(yōu)選地，該信息是關(guān)于暫時(shí)滯后幀已解碼圖像的信息，并且提供了取消使用每一個(gè)幀的指令。
在根據(jù)本發(fā)明的視頻編碼裝置中，優(yōu)選地，該信息是關(guān)于暫時(shí)滯后幀已解碼圖像的信息，并且提供了取消使用每一個(gè)不用作后向預(yù)測(cè)參考幀的幀的指令。
在根據(jù)本發(fā)明的視頻編碼裝置中，優(yōu)選地，該信息包括關(guān)于已取消使用幀已解碼圖像的、表示輸出時(shí)間的信息。
根據(jù)本發(fā)明的視頻解碼裝置是一種用于從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)的視頻解碼裝置，該視頻解碼裝置設(shè)定為與用于取消使用暫時(shí)滯后幀已解碼圖像的輸入信息相結(jié)合，并以該信息為基礎(chǔ)避免輸出該幀的已解碼圖像。
在根據(jù)本發(fā)明的視頻解碼裝置中，優(yōu)選地，該信息是關(guān)于暫時(shí)滯后幀已解碼圖像的信息，并且提供了取消使用每一個(gè)幀的指令。
在根據(jù)本發(fā)明的視頻解碼裝置中，優(yōu)選地，該信息是關(guān)于暫時(shí)滯后幀已解碼圖像的信息，并且提供了取消使用每一個(gè)不用作后向預(yù)測(cè)參考幀的幀的指令。
在根據(jù)本發(fā)明的視頻解碼裝置中，優(yōu)選地，該信息包括關(guān)于已取消使用幀已解碼圖像的、表示輸出時(shí)間的信息。
根據(jù)本發(fā)明的視頻編碼程序是一種為視頻編碼裝置如計(jì)算機(jī)執(zhí)行從暫時(shí)滯后幀的后向幀間預(yù)測(cè)的視頻編碼程序，該視頻編碼程序使視頻編碼裝置實(shí)現(xiàn)了輸出表示已選擇出取消使用暫時(shí)滯后幀已解碼圖像的選項(xiàng)信息的功能。
在根據(jù)本發(fā)明的視頻編碼程序中，優(yōu)選地，該信息是關(guān)于暫時(shí)滯后幀已解碼圖像的信息，并且提供了取消使用每一個(gè)幀的指令。
在根據(jù)本發(fā)明的視頻解碼程序中，優(yōu)選地，該信息是關(guān)于暫時(shí)滯后幀已解碼圖像的信息，并且提供了取消使用每一個(gè)不用作后向預(yù)測(cè)參考幀的幀的指令。
在根據(jù)本發(fā)明的視頻解碼程序中，優(yōu)選地，該信息包括關(guān)于已取消使用幀已解碼圖像的、表示輸出時(shí)間的信息。
根據(jù)本發(fā)明的視頻解碼程序是一種為視頻解碼裝置如計(jì)算機(jī)執(zhí)行從暫時(shí)滯后幀的后向幀間預(yù)測(cè)的視頻解碼程序，該視頻解碼程序使視頻解碼裝置實(shí)現(xiàn)了與用于取消使用暫時(shí)滯后幀已解碼圖像的輸入信息相結(jié)合，并以該信息為基礎(chǔ)避免輸出該幀的已解碼圖像的功能。
在根據(jù)本發(fā)明的視頻解碼程序中，優(yōu)選地，該信息是關(guān)于暫時(shí)滯后幀已解碼圖像的信息，并且提供了取消使用每一個(gè)幀的指令。
在根據(jù)本發(fā)明的視頻解碼程序中，優(yōu)選地，該信息是關(guān)于暫時(shí)滯后幀已解碼圖像的信息，并且提供了取消使用每一個(gè)不用作后向預(yù)測(cè)參考幀的幀的指令。
在根據(jù)本發(fā)明的視頻解碼程序中，優(yōu)選地，該信息包括關(guān)于已取消使用幀已解碼圖像的、表示輸出時(shí)間的信息。
根據(jù)本發(fā)明的這些方案，該編碼操作設(shè)定為輸出提供取消使用待輸出輸出隊(duì)列幀作為已解碼圖像的指令的信息，而解碼操作設(shè)定為搜索該信息但并不輸出這兩個(gè)輸出幀。這便防止了在對(duì)經(jīng)編輯之后的已解碼數(shù)據(jù)的解碼過(guò)程中、或者在對(duì)已解碼數(shù)據(jù)進(jìn)行隨機(jī)訪問(wèn)之后的解碼過(guò)程中，輸出不必要的已解碼圖像，并且反過(guò)來(lái)也防止了將必需的已解碼圖像的輸出刪除掉。結(jié)果，便能夠獲得適當(dāng)?shù)囊呀獯a圖像輸出。
類似的效果也能夠通過(guò)建造視頻處理系統(tǒng)而實(shí)現(xiàn)，該系統(tǒng)包括前述的視頻編碼裝置和前述的視頻解碼裝置，其中該視頻解碼裝置解碼由視頻編碼裝置編碼的數(shù)據(jù)。
根據(jù)本發(fā)明的視頻編碼裝置是如下的一種視頻編碼裝置，其包括用于輸入作為編碼目標(biāo)的圖像的輸入器；用于編碼圖像以產(chǎn)生已編碼數(shù)據(jù)的編碼器；用于存儲(chǔ)用編碼器編碼之后再生的圖像的圖像存儲(chǔ)器；和用于管理每一個(gè)存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的圖像的緩沖器管理器，其中，在編碼不參考任何其它圖像而編碼的圖像(IDR圖像)時(shí)，緩沖器管理器同時(shí)輸出已編碼數(shù)據(jù)和表示是否取消使用每一個(gè)先前存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的圖像的標(biāo)記(no_output_of_prior_pics_flag)。例如，在取消使用每一個(gè)圖像的時(shí)候，視頻編碼裝置將標(biāo)記“1”和已編碼數(shù)據(jù)一起輸出，而在其它情況下則將標(biāo)記“0”和已編碼數(shù)據(jù)一起輸出。
在根據(jù)本發(fā)明的視頻編碼裝置中，優(yōu)選地，該編碼器從暫時(shí)滯后幀執(zhí)行后向預(yù)測(cè)，且在編碼不參考其它任何圖像而編碼的圖像(IDR圖像)時(shí)，緩沖器管理器刪除每一個(gè)先前存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的暫時(shí)滯后幀的已解碼圖像。
根據(jù)本發(fā)明的視頻解碼裝置是如下的一種視頻解碼裝置，其包括輸入器，其用于輸入含有已編碼圖像已編碼數(shù)據(jù)的圖像數(shù)據(jù)和附加于已編碼數(shù)據(jù)上的圖像輸出指令標(biāo)記；解碼器，其用于解碼已編碼數(shù)據(jù)以產(chǎn)生再生圖像；圖像存儲(chǔ)器，其用于存儲(chǔ)再生圖像；和緩沖器管理器，其用于管理每一個(gè)存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的再生圖像，其中，該緩沖器管理器根據(jù)相應(yīng)于不參考任何存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的圖像而編碼的圖像(IDR圖像)的圖像輸出指令標(biāo)記，刪除每一個(gè)存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的圖像。
在根據(jù)本發(fā)明的視頻解碼裝置中，優(yōu)選地，當(dāng)圖像輸出指令標(biāo)記為“0”時(shí)，取消使用緩沖器內(nèi)的每一個(gè)參考圖像，而當(dāng)標(biāo)記為“1”時(shí)，則刪除緩沖器內(nèi)的每一個(gè)參考圖像和每一個(gè)輸出隊(duì)列圖像。
根據(jù)本發(fā)明的視頻編碼方法是如下的一種視頻編碼方法，其包括輸入步驟，其中視頻編碼裝置輸入作為編碼目標(biāo)的圖像；編碼步驟，其中視頻編碼裝置編碼圖像以產(chǎn)生已編碼數(shù)據(jù)；圖像存儲(chǔ)步驟，其中視頻編碼裝置將經(jīng)過(guò)編碼步驟的編碼之后再生的圖像存儲(chǔ)到圖像存儲(chǔ)器內(nèi)；和緩沖器管理步驟，其中視頻編碼裝置管理每一個(gè)存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的圖像，在緩沖器管理步驟中，在編碼不參考任何其它圖像而編碼的圖像的時(shí)候，視頻編碼裝置同時(shí)輸出已編碼數(shù)據(jù)和表示是否取消使用每一個(gè)先前存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的圖像的標(biāo)記。
在根據(jù)本發(fā)明的視頻編碼方法中，優(yōu)選地，編碼步驟設(shè)定為，視頻編碼裝置從暫時(shí)滯后幀執(zhí)行后向預(yù)測(cè)，而緩沖器管理步驟設(shè)定為，在編碼不參考任何其它圖像而編碼的圖像的時(shí)候，視頻編碼裝置刪除先前存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的每一個(gè)暫時(shí)滯后幀的已解碼圖像。
根據(jù)本發(fā)明的視頻解碼方法是如下的一種視頻解碼方法，其包括輸入步驟，其中視頻解碼裝置輸入含有已解碼圖像已解碼數(shù)據(jù)的圖像數(shù)據(jù)和附加于已解碼數(shù)據(jù)上的圖像輸出指令標(biāo)記；解碼步驟，其中視頻解碼裝置解碼已編碼數(shù)據(jù)以產(chǎn)生再生圖像；圖像存儲(chǔ)步驟，其中視頻解碼裝置將再生圖像存儲(chǔ)在圖像存儲(chǔ)器內(nèi)；和緩沖器管理步驟，其中視頻解碼裝置管理每一個(gè)存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的再生圖像，其中在緩沖器管理步驟中，視頻解碼裝置根據(jù)相應(yīng)于不參考任何存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的圖像而編碼的圖像的圖像輸出指令標(biāo)記，刪除每一個(gè)存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的圖像。
在根據(jù)本發(fā)明的視頻解碼方法中，優(yōu)選地，當(dāng)圖像輸出指令標(biāo)記為“0”時(shí)，視頻解碼裝置取消使用緩沖器內(nèi)的每一個(gè)參考圖像，或者當(dāng)標(biāo)記為“1”時(shí)，刪除緩沖器內(nèi)的每一個(gè)參考圖像和每一個(gè)輸出隊(duì)列圖像。
根據(jù)本發(fā)明的視頻編碼程序是如下的一種視頻編碼程序，其使得視頻編碼裝置實(shí)現(xiàn)了輸入作為編碼目標(biāo)的圖像的功能；編碼圖像以產(chǎn)生已編碼數(shù)據(jù)的功能；將編碼后再生的圖像存儲(chǔ)到圖像存儲(chǔ)器內(nèi)的功能；管理每一個(gè)存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的圖像的功能；和在編碼不參考任何其它圖像而編碼的圖像時(shí)，同時(shí)輸出已編碼數(shù)據(jù)和表示是否取消使用每一個(gè)先前存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的圖像的標(biāo)記的功能。
在視頻編碼程序中，優(yōu)選地，該視頻編碼裝置制造成能夠進(jìn)一步實(shí)現(xiàn)如下的功能，即實(shí)現(xiàn)從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)的功能，和在編碼不參考任何其它圖像而編碼的圖像時(shí)，刪除每一個(gè)先前存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的暫時(shí)滯后幀已解碼圖像的功能。
根據(jù)本發(fā)明的視頻解碼程序是如下的一種視頻解碼程序，其使得視頻解碼裝置實(shí)現(xiàn)了輸入含有已編碼圖像已編碼數(shù)據(jù)的圖像數(shù)據(jù)和附加于已編碼數(shù)據(jù)上的圖像輸出指令標(biāo)記的功能；解碼已編碼數(shù)據(jù)從而產(chǎn)生再生圖像的功能；將再生圖像存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的功能；管理每一個(gè)存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的再生圖像的功能；和根據(jù)相應(yīng)于不參考任何存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的圖像而編碼的圖像的圖像輸出指令標(biāo)記，刪除每一個(gè)存儲(chǔ)在圖像存儲(chǔ)器內(nèi)的圖像的功能。
在根據(jù)本發(fā)明的視頻解碼程序中，優(yōu)選地，該視頻解碼裝置制造成能夠進(jìn)一步實(shí)現(xiàn)如下功能，即當(dāng)圖像輸出指令標(biāo)記為“0”時(shí)，取消使用緩沖器內(nèi)的每一個(gè)參考圖像，或者當(dāng)標(biāo)記為“1”時(shí)，刪除緩沖器內(nèi)的每一個(gè)參考圖像和每一個(gè)輸出隊(duì)列圖像。
本發(fā)明通過(guò)下面給出的詳細(xì)說(shuō)明和附圖將能夠得到更加全面的理解，說(shuō)明和附圖只是作為舉例說(shuō)明的方法而給出的，因此不可以認(rèn)為其對(duì)本發(fā)明具有限制。
本發(fā)明進(jìn)一步的適用范圍從下文給出的詳細(xì)說(shuō)明中將變得顯而易見(jiàn)。但是應(yīng)當(dāng)理解，詳細(xì)說(shuō)明和特殊的實(shí)例雖然代表了本發(fā)明的優(yōu)選實(shí)施例，但它們只是作為舉例說(shuō)明的方法給出的，因?yàn)閷?duì)于熟悉本技術(shù)的人而言，對(duì)詳細(xì)說(shuō)明在本發(fā)明的精神和范圍內(nèi)做出各種改變和修改都是顯而易見(jiàn)的。


圖1是用于解釋幀間預(yù)測(cè)中的前向預(yù)測(cè)和后向預(yù)測(cè)的簡(jiǎn)圖。
圖2(a)是顯示當(dāng)前幀通過(guò)使用兩個(gè)幀的雙向預(yù)測(cè)而編碼的實(shí)例的簡(jiǎn)圖。圖2(b)是顯示暫時(shí)滯后參考幀和當(dāng)前幀的解碼時(shí)間次序與其各自已解碼圖像的輸出時(shí)間次序相反的實(shí)例的簡(jiǎn)圖。
圖3是用于解釋使用多個(gè)參考幀的前向預(yù)測(cè)和后向預(yù)測(cè)的簡(jiǎn)圖。
圖4(a)是顯示執(zhí)行使用多個(gè)參考幀的幀間預(yù)測(cè)實(shí)例的簡(jiǎn)圖，該多個(gè)參考幀的范圍至多達(dá)預(yù)先確定的參考幀的最大數(shù)目，圖4(b)是顯示多個(gè)暫時(shí)滯后參考幀和當(dāng)前幀的解碼時(shí)間次序與其各自已解碼圖像的輸出時(shí)間次序相反的實(shí)例的簡(jiǎn)圖。
圖5是顯示某情況預(yù)測(cè)結(jié)構(gòu)的簡(jiǎn)圖，該情況中保留在幀緩沖器內(nèi)的多個(gè)幀并不用于當(dāng)前幀之后的后向預(yù)測(cè)。
圖6(a)是概要顯示視頻解碼設(shè)備構(gòu)型的簡(jiǎn)圖。圖6(b)是概要顯示幀緩沖器構(gòu)型的簡(jiǎn)圖。
圖7(a)是顯示運(yùn)動(dòng)畫面尚未轉(zhuǎn)換為由已編碼數(shù)據(jù)構(gòu)成的實(shí)例的簡(jiǎn)圖。圖7(b)是顯示運(yùn)動(dòng)畫面已經(jīng)轉(zhuǎn)換為由已編碼數(shù)據(jù)構(gòu)成的簡(jiǎn)圖。
圖8是顯示根據(jù)本發(fā)明的視頻處理系統(tǒng)功能構(gòu)型的框圖。
圖9是顯示根據(jù)本發(fā)明的視頻處理程序構(gòu)型的簡(jiǎn)圖。
圖10是顯示根據(jù)本發(fā)明的視頻解碼設(shè)備構(gòu)型的框圖。
圖11是解釋某處理過(guò)程的流程圖，其中控制器確定了no_output_of_prior_pics_flag。
圖12是顯示根據(jù)本發(fā)明的視頻解碼設(shè)備構(gòu)型的框圖。
具體實(shí)施例方式
下面將參考附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)的說(shuō)明。
說(shuō)明將基于如下假設(shè)給出，即編碼和解碼操作都以H.26L為基礎(chǔ)進(jìn)行，且在視頻編碼操作中未做特殊說(shuō)明的部分都與H.26L中的操作一致。
首先說(shuō)明根據(jù)本發(fā)明的視頻處理系統(tǒng)的構(gòu)型。圖8是顯示視頻處理系統(tǒng)100功能構(gòu)型的框圖。如圖8所示，視頻處理系統(tǒng)包括視頻編碼設(shè)備10和視頻解碼設(shè)備20。視頻編碼設(shè)備10和視頻解碼設(shè)備20設(shè)定為從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)。
詳細(xì)的處理將在后面加以說(shuō)明，但是視頻編碼設(shè)備10提供有已選擇信息輸出部分11，該已選擇信息輸出部分11將表示已選擇取消使用暫時(shí)滯后幀已解碼圖像的選項(xiàng)輸出到視頻解碼設(shè)備20上。
視頻解碼設(shè)備20安裝有已解碼圖像使用消除部分21，該已解碼圖像使用消除部分21設(shè)定為與用于取消使用從視頻編碼設(shè)備10發(fā)出的暫時(shí)滯后幀已解碼圖像的輸入信息相結(jié)合，該已解碼圖像使用消除部分21以該信息為基礎(chǔ)避免輸出該幀的已解碼圖像。
上面的信息是，例如為暫時(shí)滯后幀的每一個(gè)已解碼圖像提供取消使用每一個(gè)幀的指令的信息。例如，該信息是為暫時(shí)滯后幀的每一個(gè)已解碼圖像提供取消使用不用作后向預(yù)測(cè)參考幀的每一個(gè)幀的指令的信息。再例如，該信息包括表示關(guān)于被取消的使用幀已解碼圖像的輸出時(shí)間的信息。
隨后說(shuō)明根據(jù)本發(fā)明的視頻編碼方法和視頻解碼方法。在本實(shí)施例中，定義了能夠提供取消使用保留在幀緩沖器內(nèi)的幀的指令的信息，并且對(duì)每一個(gè)參考幀和輸出隊(duì)列幀都明確地加以定義。
在本實(shí)施例中，該信息定義在攜帶有關(guān)于NAL(網(wǎng)絡(luò)抽象層)信息的NAL單元語(yǔ)法中，用于傳輸H.26L中的已編碼數(shù)據(jù)的單元。具體地講，其被定義為一種由包含在NAL單元語(yǔ)法中的NAL單元類型通知的類型。
在本實(shí)施例中，首先認(rèn)為每一個(gè)傳統(tǒng)的IDR畫面都提供有一個(gè)僅取消使用每一個(gè)保留在幀緩沖器內(nèi)的參考幀的指令的情況。也就是說(shuō)，此處的定義是，IDR畫面并不取消使用任何保留在幀緩沖器內(nèi)的輸出隊(duì)列幀。
然后瞬時(shí)緩沖器刷新畫面(下文稱之為“IBR畫面”)作為一種與IDR畫面不同的新畫面而定義。除了定義為提供僅取消使用每一個(gè)保留在幀緩沖器內(nèi)的參考幀的指令的IDR畫面之外，IBR畫面定義為一種提供取消使用每一個(gè)輸出隊(duì)列幀的指令的畫面。也就是說(shuō)，在當(dāng)前幀被確定為是IBR畫面時(shí)，在解碼當(dāng)前幀之前，保留在幀緩沖器內(nèi)的每一個(gè)參考幀和每一個(gè)輸出隊(duì)列幀將被取消使用。
在編碼中，視頻編碼設(shè)備10在如下所述的情況中會(huì)提供這種IBR畫面指令。例如，在將使用的IDR畫面指定為隨機(jī)訪問(wèn)點(diǎn)的以及在其之前的輸出隊(duì)列幀不希望被保留，而不考慮由后向預(yù)測(cè)造成的延遲的情況中，相關(guān)幀可以指定為IBR畫面。
在解碼中，當(dāng)前幀為IBR畫面時(shí)，在解碼當(dāng)前幀之前，視頻解碼設(shè)備20會(huì)取消使用幀緩沖器內(nèi)的每一個(gè)參考幀和每一個(gè)輸出隊(duì)列幀，并且考慮到在當(dāng)前幀之后，它們不會(huì)用于幀間預(yù)測(cè)以及用于輸出其已解碼的圖像。
IBR畫面也可以設(shè)定為僅消除使用有限的不使用的輸出隊(duì)列幀，而不是取消使用所有的輸出隊(duì)列幀。
然后該設(shè)備可以設(shè)置為利用附加于IBR畫面的已解碼圖像輸出時(shí)間來(lái)確定是否每一個(gè)幀的使用都取消，并設(shè)置為僅取消使用其各自的輸出時(shí)間大于附加的輸出時(shí)間的輸出隊(duì)列幀。
作為另一個(gè)實(shí)例，該系統(tǒng)也可以設(shè)定為分別地傳送輸出時(shí)間，僅取消使用輸出時(shí)間大于已傳達(dá)輸出時(shí)間的輸出隊(duì)列幀，和根據(jù)與該幀相關(guān)的已解碼圖像輸出時(shí)間指定每一個(gè)不必要的輸出隊(duì)列幀。
在此情況中需要一種語(yǔ)法以傳達(dá)輸出時(shí)間，且其可以設(shè)定為一種例如僅與在NAL單元語(yǔ)法中表示IBR畫面的NAL單元類型一起存在的語(yǔ)法，并且與IBR畫面一起傳達(dá)時(shí)間。例如，當(dāng)NAL單元類型表示IBR畫面時(shí)，我們能夠定義“最近_輸出_時(shí)間”(latest_output_time)，其隨后傳達(dá)給NAL單元類型。此處，最近_輸出_時(shí)間所使用的時(shí)間單元假定為與其它在H.26L中表示時(shí)間的語(yǔ)法所使用的相同，并且用90kHz的時(shí)間單元表示最大延遲時(shí)間。還要認(rèn)識(shí)到時(shí)間單元中所表達(dá)的數(shù)字是用32位無(wú)符號(hào)定長(zhǎng)碼編碼的，且已編碼的數(shù)據(jù)隨后便傳輸出去。
在解碼中，在接收最近_輸出_時(shí)間時(shí)，對(duì)于保留在幀緩沖器內(nèi)的輸出隊(duì)列幀，視頻解碼設(shè)備20僅取消使用那些已解碼圖像輸出時(shí)間大于最近_輸出_時(shí)間的幀。
在以這種方式使用最近_輸出_時(shí)間的情況中，系統(tǒng)也可以設(shè)定為，能夠在最近_輸出_時(shí)間之前進(jìn)一步傳達(dá)一種標(biāo)記，并且具有最近_輸出_時(shí)間的語(yǔ)法只有在存在該標(biāo)記的指示時(shí)才使用。在此情況中，可以定義一種選項(xiàng)，從而能夠在省略最近_輸出_時(shí)間時(shí)取消使用所有的輸出隊(duì)列幀。
在本實(shí)施例中，IBR畫面定義為與IDR畫面不同的畫面，但是也可以定義一種附加于IDR畫面并且表示如何處理輸出隊(duì)列幀的標(biāo)記(no_output_of_prior_pics_flag)，而不是定義一種新的畫面如IBR畫面，并且給IDR畫面提供與IBR畫面相同的定義，因?yàn)镮DR畫面與IBR畫面之間的差異就是如何處理保留在幀緩沖器內(nèi)的輸出隊(duì)列幀的差異。
也就是說(shuō)，正如前述的定義一樣，IDR畫面定義為一種提供僅取消使用所有保留在幀緩沖器內(nèi)的參考幀但并不取消使用輸出隊(duì)列幀的指令的畫面。在此情況中，附加于IDR畫面的標(biāo)記分別傳達(dá)給IDR畫面，并且根據(jù)該標(biāo)記的指示(no_output_of_prior_pics_ flag＝1)，類似于前述的IBR畫面，IDR畫面作為一種提供取消使用所有輸出隊(duì)列幀的指令的畫面而加以操作，IDR畫面也能夠取消使用所有保留在幀緩沖器內(nèi)的參考幀。這一通知使得其也能夠提供取消使用輸出隊(duì)列幀的指令，而無(wú)須定義任何新的畫面。
下面參考圖10-12對(duì)本實(shí)施例進(jìn)一步加以說(shuō)明。
圖10是顯示本實(shí)施例中視頻編碼設(shè)備10的構(gòu)型的框圖。視頻編碼條件通過(guò)輸入終端47輸入。通常，用鍵盤來(lái)選擇和輸入解碼條件。該解碼條件是，例如作為解碼目標(biāo)的圖像的尺寸、幀速率和位速率。進(jìn)一步的解碼條件包括視頻的可預(yù)測(cè)參考結(jié)構(gòu)和緩沖器44的容量。
視頻的可預(yù)測(cè)參考結(jié)構(gòu)是，例如編碼作為IDR圖像的輸入圖像的時(shí)序，與可預(yù)測(cè)編碼圖像相關(guān)的圖像、或者類似的圖像。緩沖器44的容量是，例如暫時(shí)存儲(chǔ)作為參考圖像的圖像數(shù)目。這些條件可以設(shè)定為隨著時(shí)間而變化。如此輸入的編碼條件存儲(chǔ)在控制器48內(nèi)。
開(kāi)始解碼操作時(shí)，控制器48將解碼條件輸出到解碼器43中，在該處設(shè)定解碼條件。另一方面，作為解碼目標(biāo)的圖像通過(guò)輸入終端41而輸入，然后通過(guò)幀存儲(chǔ)器42施加到解碼器43上，并在之后進(jìn)行解碼。因?yàn)閳D像的次序在后向預(yù)測(cè)時(shí)發(fā)生了轉(zhuǎn)換，所以輸入圖像暫時(shí)存儲(chǔ)在幀存儲(chǔ)器42內(nèi)。
解碼器43根據(jù)H.26L的運(yùn)算法則而解碼圖像。已解碼的圖像發(fā)送到復(fù)用器45中與其它相關(guān)的信息復(fù)合，之后復(fù)合信息通過(guò)輸出終端46而輸出。用于預(yù)測(cè)的圖像用解碼器43再現(xiàn)，然后作為解碼下一圖像的參考圖像存儲(chǔ)在緩沖器44中。
圖11是用于解釋控制器48確定no_output_of_prior_pics_flag的過(guò)程的流程圖。對(duì)每一個(gè)構(gòu)成作為編碼目標(biāo)的視頻的圖像都執(zhí)行該處理。第一步S1為作為編碼目標(biāo)的圖像輸入編碼條件(圖像是否編碼為IDR圖像)，并且輸入關(guān)于是否將先前存儲(chǔ)在緩沖器44內(nèi)的再生圖像用作參考圖像或用作顯示圖像的信息。該信息用控制器48分別地加以管理。
S2確定作為編碼目標(biāo)的圖像是否是IDR圖像。當(dāng)確定結(jié)果是該圖像不是IDR圖像時(shí)(S2；NO)，該處理便終止(S3)。當(dāng)圖像是IDR圖像時(shí)(S2；YES)，該流程進(jìn)行到S4。S4確定先前存儲(chǔ)在緩沖器44內(nèi)的圖像是否用作參考圖像或者用作顯示圖像。
當(dāng)上述確定的結(jié)果是先前存儲(chǔ)在緩沖器44內(nèi)的圖像用作參考圖像或者用作顯示圖像時(shí)(S4；YES)，no_output_of_prior_pics_flag便設(shè)定為“0”(S5)。另一方面，當(dāng)其既不用作參考圖像也不用作顯示圖像時(shí)(S4；NO)，no_output_of_prior_pics_flag便設(shè)定為“1”(S6)。這樣設(shè)定的no_output_of_prior_pics_flag的標(biāo)記通過(guò)總線L8提供給復(fù)用器45，之后附加到相應(yīng)圖像的已編碼數(shù)據(jù)上，且該數(shù)據(jù)通過(guò)輸出終端46而發(fā)送出去(S7)。當(dāng)在S6no_output_of_prior_pics_flag設(shè)定為“1”時(shí)，控制器48通過(guò)L7輸出刪除所有存儲(chǔ)在緩沖器44內(nèi)的圖像的命令。
圖12是顯示本實(shí)施例中視頻解碼設(shè)備20的構(gòu)型的框圖。待解碼的數(shù)據(jù)通過(guò)輸入終端51而輸入。該數(shù)據(jù)是每一個(gè)用視頻編碼設(shè)備10編碼的幀的圖像數(shù)據(jù)。當(dāng)該數(shù)據(jù)是IDR圖像時(shí)，no_output_of_prior_pics_flag與之多路傳輸。輸入數(shù)據(jù)存儲(chǔ)在輸入緩沖器52內(nèi)。在預(yù)先確定的時(shí)刻，一個(gè)幀的數(shù)據(jù)根據(jù)控制器56發(fā)出的指令從輸入緩沖器52反饋到解碼器53，并且根據(jù)H.26L的運(yùn)算法則而開(kāi)始對(duì)其進(jìn)行解碼。
已解碼圖像一度存儲(chǔ)在輸出緩沖器54中。存儲(chǔ)在輸出緩沖器54中的圖像通過(guò)總線M5反饋給解碼器53，之后用作解碼下一圖像的參考圖像。另一方面，附加在用解碼器53解碼的IDR圖像中的no_output_of_prior_pics_flag的數(shù)據(jù)反饋給控制器56?？刂破?6參考no_output_of_prior_pics_flag的數(shù)值(“0”或“1”)，并根據(jù)其控制輸出緩沖器54。具體地講，當(dāng)no_output_of_prior_pics_flag為“1”時(shí)，參考圖像和顯示隊(duì)列圖像都變得不必要，從而控制器56通過(guò)總線M8輸出刪除所有存儲(chǔ)在輸出緩沖器54內(nèi)的圖像的命令。另一方面，當(dāng)no_output_of_prior_pics_flag為“0”時(shí)，與之相應(yīng)的圖像是IDR圖像，從而控制器56取消使用所有用于參考的圖像(參考圖像)并將其從輸出緩沖器54內(nèi)刪除。但是，顯示隊(duì)列圖像并不刪除。每一個(gè)顯示隊(duì)列圖像都在其時(shí)刻顯示在顯示設(shè)備上。
本實(shí)施例說(shuō)明的實(shí)例中，本發(fā)明以H.26L為基礎(chǔ)而實(shí)現(xiàn)，但是能夠應(yīng)用本發(fā)明的視頻編碼方法并不僅限于H.26L，而是包括各種使用后向幀間預(yù)測(cè)的視頻編碼方法。
而且本實(shí)施例設(shè)定為，將用于傳達(dá)不使用輸出隊(duì)列幀的語(yǔ)法定義為在NAL單元語(yǔ)法中通知的NAL單元類型的附加限定，從而添加用定長(zhǎng)碼構(gòu)成的語(yǔ)法以傳達(dá)輸出時(shí)間，但是當(dāng)然，用于傳達(dá)的定義和語(yǔ)法并不僅限于這些。也可以用變長(zhǎng)碼代替定長(zhǎng)碼用于通知輸出時(shí)間，且輸出時(shí)間單元可以是除90kHz以外的任何單元；例如，輸出時(shí)間單元可以以如下的時(shí)間單元為基礎(chǔ)，即在輔助通知作為H.26L中的視頻可用性信息(VUI)的num_units_in_tick和time_scale中定義的時(shí)間單元。
它也能夠通過(guò)如下各種語(yǔ)法中的一種和NAL單元語(yǔ)法而傳達(dá)，該各種語(yǔ)法能夠傳達(dá)應(yīng)用于幀單元中的信息。例如，在H.26L中，可以將一種語(yǔ)法添加到補(bǔ)充增強(qiáng)信息消息語(yǔ)法(SupplementalEnhancement Information Message syntax)之中。
作為另一種方法，也可以擴(kuò)展為了控制H.26L中的參考幀而定義的存儲(chǔ)管理控制操作(MMCO)命令。在此情況中，因?yàn)槎x為MMCO命令的重置命令定義了與前述NAL單元類型中的IDR圖像相同的操作，這便可能定義例如輸出隊(duì)列幀重置(重排緩沖器重置)命令，如在NAL單元類型中定義的情況。使用該命令的操作定義可以確定為與用NAL單元類型中的IBR畫面執(zhí)行的操作定義相似。
在應(yīng)用另一種視頻編碼方法時(shí)，可能使用一種語(yǔ)法來(lái)傳達(dá)在該編碼方法中施加到幀單元上的信息。也可以在該視頻編碼方法中在已編碼數(shù)據(jù)外部加以通知，如在使用H.263通信中用于控制信息的通知的ITU-T建議H.245的情況。
最后，參考圖9對(duì)根據(jù)本發(fā)明的視頻編碼程序和視頻解碼程序進(jìn)行說(shuō)明。
如圖9所示，視頻處理程序310存儲(chǔ)在程序存儲(chǔ)區(qū)域30a內(nèi)，該區(qū)域在記錄介質(zhì)30內(nèi)形成。視頻處理程序310能夠通過(guò)如圖8所示的視頻處理系統(tǒng)100而執(zhí)行，并且具有用于視頻處理的主模塊311、后確定(after-stated)視頻編碼程序312和后確定視頻解碼程序313。
視頻編碼程序312具有已選擇信息輸出模塊312a。由已選擇信息輸出模塊312a的操作實(shí)現(xiàn)的功能與視頻編碼設(shè)備10的已選擇信息輸出部分11的功能非常相似。
視頻解碼程序313具有已解碼圖像取消使用模塊313a。由已解碼圖像取消使用模塊313a的操作實(shí)現(xiàn)的功能與視頻解碼設(shè)備20的已解碼圖像使用消除部分21的功能非常相似。
視頻處理程序310可以設(shè)定為其一部分或者全部通過(guò)傳輸介質(zhì)如通訊線而被另一個(gè)設(shè)備接收并記錄下來(lái)。相反地，視頻處理程序310也可以設(shè)定為通過(guò)通訊介質(zhì)而傳輸，從而安裝在另一個(gè)設(shè)備上。
這樣說(shuō)明了本發(fā)明，顯然本發(fā)明的實(shí)施例可以以許多方式加以改變。這種改變不能認(rèn)為背離了本發(fā)明的精神和范圍，且所有這樣的修改對(duì)于熟悉本技術(shù)人而言都是很明顯的，并且都包含在隨后的權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1.一種用于視頻編碼裝置的視頻編碼方法，其從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)，該視頻編碼方法包括輸出表示取消使用暫時(shí)滯后幀的已解碼圖像的選項(xiàng)已被選擇的信息。
2.一種用于視頻解碼裝置的視頻解碼方法，其從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)，該視頻解碼方法包括與用于取消使用暫時(shí)滯后幀的已解碼圖像的信息輸入相結(jié)合，并以該信息為基礎(chǔ)避免輸出該幀的已解碼圖像。
3.一種用于從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)的視頻編碼裝置，該視頻編碼裝置被設(shè)置為輸出表示取消使用暫時(shí)滯后幀的已解碼圖像的選項(xiàng)已被選擇的信息。
4.根據(jù)權(quán)利要求3的視頻編碼裝置，其中對(duì)于該暫時(shí)滯后幀的已解碼圖像，該信息是提供取消使用每一個(gè)幀的指令的信息。
5.根據(jù)權(quán)利要求3的視頻編碼裝置，其中對(duì)于該暫時(shí)滯后幀的已解碼圖像，該信息是提供取消使用每一個(gè)不用作后向預(yù)測(cè)參考幀的幀的指令的信息。
6.根據(jù)權(quán)利要求3的視頻編碼裝置，其中該信息包括表示關(guān)于已取消使用的幀的已解碼圖像的輸出時(shí)間的信息。
7.一種用于從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)的視頻解碼裝置，該視頻解碼裝置被設(shè)置為與用于取消使用暫時(shí)滯后幀的已解碼圖像的信息輸入相結(jié)合，并且以該信息為基礎(chǔ)避免輸出該幀的已解碼圖像。
8.根據(jù)權(quán)利要求7的視頻解碼裝置，其中對(duì)于該暫時(shí)滯后幀的已解碼圖像，該信息是提供取消使用每一個(gè)幀的指令的信息。
9.根據(jù)權(quán)利要求7的視頻解碼裝置，其中對(duì)于該暫時(shí)滯后幀的已解碼圖像，該信息是提供取消使用每一個(gè)不用作后向預(yù)測(cè)參考幀的幀的指令的信息。
10.根據(jù)權(quán)利要求7的視頻解碼裝置，其中該信息包括表示關(guān)于已取消使用的幀的已解碼圖像的輸出時(shí)間的信息。
11.一種用于為視頻編碼裝置如計(jì)算機(jī)從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)的視頻編碼程序，該視頻編碼程序使視頻編碼裝置實(shí)現(xiàn)輸出表示取消使用暫時(shí)滯后幀的已解碼圖像的選項(xiàng)已被選擇的信息的功能。
12.一種用于為視頻編碼裝置如計(jì)算機(jī)從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)的視頻編碼程序，該視頻編碼程序使視頻編碼裝置實(shí)現(xiàn)與用于取消使用暫時(shí)滯后幀的已解碼圖像的信息輸入相結(jié)合、并且以該信息為基礎(chǔ)避免輸出該幀的已解碼圖像的功能。
13.一種視頻編碼設(shè)備，包括輸入裝置，其用于實(shí)現(xiàn)輸入作為編碼目標(biāo)的圖像；編碼裝置，其用于編碼圖像以產(chǎn)生已編碼數(shù)據(jù)。圖像存儲(chǔ)裝置，其用于存儲(chǔ)經(jīng)編碼裝置編碼后再生的圖像；和緩沖器管理裝置，其用于管理每一個(gè)存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的圖像，其中，在編碼未參考任何其它圖像而編碼的圖像時(shí)，緩沖器管理裝置與已編碼數(shù)據(jù)一起輸出一個(gè)標(biāo)記，該標(biāo)記表示是否取消使用每一個(gè)先前存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的圖像。
14.根據(jù)權(quán)利要求13的視頻編碼設(shè)備，其中該編碼裝置從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)，且其中，在編碼未參考任何其它圖像而編碼的圖像時(shí)，緩沖器管理裝置刪除每一個(gè)先前存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的暫時(shí)滯后幀的已編碼圖像。
15.一種視頻解碼設(shè)備，包括輸入裝置，其用于實(shí)現(xiàn)輸入含有已編碼圖像的已編碼數(shù)據(jù)的圖像數(shù)據(jù)，和附加于已編碼數(shù)據(jù)上的圖像輸出指令標(biāo)記；解碼裝置，其用于解碼已編碼的數(shù)據(jù)以產(chǎn)生再生圖像；圖像存儲(chǔ)裝置，其用于存儲(chǔ)再生圖像；和緩沖器管理裝置，其用于管理每一個(gè)存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的再生圖像，其中，緩沖器管理裝置根據(jù)如下圖像輸出指令標(biāo)記刪除每一個(gè)存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的圖像，該圖像輸出指令標(biāo)記對(duì)應(yīng)于未參考任何存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的圖像而編碼的圖像。
16.根據(jù)權(quán)利要求15的視頻解碼設(shè)備，其中當(dāng)圖像輸出指令標(biāo)記為“0”時(shí)，則取消使用緩沖器內(nèi)的每一個(gè)參考圖像，而當(dāng)標(biāo)記為“1”時(shí)，則刪除緩沖器內(nèi)每一個(gè)參考圖像和每一個(gè)輸出隊(duì)列圖像。
17.一種視頻編碼方法，包括輸入步驟，其中一個(gè)視頻編碼設(shè)備實(shí)現(xiàn)輸入作為編碼目標(biāo)的圖像；編碼步驟，其中視頻編碼設(shè)備編碼該圖像以產(chǎn)生已編碼數(shù)據(jù)；圖像存儲(chǔ)步驟，其中視頻編碼設(shè)備將經(jīng)編碼步驟編碼后再生的圖像存儲(chǔ)到圖像存儲(chǔ)裝置中；和緩沖器管理步驟，其中視頻編碼設(shè)備管理每一個(gè)存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的圖像，其中在緩沖器管理步驟中，在編碼未參考任何其它圖像而編碼的圖像時(shí)，視頻編碼設(shè)備與已編碼數(shù)據(jù)一起輸出一種標(biāo)記，即表示是否取消使用每一個(gè)先前存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的圖像的標(biāo)記。
18.一種視頻解碼方法，包括輸入步驟，其中一個(gè)視頻解碼設(shè)備實(shí)現(xiàn)輸入含有已編碼圖像的已編碼數(shù)據(jù)的圖像數(shù)據(jù)，和附加于已編碼數(shù)據(jù)上的圖像輸出指令標(biāo)記；解碼步驟，其中視頻解碼設(shè)備解碼已編碼數(shù)據(jù)以產(chǎn)生再生圖像；圖像存儲(chǔ)步驟，其中視頻解碼設(shè)備將再生圖像存儲(chǔ)到圖像存儲(chǔ)裝置中；和緩沖器管理步驟，其中視頻解碼設(shè)備管理每一個(gè)存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的圖像，其中在緩沖器管理步驟中，視頻解碼設(shè)備根據(jù)如下圖像輸出指令標(biāo)記刪除每一個(gè)存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的圖像，該圖像輸出指令標(biāo)記對(duì)應(yīng)于未參考任何存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的圖像而編碼的圖像。
19.一種視頻編碼程序，其用于使視頻編碼設(shè)備實(shí)現(xiàn)實(shí)現(xiàn)輸入作為編碼目標(biāo)的圖像的功能；編碼圖像以產(chǎn)生已編碼數(shù)據(jù)的功能；將編碼后再生的圖像存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的功能；管理每一個(gè)存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的圖像的功能；和在編碼未參考任何其它圖像而編碼的圖像時(shí)，與已編碼數(shù)據(jù)一起輸出如下標(biāo)記的功能，該標(biāo)記即是否取消使用每一個(gè)先前存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的圖像的標(biāo)記。
20.一種視頻解碼程序，其用于使視頻解碼設(shè)備實(shí)現(xiàn)實(shí)現(xiàn)輸入含有已編碼圖像的已編碼數(shù)據(jù)的圖像數(shù)據(jù)，和附加于已編碼數(shù)據(jù)上的圖像輸出指令標(biāo)記的功能；解碼已編碼數(shù)據(jù)以產(chǎn)生再生圖像的功能；將再生圖像存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的功能；管理每一個(gè)存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的再生圖像的功能；和根據(jù)如下圖像輸出指令標(biāo)記刪除每一個(gè)存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的圖像的功能，該圖像輸出指令標(biāo)記對(duì)應(yīng)于未參考任何存儲(chǔ)在圖像存儲(chǔ)裝置內(nèi)的圖像而編碼的圖像。
全文摘要
視頻處理系統(tǒng)(100)安裝有視頻編碼設(shè)備(10)和視頻解碼設(shè)備(20)。該視頻編碼設(shè)備10從暫時(shí)滯后幀執(zhí)行后向幀間預(yù)測(cè)，并且輸出表示已選擇出取消使用暫時(shí)滯后幀已解碼圖像的選項(xiàng)的信息。視頻解碼設(shè)備(20)以該信息為基礎(chǔ)取消使用該幀的已解碼圖像，并且與用于取消使用暫時(shí)滯后幀已解碼圖像的輸入信息相結(jié)合。
文檔編號(hào)H04N7/26GK1512753SQ200310100660
公開(kāi)日2004年7月14日 申請(qǐng)日期2003年10月10日 優(yōu)先權(quán)日2002年10月11日
發(fā)明者安達(dá)悟, 文仲丞, 篤, 加藤禎篤, 榮藤稔, 陳朝慶 申請(qǐng)人:株式會(huì)社Ntt都科摩