專利名稱：用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的進(jìn)行編碼的方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于對(duì)運(yùn)動(dòng)圖像信號(hào)編碼的方法，并且更具體地說(shuō)，涉及對(duì)適于個(gè)人視頻錄像機(jī)(PVR)和基于內(nèi)容的圖像檢索的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法和裝置。
背景技術(shù)：
隨著數(shù)字時(shí)代的到來(lái)，對(duì)個(gè)人視頻錄像機(jī)(PVR)的興趣增加，該個(gè)人視頻錄像機(jī)(PVR)在沒有增加額外的錄像帶的條件下記錄大于24個(gè)小時(shí)的廣播節(jié)目。
PVR，也稱為數(shù)字視頻錄像機(jī)(DVR)，帶有硬盤驅(qū)動(dòng)器(HDD)，在該硬盤驅(qū)動(dòng)器中實(shí)時(shí)地存儲(chǔ)并再現(xiàn)廣播的數(shù)字視頻流。
因?yàn)镠DD安裝于PVR中，與傳統(tǒng)的模擬VCR的磁帶不同，音頻和視頻信息以數(shù)字的形式存儲(chǔ)在HDD中，所以確保了在盡管記錄和再現(xiàn)長(zhǎng)期地進(jìn)行，而沒有信息丟失的情況下的圖像的質(zhì)量并且能夠執(zhí)行與VCR相似的功能。
PVR的核心功能是流處理功能，其中使用大容量高速HDD自由地記錄和再現(xiàn)廣播流。與其它的存儲(chǔ)介質(zhì)相比，在HDD中，諸如MPEG2的運(yùn)動(dòng)圖像數(shù)據(jù)在時(shí)間上是連續(xù)的，并且在任意點(diǎn)具有非常高的讀和寫的特性。這樣，盡管運(yùn)動(dòng)圖像數(shù)據(jù)受物理盤設(shè)備的限制，如磁盤磁頭的軌道運(yùn)動(dòng)所帶來(lái)的限制，仍充分地確保實(shí)時(shí)地存儲(chǔ)和再現(xiàn)連續(xù)的介質(zhì)。
PVR的另一個(gè)主要的功能是個(gè)人TV代理功能。這意味著通過(guò)使用從廣播節(jié)目或因特網(wǎng)連接而另外接收的元數(shù)據(jù)或自解壓主機(jī)數(shù)據(jù)來(lái)提供改進(jìn)的視頻導(dǎo)航功能，如視頻索引。
希望將以主要使用基于XML的元數(shù)據(jù)相關(guān)技術(shù)的領(lǐng)域定為工業(yè)標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)包括內(nèi)容的制作和最終用戶的消費(fèi)。由于基于XML的元數(shù)據(jù)相關(guān)技術(shù)，可進(jìn)行諸如節(jié)目指南、視頻索引、頻道和節(jié)目的搜索、對(duì)于每個(gè)加亮區(qū)和節(jié)目段的記錄一樣的基于運(yùn)動(dòng)圖像的服務(wù)，因此可按照使用中的簡(jiǎn)介對(duì)TV進(jìn)行配置的個(gè)人TV時(shí)代將到來(lái)。
同時(shí)，因?yàn)槎嗝襟w的信息量以極高的速度增加，所以對(duì)于多媒體信息的有效管理是很重要的，并且具體地說(shuō)，用戶對(duì)于提供多媒體信息的需求增加。
基于內(nèi)容的檢索是一種檢索方法，該方法用于對(duì)多媒體信息進(jìn)行有效的檢索和再現(xiàn)，并且該基于內(nèi)容的檢索使得如下成為可能提取圖像特征(顏色，紋理和形狀信息)并有效地使用圖像信息，該圖像信息通過(guò)對(duì)用于高效檢索的數(shù)據(jù)索引結(jié)構(gòu)進(jìn)行檢索而爆炸性地增加。
用于基于內(nèi)容的搜索的特征是形狀，紋理和顏色。這些特征可由數(shù)字值表示，并因此可容易地存儲(chǔ)和檢索。當(dāng)前，就基于內(nèi)容的檢索來(lái)講，MPEG-7(ISO/IEC 15938)標(biāo)準(zhǔn)處于完善之中。
圖1顯示了基于內(nèi)容的檢索的特征。視頻數(shù)據(jù)和特征向量從存儲(chǔ)在數(shù)據(jù)庫(kù)102中的視頻數(shù)據(jù)中提取，并且通過(guò)使用該特性向量對(duì)視頻數(shù)據(jù)進(jìn)行檢索和再現(xiàn)。
為了從視頻數(shù)據(jù)中提取特征向量，將該視頻數(shù)據(jù)分割成場(chǎng)景單元，并且從該視頻數(shù)據(jù)中提取諸如邊界幀(下一個(gè)場(chǎng)景的第一個(gè)幀)或關(guān)鍵幀(作為相應(yīng)的場(chǎng)景的關(guān)鍵幀)一樣的特征向量。
將特征向量編入索引以便檢索視頻數(shù)據(jù)，并且將該特征向量與指示邊界幀和關(guān)鍵幀的指針鏈接。
韓國(guó)專利公開號(hào)No.99-3248(申請(qǐng)人現(xiàn)代電子株事會(huì)社，于1999年2月1日申請(qǐng)，于2000年9月5日公布)公開了使用具有樹結(jié)構(gòu)的運(yùn)動(dòng)圖像索引描述符的檢索裝置和方法，其中基于運(yùn)動(dòng)圖像數(shù)據(jù)內(nèi)容建立帶有樹結(jié)構(gòu)的運(yùn)動(dòng)圖像索引，將該運(yùn)動(dòng)圖像索引作為描述符，并且應(yīng)用于檢索系統(tǒng)中以便容易地進(jìn)行對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的檢索。
基于內(nèi)容的檢索是在被編入索引的特征向量上進(jìn)行的。在以鏡頭為單元的再現(xiàn)情況下，對(duì)由與所搜索的特征向量鏈接的指針指示的邊界幀進(jìn)行再現(xiàn)，并且，在再現(xiàn)關(guān)鍵幀的情況下，對(duì)由與所搜索的特征向量鏈接的指針指示的關(guān)鍵幀進(jìn)行再現(xiàn)。
然而，在對(duì)于以鏡頭為單元的再現(xiàn)中，邊界幀成為I幀(內(nèi)圖像(intrapicture))的概率僅為1/N(其中，N是包括于圖像組(GOP)中的幀的數(shù)目)，因此應(yīng)首先再現(xiàn)前一個(gè)GOP以再現(xiàn)一個(gè)鏡頭，這導(dǎo)致再現(xiàn)一個(gè)鏡頭需要較多的時(shí)間。
圖2說(shuō)明了以鏡頭為單元的傳統(tǒng)的再現(xiàn)方法。在圖2中顯示兩個(gè)相繼的鏡頭。鏡頭A和鏡頭C由多個(gè)幀構(gòu)成，在鏡頭A和鏡頭C之間形成邊界。鏡頭C的第一幀102成為邊界幀。
如圖2所示，在鏡頭A和鏡頭C之間的邊界存在于GOP中，并且鏡頭C的邊界幀是B幀(雙向預(yù)測(cè)的圖像)。
因?yàn)殓R頭C的邊界幀102是B幀，所以應(yīng)當(dāng)在相應(yīng)的GOP中第一個(gè)再現(xiàn)包含于鏡頭A中的I幀，以便再現(xiàn)鏡頭C。即，因?yàn)楫?dāng)再現(xiàn)鏡頭C時(shí)應(yīng)當(dāng)參考包含于前一個(gè)鏡頭中的I幀，所以需要用于準(zhǔn)備鏡頭C的時(shí)間，因此延遲用于再現(xiàn)鏡頭C的開始時(shí)間。盡管當(dāng)邊界幀是預(yù)測(cè)(P)幀時(shí)，這樣的問(wèn)題仍會(huì)發(fā)生。
同時(shí)，在再現(xiàn)關(guān)鍵幀的情況下，如同以鏡頭為單元的再現(xiàn)邊界幀一樣，關(guān)鍵幀成為I幀的概率僅為1/N，因此應(yīng)再現(xiàn)GOP的起點(diǎn)，這導(dǎo)致需要更多的時(shí)間用于再現(xiàn)該關(guān)鍵幀。
圖3說(shuō)明了用于再現(xiàn)關(guān)鍵幀的傳統(tǒng)的方法。圖3顯示具有GOP結(jié)構(gòu)的一個(gè)鏡頭A，并且鏡頭A的關(guān)鍵幀302是B幀(雙向預(yù)測(cè)的圖像)。
因?yàn)殛P(guān)鍵幀302是B幀，所以應(yīng)當(dāng)首先再現(xiàn)包含于相應(yīng)的GOP中的I幀(內(nèi)圖像)，以再現(xiàn)關(guān)鍵幀302。即，因?yàn)楫?dāng)再現(xiàn)鏡頭A的關(guān)鍵幀302時(shí)應(yīng)當(dāng)參考包含于相應(yīng)的GOP中的I幀，所以需要用于準(zhǔn)備再現(xiàn)鏡頭C的時(shí)間，因此延遲用于再現(xiàn)關(guān)鍵幀302的開始時(shí)間。盡管當(dāng)關(guān)鍵幀是P幀(預(yù)測(cè)的圖像)時(shí)，這樣的問(wèn)題仍會(huì)發(fā)生。

發(fā)明內(nèi)容
為了解決上述的問(wèn)題，本發(fā)明的第一個(gè)目的是提供一種方法，用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)編碼，該運(yùn)動(dòng)圖像數(shù)據(jù)適用于PVR的導(dǎo)航和基于內(nèi)容的檢索。
本發(fā)明的第二個(gè)目的是提供適于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)編碼的方法的裝置。
本發(fā)明的第三個(gè)目的是提供對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行代碼轉(zhuǎn)換的方法，該運(yùn)動(dòng)圖像數(shù)據(jù)適用于PVR的導(dǎo)航和基于內(nèi)容的檢索。
本發(fā)明的第四個(gè)目的是提供適于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行代碼轉(zhuǎn)換的方法的裝置。
相應(yīng)地，為了達(dá)到第一個(gè)目的，根據(jù)本發(fā)明的一個(gè)方面，提供一種用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法，其中具有多個(gè)幀的運(yùn)動(dòng)圖像數(shù)據(jù)被分割成圖像組(GOP)并且被編碼，該GOP包括I幀(內(nèi)圖像)，B幀(雙向預(yù)測(cè)的圖像)和P幀(預(yù)測(cè)的圖像)。該方法包括將輸入的視頻數(shù)據(jù)分割成GOP并將該輸入的視頻數(shù)據(jù)編碼，提取在來(lái)自輸入的視頻數(shù)據(jù)的鏡頭之間的邊界，確定將被編碼的幀是否是下一個(gè)鏡頭的第一個(gè)幀(邊界幀)，并且假如將被編碼的幀是邊界幀，則恰好在關(guān)鍵幀之前的幀(前一個(gè)幀)終止GOP，并從該邊界幀開始新的GOP。
為了達(dá)到第一個(gè)目的，根據(jù)本發(fā)明的另一個(gè)方面，提供一種用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法，其中具有多個(gè)幀的運(yùn)動(dòng)圖像數(shù)據(jù)被分割成圖像組(GOP)并且被編碼，該GOP包括I幀(內(nèi)圖像)，B幀(雙向預(yù)測(cè)的圖像)和P幀(預(yù)測(cè)的圖像)。該方法包括將運(yùn)動(dòng)圖像數(shù)據(jù)分割成GOP并將該運(yùn)動(dòng)圖像數(shù)據(jù)編碼，從該運(yùn)動(dòng)圖像數(shù)據(jù)提取關(guān)鍵幀，確定將被編碼的幀是否是關(guān)鍵幀，并且假如將被編碼的幀是關(guān)鍵幀，則恰好在該關(guān)鍵幀之前的幀(前一個(gè)幀)終止的GOP，并從該關(guān)鍵幀開始新的GOP。
為了達(dá)到第二個(gè)目的，提供一種用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的裝置，其中具有多個(gè)幀的運(yùn)動(dòng)圖像數(shù)據(jù)被分割成圖像組(GOP)并且被編碼，該GOP包括I幀(內(nèi)圖像)，B幀(雙向預(yù)測(cè)的圖像)和P幀(預(yù)測(cè)的圖像)。該裝置包括鏡頭檢測(cè)器和編碼器，該鏡頭檢測(cè)器用于檢測(cè)在來(lái)自運(yùn)動(dòng)圖像數(shù)據(jù)的鏡頭之間的邊界，該編碼器用于將運(yùn)動(dòng)的圖像數(shù)據(jù)分割成GOP，對(duì)于該運(yùn)動(dòng)的圖像數(shù)據(jù)編碼，并且按照鏡頭檢測(cè)器的檢測(cè)結(jié)果在鏡頭之間的邊界對(duì)于GOP進(jìn)行分割。
為了達(dá)到第三個(gè)目的，根據(jù)本發(fā)明的一個(gè)方面，提供一種用于按照?qǐng)D像組(GOP)的單元對(duì)運(yùn)動(dòng)圖像比特流進(jìn)行代碼轉(zhuǎn)換的方法，該GOP包括I幀(內(nèi)圖像)，B幀(雙向預(yù)測(cè)的圖像)和P幀(預(yù)測(cè)的圖像)。該方法包括對(duì)來(lái)自比特流的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行解碼，將運(yùn)動(dòng)圖像數(shù)據(jù)分割成GOP并將該運(yùn)動(dòng)圖像數(shù)據(jù)編碼，提取在來(lái)自運(yùn)動(dòng)圖像數(shù)據(jù)的鏡頭之間的邊界，確定將被編碼的幀是否是下一個(gè)鏡頭的第一個(gè)幀(邊界幀)，并且假如將被編碼的幀是邊界幀，則恰好在關(guān)鍵幀之前的幀(前一個(gè)幀)終止GOP，并從該邊界幀開始新的GOP。
為了達(dá)到第三個(gè)目的，根據(jù)本發(fā)明的另一個(gè)方面，提供一種用于按照?qǐng)D像組(GOP)為單元對(duì)運(yùn)動(dòng)圖像比特流進(jìn)行代碼轉(zhuǎn)換的方法，該GOP包括I幀(內(nèi)圖像)，B幀(雙向預(yù)測(cè)的圖像)和P幀(預(yù)測(cè)的圖像)。該方法包括對(duì)來(lái)自比特流的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行解碼，將運(yùn)動(dòng)圖像數(shù)據(jù)分割成GOP并將該運(yùn)動(dòng)圖像數(shù)據(jù)編碼，提取在來(lái)自運(yùn)動(dòng)圖像數(shù)據(jù)的關(guān)鍵幀，確定將被編碼的幀是否是關(guān)鍵幀，并且假如將被編碼的幀是關(guān)鍵幀，則恰好在關(guān)鍵幀之前的幀(前一個(gè)幀)終止GOP，并從該關(guān)鍵幀開始新的GOP。
為了達(dá)到第四個(gè)目的，提供一種用于按照?qǐng)D像組(GOP)為單元對(duì)運(yùn)動(dòng)圖像比特流進(jìn)行代碼轉(zhuǎn)換的方法，該GOP包括I幀(內(nèi)圖像)，B幀(雙向預(yù)測(cè)的圖像)和P幀(預(yù)測(cè)的圖像)。該裝置包括解碼器、鏡頭檢測(cè)器和編碼器，該解碼器用于對(duì)來(lái)自比特流的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行解碼，該鏡頭檢測(cè)器用于檢測(cè)在來(lái)自運(yùn)動(dòng)圖像數(shù)據(jù)的鏡頭之間的邊界，該編碼器用于將運(yùn)動(dòng)的圖像數(shù)據(jù)分割成GOP，對(duì)該運(yùn)動(dòng)的圖像數(shù)據(jù)編碼，并且按照鏡頭檢測(cè)器的檢測(cè)結(jié)果在鏡頭之間的邊界對(duì)GOP進(jìn)行分割。


通過(guò)參照附圖詳細(xì)地描述優(yōu)選實(shí)施例，本發(fā)明的上述的目的和優(yōu)點(diǎn)將變得更加清楚，其中圖1說(shuō)明基于內(nèi)容檢索的特征；圖2說(shuō)明以鏡頭為單元的傳統(tǒng)的再現(xiàn)方法；圖3說(shuō)明再現(xiàn)關(guān)鍵幀的傳統(tǒng)方法；圖4說(shuō)明圖像組(GOP)的結(jié)構(gòu)；圖5說(shuō)明傳統(tǒng)的MPEG-2編碼器的結(jié)構(gòu)的方框圖；圖6說(shuō)明傳統(tǒng)的代碼轉(zhuǎn)換器的結(jié)構(gòu)的方框圖；圖7說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法的例子；圖8說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法的例子的流程圖；圖9說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法的另一個(gè)例子；圖10說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法的另一個(gè)例子的流程圖；圖11說(shuō)明根據(jù)本發(fā)明的編碼器的例子的方框圖；圖12說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行代碼轉(zhuǎn)換的方法的例子；
圖13說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行代碼轉(zhuǎn)換的方法的例子的流程圖；圖14說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法的另一個(gè)例子；圖15說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行代碼轉(zhuǎn)換的方法的另一個(gè)例子的流程圖；和圖16說(shuō)明根據(jù)本發(fā)明的代碼轉(zhuǎn)換器的例子的方框圖。
具體實(shí)施例方式
下面，將參照附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行詳細(xì)地說(shuō)明。
眾所周知，MPEG-2視頻具有分層的數(shù)據(jù)結(jié)構(gòu)，并且層包括視頻序列層，圖像組(GOP)層，圖像層，宏塊(macroblock)(MB)片層，MB層和塊層。
這里，GOP表示相繼的圖像的組合，并且圖4說(shuō)明了GOP的結(jié)構(gòu)。
GOP的幀包括I幀(內(nèi)圖像)，P幀(預(yù)測(cè)的圖像)或B幀(雙向預(yù)測(cè)的圖像)，并且I幀應(yīng)當(dāng)包括于GOP的幀中。
對(duì)全部的I幀以與初始的視頻的相同的順序編碼。通過(guò)前向的幀間預(yù)測(cè)，對(duì)P幀編碼，并且，通過(guò)幀間雙向的預(yù)測(cè)(前向和反向預(yù)測(cè))，對(duì)B幀編碼。
GOP包括變量M和變量N，該變量M表示I/P幀的周期，該變量N表示在GOP中的幀的數(shù)目。隨著變量M和變量N增加，壓縮率增加，但是圖像的質(zhì)量下降。
因?yàn)樵贛PEG中使用B幀，所以在比特流中的幀的順序可以與由解碼器解碼的幀的順序不同。即，當(dāng)恢復(fù)B幀時(shí)，在輸出B幀之后，需要輸出P幀，因此必須首先恢復(fù)P幀。這就導(dǎo)致了B幀和P幀之間的延遲。例子如下按照比特流的幀的順序幀的類型B B I B B P B B P B B P幀號(hào)0 1 2 3 4 5 6 7 8 9 10 11解碼順序幀的類型I B B P B B P B B P B B幀號(hào)2 0 1 5 3 4 8 6 711 910在上面的例子中，首先對(duì)幀號(hào)為2的I幀解碼，并且通過(guò)使用I幀的信息，對(duì)幀號(hào)為0和1的B幀解碼。為了對(duì)幀號(hào)為3和4的B幀解碼，需要幀號(hào)為2的I幀和幀號(hào)為5的P幀，因此在對(duì)幀號(hào)為3和4的B幀解碼之前，對(duì)幀號(hào)為5的P幀解碼。以此方式，對(duì)從幀號(hào)為2的I幀到幀號(hào)為10的B幀的各幀進(jìn)行解碼。
當(dāng)對(duì)未壓縮的視頻編碼時(shí)，被分割到GOP的相繼的幀由如下的一種圖像類型決定內(nèi)圖像(I)、雙向預(yù)測(cè)的圖像(B)和預(yù)測(cè)的圖像(P)，通過(guò)該內(nèi)圖像(I)、雙向預(yù)測(cè)的圖像(B)和預(yù)測(cè)的圖像(P)，對(duì)包括在GOP中的每個(gè)幀進(jìn)行編碼，并且按照?qǐng)D像類型編碼該相繼的幀。
圖5說(shuō)明傳統(tǒng)的MPEG-2編碼器的結(jié)構(gòu)的方框圖。眾所周知，MPEG-2編碼器包括用于消除空間相關(guān)的離散余弦變換(DCT)變換器，用于消除時(shí)間相關(guān)的運(yùn)動(dòng)估計(jì)器(ME)，用于高效有耗壓縮的量化器，用于獲得恢復(fù)的視頻的反量化器和反DCT變換器，用于平均信息量編碼(entropy encoding)的可變長(zhǎng)編碼器(VLC)。圖5所示的MPEG-2編碼器輸入未壓縮的視頻，并輸出具有分層結(jié)構(gòu)的MPEG比特流，具體地說(shuō)，MPEG比特流具有GOP結(jié)構(gòu)。為此，MPEG-2編碼器將相繼的幀分割成GOP，并且由如下的一種圖像類型決定該相繼的幀內(nèi)圖像(I)、雙向預(yù)測(cè)的圖像(B)和預(yù)測(cè)的圖像(P)，通過(guò)該內(nèi)圖像(I)、雙向預(yù)測(cè)的圖像(B)和預(yù)測(cè)的圖像(P)對(duì)包括于GOP中的每個(gè)幀進(jìn)行編碼，并且按照?qǐng)D像類型編碼該象相繼的幀。
圖5顯示了對(duì)MPEG編碼的基本的結(jié)構(gòu)，并且圖5顯示了基于MPEG編碼的基本結(jié)構(gòu)、具有不同的構(gòu)成的其它的編碼器。例如，改進(jìn)的用于根據(jù)視頻的復(fù)雜程度控制量化率的編碼器，或者帶有用于控制位速率的緩沖存儲(chǔ)器的編碼器。然而，這些編碼器輸出來(lái)自未壓縮的視頻數(shù)據(jù)的、具有GOP結(jié)構(gòu)的比特流。以下，這些編碼器稱為MPEG-2編碼器。
場(chǎng)景是發(fā)送視頻含義的單元。一般地說(shuō)，用于表達(dá)含義的場(chǎng)景有許多個(gè)鏡頭組成。場(chǎng)景涉及在相同的時(shí)空中發(fā)生的事情。
另一方面，鏡頭是所有的運(yùn)動(dòng)圖像的最基本的視頻單元。鏡頭意味著在記錄的過(guò)程中不停頓地記錄的場(chǎng)景，并且是在操作照相機(jī)記錄鍵之后直到操作結(jié)束鍵之間的時(shí)間內(nèi)記錄的場(chǎng)景。同時(shí)，已經(jīng)制造的電影或電視的鏡頭意味著照相機(jī)對(duì)于一次行為的聚焦，即，在屏幕轉(zhuǎn)換中的場(chǎng)景。
一般地說(shuō)，按照時(shí)間的順序，運(yùn)動(dòng)圖像信號(hào)的許多個(gè)場(chǎng)景彼此連接，并且當(dāng)對(duì)運(yùn)動(dòng)圖像信號(hào)編碼時(shí)，沒有考慮在場(chǎng)景之間的邊界。結(jié)果，GOP跨越場(chǎng)景之間的邊界而存在。這是在傳統(tǒng)的MPEG-2編碼器中場(chǎng)景之間的界限是沒有意義的原因。即，在不區(qū)別場(chǎng)景的條件下，傳統(tǒng)的MPEG-2編碼器為未壓縮的視頻信號(hào)分配統(tǒng)一的GOP，并對(duì)未壓縮的視頻信號(hào)編碼，因此，GOP跨越場(chǎng)景之間的邊界而存在。
相應(yīng)地，在用于再現(xiàn)存儲(chǔ)在存儲(chǔ)媒介中的比特流的裝置中，在該存儲(chǔ)媒介中存儲(chǔ)運(yùn)動(dòng)圖像信號(hào)，具體地說(shuō)，在個(gè)人視頻錄像機(jī)(PVR)和基于內(nèi)容的檢索系統(tǒng)中，應(yīng)當(dāng)參考包括于先前場(chǎng)景中的幀以及相應(yīng)場(chǎng)景的幀的信息，以再現(xiàn)所檢索的場(chǎng)景。
根據(jù)情況，需要在比特流中進(jìn)行諸如分辨率轉(zhuǎn)換、掃描格式、隔行/非隔行轉(zhuǎn)換、屏幕尺寸的轉(zhuǎn)換一樣的轉(zhuǎn)換碼。最基本的代碼轉(zhuǎn)換方法是對(duì)比特流進(jìn)行編碼以獲得未壓縮的視頻數(shù)據(jù)(盡管由于先前進(jìn)行的壓縮編碼而有些損耗)，并且，假如需要，則對(duì)未壓縮的視頻數(shù)據(jù)進(jìn)行下取樣，并且在所需的分辨率對(duì)該經(jīng)下取樣的未壓縮的視頻數(shù)據(jù)進(jìn)行編碼。
用于轉(zhuǎn)換碼的裝置是代碼轉(zhuǎn)換器，其示于圖6。
圖6說(shuō)明傳統(tǒng)的代碼轉(zhuǎn)換器的結(jié)構(gòu)的方框圖。圖6的代碼轉(zhuǎn)換器包括用于從比特流恢復(fù)未壓縮的視頻數(shù)據(jù)的MPEG解碼器(盡管由于先前進(jìn)行的壓縮編碼而有些損失)，用于對(duì)未壓縮的視頻數(shù)據(jù)進(jìn)行下取樣的下取樣器，用于轉(zhuǎn)換掃描格式的轉(zhuǎn)換器，和用于對(duì)該經(jīng)下取樣的未壓縮的視頻數(shù)據(jù)進(jìn)行編碼的MPEG-2編碼器。
圖5顯示基于代碼轉(zhuǎn)換器的、具有不同結(jié)構(gòu)的、經(jīng)改進(jìn)的代碼轉(zhuǎn)換器。給出了帶有用于對(duì)比特流的全部或部分進(jìn)行解碼的解碼器的代碼轉(zhuǎn)換器。
然而，所有這些代碼轉(zhuǎn)換器帶有MPEG-2編碼器，并且在不屈分場(chǎng)景的情況下輸出帶有統(tǒng)一GOP結(jié)構(gòu)的比特流。
相應(yīng)地，由傳統(tǒng)的MPEG-2編碼器或代碼轉(zhuǎn)換器輸出的比特流不適于PVR導(dǎo)航以及基于內(nèi)容的檢索和存儲(chǔ)。
圖7說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法的例子。在圖7中顯示具有兩個(gè)相繼的鏡頭的視頻數(shù)據(jù)。鏡頭A和鏡頭C由多個(gè)幀構(gòu)成，在鏡頭A和鏡頭C之間形成邊界。鏡頭C的第一幀702成為邊界幀。
根據(jù)本發(fā)明的實(shí)施例，在鏡頭之間的邊界上，比特流具有GOP結(jié)構(gòu)。即，在前一個(gè)幀結(jié)束該GOP并從邊界幀702開始新的GOP，以使鏡頭C的邊界幀702總是成為I幀(內(nèi)圖像)。
包括在GOP中的幀的數(shù)目一般在12和15之間，但是對(duì)于幀的數(shù)目沒有特別的限制。然而，GOP的第一幀應(yīng)當(dāng)總是I幀，并且假如GOP在鏡頭之間的邊界結(jié)束，則下一個(gè)幀，即，邊界幀702總是成為I幀。這樣，即，在以鏡頭為單元再現(xiàn)的情況下，可從I幀再現(xiàn)GOP的開始。與現(xiàn)有技術(shù)不同，不需要再現(xiàn)另一個(gè)鏡頭包含的幀。
這里，GOP在鏡頭之間的邊界結(jié)束，因此該鏡頭的最后的幀應(yīng)當(dāng)是反預(yù)測(cè)模式的P幀(預(yù)測(cè)的圖像)或B幀(雙向預(yù)測(cè)的圖像)。
圖8說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法的例子的流程圖。在步驟S802中，輸入的運(yùn)動(dòng)圖像數(shù)據(jù)被分割成為GOP。根據(jù)所給的變量N/M、按照幀的數(shù)目(N)對(duì)輸入的運(yùn)動(dòng)圖像數(shù)據(jù)分組，并且確定如下的圖像類型內(nèi)圖像(I)、雙向預(yù)測(cè)的圖像(B)和預(yù)測(cè)的圖像(P)。
在被分割的GOP中的每個(gè)幀被指定為圖像類型I、B和P中的一種。
在步驟S804中，對(duì)輸入的運(yùn)動(dòng)視頻數(shù)據(jù)進(jìn)行分析，并檢測(cè)在鏡頭之間的邊界。
但目前為止，眾所周知，當(dāng)檢測(cè)到在鏡頭之間的邊界時(shí)，可獲得最令人滿意的結(jié)果，即，將顏色直方圖(histogram)用于鏡頭的分割。然而，在使用基于顏色直方圖的全局顏色分布的鏡頭分割方法中，應(yīng)當(dāng)對(duì)圖像電平進(jìn)行解碼，以便獲得視頻幀的顏色信息，因此，鏡頭分割的速度是非常低的。
為了提高由于使用全局顏色分布所帶來(lái)的鏡頭分割的低速，提出了一種鏡頭分割和一種屏幕變換檢測(cè)算法，該鏡頭分割采用在MPEG比特流的壓縮區(qū)域中的特點(diǎn)和諸如內(nèi)圖像(I)、雙向預(yù)測(cè)的圖像(B)和預(yù)測(cè)的圖像(P)一樣的圖像類型的特征，該屏幕變換檢測(cè)算法使用類型信息和一個(gè)表，該類型信息在與相鄰的B幀的類型信息相同的位置的宏塊中，在該表中將鄰近的B幀與宏塊作比較。
韓國(guó)專利公開號(hào)No.1999-42518(于1999年10月2日申請(qǐng)，申請(qǐng)人電信研究院，于2001年5月7日公布)公開了使用聯(lián)合的基于點(diǎn)的操作信息的鏡頭分割方法。此外，韓國(guó)專利公開號(hào)No.2000-80966(于2000年12月12日申請(qǐng)，申請(qǐng)人虛擬媒介(Virtuamedia)，于2001年5月7日公布)公開了一種裝置，其中在將場(chǎng)景轉(zhuǎn)換檢測(cè)處理和書簽信息插入被跟蹤的目標(biāo)的區(qū)域之后，按照鏡頭為單元對(duì)于預(yù)定的目標(biāo)進(jìn)行跟蹤以產(chǎn)生流超視頻(stream hyper video)，以便按照鏡頭為單元有效地管理和編輯數(shù)字視頻數(shù)據(jù)。
在步驟S806中，通過(guò)參考在步驟S804中的鏡頭邊界檢測(cè)(SBD)的結(jié)果，判定當(dāng)前被編碼的幀是否是邊界幀。
在步驟S808中，假如當(dāng)前進(jìn)行編碼的幀是邊界幀，則在前一個(gè)幀中結(jié)束GOP，并返回步驟S802。例如，假如具有幀號(hào)15的第六幀是邊界幀，則GOP在第五幀結(jié)束，并且在第六幀開始新的GOP。
可通過(guò)兩種方法在鏡頭之間的邊界對(duì)GOP進(jìn)行編碼。一種方法是從鏡頭之間的邊界開始新的GOP，并且另一種方法是在鏡頭之間的邊界將GOP分割為兩個(gè)GOP。
假設(shè)初始被分割的GOP的數(shù)目是15，在鏡頭之間的邊界的包括在前一個(gè)鏡頭的GOP是GOP#1，包括在下一個(gè)鏡頭的GOP是GOP#2，并且在第五幀和第六幀之間有一個(gè)邊界，按照根據(jù)本發(fā)明對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)編碼的方法的結(jié)果，在前一種情況下，GOP#1的數(shù)目是5，并且GOP#2的數(shù)目小于15，并且后一種情況下，GOP#1的數(shù)目是5，并且GOP#2的數(shù)目小于10。GOP#2的數(shù)目小于15或10是GOP#2可具有包括小于15或10的分離的鏡頭的原因(盡管不存在包括小于10個(gè)幀，即，小于1/3秒，的鏡頭)。
在這種情況下，假如在鏡頭之間的邊界的前一個(gè)鏡頭的最后一個(gè)幀是B幀，則對(duì)該B幀進(jìn)行反向預(yù)測(cè)模式編碼。
在步驟S810中，假如當(dāng)前進(jìn)行編碼的幀不是邊界幀，則根據(jù)指定圖像的類型對(duì)每個(gè)幀進(jìn)行編碼，并且假如相應(yīng)的GOP的最后的幀被編碼，返回步驟S802。
圖9說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法的另一個(gè)例子。圖9顯示鏡頭A和鏡頭A的關(guān)鍵幀902。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，在鏡頭之間的邊界，比特流具有GOP結(jié)構(gòu)。即，在前一個(gè)幀結(jié)束該GOP并從關(guān)鍵幀902開始新的GOP，以使鏡頭A的關(guān)鍵幀902一直成為I幀(內(nèi)圖像)。
GOP的第一幀應(yīng)當(dāng)總成為I幀，因此假如恰好在關(guān)鍵幀902之前的一個(gè)幀終止GOP，則下一個(gè)幀，即，關(guān)鍵幀902總是成為I幀。這樣，可再現(xiàn)總是I幀的關(guān)鍵幀。與現(xiàn)有技術(shù)不同，不需再現(xiàn)包含關(guān)鍵幀的GOP的其它的幀。
這里，恰好在關(guān)鍵幀之前的幀終止GOP，因此，恰好在關(guān)鍵幀之前的幀應(yīng)當(dāng)是反向預(yù)測(cè)模式的I幀、P幀或B幀(雙向預(yù)測(cè)的圖像)。
圖10說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法的另一個(gè)例子的流程圖。
在步驟S1002中，輸入的運(yùn)動(dòng)圖像數(shù)據(jù)被分割成為GOP。根據(jù)所給的變量N/M、按照幀的數(shù)目(N)對(duì)輸入的運(yùn)動(dòng)圖像數(shù)據(jù)分組，并且確定如下的圖像類型內(nèi)圖像(I)、雙向預(yù)測(cè)的圖像(B)和預(yù)測(cè)的圖像(P)。
在被分割的GOP中的每個(gè)幀被指定為圖像類型I、B和P中的一種。
在步驟S1004中，對(duì)輸入的運(yùn)動(dòng)視頻數(shù)據(jù)進(jìn)行分析，并檢測(cè)鏡頭的關(guān)鍵幀。
韓國(guó)專利公開號(hào)No.2002-7008537(于2001年7月4日申請(qǐng)，申請(qǐng)人Coninklike Philips Electronics N.V，于2001年10月8日公布)公開了用于檢測(cè)基于在鏡頭之間的視頻分割的關(guān)鍵幀，DCT系數(shù)和宏塊的方法。
在上述方法中，從相應(yīng)于前一個(gè)視頻幀的塊的DC值分別減去來(lái)自于當(dāng)前視頻幀的當(dāng)前宏塊的亮度的和色差塊的DC值。單獨(dú)的差的結(jié)果SUM被保持在宏塊的亮度的和色差塊中的每一個(gè)之中。
假如SUM小于臨界值，則穩(wěn)態(tài)場(chǎng)景計(jì)數(shù)器SScrt增加以表明可用的穩(wěn)態(tài)場(chǎng)景(關(guān)鍵幀)。當(dāng)SScrt達(dá)到預(yù)定的值時(shí)，將存儲(chǔ)在臨時(shí)存儲(chǔ)器中的第一個(gè)參考幀(the foremost vide frame)選作關(guān)鍵幀。
在步驟S1006中，通過(guò)參考在步驟S1004中的檢測(cè)結(jié)果，判定當(dāng)前進(jìn)行編碼的幀是否是關(guān)鍵幀。
在步驟S1008中，假如當(dāng)前進(jìn)行編碼的幀是關(guān)鍵幀，則在前一個(gè)幀中結(jié)束GOP，并返回步驟S1002。例如，假如具有幀號(hào)15的第六幀是關(guān)鍵幀，則GOP在第五幀結(jié)束，并且在第六幀開始新的GOP。
可通過(guò)兩種方法中的一種，在關(guān)鍵幀附近對(duì)GOP進(jìn)行編碼。一種方法是從關(guān)鍵幀開始新的GOP，并且另一種方法是在關(guān)鍵幀附近將GOP分割為兩個(gè)GOP。
假設(shè)在步驟S1002中被分割的GOP的數(shù)目是15，在關(guān)鍵幀之前的GOP是GOP#1，在該關(guān)鍵幀之后的GOP是GOP#2，并且第六幀是關(guān)鍵幀，按照根據(jù)本發(fā)明對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)編碼的方法的結(jié)果，在前一種情況下，GOP#1的數(shù)目是5，并且GOP#2的數(shù)目是15，并且后一種情況下，GOP#1的數(shù)目是5，并且GOP#2的數(shù)目是10。
在這種情況下，假如在關(guān)鍵幀的前一個(gè)幀是B幀，則對(duì)該B幀進(jìn)行反向預(yù)測(cè)模式編碼。
在步驟S1010中，假如當(dāng)前進(jìn)行編碼的幀不是關(guān)鍵幀，則根據(jù)指定圖像的類型對(duì)每個(gè)幀進(jìn)行編碼，并且假如相應(yīng)的GOP的最后的幀被編碼，返回步驟S1002。
圖11說(shuō)明根據(jù)本發(fā)明的編碼器的例子的方框圖。圖11所示的裝置包括鏡頭檢測(cè)器1102、關(guān)鍵幀檢測(cè)器1104和MPEG-2編碼器1106。這里，MPEG-2編碼器1106相應(yīng)于圖5所示的裝置和對(duì)圖5所示的裝置的改進(jìn)，并且以GOP為單元進(jìn)行編碼。
鏡頭檢測(cè)器1102檢測(cè)在來(lái)自輸入視頻數(shù)據(jù)的鏡頭之間的邊界。
同時(shí)，MPEG-2編碼器1106參考鏡頭檢測(cè)器1102和關(guān)鍵幀檢測(cè)器1104的檢測(cè)結(jié)果。通過(guò)參考鏡頭檢測(cè)器1102和關(guān)鍵幀檢測(cè)器1104的檢測(cè)結(jié)果，MPEG-2編碼器1106確定GOP。
MPEG-2編碼器1106將輸入的視頻數(shù)據(jù)分割為給定的GOP結(jié)構(gòu)，對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼，并在邊界幀或關(guān)鍵幀中終止前一個(gè)GOP，并且開始新的GOP。鏡頭檢測(cè)器1102檢測(cè)到邊界幀，并且關(guān)鍵幀檢測(cè)器1104檢測(cè)到關(guān)鍵幀。
圖12說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行代碼轉(zhuǎn)換的方法的例子。在圖12中顯示包括兩個(gè)相繼鏡頭A和C的視頻數(shù)據(jù)的比特流。
鏡頭A和鏡頭C由多個(gè)幀構(gòu)成，并且在鏡頭A和鏡頭C之間存在邊界。鏡頭C的第一幀1202成為邊界幀。
根據(jù)本發(fā)明的實(shí)施例的例子，在鏡頭之間的邊界，比特流具有GOP結(jié)構(gòu)。即，在前一個(gè)幀結(jié)束該GOP，并從邊界幀1202開始新的GOP，以使鏡頭C的邊界幀1202一直成為I幀(內(nèi)圖像)。
這里，GOP在鏡頭之間的邊界結(jié)束，因此該鏡頭的最后的幀應(yīng)當(dāng)是反預(yù)測(cè)模式的P幀(預(yù)測(cè)的圖像)或B幀(雙向預(yù)測(cè)的圖像)。
圖13說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行代碼轉(zhuǎn)換的方法的例子的流程圖。
在步驟S1300中，對(duì)來(lái)自輸入比特流的運(yùn)動(dòng)圖像數(shù)據(jù)編碼。
在步驟S1302中，經(jīng)編碼的運(yùn)動(dòng)圖像數(shù)據(jù)被分割成為GOP。根據(jù)所給的變量N/M、按照幀的數(shù)目(N)對(duì)經(jīng)編碼的運(yùn)動(dòng)圖像數(shù)據(jù)分組，并且確定如下的圖像類型內(nèi)圖像(I)、雙向預(yù)測(cè)的圖像(B)和預(yù)測(cè)的圖像(P)。
在被分割的GOP中的每個(gè)幀被指定為圖像類型I、B和P中的一種。
在步驟S1304中，對(duì)輸入的運(yùn)動(dòng)視頻數(shù)據(jù)進(jìn)行分析，并檢測(cè)在鏡頭之間的邊界。
在步驟S1306中，通過(guò)參照在步驟S1304中的檢測(cè)結(jié)果，判定當(dāng)前進(jìn)行編碼的幀是否是邊界幀。
在步驟S1308中，假如當(dāng)前進(jìn)行編碼的幀是邊界幀，則在前一個(gè)幀中結(jié)束GOP，并返回步驟S1302。例如，假如在具有幀數(shù)目15的GOP的第五幀和第六幀之間存在邊界，則GOP在第五幀結(jié)束，并且在第六幀開始新的GOP。
在這種情況下，假如在鏡頭之間的邊界的前一個(gè)鏡頭的最后一個(gè)幀是B幀，則對(duì)該B幀進(jìn)行反向預(yù)測(cè)模式編碼。
在步驟S1310中，假如當(dāng)前進(jìn)行編碼的幀不是邊界幀，則根據(jù)指定圖像的類型對(duì)每個(gè)幀進(jìn)行編碼，并且假如相應(yīng)的GOP的最后的幀被編碼，返回步驟S1302。
圖14說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法的另一個(gè)例子。圖14顯示具有一個(gè)鏡頭A的比特流A和該鏡頭A的關(guān)鍵幀1402。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，在鏡頭的關(guān)鍵幀中，比特流具有GOP結(jié)構(gòu)。即，在前一個(gè)幀結(jié)束該GOP并從關(guān)鍵幀1402開始新的GOP，以使鏡頭A的關(guān)鍵幀1402一直成為I幀(內(nèi)圖像)。
GOP的第一幀應(yīng)當(dāng)總成為I幀，因此假如恰好在關(guān)鍵幀1402之前的一個(gè)幀終止GOP，則下一個(gè)幀，即，關(guān)鍵幀1402總是成為I幀。這樣，可再現(xiàn)總是I幀的關(guān)鍵幀。與現(xiàn)有技術(shù)不同，不需再現(xiàn)包含關(guān)鍵幀的GOP的其它的幀。
這里，GOP在鏡頭之間的邊界結(jié)束，因此該鏡頭的最后的幀應(yīng)當(dāng)是反預(yù)測(cè)模式的P幀(預(yù)測(cè)的圖像)或B幀(雙向預(yù)測(cè)的圖像)。
圖15說(shuō)明根據(jù)本發(fā)明的用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行代碼轉(zhuǎn)換的方法的另一個(gè)例子的流程圖。
在步驟S1500中，對(duì)來(lái)自輸入比特流的運(yùn)動(dòng)圖像數(shù)據(jù)編碼。
在步驟S1502中，經(jīng)編碼的運(yùn)動(dòng)圖像數(shù)據(jù)被分割成為GOP。根據(jù)所給的變量N/M、按照幀的數(shù)目(N)對(duì)經(jīng)編碼的運(yùn)動(dòng)圖像數(shù)據(jù)分組，并且確定如下的圖像類型內(nèi)圖像(I)、雙向預(yù)測(cè)的圖像(B)和預(yù)測(cè)的圖像(P)。
在被分割的GOP中的每個(gè)幀被指定為圖像類型I、B和P中的一種。
在步驟S1504中，對(duì)輸入的運(yùn)動(dòng)視頻數(shù)據(jù)進(jìn)行分析，并檢測(cè)鏡頭的關(guān)鍵幀。
在步驟S1506中，通過(guò)參照在步驟S1504中的檢測(cè)結(jié)果，判定當(dāng)前進(jìn)行編碼的幀是否是關(guān)鍵幀。
在步驟S1508中，假如當(dāng)前進(jìn)行編碼的幀是關(guān)鍵幀，則在前一個(gè)幀中結(jié)束GOP，并返回步驟S1502。例如，假如在具有幀數(shù)目15的GOP的第六幀是關(guān)鍵幀，則GOP在第五幀結(jié)束，并且在第六幀開始新的GOP。
可通過(guò)兩種方法在關(guān)鍵幀附近對(duì)GOP進(jìn)行編碼。一種方法是從關(guān)鍵幀開始新的GOP，并且另一種方法是在關(guān)鍵幀附近將GOP分割為兩個(gè)GOP。
在這種情況下，假如恰好在該關(guān)鍵幀前的幀是B幀，則對(duì)該B幀進(jìn)行反向預(yù)測(cè)模式編碼。
在步驟S1510中，假如當(dāng)前進(jìn)行編碼的幀不是關(guān)鍵幀，則根據(jù)指定圖像的類型對(duì)每個(gè)幀進(jìn)行編碼，并且假如相應(yīng)的GOP的最后的幀被編碼，返回步驟S1502。
圖16說(shuō)明根據(jù)本發(fā)明的代碼轉(zhuǎn)換器的例子的方框圖。在圖16所示的裝置中，與圖11所示的裝置中相同的標(biāo)號(hào)指示用于完成相同的操作的組件，并且將忽略具體地說(shuō)明。
圖16所示的裝置相對(duì)于圖11所示的裝置進(jìn)一步包括MPEG-2解碼器1602。
這里，MPEG-2編碼器1106相當(dāng)于圖5中所示的裝置和對(duì)圖5中所示的裝置的改進(jìn)，并且以GOP為單元進(jìn)行編碼。MPEG-2解碼器1602相當(dāng)于圖6中所示的裝置和對(duì)圖6中所示的裝置的改進(jìn)，并且對(duì)來(lái)自于比特流的未壓縮的視頻數(shù)據(jù)進(jìn)行編碼(盡管由于先前進(jìn)行的壓縮編碼，發(fā)生一些損耗)。
鏡頭檢測(cè)器1102檢測(cè)在來(lái)自輸入視頻數(shù)據(jù)的鏡頭之間的邊界。
同時(shí)，關(guān)鍵幀檢測(cè)器1104檢測(cè)該鏡頭的關(guān)鍵幀。
MPEG-2編碼器1106參考鏡頭檢測(cè)器1102和關(guān)鍵幀檢測(cè)器1104的檢測(cè)結(jié)果。通過(guò)參考鏡頭檢測(cè)器1102和關(guān)鍵幀檢測(cè)器1104的檢測(cè)結(jié)果，MPEG-2編碼器1106確定GOP。
MPEG-2編碼器1106將輸入的視頻數(shù)據(jù)分割為給定的GOP結(jié)構(gòu)，對(duì)輸入的視頻數(shù)據(jù)進(jìn)行編碼，并在邊界幀或關(guān)鍵幀中終止前一個(gè)GOP，并且開始新的GOP。鏡頭檢測(cè)器1102檢測(cè)到邊界幀，并且關(guān)鍵幀檢測(cè)器1104檢測(cè)到關(guān)鍵幀。
盡管在本發(fā)明的實(shí)施例中公開了MPEG編碼方法，本領(lǐng)域的技術(shù)人員充分明確根據(jù)本發(fā)明的對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的編碼方法除了可應(yīng)用于MPEG，也可應(yīng)用于如具有GOP結(jié)構(gòu)的H.261和HPEG。
如上所述，根據(jù)本發(fā)明，在根據(jù)本發(fā)明的對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的進(jìn)行編碼的方法中，將圖像組(GOP)分割為第一幀(邊界幀)和鏡頭的關(guān)鍵幀，以便在個(gè)人視頻錄像機(jī)(PVR)、基于內(nèi)容的檢索以及對(duì)鏡頭和關(guān)鍵幀的再現(xiàn)中，不需要參照其它的鏡頭和幀，因而減少了用于再現(xiàn)的時(shí)間。
相應(yīng)地，在根據(jù)本發(fā)明的對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)的進(jìn)行編碼的方法中，可平滑進(jìn)行PVR的導(dǎo)航，因此，可更加有效地管理多媒體信息。
盡管參照優(yōu)選實(shí)施例已具體地描述和說(shuō)明了該發(fā)明，本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解在不脫離由所附的權(quán)利要求所限定的本發(fā)明的實(shí)質(zhì)和范圍的情況下，可進(jìn)行形式上的和細(xì)節(jié)上的各種修改。
權(quán)利要求
1.一種用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)編碼的方法，其中具有多個(gè)幀的運(yùn)動(dòng)圖像數(shù)據(jù)被分割成圖像組(GOP)并且被編碼，該GOP包括I幀(內(nèi)圖像)，B幀(雙向預(yù)測(cè)的圖像)和P幀(預(yù)測(cè)的圖像)，該方法包括將輸入的視頻數(shù)據(jù)分割成GOP并將該輸入的視頻數(shù)據(jù)編碼；提取在來(lái)自輸入的視頻數(shù)據(jù)的鏡頭之間的邊界；確定將編碼的幀是否是下一個(gè)鏡頭的第一個(gè)幀(邊界幀)，以及假如將編碼的幀是邊界幀，則恰好在關(guān)鍵幀之前的幀(前一個(gè)幀)終止GOP，并從該邊界幀開始新的GOP。
2.如權(quán)利要求1所述的方法，其中假如前一個(gè)幀是B幀，則對(duì)該前一個(gè)幀進(jìn)行反向預(yù)測(cè)模式編碼。
3.一種用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)編碼的方法，其中具有多個(gè)幀的運(yùn)動(dòng)圖像數(shù)據(jù)被分割成圖像組(GOP)并且被編碼，該GOP包括I幀(內(nèi)圖像)，B幀(雙向預(yù)測(cè)的圖像)和P幀(預(yù)測(cè)的圖像)，該方法包括將運(yùn)動(dòng)圖像數(shù)據(jù)分割成GOP并將該運(yùn)動(dòng)圖像數(shù)據(jù)編碼；從該運(yùn)動(dòng)圖像數(shù)據(jù)提取關(guān)鍵幀；確定將編碼的幀是否是關(guān)鍵幀；以及假如將編碼的幀是邊關(guān)鍵幀，則恰好在該關(guān)鍵幀之前的幀(前一個(gè)幀)終止GOP，并從該關(guān)鍵幀開始新的GOP。
4.如權(quán)利要求3所述的方法，其中假如前一個(gè)幀是B幀，則對(duì)該前一個(gè)幀進(jìn)行反向預(yù)測(cè)模式編碼。
5.一種用于對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)編碼的裝置，其中具有多個(gè)幀的運(yùn)動(dòng)圖像數(shù)據(jù)被分割成圖像組(GOP)并且被編碼，該GOP包括I幀(內(nèi)圖像)，B幀(雙向預(yù)測(cè)的圖像)和P幀(預(yù)測(cè)的圖像)，該裝置包括鏡頭檢測(cè)器，用于檢測(cè)在來(lái)自運(yùn)動(dòng)圖像數(shù)據(jù)的鏡頭之間的邊界；和編碼器，用于將運(yùn)動(dòng)的圖像數(shù)據(jù)分割成GOP，對(duì)該運(yùn)動(dòng)的圖像數(shù)據(jù)編碼，并且參照鏡頭檢測(cè)器的檢測(cè)結(jié)果在鏡頭之間的邊界對(duì)GOP進(jìn)行分割。
6.如權(quán)利要求5所述的裝置，其中假如恰好在關(guān)鍵幀之前的一個(gè)幀(前一個(gè)幀)是B幀，則編碼器對(duì)該前一個(gè)幀進(jìn)行反向預(yù)測(cè)模式編碼。
7.如權(quán)利要求5所述的裝置，還包括關(guān)鍵幀檢測(cè)器，該關(guān)鍵幀檢測(cè)器用于檢測(cè)來(lái)自運(yùn)動(dòng)圖像數(shù)據(jù)的鏡頭的關(guān)鍵幀，其中該編碼器參照鏡頭檢測(cè)器和關(guān)鍵幀檢測(cè)器的檢測(cè)結(jié)果，在鏡頭之間的邊界并且在關(guān)鍵幀中對(duì)該GOP進(jìn)行分割。
8.一種用于按照?qǐng)D像組(GOP)為單元對(duì)運(yùn)動(dòng)圖像比特流進(jìn)行代碼轉(zhuǎn)換的方法，該GOP包括I幀(內(nèi)圖像)，B幀(雙向預(yù)測(cè)的圖像)和P幀(預(yù)測(cè)的圖像)，該方法包括對(duì)來(lái)自比特流的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行解碼；將運(yùn)動(dòng)圖像數(shù)據(jù)分割成GOP并將該運(yùn)動(dòng)圖像數(shù)據(jù)編碼；提取在來(lái)自運(yùn)動(dòng)圖像數(shù)據(jù)的鏡頭之間的邊界；確定將被編碼的幀是否是下一個(gè)鏡頭的第一個(gè)幀(邊界幀)；并且假如將被編碼的幀是邊界幀，則恰好在關(guān)鍵幀之前的幀(前一個(gè)幀)終止GOP，并從該邊界幀開始新的GOP。
9.如權(quán)利要求8所述的方法，其中假如前一個(gè)幀是B幀，則對(duì)該前一個(gè)幀進(jìn)行反向預(yù)測(cè)模式編碼。
10.一種用于按照?qǐng)D像組(GOP)為單元對(duì)運(yùn)動(dòng)圖像比特流進(jìn)行代碼轉(zhuǎn)換的方法，該GOP包括I幀(內(nèi)圖像)，B幀(雙向預(yù)測(cè)的圖像)和P幀(預(yù)測(cè)的圖像)，該方法包括對(duì)來(lái)自比特流的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行解碼；將運(yùn)動(dòng)圖像數(shù)據(jù)分割成GOP并將該運(yùn)動(dòng)圖像數(shù)據(jù)編碼；提取在來(lái)自運(yùn)動(dòng)圖像數(shù)據(jù)的關(guān)鍵幀；確定將被編碼的幀是否是關(guān)鍵幀；并且假如將被編碼的幀是關(guān)鍵幀，則恰好在關(guān)鍵幀之前的幀(前一個(gè)幀)終止GOP，并從該關(guān)鍵幀開始新的GOP。
11.如權(quán)利要求10所述的方法，其中假如前一個(gè)幀是B幀，則對(duì)該前一個(gè)幀進(jìn)行反向預(yù)測(cè)模式編碼。
12.一種用于按照?qǐng)D像組(GOP)為單元對(duì)運(yùn)動(dòng)圖像比特流進(jìn)行代碼轉(zhuǎn)換的方法，該GOP包括I幀(內(nèi)圖像)，B幀(雙向預(yù)測(cè)的圖像)和P幀(預(yù)測(cè)的圖像)，該裝置包括解碼器，用于對(duì)來(lái)自比特流的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行解碼；鏡頭檢測(cè)器，用于檢測(cè)在來(lái)自運(yùn)動(dòng)圖像數(shù)據(jù)的鏡頭之間的邊界；編碼器，用于將運(yùn)動(dòng)的圖像數(shù)據(jù)分割成GOP，對(duì)該運(yùn)動(dòng)的圖像數(shù)據(jù)編碼，并且參照鏡頭檢測(cè)器的檢測(cè)結(jié)果在鏡頭之間的邊界對(duì)GOP進(jìn)行分割。
13.如權(quán)利要求12所述的裝置，其中假如恰好在關(guān)鍵幀前的一個(gè)幀(前一個(gè)幀)是B幀，則該編碼器對(duì)該前一個(gè)幀進(jìn)行反向預(yù)測(cè)模式編碼。
14.如權(quán)利要求12所述的裝置，還包括關(guān)鍵幀檢測(cè)器，該關(guān)鍵幀檢測(cè)器用于檢測(cè)來(lái)自運(yùn)動(dòng)圖像數(shù)據(jù)的鏡頭的關(guān)鍵幀，其中該編碼器參照鏡頭檢測(cè)器和關(guān)鍵幀檢測(cè)器的檢測(cè)結(jié)果，在鏡頭之間的邊界并且在關(guān)鍵幀中對(duì)該GOP進(jìn)行分割。
全文摘要
一種用于對(duì)運(yùn)動(dòng)圖像信號(hào)編碼的方法，并且更具體地說(shuō)，涉及對(duì)適于個(gè)人視頻錄像機(jī)(PVR)和基于內(nèi)容圖像檢索的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼的方法和裝置。在對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)編碼的方法中，輸入的視頻數(shù)據(jù)被分割為GOP并被編碼，其中具有多個(gè)幀的運(yùn)動(dòng)圖像數(shù)據(jù)被分割成圖像組(GOP)并且被編碼，該GOP包括I幀(內(nèi)圖像)，B幀(雙向預(yù)測(cè)的圖像)和P幀(預(yù)測(cè)的圖像)。從輸入的視頻數(shù)據(jù)中提取鏡頭之間的邊界。確定將編碼的幀是否是下一個(gè)鏡頭的第一個(gè)幀(邊界幀)。假如將編碼的幀是邊界幀，則恰好在關(guān)鍵幀之前的幀(前一個(gè)幀)終止GOP，并從該邊界幀開始新的GOP。
文檔編號(hào)H04N7/26GK1443003SQ0214585
公開日2003年9月17日 申請(qǐng)日期2002年10月15日 優(yōu)先權(quán)日2002年3月5日
發(fā)明者宋秉哲, 千畺旭 申請(qǐng)人:三星電子株式會(huì)社