專利名稱：一種交互式多視點(diǎn)視頻的編碼方法
技術(shù)領(lǐng)域：
本發(fā)明屬于信息傳播技術(shù)領(lǐng)域，涉及一種交互式多視點(diǎn)視頻的編碼方法，尤其涉及多視點(diǎn)視頻編碼預(yù)測(cè)結(jié)構(gòu)的設(shè)計(jì)。
背景技術(shù)：
網(wǎng)絡(luò)化、交互性和真實(shí)感是視頻技術(shù)的發(fā)展方向。一方面，用戶希望能夠充分參與到視頻應(yīng)用中，人和計(jì)算機(jī)的關(guān)系從被動(dòng)發(fā)展到主動(dòng)，從而充分實(shí)現(xiàn)每個(gè)人的個(gè)性化需求；另一方面，真實(shí)世界是一個(gè)三維環(huán)境，而傳統(tǒng)的視頻主要基于二維的表達(dá)方式，雖然在某些程度上表現(xiàn)了三維信息，用戶要求獲得更加真實(shí)的體驗(yàn)和感受。多視點(diǎn)視頻則是針這樣的交互式視頻應(yīng)用提出的，涵蓋了雙目立體視頻與多視點(diǎn)視頻播放，解決三維交互視頻的表現(xiàn)、交互、存儲(chǔ)和傳輸?shù)葐栴}。交互式多視點(diǎn)視頻使得用戶在一定程度上具有主動(dòng)性而不是僅僅作為被動(dòng)的消費(fèi)者，通過自由選擇視點(diǎn)對(duì)可視場(chǎng)景瀏覽的能力，有助提高用戶的現(xiàn)場(chǎng)真實(shí)感。
多視點(diǎn)視頻編碼方法的研究是多視點(diǎn)視頻技術(shù)研究中的核心問題。一方面，多視點(diǎn)視頻少則幾個(gè)，多則上百個(gè)視點(diǎn)數(shù)據(jù)，其數(shù)據(jù)量極其巨大。如何有效地組織和高效地壓縮多視點(diǎn)視頻數(shù)據(jù)是其應(yīng)用面臨的首要也是最為重要的挑戰(zhàn)。另一方面，多路視頻由于拍攝的是同一場(chǎng)景，同步的記錄，視點(diǎn)相互間具有時(shí)間和空間上的關(guān)聯(lián)。這些時(shí)空關(guān)聯(lián)信息可以幫助我們壓縮多視點(diǎn)視頻時(shí)間軸冗余和空間軸冗余，從而使得實(shí)現(xiàn)高效的多視點(diǎn)視頻的編碼成為可能。
已有的多視點(diǎn)視頻編碼方法Simulcast，如圖1所示，采用采集后的各路視頻直接進(jìn)行獨(dú)立編碼的方法，即各個(gè)視點(diǎn)視頻都采用一樣對(duì)應(yīng)的視頻幀組(GOP)長(zhǎng)度和結(jié)構(gòu)，選取各GOP開頭視頻幀I作為關(guān)鍵幀，首先對(duì)關(guān)鍵幀使用幀內(nèi)編碼模式編碼，其余幀P以參考時(shí)間軸上的前一幀作預(yù)測(cè)對(duì)其進(jìn)行幀間預(yù)測(cè)編碼。該編碼方法沒有考慮各路視頻視點(diǎn)間的相關(guān)性，編碼效率低，不能很好的支持快速視點(diǎn)切換。

發(fā)明內(nèi)容
本發(fā)明的目的是為克服已有技術(shù)的不足之處，提出一種交互式多視點(diǎn)視頻的編碼方法，對(duì)多視點(diǎn)視頻進(jìn)行分組，并對(duì)GOP的預(yù)測(cè)結(jié)構(gòu)和關(guān)鍵幀進(jìn)行改進(jìn)，本發(fā)明的編碼方法可以支持并行處理，提供較高的編碼壓縮效率和較低的單路視點(diǎn)解碼代價(jià)，并支持快速的視點(diǎn)切換。能滿足現(xiàn)有技術(shù)條件下的多視點(diǎn)視頻應(yīng)用。
本發(fā)明提出的一種交互式多視點(diǎn)視頻的編碼方法，其特征在于，將多個(gè)攝像機(jī)同步采集下來的各路視頻數(shù)據(jù)按照其采集的相鄰位置依次分成多個(gè)視點(diǎn)組，每個(gè)視點(diǎn)組視點(diǎn)數(shù)目相同；視點(diǎn)組內(nèi)采用視點(diǎn)間關(guān)聯(lián)預(yù)測(cè)編碼，各視點(diǎn)組采用相同的方法編碼。
本發(fā)明的特點(diǎn)及效果本方法中，通過以上關(guān)鍵幀的選取，改進(jìn)的GOP預(yù)測(cè)結(jié)構(gòu)，關(guān)鍵幀的編碼，非關(guān)鍵幀的編碼的步驟，確定了一種綜合考慮多視點(diǎn)視頻的壓縮效率，單路視點(diǎn)解碼代價(jià)，視點(diǎn)切換延時(shí)，并行處理等需求的完整的多視點(diǎn)視頻編碼方案。每各個(gè)視點(diǎn)組都按照這樣的方案編碼，視點(diǎn)組之間編碼過程相互獨(dú)立。該編碼方案可以支持并行處理，提供較高的編碼壓縮效率和較低的單路視點(diǎn)解碼代價(jià)，并支持快速的視點(diǎn)切換。


圖1為已有的多視點(diǎn)視頻編碼方法Simulcast編碼預(yù)測(cè)結(jié)構(gòu)示意圖；圖2為本發(fā)明的視點(diǎn)組中各路視頻關(guān)鍵幀的選取示意圖；圖3為本發(fā)明的一個(gè)視點(diǎn)組的編碼預(yù)測(cè)結(jié)構(gòu)實(shí)施例示意圖。
具體實(shí)施例方式本發(fā)明提出的一種交互式多視點(diǎn)視頻的編碼方法，結(jié)合附圖及實(shí)施例詳細(xì)說明如下本發(fā)明提出的一種交互式多視點(diǎn)視頻的編碼方法，其特征在于，將多個(gè)攝像機(jī)同步采集下來的各路視頻數(shù)據(jù)按照其采集的相鄰位置依次分成若干個(gè)視點(diǎn)組，每個(gè)視點(diǎn)組視點(diǎn)數(shù)目相同(每組所包含的視點(diǎn)數(shù)目可根據(jù)編碼服務(wù)器性能，網(wǎng)絡(luò)傳輸帶寬，用戶對(duì)視頻量的要求等因素確定。一般選取奇數(shù)，不足視點(diǎn)數(shù)目作為最后一組)；視點(diǎn)組內(nèi)采用視點(diǎn)間關(guān)聯(lián)預(yù)測(cè)編碼，各視點(diǎn)組采用相同的方法編碼。
上述視點(diǎn)組內(nèi)采用視點(diǎn)間關(guān)聯(lián)預(yù)測(cè)編碼方法，包括以下步驟1)視點(diǎn)組中各個(gè)視點(diǎn)視頻都采用同樣GOP長(zhǎng)度，對(duì)應(yīng)的GOP時(shí)間軸起始位置相同；2)選取視點(diǎn)組中同一時(shí)刻的各GOP中位于時(shí)間軸中間的視頻幀作為關(guān)鍵幀I，如圖2所示，圖中，實(shí)線框?yàn)槟骋粋€(gè)視點(diǎn)組，時(shí)間軸方向的一個(gè)虛線框?yàn)橐粋€(gè)GOP，視點(diǎn)軸方向的一個(gè)虛線框?yàn)橥粫r(shí)刻各GOP的關(guān)鍵幀，各關(guān)鍵幀均位于同一時(shí)刻；3)首先對(duì)視點(diǎn)組中位于視點(diǎn)軸中間的GOP的關(guān)鍵幀I(即圖中涂陰影的方塊)采用幀內(nèi)編碼模式進(jìn)行編碼；4)從中間視點(diǎn)到兩旁視點(diǎn)依次對(duì)各GOP的關(guān)鍵幀I進(jìn)行預(yù)測(cè)編碼；即位于中間視點(diǎn)左側(cè)各視點(diǎn)的關(guān)鍵幀均通過其右側(cè)緊鄰視點(diǎn)關(guān)鍵幀預(yù)測(cè)編碼；位于中間視點(diǎn)右側(cè)各視點(diǎn)的關(guān)鍵幀均通過其左側(cè)緊鄰視點(diǎn)關(guān)鍵幀預(yù)測(cè)編碼；5)對(duì)視點(diǎn)組內(nèi)所述同一時(shí)刻的各GOP非關(guān)鍵幀進(jìn)行預(yù)測(cè)編碼，即各GOP中時(shí)間軸上的第一幀P通過參考該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀I(包括該GOP和中間GOP的關(guān)鍵幀)預(yù)測(cè)編碼，第二幀P參考該第一幀P和該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀I預(yù)測(cè)編碼，其后視頻幀P都參考前一幀P和該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀I預(yù)測(cè)編碼；直到該GOP的關(guān)鍵幀I的上一幀預(yù)測(cè)編碼完成；6)各GOP中在時(shí)間軸上關(guān)鍵幀的下一幀P通過參考該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀I(包括該GOP和中間GOP的關(guān)鍵幀)預(yù)測(cè)編碼，其后視頻幀P都參考前一幀和該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀I預(yù)測(cè)編碼；直到該GOP末尾幀P預(yù)測(cè)編碼完成；7)沿時(shí)間軸依次對(duì)各GOP按照步驟2)一步驟6)的相同方法進(jìn)行編碼，直到該視點(diǎn)組編碼結(jié)束；8)各視點(diǎn)組按照步驟1)一步驟7)的相同方法進(jìn)行編碼，直到所有視點(diǎn)組編碼結(jié)束。
上述編碼方法的解碼過程，按照編碼的順序進(jìn)行解碼，即首先對(duì)視點(diǎn)組的同一時(shí)刻的各GOP中位于時(shí)間軸中間的關(guān)鍵幀I進(jìn)行解碼，然后依次解碼中間視點(diǎn)到該視點(diǎn)之間的各個(gè)關(guān)鍵幀I，再按照時(shí)間軸順序解碼該GOP中的各視頻幀P。
具體的解碼過程包括以下步驟1)首先對(duì)視點(diǎn)組的同一時(shí)刻的各GOP中位于時(shí)間軸中間的視頻幀作為關(guān)鍵幀進(jìn)行解碼；2)依次解碼中間視點(diǎn)到該視點(diǎn)之間的各個(gè)關(guān)鍵幀；3)各GOP中時(shí)間軸上的第一幀通過參考該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀(包括該GOP和中間GOP的關(guān)鍵幀)解碼，第二幀參考該第一幀和該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀解碼，其后視頻幀都參考前一幀和該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀解碼；直到該GOP的關(guān)鍵幀；4)各GOP中時(shí)間軸上緊接著關(guān)鍵幀的視頻幀通過參考該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀(包括該GOP和中間GOP的關(guān)鍵幀)解碼，其后視頻幀都參考前一幀和該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀解碼；直到該GOP末尾幀編碼完成；5)對(duì)該視點(diǎn)沿時(shí)間軸依次對(duì)各GOP按照步驟1)-步驟4)的相同方法進(jìn)行解碼。
本發(fā)明方法中涉及的幀內(nèi)編碼模式進(jìn)行編碼、預(yù)測(cè)編碼及相應(yīng)的解碼具體方法均為本領(lǐng)域的常規(guī)技術(shù)。
本發(fā)明結(jié)合需要編碼包含10個(gè)視點(diǎn)的多視點(diǎn)視頻的具體情況作為實(shí)施例對(duì)上述交互式多視點(diǎn)視頻的編碼方法進(jìn)一步說明。
本實(shí)施例首先將10個(gè)視點(diǎn)分為分別包含5個(gè)和5個(gè)視點(diǎn)的兩個(gè)視點(diǎn)組；其一個(gè)視點(diǎn)組的編碼方法如圖3所示，包括以下步驟1)視點(diǎn)組中各個(gè)視點(diǎn)視頻采用15幀同樣的GOP長(zhǎng)度，對(duì)應(yīng)的GOP時(shí)間軸起始位置相同；2)選取視點(diǎn)組中同一時(shí)刻的各GOP中位于時(shí)間軸中間的第7幀作為關(guān)鍵幀，即P7，1，P7，2，P7，3，P7，4，P7，5作為關(guān)鍵幀；
3)首先對(duì)視點(diǎn)組中位于視點(diǎn)軸中間的第3個(gè)視點(diǎn)的GOP的關(guān)鍵幀(即第7幀P7，3)采用幀內(nèi)編碼模式編碼進(jìn)行編碼；4)然后對(duì)其它視點(diǎn)的GOP的關(guān)鍵幀進(jìn)行預(yù)測(cè)編碼；即P7，2，P7，4通過參考P7，3預(yù)測(cè)編碼；P7，1通過參考P7，2預(yù)測(cè)編碼；P7，5通過參考P7，4預(yù)測(cè)編碼；5)再對(duì)該同一時(shí)刻各GOP的非關(guān)鍵幀進(jìn)行編碼，各GOP中時(shí)間軸上的第一幀通過參考該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀(包括該GOP和中間GOP的關(guān)鍵幀)預(yù)測(cè)編碼，即P1，1參考P7，1，P7，2，P7，3預(yù)測(cè)編碼，P1，2參考P7，2，P7，3預(yù)測(cè)編碼，P1，3參考P7，3預(yù)測(cè)編碼，P1，4參考P7，3，P7，4預(yù)測(cè)編碼，P1，5參考P7，3，P7，4，P7，5預(yù)測(cè)編碼；其后視頻幀都參考前一幀和該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀預(yù)測(cè)編碼；直到該GOP的關(guān)鍵幀的上一幀預(yù)測(cè)編碼完成；即Pi，1參考Pi-1，1和P7，1，P7，2，P7，3預(yù)測(cè)編碼，Pi，2參考Pi-1，2和P7，2，P7，3預(yù)測(cè)編碼，Pi，3參考Pi-1，3和P7，3預(yù)測(cè)編碼，Pi，4參考Pi-1，5和P7，3，P7，4預(yù)測(cè)編碼，Pi，5參考Pi-1，5和P7，3，P7，4，P7，5預(yù)測(cè)編碼(i為2至6的整數(shù))；6)對(duì)該同一時(shí)刻各GOP中時(shí)間軸上緊接著關(guān)鍵幀的下一幀通過參考該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀(包括該GOP和中間GOP的關(guān)鍵幀)預(yù)測(cè)編碼婦預(yù)測(cè)編碼，即P8，1參考P7，1，P7，2，P7，3預(yù)測(cè)編碼，P8，2參考P7，2，P7，3預(yù)測(cè)編碼，P8，3參考P7，3預(yù)測(cè)編碼，P8，4參考P7，3，P7，4預(yù)測(cè)編碼，P8，5參考P7，3，P7，4，P7，5預(yù)測(cè)編碼；其后的視頻幀都參考前一幀和該GOP到視點(diǎn)軸中間GOP之間的各個(gè)關(guān)鍵幀預(yù)測(cè)編碼；直到該GOP末尾幀編碼完成；即Pi，1參考Pi-1，1和P7，1，P7，2，P7，3預(yù)測(cè)編碼，Pi，2參考Pi-1，2和P7，2，P7，3預(yù)測(cè)編碼，Pi，3參考Pi-1，3和P7，3預(yù)測(cè)編碼，Pi，4參考Pi-1，5和P7，3，P7，4預(yù)測(cè)編碼，Pi，5參考Pi-1，5和P7，3，P7，4，P7，5預(yù)測(cè)編碼(i為9至15的整數(shù))；7)沿時(shí)間軸依次對(duì)其它時(shí)刻各GOP按照步驟2)-步驟6)的相同方法進(jìn)行編碼，直到該視點(diǎn)組編碼結(jié)束；8)第二個(gè)視點(diǎn)組按照步驟1)-步驟7)的相同方法進(jìn)行編碼，直到所有視點(diǎn)組編碼結(jié)束。
上述實(shí)施例中根據(jù)所需解碼的視點(diǎn)按照其編碼的順序解碼，詳細(xì)的解碼視頻幀過程如表1
表1

本實(shí)施例中涉及的的另一個(gè)視點(diǎn)組的編碼方法與上述方法完全相同，在此不重復(fù)述敘。
權(quán)利要求
1.一種交互式多視點(diǎn)視頻的編碼方法，其特征在于，將多個(gè)攝像機(jī)同步采集下來的各路視頻數(shù)據(jù)按照其采集的相鄰位置依次分成多個(gè)視點(diǎn)組，每個(gè)視點(diǎn)組視點(diǎn)數(shù)目相同；視點(diǎn)組內(nèi)采用視點(diǎn)間關(guān)聯(lián)預(yù)測(cè)編碼，各視點(diǎn)組采用相同的方法編碼。
2.如權(quán)利要求1所述交互式多視點(diǎn)視頻的編碼方法，其特征在于，所述視點(diǎn)組內(nèi)采用視點(diǎn)間關(guān)聯(lián)預(yù)測(cè)編碼方法，具體包括以下步驟1)視點(diǎn)組中各個(gè)視點(diǎn)視頻都采用同樣視頻幀組長(zhǎng)度，對(duì)應(yīng)的視頻幀組時(shí)間軸起始位置相同；2)選取視點(diǎn)組中同一時(shí)刻的各視頻幀組中位于時(shí)間軸中間的視頻幀作為關(guān)鍵幀，各關(guān)鍵幀均位于同一時(shí)刻；3)首先對(duì)視點(diǎn)組中位于視點(diǎn)軸中間的視頻幀組的關(guān)鍵幀采用幀內(nèi)編碼模式進(jìn)行編碼；4)從中間視點(diǎn)到兩旁視點(diǎn)依次對(duì)各視頻幀組的關(guān)鍵幀進(jìn)行預(yù)測(cè)編碼；5)對(duì)視點(diǎn)組內(nèi)所述同一時(shí)刻的各視頻幀組非關(guān)鍵幀進(jìn)行預(yù)測(cè)編碼；6)各視頻幀組中在時(shí)間軸上關(guān)鍵幀的下一幀通過參考該視頻幀組到視點(diǎn)軸中間視頻幀組之間的各個(gè)關(guān)鍵幀預(yù)測(cè)編碼，其后視頻幀都參考前一幀和該視頻幀組到視點(diǎn)軸中間視頻幀組之間的各個(gè)關(guān)鍵幀預(yù)測(cè)編碼；直到該視頻幀組末尾幀預(yù)測(cè)編碼完成；7)沿時(shí)間軸依次對(duì)各同一時(shí)刻的視頻幀組按照步驟2)一步驟6)的相同方法進(jìn)行編碼，直到該視點(diǎn)組編碼結(jié)束；8)各視點(diǎn)組按照步驟1)一步驟7)的相同方法進(jìn)行編碼，直到所有視點(diǎn)組編碼結(jié)束。
3.如權(quán)利要求2所述交互式多視點(diǎn)視頻的編碼方法，其特征在于，所述步驟4)從中間視點(diǎn)到兩旁視點(diǎn)依次對(duì)各視頻幀組的關(guān)鍵幀進(jìn)行預(yù)測(cè)編碼為位于中間視點(diǎn)左側(cè)各視點(diǎn)的關(guān)鍵幀均通過其右側(cè)緊鄰視點(diǎn)關(guān)鍵幀預(yù)測(cè)編碼；位于中間視點(diǎn)右側(cè)各視點(diǎn)的關(guān)鍵幀均通過其左側(cè)緊鄰視點(diǎn)關(guān)鍵幀預(yù)測(cè)編碼。
4.如權(quán)利要求2所述交互式多視點(diǎn)視頻的編碼方法，其特征在于，所述步驟5)對(duì)視點(diǎn)組內(nèi)所述同一時(shí)刻的各視頻幀組非關(guān)鍵幀進(jìn)行預(yù)測(cè)編碼為各視頻幀組中時(shí)間軸上的第一幀通過參考該視頻幀組到視點(diǎn)軸中間視頻幀組之間的各個(gè)關(guān)鍵幀預(yù)測(cè)編碼，第二幀參考該第一幀和該視頻幀組到視點(diǎn)軸中間視頻幀組之間的各個(gè)關(guān)鍵幀預(yù)測(cè)編碼，其后視頻幀都參考前一幀和該視頻幀組到視點(diǎn)軸中間視頻幀組之間的各個(gè)關(guān)鍵幀預(yù)測(cè)編碼；直到該視頻幀組的關(guān)鍵幀的上一幀預(yù)測(cè)編碼完成。
全文摘要
本發(fā)明涉及一種交互式多視點(diǎn)視頻的編碼方法，屬于信息傳播技術(shù)領(lǐng)域，該方法將多個(gè)攝像機(jī)同步采集下來的各路視頻數(shù)據(jù)按照其采集的相鄰位置依次分成多個(gè)視點(diǎn)組，每個(gè)視點(diǎn)組視點(diǎn)數(shù)目相同；視點(diǎn)組內(nèi)采用視點(diǎn)間關(guān)聯(lián)預(yù)測(cè)編碼，各視點(diǎn)組采用相同的方法編碼。本發(fā)明可以支持并行處理，提供較高的編碼壓縮效率和較低的單路視點(diǎn)解碼代價(jià)，并支持快速的視點(diǎn)切換。能滿足現(xiàn)有技術(shù)條件下的多視點(diǎn)視頻應(yīng)用。
文檔編號(hào)H04N7/173GK1874520SQ200610089398
公開日2006年12月6日 申請(qǐng)日期2006年6月23日 優(yōu)先權(quán)日2006年6月23日
發(fā)明者孫立峰, 謝劍, 鐘玉琢 申請(qǐng)人:清華大學(xué)