專利名稱：編解碼多視點序列的方法及其顯示方法
技術領域：
本發(fā)明涉及編碼/解碼多視點序列的方法，且更為具體地說，涉及編碼/解碼多視點序列的方法和其顯示方法。盡管本發(fā)明適用于很廣范圍的應用，但是其特別適用于執(zhí)行多視點序列數(shù)據(jù)的編解碼和使得能夠進行用于解碼對應于接收端請求的視點的移動畫面的視點選擇。
背景技術：
一般，當前的媒體不僅顯示簡單的文本和2維圖像，而且也使得能夠通過視，聽，觸，嗅和嘗五種感覺的統(tǒng)一識別實現(xiàn)物體或狀態(tài)的清晰和生動的感知。多媒體與通信結合更重要且意義重大。由于快速和海量信息傳輸技術的發(fā)展，實現(xiàn)了視頻電話，遠程視頻會議，遠程購物等的多媒體通信。
如果發(fā)展到3維信號處理，多媒體技術會變得更有生命力。為此，要求開發(fā)實現(xiàn)人的生活空間的現(xiàn)實的和自然的再現(xiàn)的3維視頻處理和通信技術。
同時，人們生活在除了感覺頂部，底部，左右還包括深度感覺的3維世界之中。因此，除了提供二維感覺的二維圖像外，很多關注給予了人能夠體驗深度感覺的立體效果和實際感覺的3維立體圖像。而且，3維圖像處理技術當前應用于通信，廣播，虛擬現(xiàn)實，教育，醫(yī)療保健，娛樂等各領域。
用2維圖像表示三維的最簡單方式是立體方法。用左右圖像構成的立體圖像的缺點是數(shù)據(jù)的海量。所以，立體圖像需要巨量存儲裝置，網(wǎng)絡和快速計算機系統(tǒng)。并且，如果獨立編碼立體圖像，對于立體圖像需要2維圖像傳輸用的大約二倍的帶寬。在時間軸上延伸立體圖像產(chǎn)生的立體序列或從時間和視點(view)軸上延伸立體圖像產(chǎn)生的多視點序列的情況中，數(shù)據(jù)量與視點數(shù)目成比例地大量增加，并且要求的帶寬也提高。
由于更多的關注給予3維圖像，所以各種機構，大學，實驗室等做了很多工作以研究和開發(fā)3維圖像壓縮和再現(xiàn)顯示系統(tǒng)。
這樣的3維圖像系統(tǒng)的接收端需要能夠解碼和顯示多視點序列的3維顯示器。當前開發(fā)的3維LCD(液晶顯示)監(jiān)視器向一位觀察者提供立體效果，并且演變成能夠向幾位觀察者提供立體效果和實際感覺的3維多視點顯示監(jiān)視器。
但是，由于根據(jù)視點數(shù)目的遞增3維多視點序列的數(shù)據(jù)量和操作量增加，需要能夠高效進行3維多視點序列的編碼和解碼的多視點編碼器/解碼器(CODEC)。而且，也需要根據(jù)用戶顯示僅在接收端解碼特定視點。

發(fā)明內(nèi)容
因此，本發(fā)明涉及提供一種基本避免由于現(xiàn)有技術的限制和缺點造成的一個或多個問題的編碼/解碼多視點序列的方法和其顯示方法。
本發(fā)明的目的是提供多視點序列的編解碼方法和其顯示方法，通過其能夠高效編解碼多視點序列數(shù)據(jù)。
本發(fā)明的另一目的是提供高效將編碼成多視點序列的數(shù)據(jù)解碼的裝置和使用它的方法。
在下面的說明中部分地闡明，并且本領域技術人員通過下述說明或從本發(fā)明實踐部分地明了本發(fā)明的附加優(yōu)點，目的和特征。通過在說明中和權利要求以及附圖中指出的結構可以獲得本發(fā)明的目的和其他優(yōu)點。
為了取得這些和其他優(yōu)點根據(jù)本發(fā)明的用途，如實施例表明和廣泛說明的，根據(jù)本發(fā)明的多視點序列編碼方法包括步驟通過編碼從多個視點獲得的多個畫面產(chǎn)生位流，其中所述位流包括多個畫面的每個的視點信息，并且其中所述視點信息是指定相應畫面對應于在多個視點中哪個視點的信息。
為進一步取得這些和其他優(yōu)點和根據(jù)本發(fā)明的用途，多視點序列編碼方法包括步驟通過編碼主視點的第一畫面類型的畫面產(chǎn)生主位流，和產(chǎn)生用于至少一個或多個輔助視點的輔助位流，其中輔助位流是通過編碼利用第一畫面類型的畫面預測的第二畫面類型的畫面產(chǎn)生的，其中輔助位流包括第二畫面類型的每個畫面的視點信息，并且其中視點信息是指定第二畫面類型的相應畫面對應于在至少一個或多個輔助視點中哪個輔助視點的信息。
為進一步取得這些和其他優(yōu)點和根據(jù)本發(fā)明的用途，多視點序列解碼方法包括步驟接收通過分別編碼從多個視點獲得的畫面產(chǎn)生的主位流，檢查指定特定畫面對應于多個視點的哪一個的視點信息；和在顯示器中根據(jù)檢查的視點信息解碼與特定視點相關的畫面。
為進一步取得這些和其他優(yōu)點和根據(jù)本發(fā)明的用途，多視點序列解碼方法包括步驟接收通過編碼從主視點獲得的畫面產(chǎn)生的主位流和通過編碼從多個輔助視點獲得的畫面產(chǎn)生的輔助位流；恢復在所述主位流內(nèi)的畫面；和根據(jù)在輔助位流內(nèi)存在的視點信息，利用在主位流內(nèi)的恢復的畫面，在顯示器中選擇性地進行與特定輔助視點相關的畫面的預測恢復。
為了進一步取得這些和其他優(yōu)點和根據(jù)本發(fā)明的用途，多視點序列解碼裝置包括主位流解碼單元，其接收通過編碼從主視點獲得的畫面產(chǎn)生的主位流以恢復主位流內(nèi)的畫面，和輔助位流解碼單元，其接收通過編碼從多個輔助視點獲得的畫面產(chǎn)生的輔助位流，所述輔助位流解碼單元根據(jù)在所述輔助位流內(nèi)存在的視點信息，利用在所述主位流內(nèi)的恢復的畫面，選擇性地進行特定輔助視點的畫面的預測恢復。
為進一步取得這些和其他優(yōu)點和根據(jù)本發(fā)明的用途，多視點序列顯示方法包括第一顯示模式，其顯示對應于主視點的畫面，和第二顯示模式，其一起顯示對應主視點的畫面和對應至少一個或多個輔助視點的畫面，其中根據(jù)在包括所述畫面的位流內(nèi)存在的視點信息選擇第一顯示模式或第二顯示模式。
應理解，上述一般說明和下面的詳細說明都是示范性的，并且用于提供權利要求所述的本發(fā)明的進一步解釋。


為了提供本發(fā)明的進一步理解，包括的附圖構成本說明書的部分，與文字說明和權利要求一起解釋本發(fā)明原理。
在附圖中圖1是可應用于本發(fā)明的多視點序列編碼裝置的框圖；圖2是根據(jù)本發(fā)明產(chǎn)生的輔助位流的例子的示意圖；圖3A-3C是根據(jù)本發(fā)明d編碼5-視點序列的“GGOP”的一個實施例示意圖；圖4A和4B是根據(jù)本發(fā)明的編碼9-視點序列的“GGOP”的一個實施例的示意圖；圖5是根據(jù)本發(fā)明一個實施例的多視點序列顯示方法的原理示意圖；圖6是位流示意圖，說明根據(jù)本發(fā)明解碼傳輸?shù)膱箢^信息；圖7是根據(jù)本發(fā)明的多視點序列解碼裝置的框圖；
圖8A-8E是多視點序列示意圖，解釋根據(jù)本發(fā)明的編解碼方法；圖9A-9E是多視點序列示意圖，解釋根據(jù)本發(fā)明的編解碼方法；圖10是圖8A-8E的5-視點序列的各種位流速率的編碼結果的曲線圖；圖11A和圖11B是解釋圖9A的序列的各種位流速率的編碼結果的曲線圖；圖12A和12B是在分別通過“ONE-I”和“Two-I”類型解碼具有大基準圖像時，圖像比較的示范例圖；圖13A和圖13B是結果圖像的示意圖，解釋本發(fā)明的Bt，s幀的性能；和圖14A-14D是如果在接收端設置3維監(jiān)視器的情況，接收了圖9A-9E的5-視點位流的用戶選擇第二和第四視點的結果圖像的示意圖，所述監(jiān)視器僅能夠顯示立體序列。
具體實施例方式
下面詳細參考在附圖中示出的本發(fā)明優(yōu)選實施例。
此外，盡管在本發(fā)明中使用的術語盡可能地選自當前周知的，但是在某些情況中本申請人任意地選擇一些使用，以致在下面的說明中詳細解釋它們的意義。因此，應以本申請人選擇的相應術語的指定意義，而不是術語本身的簡單名字或含意理解本發(fā)明。
首先，在本發(fā)明中使用的“多視點序列”的意義是，在相同時間同時獲得對相同的對象的視點不同的運動圖像。例如，“多視點序列”的含意是通過多個運動圖像捕獲儀器(如相機)的方式在各種角度和各種方向拍攝相同目標獲得的運動圖像。
具體地，在本發(fā)明中的“主視點”是在多個視點當中作為編碼參考的視點。將對應“主視點”的運動圖像通過如MPEG-2，MPEG-4，H-623，H-264等常規(guī)運動圖像編碼方案編碼成位流。并且，本發(fā)明中該位流被稱為“主位流”。為了解釋方便，取MPEG-2為常規(guī)運動圖像編碼方案為例，但是關于此本發(fā)明沒有限制。
而且，在本發(fā)明中的“輔助視點”是在多視點當中的非主視點的視點。通過下面說明的本發(fā)明的獨特的編碼方案將對應“輔助視點”的運動圖像編碼成位流。而且，這個位流在本發(fā)明中被稱為“輔助位流”。
另外，在本發(fā)明中預定，“位流”概括地用作“主位流”或“輔助位流”。
圖1是用于本發(fā)明的多視點序列編碼裝置的框圖。
在根據(jù)本發(fā)明的編碼方法中，通過MPEG-2編碼器編碼取作與MPRG-2兼容的參考的序列以產(chǎn)生主位流，并且從輔助視點序列產(chǎn)生輔助位流。即，主位流包括用于包括“I(下面說明)”畫面的序列的數(shù)據(jù)，且輔助位流包括通過其他序列的方差估計和運動估計編碼的各類信息。
見圖1，適用本發(fā)明的多視點編碼裝置包括預處理單元110，運動估計/補償單元140，方差估計/補償單元140，位速率控制單元150和差分(difference)圖像編碼單元160和170。
如果輸入多視點序列數(shù)據(jù)A，該預處理單元110除去噪聲，解決不平衡問題，通過經(jīng)預處理增加多視點序列數(shù)據(jù)之間的相關性，增加方差估計和運動估計產(chǎn)生的向量的置信度(reliance)，且然后向方差估計/補償單元140，運動估計/補償單元120和130和差分圖像編碼單元160和170提供預處理的數(shù)據(jù)。
在此過程中，以使用參考圖像的平均和分布和要補償?shù)难a償圖像補償不平衡和簡單地使用中值濾波器除去噪音的方式，能夠解決不平衡問題。
預處理單元110在輔助位流中插入“視點信息”，以提供在解碼器中恢復特定視點的信息，這在圖2中說明。
方差估計/補償單元140和運動估計/補償單元120和130通過取包括“I”畫面的序列軸估計方差矢量和運動矢量，并利用半象素(half-pel)補償來補償它們。
差分圖像編碼單元160和170能夠以在預處理單元110提供的原始圖像和方差估計/補償單元140和運動估計/補償單元120和130補償?shù)幕謴蛨D像之間的差分信息上進行編碼的方式對提供的多視點序列產(chǎn)生位流，以提供增強的圖像質量和立體效果。
并且，位速率控制單元150能夠控制用于高效地向每個畫面分配位的位速率。
圖2是根據(jù)本發(fā)明產(chǎn)生的輔助位流的例子的示意圖。
見圖2，根據(jù)本發(fā)明插入的“視點信息210”例如能夠被以n位插入在輔助位流內(nèi)的畫面報頭中。在此過程中，n-位應被考慮為支持最大2n個視點的情況。
即，將“視點信息”用作指定特定畫面對應在多個輔助視點當中哪個輔助視點的信息。因此，在一個輔助位流內(nèi)混合多個視點的畫面的情況中，為了選擇性地恢復僅與特定視點相關的畫面而需要該“視點信息”。
但是，“視點信息”不僅限于輔助位流，而是與主位流和輔助位流之間的區(qū)別無關，能夠以與特定視點相關的畫面的含意使用。
下面詳細說明根據(jù)本發(fā)明進行多視點序列編碼的特定方法。
在普通的編碼方案中，如MPEG-2編碼方案中，編碼的基本單元是GOP(畫面組)。并且，GOP(畫面組)包括“I”畫面，“P”畫面和“B”畫面。
“I”畫面用于進行內(nèi)編碼，和實現(xiàn)對序列的隨機存取?！癙”畫面通過取先前的編碼的“I”或“P”畫面作為參考圖像估計單向運動矢量。并且，“B”畫面利用“I”和“P”畫面估計雙向的運動矢量。GOP的長度，即，“N”是“I”畫面之間的距離，且“M”是“I”和“P”畫面之間的距離。
但是，“I”，“P”和“B”畫面是在MPEG-2編碼方案中使用的畫面項目(term)。如果該編碼方案彼此不同，可使用的項目彼此部分。例如，在依照不同于MPEG-2的方案的主位流中，不參考任何參考畫面可解碼的畫面名為“L”畫面。并且，參考至少一個或兩個參考畫面可解碼的畫面稱為“H”畫面。
為了編碼多視點序列，本發(fā)明提出作為多視點序列編碼的基本單元的“GGOP(GOP的組)”結構。
本發(fā)明的“GGOP”與MPEG-2不同，包括對應時間軸和視點軸(view axis)的畫面。即，通過使用“GGOP”結構除去空間的相關，時間軸的相關和視點之間的相關，能夠高效編碼多視點序列。
圖3A-3C是根據(jù)本發(fā)明編碼5個視點序列的“GGOP”的一個實施例示意圖，其中示出“One-I”型(圖3A)，“Two-I”型(圖3B)和“Five-I”型(圖3C)。為說明的方便，取“N＝6和M＝3”的情況為例子。并且，本領域技術人員明了，本發(fā)明不限于“N＝6和M＝3”的情況。
見圖3A，本發(fā)明的“GGOP”結構的“One-I”型包括一個“I”畫面，一個“Pt”畫面，四個“Bt”畫面，四個“Ps”畫面和二十個“Bt，s”畫面。
在此情況中，“Pt”畫面是估計單向運動矢量的畫面類型，與在MPEG-2中使用的“P”畫面相同，“Bt”畫面是估計雙向的運動矢量的畫面類型，與MEPG-2中使用的“B”相同。在本發(fā)明中，“I”，“Pt”和“Bt”畫面被命名為構成主位流的第一類型畫面。
“Ps”畫面是利用視點之間的相關，即方差估計恢復的圖像。而，“Bt，s”畫面是利用瞬時軸(temporal axis)的運動矢量和視點軸的方差矢量，或通過在兩個矢量之間的內(nèi)插恢復的圖像。
在與圖3A相同的“N＝3和M＝3”的情況“One-I”型中，包括作為參考的序列，即，要通過MPEG-2編碼的一個序列。此時，箭頭即為估計方差矢量和運動矢量的方向。
通過與MPEG-2兼容的MEPG-2編碼器編碼“...Bt，Bt，I，Bt，Bt，Pt，...”，它是其中包括“I”畫面的主視點序列。而且，也能夠設定產(chǎn)生的位流等于MPEG-2的文法。如前所述，對應主序列的位流被定義為主位流，對應輔助視點的序列的數(shù)據(jù)被定義為輔助位流。因此，在與圖3A相同的50視點“One-I”型的情況中，也產(chǎn)生一個主位流和一個輔助位流。
在獲取多視點序列的相機之間的間隔很可觀的情況中，即如果基準(baseline)大的情況中，能夠增加視點之間的誤差。因此，如果僅存在作為參考的一個序列，對應離主視點遠的視點軸的序列的圖像質量可能惡化。所以，優(yōu)選地，為了編碼從具有大基準的多視點相機獲得的多視點序列需要至少兩個主序列。
在根據(jù)相機拍攝角度指定多視點的情況，在相機之間的相機拍攝角度差成為基準。而且，優(yōu)選是，在相機拍攝角度差大的情況中設定至少兩個主序列。
圖3B示出為了編碼從具有大基準的多視點相機獲得的多視點序列提出的50視點“Two-I”型。此時，多視點序列編碼器能夠產(chǎn)生兩個主位流和一個輔助位流。
在第三視點上的“Bs”畫面是利用從彼此相鄰的左右圖像估計的方差或兩個方差的內(nèi)插恢復的畫面類型。
在本發(fā)明中，“Ps”，“Bs”，“Bt，s”畫面被命名為構成輔助位流的第二類型畫面。
同時，在圖3C中的“Five-I”類型是多視點序列被認為是不進行方差估計而獨立編碼的MPEG-2序列。此時，產(chǎn)生五個主位流。而且，由于沒有進行方差估計不產(chǎn)生輔助位流。
在通過圖3A-3C說明的本發(fā)明一個實施例中，取對應5-視點序列的“GGOP”結構為例，即使在增加視點數(shù)目的情況下它是可擴展的。而且，下面參考圖4A和4B說明這樣的可擴展例。
圖4A和4B是根據(jù)本發(fā)明編碼9-視點序列的“GGOP”的一個實施例的示意圖，其中分別示出“Two-I”和“Three-I”型。此時，為了與MEPG-2兼容，用MEPG-2編碼器編碼其中包括“I”畫面的主序列，以產(chǎn)生主位流。同樣，使得其他輔助視點序列生成輔助位流。
圖4A示出在“N＝6和M＝3”時的“Two-I”型的“GGOP”結構。而且，該“GGOP”結構包括兩個“I”畫面，兩個“Pt”畫面，六個“Ps”畫面，六個“Bs”畫面和三十八個“Bt，s”畫面。
圖4B示出在大基準情況中多視點相機獲得的9-視點序列的“GGOP”結構。此時，產(chǎn)生三個主位流和一個輔助位流。不使用與圖3C中的5-視點的“Five-I”型相同的方差估計，能夠用MEPG-2編碼器獨立編碼對應每個視點的序列。
本發(fā)明提出的概念是，僅通過考慮接收端保留的顯示特征，實現(xiàn)恢復對應特定視點的序列。
圖5是根據(jù)本發(fā)明一個實施例的多視點序列顯示方法的概念的示意圖。
見圖5，在根據(jù)本發(fā)明的顯示方法中，能夠通過根據(jù)接收端保留的顯示類型選擇特定視點，而恢復接收的多視點序列位流。
例如，當發(fā)射端編碼5-視點序列，且然后將編碼的序列發(fā)送到接收端時，在接收端僅具有能夠顯示3視點序列的多視點監(jiān)視器的情況下，用戶不能夠看到3-視點序列以及5-視點序列。這個問題是由于在編碼多視點序列中沒有向發(fā)射端提供視點(view)信息引起的。因此，本發(fā)明的目的是解決這樣的問題。
即，當發(fā)射端編碼5-視點序列，然后向接收端發(fā)送該編碼的序列時，在接收端具有僅能夠顯示3-視點序列的3維多視點監(jiān)視器(模式2這能夠被稱為“第二顯示模式”)的情況中用戶從五個視點選擇三個視點，使得能夠實現(xiàn)相應的恢復。而且，實現(xiàn)選擇性恢復的信息對應上述的“視點信息”。
在接收端具有僅能夠顯示2維序列，而不是多視點監(jiān)視器時，能夠僅恢復主位流，以傳送到顯示器(模式0這能夠被稱為“第一顯示模式”)。
特別地，根據(jù)本發(fā)明的顯示方法的特征是，具有僅顯示對應主視點的畫面的第一顯示模式和顯示對應于主位流畫面和對應于至少一個輔助視點的其他畫面的第二顯示模式，并且根據(jù)在包括畫面的位流內(nèi)存在的視點信息選擇該顯示模式之一以進行顯示。
圖6是位流的示意圖，用于解釋根據(jù)本發(fā)明的為了解碼傳送的報頭信息。
見圖6，在產(chǎn)生多視點序列位流中將“視點信息”插在畫面報頭信息中，以便作為信息提供，所述信息表示當前編碼畫面是對應于多視點中的次序(order)的數(shù)據(jù)。該視點的信息被設定為能夠支持2n視點的序列的n-位。
盡管圖6示出“視點信息”僅插在輔助位流中，但是根據(jù)使用方法，“視點信息”也能夠被插在主位流內(nèi)的一側中。
圖7是應用本發(fā)明的多視點序列解碼裝置的框圖。
見圖7，可應用本發(fā)明的解碼裝置包括主位流解碼單元710和輔助位流解碼單元720。
主位流解碼單元710通過MPEG-2解碼器進行解碼，且輔助位流解碼單元720利用方差和運動矢量進行解碼。在此過程中，在接收端為了解碼特定視點，以確認畫面報頭信息的“視點信息”的方式，檢查當前解碼的數(shù)據(jù)具有什么視點次序。也就是說，由于在本發(fā)明中恢復特定視點，能夠減小解碼時間和解碼單元的計算負荷。
特別是，主位流解碼單元710接收主視點產(chǎn)生的主位流，且然后恢復該主位流內(nèi)的畫面。
而且，該輔助位流解碼單元720接收多個輔助視點產(chǎn)生的輔助位流，然后通過利用在主位流解碼單元710恢復的主位流內(nèi)的畫面，根據(jù)在輔助位流內(nèi)存在的視點信息進行關于特定輔助視點的畫面的預測恢復。
圖8A-8E是多視點序列的示范圖，其用于解釋根據(jù)本發(fā)明的編解碼方法，其中示出5-視點情況。
在測試中使用的圖像大小是720×576。宏塊大小為16×16。在方差估計的x方向中的搜索范圍被設定為-16到16。由于取平行相機而在y方向未設定搜索范圍。為了運動估計，在x方向和y方向的搜索范圍被設定為-16到16。而且，在測試中使用的視頻格式被設定為Y∶U∶V＝4∶2∶0。
圖10是在圖8A-8E中5-視點序列的各種位速率的編碼結果的曲線圖。
見圖10，當“One-I”和“Two-I”型與不帶方差估計的“Five-I”型比較時，能夠確認在相似的位速率顯出良好的效率。
同時，如上所述，本發(fā)明提出靈活性(fluidity)的“GGOP”結構。即，通過向具有大基準的多視點序列編碼應用補償視點之間相關性的至少“Two-I”型，并且通過向具有小基準的多視點序列應用“One-I”型，相比“Two-I”型向除了“I”幀的其余畫面類型分配較多位。
圖11A和11B是解釋在圖9A中的以序列各種位速率編碼結果的曲線圖，其中示出小基準和大基準的情況。
見圖11A和11B，在具有小基準的多視點的PSNR方面“One-I”型在效率上優(yōu)越。在具有大基準的多視點序列的PSNR方面在性能上“Two-I”型比“One-I”型優(yōu)越。
圖12A和12B是分別通過“One-I”和“Two-I”型編碼具有大基準的圖像情況，圖像比較示意圖。
見圖12A和12B，在具有大基準的多視點情況，視點之間的相關性降低。為了對此補償，增加“I”幀。而且，確認增加“I”幀以補償這樣降低相關性的“Two-I”型具有較好的效率。因此，本發(fā)明的“GGOP”結構具有根據(jù)多視點序列的基準大小的靈活性。
同時，在本發(fā)明的“GGOP”結構中，“Bt，s”畫面從方差矢量和運動矢量選擇具有小預測誤差的矢量，或利用該兩個矢量的平均總和(average total)。在具有大運動的多視點序列情況，因為方差矢量恢復中而不是運動矢量恢復中更能夠減小誤差，僅選擇方差矢量。在另一方面，如果在時間軸上的相關性降低，由于使用運動矢量的預測效率更高而選擇運動矢量。
圖13A和13B是解釋本發(fā)明的Bt，s幀性能的結果圖像圖。圖13A示出在通過將多視點作為MPEG-2序列獨立編碼時的結果圖像。圖13B是根據(jù)本發(fā)明進行解碼時的結果圖像。
見圖13A，由于常規(guī)MPEG-2不能夠使用方差矢量預測具有大運動的區(qū)域，在常規(guī)MPEG-2中發(fā)生相當大的誤差。但是，本發(fā)明使用方差矢量能夠預測具有大運動的區(qū)域，從而降低誤差。
在本發(fā)明中，一旦發(fā)射端向接收端發(fā)送主位流和輔助位流，接收端僅能夠恢復特定視點。
圖14A-14D是在向接收端提供僅能夠顯示立體序列的3維監(jiān)視器的情況中，如果接收圖9A-9E的5-視點位流的用戶選擇第二和第四視點的結果圖像。
也就是說，圖14A和14B示出使用MPEG-2解碼器獲得的結果圖像，圖14C和14D示出使用根據(jù)本發(fā)明的解碼方法的解碼的結果圖像。
如圖所示，圖14C和14D的圖像比其他圖像清晰。圖14A和14B的圖像是僅使用方差矢量恢復的結果。圖14C和14D的圖像包括“Bt，s”畫面。因此，在運動或方差矢量大時，能夠降低預測誤差。
工業(yè)應用性因此，本發(fā)明高效編碼多視點序列，且在接收端僅解碼特定視點，從而進行更順利和高效的編解碼。
而且，本發(fā)明可用于利用3維圖像處理技術的各種領域，如通信，廣播，虛擬顯示，教育，保健，娛樂等。
而且，本發(fā)明方法可實現(xiàn)為在計算機可讀記錄媒體(CD-ROM，RAM，ROM，軟盤，硬盤，磁光盤等)存儲的程序。
盡管參照優(yōu)選實施例說明了本發(fā)明，本領域技術人員明了，不偏離本發(fā)明的范圍可做出各種改變。因此，本發(fā)明包括權利要求范圍和其等效條款內(nèi)的各種變化。
權利要求
1.一種多視點序列編碼方法，其通過編碼從多個視點獲得的多個畫面產(chǎn)生位流，其中所述位流包括多個畫面的每個畫面的視點信息，且其中該視點信息是指定相應畫面對應于多個視點中的哪個視點的信息。
2.一種多視點序列編碼方法，包括步驟通過編碼主視點的第一畫面類型的畫面產(chǎn)生主位流；和產(chǎn)生至少一個或多個輔助視點的輔助位流，其中通過編碼使用第一畫面類型的畫面預測的第二畫面類型的畫面產(chǎn)生所述輔助位流，其中所述輔助位流包括第二畫面類型的每個畫面的視點信息，并且其中所述視點信息是指定第二畫面類型的相應畫面對應于在至少一個或多個輔助視點當中哪個輔助視點的信息。
3.如權利要求2所述的多視點序列編碼方法，其中，所述視點信息被插在輔助位流內(nèi)的每個畫面報頭中。
4.如權利要求2所述的多視點序列編碼方法，其中，該第一畫面類型的畫面包括內(nèi)畫面(I畫面)，根據(jù)從內(nèi)畫面(I畫面)的單向運動估計的預測畫面(Pt畫面)，和根據(jù)從內(nèi)畫面(I畫面)和/或預測畫面(Pt畫面)的雙向運動估計的預測畫面(Bt畫面)。
5.如權利要求4所述的多視點序列編碼方法，其中，該第二畫面類型的畫面包括根據(jù)從第一類型畫面的畫面的方差估計的預測畫面(Ps，Bs)和根據(jù)從第一畫面類型和預測畫面(Ps，Bs)的運動估計和方差估計的預測畫面(Bt，s)。
6.如權利要求5所述的多視點序列編碼方法，其中，所述輔助位流構成一個位流，并且其中輔助位流包括與多個輔助視點相關的第二畫面類型的全部預測畫面(Ps，Bs，Bt，s)的組合。
7.如權利要求2所述的多視點序列編碼方法，其中，至少一個特定視點序列被指定為輸入的多個視點序列中的主視點，并且其中其余視點序列被指定為輔助視點。
8.如權利要求7所述的多視點序列編碼方法，其中，以主位流的數(shù)目對應于主視點的數(shù)目的方式產(chǎn)生主位流。
9.如權利要求7所述的多視點序列編碼方法，其中，該主視點的數(shù)目取決于多視點序列的基準范圍。
10.如權利要求7所述的多視點序列編碼方法，其中，與每個視點相關的序列是從每個單獨序列捕獲設備(如相機)獲得的序列。
11.如權利要求7所述的多視點序列編碼方法，其中，與每個視點相關的序列是根據(jù)序列捕獲設備(如相機)的拍攝角度獲得的序列。
12.一種多視點序列解碼方法，包括步驟接收通過分別編碼從多個視點獲得的畫面產(chǎn)生的主位流；檢查指定特定畫面對應于所述多個視點的哪一個的視點信息；和根據(jù)檢查的視點信息解碼與顯示器中特定視點相關的畫面。
13.一種多視點序列解碼方法，包括步驟接收通過編碼從主視點獲得的畫面產(chǎn)生的主位流和通過編碼從多個輔助視點獲得的畫面產(chǎn)生的輔助位流；恢復在主位流內(nèi)的畫面；根據(jù)在輔助位流內(nèi)存在的視點信息，通過利用在主位流內(nèi)的恢復的畫面，在顯示器中選擇性地進行與特定輔助視點相關的畫面的預測恢復。
14.如權利要求13所述的多視點序列解碼方法，其中，該視點信息是指定特定畫面對應于多個輔助視點中哪一個的信息。
15.如權利要求14所述的多視點序列解碼方法，其中，所述視點信息被包括在每個畫面報頭信息內(nèi)。
16.一種多視點序列解碼裝置，包括主位流解碼單元，其接收通過編碼從主視點獲得的畫面產(chǎn)生的主位流以恢復主位流內(nèi)的畫面；和輔助位流解碼單元，其接收通過編碼從多個輔助視點獲得的畫面產(chǎn)生的輔助位流，所述輔助位流解碼單元根據(jù)在所述輔助位流內(nèi)存在的視點信息，通過利用主位流內(nèi)的恢復的畫面，選擇性地進行關于特定輔助視點的畫面的預測恢復。
17.如權利要求16所述的多視點序列解碼裝置，其中，該視點信息是指定特定畫面對應于多個輔助視點中哪一個的信息。
18.如權利要求17所述的多視點序列解碼裝置，其中，該視點信息被包括在每個畫面報頭信息內(nèi)。
19.一種多視點序列顯示方法，其包括顯示與主視點對應的畫面的第一顯示模式和一起顯示對應主視點的畫面和對應至少一個或多個輔助視點的畫面的第二顯示模式，其中根據(jù)在包括畫面的位流內(nèi)存在的視點信息選擇第一顯示模式或第二顯示模式。
20.如權利要求19所述的多視點序列顯示方法，其中，該視點信息是指定特定畫面對應于多個視點中哪一個的信息。
全文摘要
公開了一種多視點序列的編碼/解碼方法和其顯示方法，通過所述方法，能夠高效編碼和解碼多視點序列數(shù)據(jù)。根據(jù)本發(fā)明的多時間序列編碼方法包括步驟通過編碼從多個視點獲得多個畫面產(chǎn)生位流，其中位流包括多個畫面的每個畫面的視點信息，視點信息是指定相應的畫面對應多個視點當中哪一個視點的信息。因此，編碼多視點序列以便選擇性地解碼以顯示。
文檔編號H04N7/24GK101023681SQ200580024800
公開日2007年8月22日 申請日期2005年6月24日 優(yōu)先權日2004年6月25日
發(fā)明者孫光熏, 林廷恩 申請人:Lg電子株式會社, 延世大學工業(yè)學術合作社