專利名稱：用于多視點(diǎn)視頻編碼和解碼的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
與示例性實(shí)施例一致的設(shè)備和方法總體涉及一種用于對視頻序列編碼和解碼的設(shè)備和方法，更具體地講，涉及一種用于對在分層編碼結(jié)構(gòu)或分級(jí)編碼結(jié)構(gòu)中的多視點(diǎn)視頻序列(例如立體視頻序列)編碼和解碼的方法和設(shè)備。
背景技術(shù)：
現(xiàn)有技術(shù)三維(3D)視頻編碼方法的典型示例包括基于MPEG-2部分2視頻的多視點(diǎn)配置(MVP)(以下稱為MPEG-2 MVP)、基于H. 264 (MPEG-4 AVC)修改4的多視點(diǎn)視頻編碼 (MVC)(以下稱為 H. 264 MVC)。用于對立體視頻編碼的MPEG-2 MVP方法利用視頻的視點(diǎn)間冗余基于MPEG-2的主配置和可伸縮配置，來執(zhí)行視頻編碼。此外，用于對多視點(diǎn)視頻編碼的H. 264 MVC方法利用視頻的視點(diǎn)間冗余基于H. 264來執(zhí)行視頻編碼。由于使用現(xiàn)有MPEG-2 MVP和H. 264 MVC編碼的3D視頻序列僅分別與MPEG-2和 H.洸4兼容，因此基于MPEG-2 MVP和H. 264 MVC的3D視頻不能用于不基于MPEG-2或H. 264 的系統(tǒng)。例如，使用各種其他編解碼器的系統(tǒng)(諸如數(shù)字影院)應(yīng)該能夠在與所使用的每個(gè)編解碼器兼容的同時(shí)附加地提供3D視頻服務(wù)。然而，由于MPEG-2 MVP和HJ64 MVC很少與使用其他編解碼器的系統(tǒng)兼容，因此需要新的方法，甚至在使用除了MPEG-2 MVP或H. 264 MVC的編解碼器的系統(tǒng)中也容易地提供3D視頻服務(wù)。

發(fā)明內(nèi)容
技術(shù)問題示例性實(shí)施例的各方面提供一種用于在提供與各種視頻編解碼器的兼容性的同時(shí)提供多視點(diǎn)視頻服務(wù)的視頻編碼和解碼方法和設(shè)備。示例性實(shí)施例的各方面還提供一種用于基于分層編碼和解碼方法提供多視點(diǎn)視頻服務(wù)的視頻編碼和解碼方法和設(shè)備。技術(shù)方案根據(jù)示例性實(shí)施例的一方面，提供一種用于提供多視點(diǎn)視頻服務(wù)的多視點(diǎn)視頻編碼方法，該方法包括使用任意視頻編解碼器來對基本層畫面進(jìn)行編碼；使用重建的基本層畫面和重建的層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面，其中，從編碼的基本層畫面重建所述重建的基本層畫面，所述重建的層畫面對應(yīng)于與基本層畫面的視點(diǎn)不同的視點(diǎn)；使用產(chǎn)生的預(yù)測畫面對與所述不同的視點(diǎn)對應(yīng)的層畫面進(jìn)行殘余編碼。根據(jù)另一示例性實(shí)施例的方面，提供了一種用于提供多視點(diǎn)視頻服務(wù)的多視點(diǎn)視頻編碼設(shè)備，所述多視點(diǎn)視頻編碼設(shè)備包括基本層編碼器，使用任意視頻編解碼器來對基本層畫面進(jìn)行編碼；視點(diǎn)轉(zhuǎn)換器，使用重建的基本層畫面和重建的層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面，其中，從編碼的基本層畫面重建所述重建的基本層畫面，所述重建的層畫面對應(yīng)于與基本層畫面的視點(diǎn)不同的視點(diǎn)；殘余編碼器，使用產(chǎn)生的預(yù)測畫面對與所述不同的視點(diǎn)對應(yīng)的層畫面進(jìn)行殘余編碼。根據(jù)另一示例性實(shí)施例的方面，提供了一種用于提供多視點(diǎn)視頻服務(wù)的多視點(diǎn)視頻解碼方法，所述多視點(diǎn)視頻解碼方法包括使用任意視頻編解碼器來重建基本層畫面； 通過使用重建的基本層畫面和重建的層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面，其中，所述重建的層畫面對應(yīng)于與基本層畫面的視點(diǎn)不同的視點(diǎn)；使用殘余解碼的層畫面和產(chǎn)生的預(yù)測畫面來重建對應(yīng)于所述不同視點(diǎn)的層畫面。根據(jù)另一示例性實(shí)施例的方面，提供了一種用于提供多視點(diǎn)視頻服務(wù)的多視點(diǎn)視頻解碼設(shè)備，所述多視點(diǎn)視頻解碼設(shè)備包括使用任意視頻編解碼器來重建基本層畫面； 使用重建的基本層畫面和重建的層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面，其中，所述重建的層畫面對應(yīng)于與基本層畫面的視點(diǎn)不同的視點(diǎn)；使用殘余解碼的層畫面和產(chǎn)生的預(yù)測畫面來重建與所述不同的視點(diǎn)對應(yīng)的層畫面。根據(jù)另一示例性實(shí)施例的方面，提供了一種多視點(diǎn)視頻提供系統(tǒng)，包括多視點(diǎn)視頻編碼設(shè)備和多視點(diǎn)視頻解碼設(shè)備，所述多視點(diǎn)視頻編碼設(shè)備包括基本層編碼器，使用任意視頻編解碼器來對基本層畫面進(jìn)行編碼；視點(diǎn)轉(zhuǎn)換器，使用重建的基本層畫面和重建的層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面，其中，從編碼的基本層畫面重建所述重建的基本層畫面，所述重建的層畫面對應(yīng)于與基本層畫面的視點(diǎn)不同的視點(diǎn)；殘余編碼器，使用產(chǎn)生的預(yù)測畫面對與所述不同的視點(diǎn)對應(yīng)的層畫面進(jìn)行殘余編碼；復(fù)用器，將編碼的基本層畫面和殘余編碼的層畫面復(fù)用為比特流，并輸出該比特流，所述多視點(diǎn)視頻解碼設(shè)備包括解復(fù)用器，接收輸出比特流，并將輸出比特流解復(fù)用為基本層比特流和層比特流；基本層解碼器，使用對應(yīng)于任意視頻編解碼器的視頻編解碼器從基本層比特流重建基本層畫面；視點(diǎn)轉(zhuǎn)換器，使用重建的基本層畫面和重建的層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面，其中，所述重建的層畫面對應(yīng)于所述不同視點(diǎn)；殘余解碼器，對層比特流進(jìn)行殘余解碼以輸出殘余解碼的層畫面；組合器，通過將產(chǎn)生的預(yù)測畫面與殘余解碼的層畫面相加來重建與所述不同的視點(diǎn)對應(yīng)的層畫面。


通過下面結(jié)合附圖進(jìn)行的描述，上述和其他方面將會(huì)變得更加清楚，其中圖1是顯示根據(jù)示例性實(shí)施例的多視點(diǎn)視頻編碼器的結(jié)構(gòu)的框圖；圖2是顯示根據(jù)示例性實(shí)施例的在多視點(diǎn)視頻編碼器中的視點(diǎn)轉(zhuǎn)換器的結(jié)構(gòu)的框圖；圖3是顯示根據(jù)示例性實(shí)施例的多視點(diǎn)視頻編碼方法的流程圖；圖4是顯示根據(jù)示例性實(shí)施例的在多視點(diǎn)視頻編碼器中執(zhí)行的視點(diǎn)轉(zhuǎn)換方法的流程圖；圖5是顯示根據(jù)示例性實(shí)施例的多視點(diǎn)視頻解碼器的結(jié)構(gòu)的框圖；圖6是顯示根據(jù)示例性實(shí)施例的在多視點(diǎn)視頻解碼器中的視點(diǎn)轉(zhuǎn)換器的結(jié)構(gòu)的框圖；圖7是顯示根據(jù)示例性實(shí)施例的多視點(diǎn)視頻解碼方法的流程圖；圖8是顯示根據(jù)示例性實(shí)施例的在多視點(diǎn)視頻解碼器中執(zhí)行的視點(diǎn)轉(zhuǎn)換方法的流程圖9是顯示根據(jù)另一示例性實(shí)施例的具有N個(gè)增強(qiáng)層的多視點(diǎn)視頻編碼器的示例性結(jié)構(gòu)的框圖；圖10是顯示根據(jù)另一示例性實(shí)施例的具有N個(gè)增強(qiáng)層的多視點(diǎn)視頻解碼器的示例性結(jié)構(gòu)的框圖。
具體實(shí)施例方式現(xiàn)在將參照附圖來詳細(xì)描述示例性實(shí)施例。在下面的描述中，特定細(xì)節(jié)(諸如，詳細(xì)配置和組件)僅僅被提供以有助于對示例性實(shí)施例的全面理解。此外，為了清楚和簡明， 省略了對公知功能和構(gòu)造的描述。此外，在附圖中，相同的標(biāo)號(hào)始終指示相同的元件。當(dāng)諸如“中的至少一個(gè)”的表達(dá)方式在元件的列表前面時(shí)，這種表達(dá)方式修改了元件的整個(gè)列表，而沒有修改該列表中的各個(gè)元件。在以下描述中，諸如H. 264和VC-I的編解碼器作為編解碼器的示例性類型被引入，但是僅為了對示例性實(shí)施例更好的理解，提供這些示例性編解碼器，并且這些示例性編解碼器不意于限制示例性實(shí)施例的范圍。示例性實(shí)施例提供一種視頻編碼器/解碼器的分級(jí)結(jié)構(gòu)以在維持與用于視頻編碼/解碼的任何現(xiàn)有編解碼器的兼容性的同時(shí)，提供多視點(diǎn)視頻服務(wù)(諸如三維(3D)視頻服務(wù))。根據(jù)示例性實(shí)施例的在分層編碼/解碼結(jié)構(gòu)中設(shè)計(jì)的視頻編碼器/解碼器對包括一個(gè)基本層畫面和至少一個(gè)增強(qiáng)層畫面的多視點(diǎn)視頻進(jìn)行編碼和解碼。這里使用的基本層畫面是指基于使用現(xiàn)有視頻編解碼器(諸如VC-I和H.沈4)的現(xiàn)有方案而壓縮編碼的畫面。增強(qiáng)層畫面是指通過殘余編碼畫面獲得的畫面，所述被殘余編碼的畫面已經(jīng)使用一個(gè)視點(diǎn)的基本層畫面和與基本層的畫面不同的視點(diǎn)的增強(qiáng)層畫面中的至少一個(gè)被視點(diǎn)轉(zhuǎn)換， 而不管在基本層中使用的視頻編解碼器的類型。應(yīng)注意，在本公開中，增強(qiáng)層畫面是指具有與基本層畫面的視點(diǎn)不同視點(diǎn)的畫面。此外，在示例性實(shí)施例中，如果基本層畫面是左視點(diǎn)畫面，則增強(qiáng)層畫面可以是右視點(diǎn)畫面。相反，如果基本層畫面是右視點(diǎn)畫面，則增強(qiáng)層畫面可以是左視點(diǎn)畫面。如果增強(qiáng)層畫面在數(shù)量上是1，則為了描述方便，基本層畫面和增強(qiáng)層畫面被認(rèn)為分別是左/右視點(diǎn)畫面，盡管理解基本層畫面和增強(qiáng)層畫面可以是各種視點(diǎn)的畫面(諸如，前/后視點(diǎn)畫面和頂/底視點(diǎn)畫面)。因此，增強(qiáng)層畫面可被解釋為具有與基本層畫面的視點(diǎn)不同的視點(diǎn)的層畫面。在本公開中，具有不同視點(diǎn)的層畫面和增強(qiáng)層畫面可被解釋為相同。如果增強(qiáng)層畫面在數(shù)量上是復(fù)數(shù)，則各種視點(diǎn)的畫面(諸如，前/后視點(diǎn)畫面、頂/底視點(diǎn)畫面等)可通過使用基本層畫面和多個(gè)增強(qiáng)層畫面被提供作為多視點(diǎn)視頻。此外，根據(jù)示例性實(shí)施例，通過對殘余畫面編碼來產(chǎn)生增強(qiáng)層畫面。殘余畫面被定義為對從增強(qiáng)層的輸入畫面和通過根據(jù)示例性實(shí)施例的視點(diǎn)轉(zhuǎn)換產(chǎn)生的預(yù)測畫面之間的差別而獲得的畫面數(shù)據(jù)進(jìn)行編碼的結(jié)果。使用重建的基本層畫面和重建的增強(qiáng)層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面。如果基本層的輸入畫面被假設(shè)為“視點(diǎn)0”并且增強(qiáng)層的輸入畫面被假設(shè)為“視點(diǎn) 1 ”，則重建的基本層畫面是指由任意現(xiàn)有視頻編解碼器通過對輸入畫面“視點(diǎn)0”進(jìn)行編碼隨后對編碼的畫面進(jìn)行解碼而重建的當(dāng)前重建的基本層畫面。用于產(chǎn)生預(yù)測畫面的重建的增強(qiáng)層畫面是指將先前殘余畫面與先前預(yù)測畫面相加產(chǎn)生的先前重建的增強(qiáng)層畫面。此外，如果增強(qiáng)層在數(shù)量上是復(fù)數(shù)，則重建的增強(qiáng)層畫面是指當(dāng)前重建的增強(qiáng)層畫面，所述當(dāng)前重建的增強(qiáng)層畫面通過在與增強(qiáng)層的視點(diǎn)不同的視點(diǎn)的另一增強(qiáng)層中重建當(dāng)前編碼的殘余畫面而產(chǎn)生。稍后將詳細(xì)地對用于產(chǎn)生預(yù)測畫面的視點(diǎn)轉(zhuǎn)換進(jìn)行描述。根據(jù)示例性實(shí)施例的多視點(diǎn)視頻編碼器通過使用任意視頻編解碼器對基本層的輸入畫面進(jìn)行編碼來在比特流中輸出一個(gè)視點(diǎn)的基本層畫面，并且通過使用由視點(diǎn)轉(zhuǎn)換產(chǎn)生的預(yù)測畫面對增強(qiáng)層的輸入畫面執(zhí)行殘余編碼來在比特流中輸出具有與基本層畫面的視點(diǎn)不同的視點(diǎn)的增強(qiáng)層畫面。根據(jù)示例性實(shí)施例的多視點(diǎn)視頻解碼器通過使用任意視頻編解碼器對視點(diǎn)的編碼基本層畫面進(jìn)行解碼來重建一個(gè)視點(diǎn)的基本層畫面，對與基本層畫面的視點(diǎn)不同的視點(diǎn)的編碼增強(qiáng)層畫面進(jìn)行殘余解碼，并且使用通過視點(diǎn)轉(zhuǎn)換產(chǎn)生的預(yù)測畫面來重建具有不同視點(diǎn)的增強(qiáng)層畫面?？赏ㄟ^從比特流中取得基本層的比特流并且對基本層的比特流進(jìn)行解碼來重建一個(gè)視點(diǎn)的二維OD)畫面，并且可通過對基本層的比特流進(jìn)行解碼，隨后將通過執(zhí)行根據(jù)示例性實(shí)施例的視點(diǎn)轉(zhuǎn)換產(chǎn)生的預(yù)測畫面與通過對增強(qiáng)層的比特流進(jìn)行解碼產(chǎn)生的殘余畫面進(jìn)行組合，來重建在例如3D畫面中具有不同視點(diǎn)的增強(qiáng)層畫面?，F(xiàn)在將對根據(jù)示例性實(shí)施例的多視點(diǎn)視頻編碼器的結(jié)構(gòu)和操作進(jìn)行詳細(xì)描述。為了描述的方便，以下描述的示例性實(shí)施例使用重建的當(dāng)前基本層畫面以及在視頻轉(zhuǎn)換期間的重建的先前增強(qiáng)層畫面，并且增強(qiáng)層的數(shù)量是1。然而，將理解另一示例性實(shí)施例不限于此。圖1顯示根據(jù)示例性實(shí)施例的多視點(diǎn)視頻編碼器100的結(jié)構(gòu)。參照圖1，Pl表示基本層的輸入畫面，P2表示增強(qiáng)層的輸入畫面?；緦泳幋a器101根據(jù)使用現(xiàn)有視頻編解碼器(例如，VC-UH. 264.MPEG-4部分2可視、MPEG-2P部分2視頻、AVS、JPEG2000等)中的任意視頻編解碼器的現(xiàn)有方案對基本層中的一個(gè)視點(diǎn)的輸入畫面Pl進(jìn)行壓縮編碼，并且在基本層比特流P3中輸出編碼的基本層畫面。此外，基本層編碼器101重建編碼的基本層畫面，并且將重建的基本層畫面P4存儲(chǔ)在基本層緩沖器103中。視點(diǎn)轉(zhuǎn)換器105從基本層緩沖器103中接收當(dāng)前重建的基本層畫面(下文中的“當(dāng)前基本層畫面”)P8。殘余編碼器107接收通過減法器109從增強(qiáng)層的輸入畫面P2減去來自視頻轉(zhuǎn)換器105的預(yù)測畫面P5而獲得的畫面數(shù)據(jù)，并且對接收的畫面數(shù)據(jù)進(jìn)行殘余編碼。殘余編碼的增強(qiáng)層畫面或編碼的殘余畫面被輸出在增強(qiáng)層比特流P6中。殘余編碼器107重建殘余編碼的增強(qiáng)層畫面，并輸出該重建的增強(qiáng)層畫面P7或者重建的殘余畫面。來自視頻轉(zhuǎn)換器 105的預(yù)測畫面P5和重建的增強(qiáng)層畫面P7通過加法器111相加，并被存儲(chǔ)在增強(qiáng)層緩沖器113中。視點(diǎn)轉(zhuǎn)換器105從增強(qiáng)層緩沖器113接收先前重建的增強(qiáng)層畫面(下文的“先前增強(qiáng)層畫面”)P9。盡管在本示例性實(shí)施例中單獨(dú)地顯示了基本層緩沖器103和增強(qiáng)層緩沖器113，但是應(yīng)理解，根據(jù)另一示例性實(shí)施例，基本層緩沖器103和增強(qiáng)層緩沖器113可被實(shí)現(xiàn)在一個(gè)緩沖器中。視點(diǎn)轉(zhuǎn)換器105分別從基本層緩沖器103和增強(qiáng)層緩沖器113接收當(dāng)前基本層畫面P8和先前增強(qiáng)層畫面P9，并且產(chǎn)生視點(diǎn)轉(zhuǎn)換的預(yù)測畫面P5。視點(diǎn)轉(zhuǎn)換器105產(chǎn)生以下將被描述的包括預(yù)測畫面的控制信息的控制信息比特流P10，所述預(yù)測畫面的控制信息用于在多視點(diǎn)視頻解碼器中進(jìn)行解碼。產(chǎn)生的預(yù)測畫面P5被輸出到減法器109以用于產(chǎn)生增強(qiáng)層比特流P6，并且被輸出到加法器111以被用于產(chǎn)生下一預(yù)測畫面。復(fù)用器(MUX)115 將基本層比特流P3、增強(qiáng)層比特流P6和控制信息比特流PlO進(jìn)行復(fù)用，并且在一個(gè)比特流中輸出復(fù)用的比特流P3、P6、P10。由于分層編碼結(jié)構(gòu)的使用，多視點(diǎn)視頻編碼器100可與任何視頻編碼方法兼容， 并且可在現(xiàn)有系統(tǒng)中被實(shí)現(xiàn)并可有效地支持包括3D視頻服務(wù)的多視點(diǎn)視頻服務(wù)。圖2顯示根據(jù)示例性實(shí)施例的在多視點(diǎn)視頻編碼器100中的視點(diǎn)轉(zhuǎn)換器105的結(jié)構(gòu)。參照圖2，視點(diǎn)轉(zhuǎn)換器105以MXN像素塊為單位來分割畫面數(shù)據(jù)，并且逐塊順序產(chǎn)生預(yù)測畫面。具體地講，畫面類型確定器1051根據(jù)畫面類型(PT)來確定在產(chǎn)生預(yù)測畫面中使用當(dāng)前基本層畫面P8、與基本層的視點(diǎn)不同的視點(diǎn)的當(dāng)前重建的增強(qiáng)層畫面(下文的“當(dāng)前增強(qiáng)層畫面”)、還是當(dāng)前基本層畫面P8和先前增強(qiáng)層畫面P9的組合。例如，當(dāng)增強(qiáng)層在數(shù)量上是復(fù)數(shù)時(shí)，使用當(dāng)前增強(qiáng)層畫面產(chǎn)生預(yù)測畫面可被使用。畫面類型確定器1051根據(jù)增強(qiáng)層的輸入畫面P2的PT，來確定或使用當(dāng)前基本層畫面P8和先前增強(qiáng)層畫面P9的參考關(guān)系。例如，如果當(dāng)前將被編碼的增強(qiáng)層的輸入畫面 P2的PT是幀內(nèi)畫面，則可使用當(dāng)前基本層畫面P8來執(zhí)行產(chǎn)生預(yù)測畫面P5的視點(diǎn)轉(zhuǎn)換。此外，如果多個(gè)增強(qiáng)層被提供并且PT是幀內(nèi)畫面，則可使用當(dāng)前增強(qiáng)層畫面來執(zhí)行產(chǎn)生預(yù)測畫面P5的視點(diǎn)轉(zhuǎn)換。另外，通過示例，如果增強(qiáng)層的輸入畫面P2的PT是幀間畫面，則可使用當(dāng)前基本層畫面P8和先前增強(qiáng)層畫面P9來執(zhí)行用于產(chǎn)生預(yù)測畫面P5的視點(diǎn)轉(zhuǎn)換?？稍谙到y(tǒng)的上層給予PT，其中，本示例性實(shí)施例的多視點(diǎn)視頻編碼器被應(yīng)用到該系統(tǒng)。PT可被預(yù)先確定為幀內(nèi)畫面或幀間畫面中的一個(gè)。基于畫面類型確定器1051的確定結(jié)果，視差估計(jì)器/運(yùn)動(dòng)估計(jì)器(DE/ME) 1053通過使用當(dāng)前基本層畫面P8基于塊執(zhí)行視差估計(jì)(DE)來輸出視差向量，或者使用當(dāng)前基本層畫面P8和先前增強(qiáng)層畫面P9分別基于塊執(zhí)行DE和運(yùn)動(dòng)估計(jì)(ME)來輸出相關(guān)塊的視差向量和運(yùn)動(dòng)向量。如果增強(qiáng)層在數(shù)量上是復(fù)數(shù)，則DE/ME 1053可使用在具有與增強(qiáng)層的輸入畫面的視點(diǎn)不同的視點(diǎn)的另一增強(qiáng)層中的當(dāng)前增強(qiáng)層畫面基于塊執(zhí)行DE。視差向量和運(yùn)動(dòng)向量可被解釋為根據(jù)當(dāng)前基本層畫面和先前/當(dāng)前增強(qiáng)層畫面中的哪個(gè)參考畫面被使用而被不同命名，并且可以以相同的方式來執(zhí)行基于使用的參考畫面的預(yù)測處理和向量輸出處理。視點(diǎn)轉(zhuǎn)換器105以宏塊為單位或者以MXN像素塊為單位來執(zhí)行視點(diǎn)轉(zhuǎn)換。作為視點(diǎn)轉(zhuǎn)換的示例，DE/ME 1053可基于MXN像素塊輸出視差向量和運(yùn)動(dòng)向量中的至少一個(gè)。 作為另一示例，DE/ME 1053可以以各種方法將每個(gè)MXN像素塊分割為K個(gè)部分，并且輸出 K個(gè)視差向量和/或運(yùn)動(dòng)向量。例如，如果視點(diǎn)轉(zhuǎn)換器105基于16 X 16像素塊執(zhí)行視點(diǎn)轉(zhuǎn)換，則DE/ME 1053可在每個(gè)16X16像素塊輸出一個(gè)視差向量或運(yùn)動(dòng)向量。作為另一示例，如果視點(diǎn)轉(zhuǎn)換器105將 16X16像素塊分割為K個(gè)部分并對其執(zhí)行視點(diǎn)轉(zhuǎn)換，則DE/ME 1053可基于16X 16像素塊選擇性地輸出IK個(gè)視差向量或運(yùn)動(dòng)向量，或者基于8 X 8像素塊輸出4K個(gè)視差向量或運(yùn)動(dòng)向量。模式選擇器1055確定在對MXN像素塊執(zhí)行補(bǔ)償中參考當(dāng)前基本層畫面還是參考先前增強(qiáng)層畫面，其中MXN像素塊的預(yù)測畫面將被產(chǎn)生。如果增強(qiáng)層在數(shù)量上是復(fù)數(shù)，則模式選擇器1055確定在具有與增強(qiáng)層的視點(diǎn)不同視點(diǎn)的另一增強(qiáng)層中執(zhí)行補(bǔ)償中，是否參考當(dāng)前增強(qiáng)層畫面?；谟蒁E/ME 1053執(zhí)行的DE和/或ME的結(jié)果，模式選擇器1055從DE模式和 ME模式中選擇可選模式，以使用視差向量根據(jù)DE模式來對當(dāng)前MXN像素塊執(zhí)行視差補(bǔ)償 (DC)，或者使用運(yùn)動(dòng)向量根據(jù)ME模式對當(dāng)前MXN像素塊執(zhí)行運(yùn)動(dòng)補(bǔ)償(MC)。模式選擇器 1055可將MXN像素塊分割為多個(gè)部分，并且確定使用多個(gè)視差向量還是多個(gè)運(yùn)動(dòng)向量。確定的信息連同稍后將被描述的預(yù)測畫面的控制信息可被一起傳遞到多視點(diǎn)視頻解碼器。分割的部分的數(shù)量可被默認(rèn)確定。視差補(bǔ)償器/運(yùn)動(dòng)補(bǔ)償器(DC/MC) 1057通過根據(jù)在模式選擇器1055中選擇的具有最小預(yù)測成本的模式是DE模式還是ME模式執(zhí)行DC或MC來產(chǎn)生預(yù)測畫面P5。如果在模式選擇器1055中選擇的模式是DE模式，則DC/MC1057通過使用當(dāng)前基本層畫面中的視差向量補(bǔ)償MXN像素塊來產(chǎn)生預(yù)測畫面P5。如果選擇的模式是ME模式，則DC/MC 1057通過使用先前增強(qiáng)層畫面中的運(yùn)動(dòng)向量補(bǔ)償MXN像素塊來產(chǎn)生預(yù)測畫面P5。根據(jù)示例性實(shí)施例，指示選擇的模式是DE模式還是ME模式的模式信息可以以例如標(biāo)志信息的形式被傳遞到多視點(diǎn)視頻解碼器。熵編碼器1059對模式信息以及包括產(chǎn)生預(yù)測畫面的每個(gè)塊的視差向量信息或運(yùn)動(dòng)向量信息的預(yù)測畫面的控制信息進(jìn)行熵編碼，并且在控制信息比特流Pio中輸出編碼的信息。例如，在控制信息比特流Pio插入到增強(qiáng)層比特流P6的畫面頭之后，控制信息比特流PlO可被傳遞到多視點(diǎn)視頻解碼器?？墒褂迷陟鼐幋a期間相同的語法，來將預(yù)測畫面的控制信息中的視差向量信息和運(yùn)動(dòng)向量信息插入到控制信息比特流PlO中?，F(xiàn)在將參照圖3和圖4來描述根據(jù)一個(gè)或多個(gè)示例性實(shí)施例的多視點(diǎn)視頻編碼方法。圖3顯示根據(jù)示例性實(shí)施例的多視點(diǎn)視頻編碼方法。參照圖3，在步驟301，基本層編碼器101通過使用編解碼器對第一視點(diǎn)的基本層的輸入畫面進(jìn)行編碼，來輸出基本層比特流?；緦泳幋a器101重建編碼的基本層畫面，并且將重建的基本層畫面存儲(chǔ)在基本層緩沖器103中。假設(shè)殘余編碼器107預(yù)先對第二視點(diǎn)的增強(qiáng)層中的先前輸入畫面進(jìn)行殘余編碼，重建編碼的增強(qiáng)層畫面，并且輸出重建的增強(qiáng)層畫面。因此，在先前重建的增強(qiáng)層畫面被添加到由視點(diǎn)轉(zhuǎn)換器105先前產(chǎn)生的預(yù)測畫面之后，先前重建的增強(qiáng)層畫面已經(jīng)被存儲(chǔ)在增強(qiáng)層緩沖器113中。在步驟303，視點(diǎn)轉(zhuǎn)換器105分別從基本層緩沖器103和增強(qiáng)層緩沖器113接收重建的基本層畫面和重建的增強(qiáng)層畫面。其后，視點(diǎn)轉(zhuǎn)換器105使用重建的基本層畫面和重建的增強(qiáng)層畫面中的至少一個(gè)，來產(chǎn)生關(guān)于增強(qiáng)層的輸入畫面被視點(diǎn)轉(zhuǎn)換的預(yù)測畫面。如上所述，視點(diǎn)轉(zhuǎn)換器105可使用當(dāng)前基本層畫面來產(chǎn)生預(yù)測畫面，或者使用當(dāng)前基本層畫面和增強(qiáng)層中的先前增強(qiáng)層畫面來產(chǎn)生預(yù)測畫面。在步驟305中，殘余編碼器107對通過從第二視點(diǎn)的增強(qiáng)層的輸入畫面減去預(yù)測畫面獲得的畫面數(shù)據(jù)進(jìn)行殘余編碼，并且輸出該編碼的增強(qiáng)層畫面。在步驟307，復(fù)用器115將在步驟301中編碼的基本層畫面與步驟305中編碼的增強(qiáng)層畫面進(jìn)行復(fù)用，并且在比特流中輸出復(fù)用的畫面。盡管在圖3的示例中示例性地假設(shè)增強(qiáng)層的數(shù)量是1，但是增強(qiáng)層在數(shù)量上可以是復(fù)數(shù)。在這種情況下，如上所述，可使用當(dāng)前基本層畫面和先前增強(qiáng)層畫面來產(chǎn)生預(yù)測畫面，或者可使用在具有與增強(qiáng)層的視點(diǎn)不同的視點(diǎn)的另一增強(qiáng)層中的當(dāng)前增強(qiáng)層畫面來產(chǎn)生預(yù)測畫面。盡管在圖3的示例中順序地示出了基本層畫面的編碼處理和增強(qiáng)層畫面的編碼處理，但是應(yīng)理解可并行地執(zhí)行基本層畫面的編碼和增強(qiáng)層畫面的編碼。圖4顯示根據(jù)示例性實(shí)施例的在多視點(diǎn)視頻編碼器中執(zhí)行的視點(diǎn)轉(zhuǎn)換方法。在本示例性實(shí)施例中，在產(chǎn)生預(yù)測畫面期間處理的宏塊是16X 16像素塊，盡管應(yīng)理解此大小僅是示例性的并且另一示例性實(shí)施例不限于此。參照圖4，在步驟401，畫面類型確定器1051確定當(dāng)前將在增強(qiáng)層中編碼的輸入畫面的PT是幀內(nèi)畫面還是幀間畫面。如果在步驟401確定PT為幀內(nèi)畫面，則DE/ME 1053在步驟403通過將當(dāng)前基本層畫面用作參考畫面，基于16X 16像素塊并基于8X8像素塊執(zhí)行DE來計(jì)算每個(gè)像素塊的預(yù)測成本。如果在步驟401確定PT為幀間畫面，則DE/ME 1053 在步驟405通過將當(dāng)前基本層畫面和先前增強(qiáng)層畫面用作參考畫面，來基于16 X 16像素塊并基于8X8像素塊的每一種像素塊執(zhí)行DE和ME來計(jì)算每個(gè)像素塊的預(yù)測成本。在步驟 403和405中計(jì)算的預(yù)測成本是指基于視差向量或運(yùn)動(dòng)向量的當(dāng)前輸入畫面塊與對應(yīng)于當(dāng)前輸入畫面塊的塊之間的差。預(yù)測成本的示例包括絕對差之和(SAD)、平方差之和(SSD)寸。在步驟407，如果當(dāng)前將被編碼的增強(qiáng)層的輸入畫面是幀內(nèi)畫面，則模式選擇器 1055在步驟407通過將通過對16 X 16像素塊執(zhí)行DE獲得的預(yù)測成本與通過對16 X 16像素塊中的8 X 8像素塊執(zhí)行DE獲得的預(yù)測成本進(jìn)行比較，來選擇具有最小預(yù)測成本的DE模式。如果當(dāng)前將被編碼的增強(qiáng)層的輸入畫面是幀間畫面，則模式選擇器1055通過將通過對 16X16像素塊執(zhí)行DE獲得的預(yù)測成本、通過對16X 16像素塊中的8X8像素塊執(zhí)行DE獲得的預(yù)測成本、通過對16X 16像素塊執(zhí)行ME獲得的預(yù)測成本、通過對16X 16像素塊中的 8X8像素塊執(zhí)行ME獲得的預(yù)測成本進(jìn)行比較，來確定具有最小預(yù)測成本的模式是DE模式還是ME模式。作為選擇的結(jié)果，當(dāng)具有最小預(yù)測成本的模式是DE模式時(shí)，模式選擇器1055 將標(biāo)志信息“VIEW_PRED_FLAG”設(shè)置為1。相反，當(dāng)具有最小預(yù)測成本的模式是ME模式時(shí)， 模式選擇器1055將“VIEW_PRED_FLAG”設(shè)置為0。當(dāng)在步驟409確定“VIEW_PRED_FLAG”為“1”時(shí)，DC/MC 1057在步驟411使用由 DE產(chǎn)生的基于16X16像素塊或者基于8X8像素塊的視差向量從當(dāng)前基本層畫面執(zhí)行DC。 如果在步驟409確定“VIEW_PRED_FLAG”為“0”，則DC/MC 1057在步驟413使用由ME產(chǎn)生的基于16X16像素塊或者基于8X8像素塊的運(yùn)動(dòng)向量從先前增強(qiáng)層畫面執(zhí)行MC。以這種方式，“VIEW_PRED_FLAG”可指示在產(chǎn)生預(yù)測畫面的處理中基本層畫面和增強(qiáng)層畫面中的哪個(gè)被參考。在步驟411或413對塊執(zhí)行DC或MC之后，熵編碼器1059在步驟415對關(guān)于由 DE/ME 1053計(jì)算的視差向量或運(yùn)動(dòng)向量的信息以及關(guān)于由模式選擇器1055選擇的模式的信息進(jìn)行熵編碼，并且在比特流中輸出結(jié)果。如果當(dāng)前將被編碼的增強(qiáng)層的輸入畫面是幀間畫面，則熵編碼器1059對“VIEW_PRED_FLAG”以及關(guān)于基于16X 16像素塊或基于8X8 像素塊的視差向量或運(yùn)動(dòng)向量的使用/非使用的模式信息進(jìn)行熵編碼，并且對視差向量或運(yùn)動(dòng)向量按照視差向量或運(yùn)動(dòng)向量的數(shù)量的次數(shù)對視差向量或運(yùn)動(dòng)向量執(zhí)行熵編碼。通過對通過從視差向量或運(yùn)動(dòng)向量的預(yù)測值減去實(shí)際向量值獲得的插值進(jìn)行編碼，來實(shí)現(xiàn)對視差向量或運(yùn)動(dòng)向量的熵編碼。如果當(dāng)前將被編碼的增強(qiáng)層的輸入畫面是幀內(nèi)畫面，則由于先前畫面不能被參考因此僅可從基本層的畫面使用DC以保證隨機(jī)訪問，因此“VIEW_PRED_ FLAG”的編碼可被省略。盡管“VIEW_PRED_FLAG”不存在，但是多視點(diǎn)視頻解碼器可通過檢查指示增強(qiáng)層畫面是幀內(nèi)畫面的增強(qiáng)層比特流的頭，來執(zhí)行DC。如果已經(jīng)對于一個(gè)塊完成了熵編碼，則視點(diǎn)轉(zhuǎn)換器105在步驟417轉(zhuǎn)到下一塊，并且對當(dāng)前將被編碼的增強(qiáng)層的輸入畫面的每個(gè)塊執(zhí)行步驟401至415。現(xiàn)在將對根據(jù)示例性實(shí)施例的多視點(diǎn)視頻解碼器的結(jié)構(gòu)和操作進(jìn)行詳細(xì)描述。為了描述方便，以下描述的示例性實(shí)施例在視點(diǎn)轉(zhuǎn)換期間使用重建的當(dāng)前基本層畫面和重建的先前增強(qiáng)層畫面，并且增強(qiáng)層的數(shù)量是1。然而，應(yīng)理解另一示例性實(shí)施例不限于此。圖5顯示根據(jù)示例性實(shí)施例的多視點(diǎn)視頻解碼器500的結(jié)構(gòu)。參照圖5，解復(fù)用器 501將由多視點(diǎn)視頻編碼器100編碼的比特流解復(fù)用為在增強(qiáng)層畫面的解碼期間使用的基本層比特流Q1、增強(qiáng)層比特流Q2和控制信息比特流Q3。此外，解復(fù)用器501將基本層比特流Ql提供給基本層解碼器503，將增強(qiáng)層比特流Q2提供給殘余解碼器505，并將控制信息比特流Q3提供給視點(diǎn)轉(zhuǎn)換器507?；緦咏獯a器503通過使用對應(yīng)于在基本層編碼器101中使用的視頻編解碼器的方案來對基本層比特流Ql進(jìn)行解碼，來輸出第一視點(diǎn)的基本層畫面Q4。第一視點(diǎn)的基本層畫面Q4作為當(dāng)前重建的基本層畫面(下文的“當(dāng)前基本層畫面”)Q5被存儲(chǔ)在基本層緩沖器509中。假設(shè)殘余解碼器505預(yù)先對增強(qiáng)層比特流Q2進(jìn)行殘余解碼，并且通過使用作為組合器的加法器511將由殘余解碼器505重建的增強(qiáng)層畫面與預(yù)先由視點(diǎn)轉(zhuǎn)換器507產(chǎn)生的預(yù)測畫面Q6相加，隨后被存儲(chǔ)在增強(qiáng)層緩沖器513中。因此，視點(diǎn)轉(zhuǎn)換器507從增強(qiáng)層緩沖器513接收預(yù)先重建的增強(qiáng)層畫面(下文的“先前增強(qiáng)層畫面” )Q9。盡管在圖5的示例中單獨(dú)地顯示了基本層緩沖器509和增強(qiáng)層緩沖器513，但是應(yīng)理解根據(jù)另一示例性實(shí)施例，緩沖器509和513可被實(shí)現(xiàn)在單個(gè)緩沖器中。視點(diǎn)轉(zhuǎn)換器507分別從基本層緩沖器509和增強(qiáng)層緩沖器513接收當(dāng)前基本層畫面Q8和先前增強(qiáng)層畫面Q9，并且產(chǎn)生在當(dāng)前視點(diǎn)轉(zhuǎn)換的預(yù)測畫面Q6。使用加法器511，預(yù)測畫面Q6與由殘余解碼器505殘余解碼的當(dāng)前增強(qiáng)層畫面相加，隨后被輸出到增強(qiáng)層緩沖器513。存儲(chǔ)在增強(qiáng)層緩沖器513中的當(dāng)前重建的增強(qiáng)層畫面作為第二視點(diǎn)的重建的增強(qiáng)層畫面Q7輸出。隨后，當(dāng)前重建的增強(qiáng)層畫面可作為先前增強(qiáng)層畫面被提供給視點(diǎn)轉(zhuǎn)換器 507，以被用于產(chǎn)生下一預(yù)測畫面。多視點(diǎn)視頻解碼器500可僅對基本層比特流進(jìn)行解碼來支持具有一個(gè)解碼的視點(diǎn)的現(xiàn)有2D視頻服務(wù)。盡管在圖5的示例中顯示了僅一個(gè)增強(qiáng)層，但是如果多視點(diǎn)視頻解碼器500通過對具有不同視點(diǎn)的N增強(qiáng)層比特流以及基本層比特流進(jìn)行解碼來輸出解碼的視點(diǎn)#1 N，則多視點(diǎn)視頻解碼器500可支持多視點(diǎn)視頻服務(wù)。基于圖5的結(jié)構(gòu)，還可提供用于各種視點(diǎn)的可伸縮性特征。圖6顯示根據(jù)示例性實(shí)施例的在多視點(diǎn)視頻解碼器500中的視點(diǎn)轉(zhuǎn)換器507的結(jié)構(gòu)。參照圖6，視點(diǎn)轉(zhuǎn)換器507以MXN像素塊為單位分割畫面數(shù)據(jù)，并且逐塊順序地產(chǎn)生預(yù)測畫面。具體地講，畫面類型確定器5071根據(jù)PT確定在產(chǎn)生預(yù)測畫面中使用當(dāng)前基本層畫面、不同視點(diǎn)的當(dāng)前重建的增強(qiáng)層畫面(下文的“當(dāng)前增強(qiáng)層畫面”)還是當(dāng)前基本層畫面和先前增強(qiáng)層畫面的組合。例如，當(dāng)增強(qiáng)層在數(shù)量上是復(fù)數(shù)時(shí)，可使用利用當(dāng)前增強(qiáng)層畫面產(chǎn)生預(yù)測畫面。PT可被包括在輸入到殘余解碼器505的增強(qiáng)層比特流Q2的頭信息中，并且可由本發(fā)明示例性實(shí)施例的多視點(diǎn)視頻解碼器應(yīng)用到的系統(tǒng)的上層從頭信息獲得PT。畫面類型確定器5071根據(jù)PT來確定或使用當(dāng)前基本層畫面Q8和先前增強(qiáng)層畫面Q9的參考關(guān)系。例如，如果當(dāng)前將被解碼的增強(qiáng)層比特流Q2的PT是幀內(nèi)畫面，則可僅使用當(dāng)前基本層畫面Q8來執(zhí)行產(chǎn)生預(yù)測畫面Q6的視點(diǎn)轉(zhuǎn)換。此外，如果多個(gè)增強(qiáng)層被提供并且PT是幀內(nèi)畫面，則可使用當(dāng)前增強(qiáng)層畫面執(zhí)行用于產(chǎn)生預(yù)測畫面Q6的視點(diǎn)轉(zhuǎn)換。另外通過示例，如果增強(qiáng)層比特流Q2的PT是幀間畫面，則可使用當(dāng)前基本層畫面 Q8和先前增強(qiáng)層畫面Q9來執(zhí)行用于產(chǎn)生預(yù)測畫面Q6的視點(diǎn)轉(zhuǎn)換。熵解碼器5073對從解復(fù)用器501接收的控制信息比特流Q3進(jìn)行熵解碼，并將解碼的預(yù)測畫面的控制信息輸出到DC/MC 5075。如上所述，預(yù)測畫面的控制信息包括模式信息以及對應(yīng)于MXN像素塊的每一個(gè)的視差和運(yùn)動(dòng)信息中的至少一個(gè)。模式信息包括如下信息中的至少一個(gè)指示DC/MC 5075將在當(dāng)前MXN像素塊中使用視差向量執(zhí)行DC還是使用運(yùn)動(dòng)向量執(zhí)行MC的信息、指示DC/MC 5075將在每個(gè)MXN 像素塊中進(jìn)行選擇的視差向量或運(yùn)動(dòng)向量的數(shù)量的信息等?；陬A(yù)測畫面的控制信息，如果在編碼期間選擇的具有最小預(yù)測成本的模式是DC 模式，則DC/MC 5075通過使用在時(shí)間上與將被解碼的增強(qiáng)層的畫面相同的當(dāng)前基本層畫面的視差向量來執(zhí)行DC，來產(chǎn)生預(yù)測畫面Q6。相反，如果具有最小預(yù)測成本的模式是MC模式，則DC/MC 5075通過使用先前增強(qiáng)層畫面的運(yùn)動(dòng)向量執(zhí)行MC來產(chǎn)生預(yù)測畫面Q6?，F(xiàn)在將參照圖7和圖8來描述根據(jù)一個(gè)或多個(gè)示例性實(shí)施例的多視點(diǎn)視頻解碼方法。圖7顯示根據(jù)示例性實(shí)施例的多視點(diǎn)視頻解碼方法。在本示例性實(shí)施例中，多視點(diǎn)視頻解碼器500接收由多視點(diǎn)視頻編碼器100(例如，圖1中示出的多視點(diǎn)視頻編碼器 100)編碼的比特流。輸入比特流可由解復(fù)用器501被解復(fù)用為基本層比特流、增強(qiáng)層比特流和控制信息比特流。參照圖7，在步驟701，基本層解碼器503接收基本層比特流，并且通過使用對應(yīng)于在多視點(diǎn)視頻編碼器100的基本層編碼器101中使用的編解碼器的方案對基本層比特流進(jìn)行解碼，來重建第一視點(diǎn)的基本層畫面?；緦咏獯a器503將通過解碼重建的基本層畫面存儲(chǔ)在基本層緩沖器509中。殘余解碼器505接收當(dāng)前增強(qiáng)層畫面，并且對接收的當(dāng)前增強(qiáng)層畫面進(jìn)行殘余解碼。假設(shè)通過殘余解碼預(yù)先重建的增強(qiáng)層畫面以及由視點(diǎn)轉(zhuǎn)換器507 預(yù)先產(chǎn)生的預(yù)測畫面被加法器511預(yù)先相加，并被預(yù)先存儲(chǔ)在增強(qiáng)層緩沖器513中。在步驟703，視點(diǎn)轉(zhuǎn)換器507分別從基本層緩沖器509和增強(qiáng)層緩沖器513接收重建的基本層畫面和重建的增強(qiáng)層畫面。視點(diǎn)轉(zhuǎn)換器507通過使用重建的基本層畫面和重建的增強(qiáng)層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面，其中，關(guān)于增強(qiáng)層的輸入畫面來對該預(yù)測畫面進(jìn)行視點(diǎn)轉(zhuǎn)換。如上所述，視點(diǎn)轉(zhuǎn)換器507可使用當(dāng)前基本層畫面來產(chǎn)生預(yù)測畫面，或者使用當(dāng)前基本層畫面和增強(qiáng)層中的先前增強(qiáng)層畫面來產(chǎn)生預(yù)測畫面。在步驟705，加法器 511通過將在步驟703產(chǎn)生的預(yù)測畫面與由殘余解碼器505殘余解碼的當(dāng)前增強(qiáng)層畫面相加來重建第二視點(diǎn)的增強(qiáng)層畫面。第二視點(diǎn)的當(dāng)前重建的增強(qiáng)層畫面被存儲(chǔ)在增強(qiáng)層緩沖器513中，并且當(dāng)產(chǎn)生下一預(yù)測畫面時(shí)可被用作先前增強(qiáng)層畫面。盡管在本示例性實(shí)施例中假設(shè)增強(qiáng)層的數(shù)量是1，但是應(yīng)理解增強(qiáng)層在數(shù)量上可以是復(fù)數(shù)，以對應(yīng)于在多視點(diǎn)視頻編碼器100中的增強(qiáng)層的數(shù)量。在這種情況下，如上所述，可使用當(dāng)前基本層畫面和先前增強(qiáng)層畫面來產(chǎn)生預(yù)測畫面，或者可使用在具有與增強(qiáng)層的視點(diǎn)不同的視點(diǎn)的另一增強(qiáng)層中的當(dāng)前增強(qiáng)層畫面來產(chǎn)生預(yù)測畫面。此外，盡管在圖7的示例中順序地示出了基本層畫面的解碼和增強(qiáng)層畫面的解碼，但是應(yīng)理解可并行地執(zhí)行基本層畫面的解碼和增強(qiáng)層畫面的解碼。圖8顯示根據(jù)示例性實(shí)施例的在多視點(diǎn)視頻解碼器中執(zhí)行的視點(diǎn)轉(zhuǎn)換方法。在本示例性實(shí)施例中，在產(chǎn)生預(yù)測畫面期間處理的宏塊是16X 16像素塊，盡管應(yīng)理解此大小僅是示例性的并且另一示例性實(shí)施例不限于此。參照圖8，在步驟801，畫面類型確定器5071確定當(dāng)前將被解碼的增強(qiáng)層的輸入畫面的PT是幀內(nèi)畫面還是幀間畫面。在步驟803，熵解碼器5073根據(jù)確定的PT來執(zhí)行熵解碼。具體地講，在當(dāng)前將被解碼的增強(qiáng)層的畫面是幀間畫面時(shí)，熵解碼器5073對于每個(gè)塊對“VIEW_PRED_FLAG”、關(guān)于基于16X 16像素或基于8X8像素的視差向量或運(yùn)動(dòng)向量的使用/非使用的模式信息、以及包括視差向量信息或運(yùn)動(dòng)向量信息的預(yù)測畫面控制信息進(jìn)行熵解碼，其中，從控制信息比特流產(chǎn)生所述每個(gè)塊的預(yù)測畫面。如果當(dāng)前將被解碼的增強(qiáng)層的畫面是幀內(nèi)畫面，則熵解碼器5073可以以相同的方式對剩余預(yù)測圖像控制信息進(jìn)行熵解碼，省略“VIEW_PRED_FLAG”的解碼。解碼被省略的VIEW_PRED_FLAG可被設(shè)置為1。在步驟803的熵解碼(步驟803的熵解碼對應(yīng)于在圖4的步驟415中描述的熵編碼)中，熵解碼器5073對關(guān)于視差向量或運(yùn)動(dòng)向量的使用/非使用的模式信息進(jìn)行熵解碼，并且按照與視差向量或運(yùn)動(dòng)向量的數(shù)量相同的次數(shù)來對運(yùn)動(dòng)向量執(zhí)行熵解碼。對于視差向量或運(yùn)動(dòng)向量的解碼結(jié)果包括視差向量或運(yùn)動(dòng)向量的差值。在步驟805，熵解碼器 5073通過將差值與視差向量或運(yùn)動(dòng)向量的預(yù)測值相加來產(chǎn)生視差向量或運(yùn)動(dòng)向量，并將結(jié)果輸出到DC/MC 5075。在步驟806，DC/MC 5075接收在步驟801確定的PT以及在步驟803計(jì)算的“VIEW_ PRED_FLAG”和視差向量或運(yùn)動(dòng)向量，并且檢查“VIEW_PRED_FLAG”的值。如果在步驟806 “VIEW_PRED_FLAG” = 1，貝丨J MC/DC 5075在步驟807使用基于 16X16像素或8X8像素的視差向量從當(dāng)前基本層畫面執(zhí)行DC。如果在步驟806 "VIEff_ PRED_FLAG，，= 0，則MC/DC 5075在步驟809使用基于16 X 16像素或8 X 8像素的運(yùn)動(dòng)向量從先前增強(qiáng)層畫面執(zhí)行MC。以這種方式，“VIEW_PRED_FLAG”可指示在產(chǎn)生預(yù)測畫面的處理中參考基本層畫面和增強(qiáng)層畫面中的哪個(gè)。如果已經(jīng)完成了對于一個(gè)塊的DC或MC，則視點(diǎn)轉(zhuǎn)換器507在步驟811轉(zhuǎn)到下一塊，從而對當(dāng)前將被解碼的增強(qiáng)層的畫面的每一塊執(zhí)行步驟801至809。在先前描述中，已經(jīng)通過示例來描述具有單個(gè)增強(qiáng)層的多視點(diǎn)視頻編碼器和解碼器。應(yīng)理解當(dāng)具有N(其中，N是大于或等于3的自然數(shù))個(gè)視點(diǎn)的多視點(diǎn)視頻服務(wù)被提供時(shí)，多視點(diǎn)視頻編碼器和解碼器可被擴(kuò)展為具有根據(jù)如分別在圖9和圖10中顯示的其他示例性實(shí)施例的N個(gè)增強(qiáng)層。圖9顯示根據(jù)另一示例性實(shí)施例的具有N個(gè)增強(qiáng)層的多視點(diǎn)視頻編碼器900的示例性結(jié)構(gòu)，圖10顯示根據(jù)另一示例性實(shí)施例的具有N個(gè)增強(qiáng)層的多視點(diǎn)視頻解碼器1000 的示例性結(jié)構(gòu)。參照圖9，多視點(diǎn)視頻編碼器900包括對應(yīng)于N個(gè)增強(qiáng)層的第一至第N增強(qiáng)層編碼塊^o1 900n。第一至第ν增強(qiáng)層編碼塊^o1 900N在結(jié)構(gòu)上相同或類似，并且第一至第N增強(qiáng)層編碼塊QOO1 900n的每一個(gè)使用根據(jù)示例性實(shí)施例的視點(diǎn)轉(zhuǎn)換的預(yù)測畫面來對其相關(guān)增強(qiáng)層的輸入畫面進(jìn)行編碼。每個(gè)增強(qiáng)層編碼塊輸出上述控制信息比特流和增強(qiáng)層比特流，作為其相關(guān)增強(qiáng)層(901)的編碼結(jié)果。增強(qiáng)層編碼塊與在圖1中描述的結(jié)構(gòu)和操作相同或類似，并且因此這里省略對其的詳細(xì)描述。參照圖10，多視點(diǎn)視頻解碼器1000包括對應(yīng)于N個(gè)增強(qiáng)層的第一至第N增強(qiáng)層解碼塊IOOO1 1000N。第一至第N增強(qiáng)層解碼塊IOOO1 IOOOn在結(jié)構(gòu)上相同或類似，并且第一至第N增強(qiáng)層解碼塊IOOO1 IOOOn的每一個(gè)使用根據(jù)示例性實(shí)施例的視點(diǎn)轉(zhuǎn)換的預(yù)測畫面來對其相關(guān)增強(qiáng)層比特流進(jìn)行解碼。每個(gè)增強(qiáng)層解碼塊接收上述控制信息比特流和增強(qiáng)層比特流來對其相關(guān)增強(qiáng)層畫面1001進(jìn)行解碼。增強(qiáng)層解碼塊與圖5中描述的結(jié)構(gòu)和操作相同或類似，并且因此在這里省略對其進(jìn)行的詳細(xì)描述。盡管圖9的多視點(diǎn)解碼編碼器900和圖10的多視點(diǎn)解碼解碼器1000的每一個(gè)在產(chǎn)生預(yù)測畫面期間在每個(gè)增強(qiáng)層中使用重建的基本層畫面P4，但是應(yīng)該理解多視點(diǎn)視頻編碼器900和解碼器1000可適用于使用與相關(guān)增強(qiáng)層的視點(diǎn)不同的視點(diǎn)的當(dāng)前重建的增強(qiáng)層，而不在產(chǎn)生預(yù)測畫面期間在每個(gè)增強(qiáng)層中使用重建的基本層畫面P4。在這種情況下， 當(dāng)在增強(qiáng)層η中產(chǎn)生預(yù)測畫面時(shí)，多視點(diǎn)視頻編碼器900和解碼器1000可適用于在增強(qiáng)層 η-1中使用當(dāng)前重建的增強(qiáng)層畫面，替換重建的基本層畫面Ρ4，或者當(dāng)在增強(qiáng)層η中產(chǎn)生預(yù)測畫面時(shí)，多視點(diǎn)視頻編碼器900和解碼器1000可適用于在增強(qiáng)層η-1和η+1中的每一個(gè)中使用重建的畫面。盡管不限制于此，示例性實(shí)施例還可實(shí)現(xiàn)為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀記錄介質(zhì)是可存儲(chǔ)其后可由計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、CD-ROM、磁帶、軟盤和光學(xué)數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀記錄介質(zhì)還可分布在網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)，從而計(jì)算機(jī)可讀代碼以分布式方式被存儲(chǔ)和執(zhí)行。此外，示例性實(shí)施例可被編寫為通過計(jì)算機(jī)可讀傳輸介質(zhì)(諸如載波)傳輸?shù)挠?jì)算機(jī)程序，并且在執(zhí)行程序的通用或?qū)Ｓ脭?shù)字計(jì)算機(jī)中被接收和執(zhí)行。此外，盡管不是在所有方面被需要，但是編碼器100、900和解碼器500、 1000的一個(gè)或多個(gè)單元可包括執(zhí)行存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序的處理器或微處理器。盡管已經(jīng)參照特定示例性實(shí)施例顯示和描述了發(fā)明構(gòu)思的各方面，但是本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫離由權(quán)利要求及其等同物限定的本發(fā)明構(gòu)思的精神和范圍的情況下，可以對其進(jìn)行形式和細(xì)節(jié)上的各種改變。
權(quán)利要求
1.一種用于提供多視點(diǎn)視頻服務(wù)的多視點(diǎn)視頻編碼方法，所述多視點(diǎn)視頻編碼方法包括使用任意視頻編解碼器來對基本層畫面進(jìn)行編碼；使用重建的基本層畫面和重建的層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面，其中，從編碼的基本層畫面重建所述重建的基本層畫面，所述重建的層畫面對應(yīng)于與基本層畫面的視點(diǎn)不同的視點(diǎn)；使用產(chǎn)生的預(yù)測畫面對與所述不同的視點(diǎn)對應(yīng)的層畫面進(jìn)行殘余編碼。
2.如權(quán)利要求1所述的多視點(diǎn)視頻編碼方法，其中，產(chǎn)生預(yù)測畫面的步驟包括根據(jù)畫面類型來產(chǎn)生預(yù)測畫面。
3.如權(quán)利要求1所述的多視點(diǎn)視頻編碼方法，其中基本層畫面的視點(diǎn)是三維3D圖像的左視點(diǎn)，所述層畫面的視點(diǎn)是3D圖像的右視點(diǎn)，或者層畫面的視點(diǎn)是右視點(diǎn)，基本層畫面的視點(diǎn)是左視點(diǎn)。
4.如權(quán)利要求1所述的多視點(diǎn)視頻編碼方法，其中，對層畫面進(jìn)行殘余編碼的步驟包括通過從層畫面減去產(chǎn)生的預(yù)測畫面來獲得畫面數(shù)據(jù)；對獲得的畫面數(shù)據(jù)進(jìn)行殘余編碼。
5.一種用于提供多視點(diǎn)視頻服務(wù)的多視點(diǎn)視頻編碼設(shè)備，所述多視點(diǎn)視頻編碼設(shè)備包括基本層編碼器，使用任意視頻編解碼器來對基本層畫面進(jìn)行編碼； 視點(diǎn)轉(zhuǎn)換器，使用重建的基本層畫面和重建的層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面， 其中，從編碼的基本層畫面重建所述重建的基本層畫面，所述重建的層畫面對應(yīng)于與基本層畫面的視點(diǎn)不同的視點(diǎn)；殘余編碼器，使用產(chǎn)生的預(yù)測畫面對與所述不同的視點(diǎn)對應(yīng)的層畫面進(jìn)行殘余編碼。
6.一種用于提供多視點(diǎn)視頻服務(wù)的多視點(diǎn)視頻解碼方法，所述多視點(diǎn)視頻解碼方法包括使用任意視頻編解碼器來重建基本層畫面；通過使用重建的基本層畫面和重建的層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面，其中，所述重建的層畫面對應(yīng)于與基本層畫面的視點(diǎn)不同的視點(diǎn)；使用殘余解碼的層畫面和產(chǎn)生的預(yù)測畫面來重建對應(yīng)于所述不同視點(diǎn)的層畫面。
7.如權(quán)利要求1所述的多視點(diǎn)視頻編碼方法或如權(quán)利要求6所述的多視點(diǎn)視頻解碼方法，其中，產(chǎn)生預(yù)測畫面的步驟包括根據(jù)指示重建的基本層畫面和重建的層畫面中的哪個(gè)將被用于產(chǎn)生預(yù)測畫面的標(biāo)志信息來產(chǎn)生預(yù)測畫面。
8.如權(quán)利要求1所述的多視點(diǎn)視頻編碼方法或如權(quán)利要求6所述的多視點(diǎn)視頻解碼方法，其中，產(chǎn)生預(yù)測畫面的步驟包括當(dāng)重建的基本層畫面用于產(chǎn)生預(yù)測畫面時(shí)，從重建的基本層畫面執(zhí)行視差補(bǔ)償DC。
9.如權(quán)利要求1所述的多視點(diǎn)視頻編碼方法或如權(quán)利要求6所述的多視點(diǎn)視頻解碼方法，其中，產(chǎn)生預(yù)測畫面的步驟包括當(dāng)重建的層畫面用于產(chǎn)生預(yù)測畫面時(shí)，從重建的層畫面執(zhí)行運(yùn)動(dòng)補(bǔ)償MC。
10.如權(quán)利要求1所述的多視點(diǎn)視頻編碼方法或如權(quán)利要求6所述的多視點(diǎn)視頻解碼方法，其中，產(chǎn)生預(yù)測畫面的步驟包括當(dāng)畫面類型是幀內(nèi)畫面時(shí)，使用視差向量產(chǎn)生預(yù)測畫面；當(dāng)畫面類型是幀間畫面時(shí)，使用運(yùn)動(dòng)向量產(chǎn)生預(yù)測畫面。
11.一種用于提供多視點(diǎn)視頻服務(wù)的多視點(diǎn)視頻解碼設(shè)備，所述多視點(diǎn)視頻解碼設(shè)備包括基本層解碼器，使用任意視頻編解碼器來重建基本層畫面；視點(diǎn)轉(zhuǎn)換器，使用重建的基本層畫面和重建的層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面， 其中，所述重建的層畫面對應(yīng)于與基本層畫面的視點(diǎn)不同的視點(diǎn)；殘余解碼器，對與所述不同視點(diǎn)對應(yīng)的層畫面進(jìn)行殘余解碼；組合器，通過將產(chǎn)生的預(yù)測畫面與殘余解碼的層畫面相加來重建與所述不同的視點(diǎn)對應(yīng)的層畫面。
12.如權(quán)利要求1所述的多視點(diǎn)視頻編碼方法、如權(quán)利要求5所述的多視點(diǎn)視頻編碼設(shè)備、如權(quán)利要求6所述的多視點(diǎn)視頻解碼方法或者如權(quán)利要求11所述的多視點(diǎn)視頻解碼設(shè)備，其中，重建的層畫面是預(yù)先重建的層畫面。
13.如權(quán)利要求1所述的多視點(diǎn)視頻編碼方法、如權(quán)利要求5所述的多視點(diǎn)視頻編碼設(shè)備、如權(quán)利要求6所述的多視點(diǎn)視頻解碼方法或者如權(quán)利要求11所述的多視點(diǎn)視頻解碼設(shè)備，其中，重建的層畫面是當(dāng)前重建的層畫面。
14.如權(quán)利要求5所述的多視點(diǎn)視頻編碼設(shè)備或者如權(quán)利要求11所述的多視點(diǎn)視頻解碼設(shè)備，其中，視點(diǎn)轉(zhuǎn)換器包括視差補(bǔ)償器，當(dāng)重建的基本層畫面用于產(chǎn)生預(yù)測畫面時(shí)，從重建的基本層畫面執(zhí)行視差補(bǔ)償DC。
15.如權(quán)利要求5所述的多視點(diǎn)視頻編碼設(shè)備或者如權(quán)利要求11所述的多視點(diǎn)視頻解碼設(shè)備，其中，視點(diǎn)轉(zhuǎn)換器根據(jù)指示重建的基本層畫面和重建的層畫面中的哪個(gè)將用于產(chǎn)生預(yù)測畫面的標(biāo)志信息，來產(chǎn)生預(yù)測畫面。
16.如權(quán)利要求5所述的多視點(diǎn)視頻編碼設(shè)備或者如權(quán)利要求11所述的多視點(diǎn)視頻解碼設(shè)備，其中，視點(diǎn)轉(zhuǎn)換器包括運(yùn)動(dòng)補(bǔ)償器，當(dāng)重建的層畫面被用于產(chǎn)生預(yù)測畫面時(shí)，從重建的層畫面執(zhí)行運(yùn)動(dòng)補(bǔ)償MC。
17.如權(quán)利要求1所述的多視點(diǎn)視頻編碼方法、如權(quán)利要求5所述的多視點(diǎn)視頻編碼設(shè)備、如權(quán)利要求6所述的多視點(diǎn)視頻解碼方法或者如權(quán)利要求11所述的多視點(diǎn)視頻解碼設(shè)備，其中，如果多視點(diǎn)系統(tǒng)執(zhí)行與多個(gè)不同視點(diǎn)相應(yīng)的多個(gè)層畫面，則多個(gè)預(yù)測畫面被產(chǎn)生以對應(yīng)于所述多個(gè)層畫面。
18.如權(quán)利要求5所述的多視點(diǎn)視頻編碼設(shè)備或者如權(quán)利要求11所述的多視點(diǎn)視頻解碼設(shè)備，其中，當(dāng)畫面類型是幀內(nèi)畫面時(shí)，視點(diǎn)轉(zhuǎn)換器使用視差向量來產(chǎn)生預(yù)測畫面，而當(dāng)畫面類型是幀間畫面時(shí)，視點(diǎn)轉(zhuǎn)換器使用運(yùn)動(dòng)向量來產(chǎn)生預(yù)測畫面。
19.一種記錄有可由用于執(zhí)行權(quán)利要求1所述的方法的計(jì)算機(jī)執(zhí)行的程序的計(jì)算機(jī)可讀記錄介質(zhì)。
20.一種記錄有可由用于執(zhí)行權(quán)利要求6所述的方法的計(jì)算機(jī)執(zhí)行的程序的計(jì)算機(jī)可讀記錄介質(zhì)。
21.一種多視點(diǎn)視頻提供系統(tǒng)，包括多視點(diǎn)視頻編碼設(shè)備和多視點(diǎn)視頻解碼設(shè)備，所述多視點(diǎn)視頻編碼設(shè)備包括基本層編碼器，使用任意視頻編解碼器來對基本層畫面進(jìn)行編碼；視點(diǎn)轉(zhuǎn)換器，使用重建的基本層畫面和重建的層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面， 其中，從編碼的基本層畫面重建所述重建的基本層畫面，所述重建的層畫面對應(yīng)于與基本層畫面的視點(diǎn)不同的視點(diǎn)；殘余編碼器，使用產(chǎn)生的預(yù)測畫面對與所述不同的視點(diǎn)對應(yīng)的層畫面進(jìn)行殘余編碼； 復(fù)用器，將編碼的基本層畫面和殘余編碼的層畫面復(fù)用為比特流，并輸出該比特流， 所述多視點(diǎn)視頻解碼設(shè)備包括解復(fù)用器，接收輸出比特流，并將輸出比特流解復(fù)用為基本層比特流和層比特流； 基本層解碼器，使用對應(yīng)于任意視頻編解碼器的視頻編解碼器從基本層比特流重建基本層畫面；視點(diǎn)轉(zhuǎn)換器，使用重建的基本層畫面和重建的層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面， 其中，所述重建的層畫面對應(yīng)于所述不同視點(diǎn)；殘余解碼器，對層比特流進(jìn)行殘余解碼以輸出殘余解碼的層畫面； 組合器，通過將產(chǎn)生的預(yù)測畫面與殘余解碼的層畫面相加來重建與所述不同的視點(diǎn)對應(yīng)的層畫面。
全文摘要
提供了一種用于提供多視點(diǎn)視頻服務(wù)的多視點(diǎn)視頻編碼方法和設(shè)備以及多視點(diǎn)視頻解碼方法和設(shè)備。多視點(diǎn)視頻編碼方法包括使用任意視頻編解碼器來對基本層畫面進(jìn)行編碼；使用重建的基本層畫面和重建的層畫面中的至少一個(gè)來產(chǎn)生預(yù)測畫面，其中，所述重建的層畫面具有與基本層畫面的視點(diǎn)不同的視點(diǎn)；使用預(yù)測畫面對具有所述不同的視點(diǎn)的層畫面進(jìn)行殘余編碼。
文檔編號(hào)H04N13/00GK102577376SQ201080032420
公開日2012年7月11日 申請日期2010年7月19日 優(yōu)先權(quán)日2009年7月17日
發(fā)明者崔雄一, 樸慜祐, 趙大星 申請人:三星電子株式會(huì)社