專利名稱：針對多視角視頻內容的運動跳躍和單環(huán)路編碼的制作方法
技術領域：
本發(fā)明的示例性實施方式一般涉及視頻編碼，更具體地，本發(fā)明涉及針對多視角 視頻內容的視頻編碼。
背景技術：
本部分意在為權利要求書中闡述的本發(fā)明提供背景或上下文。此處的描述可以包 括可被探究的原理，但是這些原理并不必須是以前已經(jīng)構思過或者探究過的那些。因此，除 非在此指出，否則在本部分中所描述的并不是本申請說明書和權利要求書的現(xiàn)有技術，也 不因為包括在此部分中就承認是現(xiàn)有技術。視頻編碼標準包括ITU-T H. 261、IS0/IEC運動圖片專家組(MPEG)-I Visual、 ITU-T H. 262 或 IS0/IEC MPEG-2 Video、ITU-TH. 263、IS0/IEC MPEG-4 Visual 和 ITU-T H. 264(也稱為IS0/IECMPEG-4高級視頻編碼(AVC))。另外，當前正在努力開發(fā)新的視頻編 碼標準。正在開發(fā)的一個這種標準是可伸縮視頻編碼(SVC)標準，其將成為對H.264/AVC 的可伸縮擴展。另一正在開發(fā)的這種標準是多視角視頻編碼(MVC)標準，其將成為H. 264/ AVC的另一種擴展。在多視角視頻編碼中，從不同照相機輸出的視頻序列被編碼成一個比特流，其中 每個視頻序列對應于不同的視角。在解碼之后，為了顯示特定視角，重建屬于該視角的已解 碼圖片并進行顯示。還有可能對不止一個視角進行重建和顯示。多視角視頻編碼具有廣 泛的應用，包括自由視點視頻/電視、3D TV和監(jiān)視應用。目前，IS0/IEC運動圖片專家組 (MPEG)和ITU-T視頻編碼專家組的聯(lián)合視頻組(JVT)正在從事開發(fā)MVC標準的工作，其正 成為H. 264/AVC的擴展。這些標準在此分別稱為MVC和AVC。MVC的最新工作草案在2007年6_7月于瑞士日內瓦舉辦的第24次JVT會議中提出 的 JVT-X209，“Joint Draft 4.0 on MultiviewVideo Coding”中講行了描沭,其可從 ftp3. itu. ch/av-arch/ivt-site/2007 06 Geneva/.TVT-X209. zip 得到。除了在 MVC 的工作草案 中定義的特征之外，其他潛在的特征，尤其是關注于編碼工具的那些特征在聯(lián)合多視角視 頻模型(JMVM)中進行了描述。最新版本的JMVM在2007年6-7月于瑞士日內瓦舉辦的第 24 次 JVT 會議中提出的 JVT-X207，“Joint Multiview Video Model (JMVM) 5· 0” 中進行了 描述，其可從 fto3. itu. ch/av-arch/ivt-site/2007 06 Geneva/.TVT-X207. zip 得到。圖1是示出了典型的MVC解碼順序(也即，比特流順序)的表示。解碼順序安排 稱為時間優(yōu)先編碼。每個存取單元定義為包含針對一個輸出時間實例的所有視角的編碼圖 片。應當注意，存取單元的解碼順序可以與輸出順序或顯示順序不相同。圖2中示出了用 于多視角視頻編碼的典型的MVC預測(包括每個視角內的圖片間預測和視角間預測二者) 結構。在圖2中，通過箭頭指示預測，其中每個被指向的對象使用相應的來源對象作為預測 參考。傳統(tǒng)上，在MVC中使用多環(huán)路解碼。在多環(huán)路解碼中，為了解碼目標視角，除了目 標視角本身之外，還需要利用運動補償環(huán)路對目標視角進行視角間預測所需的每個視角進行完全的重建。例如，如果只輸出視角1(圖2中示出為Si)，則視角0和視角2中的所有 圖片必須被完全地重建。多環(huán)路解碼相比于單視角編碼(其中每個視角使用例如H. 264/ AVC獨立地編碼成其自己的比特流)需要多得多的計算和存儲器。這是因為，在多環(huán)路解碼 中，屬于其他視角但卻是視角間預測所需要的所有圖片必須被完全地重建并且存儲在解碼 圖片緩存器中。在MVC聯(lián)合草案(JD)4. 0中，在序列參數(shù)集合(SPS)MVC擴展中規(guī)定了視角依賴關 系。針對錨圖片和非錨圖片的依賴關系是單獨規(guī)定的。因此，錨圖片和非錨圖片可以具有 不同的視角依賴關系。然而，對于參考相同SPS的圖片集合，所有錨圖片必須具有相同的視 角依賴關系，而且所有非錨圖片必須具有相同的視角依賴關系。在SPS MVC擴展中，針對在 RefPicListO和RefPicListl中用作參考圖片的視角，用信號單獨發(fā)送給各依賴視角。存在多個僅需要輸出編碼視角的子集的用例。這些特定視角稱為目標視角或輸出 視角。目標視角可以依賴于其他視角，這些其他視角不是用于輸出，或者說不是用于解碼 的。目標視角所依賴的但是不用于輸出的這些特定視角稱為依賴視角。由圖片P使用于視角間預測的圖片稱為圖片P的視角間參考圖片。視角間參考 圖片可以屬于目標視角或依賴視角。盡管按照在SPSMVC擴展中用信號發(fā)送的視角依賴關 系，一個視角被其他視角所依賴，但是在一個視角中的特定圖片可能從來不會用于視角間 預測。在JD 4.0中，在網(wǎng)絡提取層(NAL)單元報頭中存在視角間標志(inter_View_flag)， 其指示包含此NAL單元的圖片是否用于其他視角中的圖片的視角間預測?？梢栽趦蓚€方向上用信號發(fā)送依賴視角。這些方向對應于兩個參考圖片列表的 視角間預測參考圖片，這兩個參考圖片列表即第一參考圖片列表RefPicLiStO,也稱為前 向參考圖片列表，和第二參考圖片列表RefPicListl，也稱為后向參考圖片列表。對應于 RefPicListO的依賴視角稱為前向依賴視角，而對應于RefPicListl的依賴視角稱為后向 依賴視角。就圖2中所示的示例而言，視角0是視角1的前向依賴視角，而視角2是視角1 的后向依賴視角。在MVC JD 4.0中，僅紋理預測支持視角間預測(也即，僅重建的樣本值可以用于 視角間預測)，并且僅僅那些與當前圖片相同輸出時間實例的重建圖片用于視角間預測。如 此處所討論的，MVC JD4.0中傳統(tǒng)的視角間預測稱為視角間樣本預測。作為JMVM中的編碼工具，運動跳躍根據(jù)視角間參考圖片來預測宏塊(MB)模式和 運動矢量，并且其僅應用于非錨圖片。在編碼期間，當對錨圖片進行編碼時，估計全局視差 運動矢量(GDMV)，繼而導出用于非錨圖片的GDMV，使得用于非錨圖片的GDMV是根據(jù)兩個相 鄰錨圖片的GDMV的加權平均。GDMV具有16像素精度，也即，對于當前圖片(即正被編碼或 解碼的圖片)中的任何MB，按照GDMV在視角間參考圖片中移動的對應區(qū)域剛好覆蓋視角間 參考圖片中的一個MB。出于簡化目的，集合術語“同位(co-located)塊”在此用于描述運動視差補償后， 視角間參考圖片中對應的4 X 4、8 X 4、4 X 8塊或8 X 8MB分區(qū)。在一些情況下，術語“同位 MB分區(qū)”用于描述對應的MB分區(qū)，而術語“同位MB”用于描述對應的MB。正常情況下，來自第一前向依賴視角的圖片用作運動跳躍視角間參考圖片。然而， 如果第一前向依賴視角的圖片中的同位MB是幀內編碼的，那么考慮另一候選，來自第一后 向依賴視角的圖片的同位MB(如果存在的話)。如果這兩個MB都是幀內編碼的，那么不能使用運動跳躍來對當前的MB進行編碼。圖3中示出了運動跳躍的一個示例，其中視角0是依賴視角，視角1是將要被輸出 和顯示的目標視角(在圖3中標記為“當前解碼視角”)。利用視差運動，當對視角1中的 諸多MB進行解碼時，定位視角0中對應的MB，并且將它們的模式和運動矢量被重復用作針 對視角1中的各MB的MB模式和運動矢量。視角間樣本預測對應于多環(huán)路解碼，因為其需 要針對用于視角間樣本預測的視角間參考圖片進行運動補償，而與之不同，運動跳躍本身 并不需要對用于運動跳躍的視角間參考圖片進行運動補償。然而，在當前的MVC標準草案 中，由于視角間樣本預測和運動跳躍同時存在，因此需要多環(huán)路解碼。在H. 264/AVC的擴展版本(也稱為SVC)中支持單環(huán)路解碼(SLD)。在2007年 6-7月于瑞士日內瓦舉辦的第24次JVT會議中提出的JVT-X201，“ Joint Draft 11 of SVC Amendment”中描述了 SVC 規(guī)范，該文檔可從 ftp3. itu. ch/av-arch/ ivt-site/2007 06 GeneVa/.TVT-X201.ziD得到。SVC中SLD的基本概念如下。為了對依賴于多個較低層的目標 層進行解碼，僅需要對目標層本身進行完全解碼。對于較低層，僅需要對幀內MB進行解析 和解碼。SVC中的SLD僅需要目標層處的運動補償。因而，SLD提供了顯著的復雜度降低。 而且，由于較低層不需要運動補償，并且在解碼圖片緩存器(DPB)中不需要存儲樣本值，因 此解碼器存儲需求相比于多環(huán)路解碼得以明顯降低，而在多環(huán)路解碼中，正如在早期視頻 編碼標準的可擴展簡檔中一樣，在每一層中都需要運動補償和完全解碼。同樣原理可應用 于WC,從而僅對目標視角進行完全解碼。以下是對H. 264/AVC中選擇的特征的討論。在H. 264/AVC中，片(slice)中的各 MB可以具有用于幀間預測的不同參考圖片。用于特定MB或MB分區(qū)的參考圖片選自參考圖 片列表，所述參考圖片列表提供針對解碼圖片緩存器中可用的并且用于預測參考的解碼圖 片的索引。針對每個MB或MB分區(qū)以及每個預測方向，用信號發(fā)送參考索引以指派用于幀 間預測的參考圖片。H. 264/AVC中的參考圖片列表構造可以描述如下。首先，構造包括所有短期和長期 參考圖片的初始參考圖片列表，這些參考圖片標記為“用于參考”。然后在片報頭包含參考 圖片列表重排序(RPLR)命令時，執(zhí)行參考圖片列表重排序。RPLR過程可以將參考圖片重新 排序成與初始列表中的順序不同的順序。在重新排序之后，初始列表和最終列表二者都只 包含由片報頭中的語法元素或由該片所參考的圖片參數(shù)集合所指示的特定數(shù)目的條目。在H. 264/AVC中，每個圖片編碼成一個或多個片，其可以包括五種片類型一1、SI、 P、SP或B。I片中的MB被編碼為幀內MB。P片或B片中的MB被編碼為幀內MB或幀間MB。 P片中的每個幀間MB是一個P間MB或由P間MB分區(qū)構成。B片中的每個幀間MB是一個 P間MB或一個B間MB，或者由P間MB分區(qū)或B間MB分區(qū)構成。對于P間MB或MB分區(qū)， 可以使用僅來自一個方向的預測。對于B間MB或MB分區(qū)，可以使用來自兩個方向的預測， 其中對來自兩個參考圖片的兩個預測塊進行樣本加權以得到最終的預測MB或MB分區(qū)。對于P片中的P間MB或MB分區(qū)，唯一的預測方向來自RefPicListO。來自 RefPicListO的預測稱為前向預測，盡管參考幀在顯示順序上可以是在當前圖片之前 或之后。對于B片中的P間MB或MB分區(qū)，唯一的預測方向可以來自RefPicListO或 RefPicListl0當預測來自RefPicListO時，其稱為前向預測。否則，其稱為后向預測。當MB或MB分區(qū)具有僅來自RefPicListO的參考索引時，其參考狀態(tài)定義為前向預測。當MB或MB分區(qū)具有僅來自RefPicListl的參考索引時，其參考狀態(tài)定義為后向預 測。當MB或MB分區(qū)具有來自RefPicListO和RefPicListl 二者的兩個參考索引時，其參 考狀態(tài)定義為雙向預測。對于任何MB或MB分區(qū)，取決于編碼模式，其參考狀態(tài)可以是以下之一 (a)幀內， (b)B間(雙向預測)，(C)P間前向預測以及(d)P間后向預測。此處第一狀態(tài)指示為非法， 其他三個狀態(tài)指示是合法的。對于每個MB，MB可以被編碼為幀內MB或幀間MB。當對MB進行幀間編碼時，其可 以被進一步劃分為MB分區(qū)，其大小可以為16X 16、16X8、8X 16或8X8，如圖4上部分所 示。每個MB或MB分區(qū)共享相同的參考狀態(tài)和相同的參考索引(若為雙向預測，則有多個 索引)。此外，每個MB或MB分區(qū)可以劃分為8 X 8、8 X 4、4 X 8或4 X 4的塊(或子宏塊分 區(qū))，如圖4下部分所示。每個塊中的樣本共享相同的運動矢量(或者針對雙向預測為2個 運動矢量，針對一個方向存在一個運動矢量)。迄今開發(fā)的所有基于H. 264/AVC或兼容的 標準都遵循此層級化MB分區(qū)，因為其將使得針對運動補償部分的硬件設計模塊可應用于 H. 264/AVC的擴展標準。對于每個MB、MB分區(qū)或4X4塊，如果使用來自RefPicListX的幀間預測，則此MB、 MB分區(qū)或4X4塊標記為“使用ListX”(其中X是0或1)。否則，此MB、MB分區(qū)或4X4塊 標記為“未使用ListX”。JMVM中傳統(tǒng)的運動跳躍方法基于全局視差運動，并且全局視差運動在水平和垂直 兩個方向上均具有16像素的精度。利用16像素精度的全局視差運動，直接復制完整MB的 模式和運動矢量，使得此信息不需要逐塊地來計算。然而，全局視差運動的精度影響運動跳 躍的性能，因為全局視差運動的精度越高，將導致越有效的運動跳躍，由此導致更高的編碼 效率。通常此全局運動可以通過圖像配準算法來找出，其中位移是優(yōu)化問題的解。當使用 8像素精度時，在位移的每個方向(χ軸或y軸)上，一個單位對應于8個像素。因此，各同 位MB與視角間參考圖片中8X8塊的邊界對準。當使用4像素精度時，在位移的每個方向 (χ軸或y軸)上，一個單位對應于4個像素。因此，各同位MB與視角間參考圖片中4X4塊 的邊界對準。測試序列的一個測試涉及針對同一時間實例內但是來自不同視角的圖片對，搜索 具有4像素精度的最優(yōu)位移。在此測試中，具有導致MB邊界對準的最優(yōu)位移(χ軸和y軸 上的位移值可以被4整除)的圖片對的百分比大約為20%。這表示，基于4像素精度的配 準可以提供比基于16像素精度的配準更好的配準性能。在H. 264/AVC中，運動場中的運動矢量可以分配給每個4X4塊，也即，運動場的樣 本具有4像素的精度。因此，視差運動(其目的在于重復使用來自視角間參考圖片的運動 矢量)可以適宜地具有相同的精度。當運動視差具有4像素精度并且假設運動視差值的每個單位代表4個像素時，當 前圖片中的每個8 X 8MB分區(qū)可以定位到4個8 X 8MB分區(qū)中(例如，如圖5和圖6所示)、1 個8X8MB分區(qū)中(例如，如圖7所示)或者2個8X8MB分區(qū)中(例如，如圖8所示)。第 一情形中運動視差的值與(1，1)是模2同余的，第二情形中這些值與(0，0)是模2同余的， 而第三情形中這些值與(1，0)或(0，1)是模2同余的。正如在此所使用的那樣并且除非明 確指出，否則MB分區(qū)默認是指8 X 8MB分區(qū)，而塊默認是指4X 4 土夬。
當視差運動具有4像素精度時，可能產(chǎn)生多個問題。在B片中，按照H. 264/AVC層 級化宏塊分區(qū)，每個MB分區(qū)中的所有塊必須同時被前向預測(“使用ListO”但是“未使用 Listl”)、后向預測(“使用Listl”但是“未使用ListO”)或雙向預測(“使用ListO”且 “使用Listl”)。然而，如果視差矢量與(1，1)模2同余，則同位MB分區(qū)可能打破此規(guī)則。 例如如圖5所示，同位MB分區(qū)的四個同位塊屬于四個分別進行了后向預測、前向預測、雙向 預測和雙向預測的MB分區(qū)。附加地，當使用多個參考圖片時，MB分區(qū)可能具有不同的參考索引并且參考不同 的參考圖片。如圖6所示，如果視差矢量與(1，1)模2同余，那么存在來自視角間參考圖片 的四個MB分區(qū)，其覆蓋了同位MB中的左上同位MB分區(qū)。這些8 X 8MB分區(qū)可以具有不同 的參考索引。例如，如圖6所示，在前向預測方向上，參考索引可以分別是0、1、2和0。然 而，按照H. 264/AVC層級化宏塊分區(qū)，無論何時“使用ListX”(其中X為0或1)，在H. 264/ AVC中幀間MB的8X8MB分區(qū)中的塊都只可能具有針對一個預測方向的相同參考索引。而且，如果視差矢量與(0，0)模2同余，并且視差矢量與8X8塊(或者說MB分 區(qū))邊界對準，則可能出現(xiàn)這樣的情況同位MB中的一個或多個同位MB分區(qū)對應于來自針 對運動跳躍所考慮的視角間參考圖片的幀內MB中的像素。例如如圖7所示，當前MB的右上 8 X 8MB分區(qū)對應于幀內MB中的像素。因此，不能使用運動跳躍，因為沒有可供右上8 X 8MB 分區(qū)復制的運動信息。當視差運動矢量具有8像素精度(其中視差運動矢量的每個單位表 示8個像素)并且值不與(0，0)模2同余時，也存在這一問題。除以上之外，針對運動跳躍信令還存在多個問題。例如，對于依賴視角中的圖片， 根據(jù)視角依賴關系可以確定其可以用作視角間參考圖片。然而，不能知曉其是否用于視角 間樣本預測或用于運動跳躍。NAL單元報頭中的視角間標志(inter_View_flag)指示圖片 是否被任何其他視角用于視角間樣本預測。如果依賴視角圖片僅用于運動跳躍，則不需要 重建樣本值，其中如果圖片是幀間編碼的，則樣本值的重建需要運動補償。因而，解碼器常 規(guī)上仍然必須對圖片進行完全解碼并且存儲已解碼圖片，即使該圖片僅用于運動跳躍。這 導致了較高的復雜度和額外的存儲器使用。此外，盡管有些片可以受益于運動跳躍，但是其他片可能不能從中受益。然而，在 傳統(tǒng)的JMVM布置中，每個MB需要指示來指明在該MB中是否使用運動跳躍。這不必要地浪 費了比特并且降低了編碼效率。而且，傳統(tǒng)的JMVM布置僅用信號發(fā)送錨圖片處的全局視差運動，這引起多個其自 身的問題。這些問題包括(1)事實上最優(yōu)視差可能隨圖片而變化，因而推導出的視差可能 并非對于所有圖片都是最優(yōu)的；以及(2)用于錨圖片的視角間參考圖片可能不同于用于非 錨圖片的那些視角間參考圖片，這意味著，對于特定非錨圖片，在兩個相鄰錨圖片中針對視 角間參考圖片而用信號發(fā)送的視差運動即使在加權之后也可能不適用。更進一步地，對于特定MVC比特流，針對所有非錨圖片，如果基于依賴視角的視角 間預測僅包含運動跳躍，也即，沒有視角間樣本預測，則依賴視角不需要在非錨圖片處進行 完全重建。相反，可以簡單地對依賴視角中的非錨圖片進行解析以獲取MB模式和用于運動 跳躍的運動信息。然而，在傳統(tǒng)布置中，解碼器并不知道有可能是單環(huán)路解碼。除上述內容之外，當前的運動跳躍基于全局視差運動。然而，在實踐中，兩個視角 之間的最優(yōu)轉換可能是非線性的，并且具有不同深度和不同位置的對象可能需要不同的視差。在有些具有從一個小區(qū)域到另一個區(qū)域快速變化的運動行為的序列中，對于每個MB而 言全局視差不夠精確。因此，從編碼效率的角度看，運動跳躍編碼系統(tǒng)是次優(yōu)的。

發(fā)明內容
通過使用本發(fā)明的示例性實施方式，解決了前述和其他問題，并且實現(xiàn)了其他優(yōu)勢。在本發(fā)明示例性實施方式的第一方面中，提供一種方法，包括將第一輸入圖片序 列和第二輸入圖片序列編碼到比特流中，其中第一輸入圖片序列的第一輸入圖片可以或者 可以不旨在用于輸出，并且其中第二輸入圖片序列的第二輸入圖片旨在用于輸出；包括指 示視差運動的視差信號指示；使用運動推導方法、按照所述視差運動從第一輸入圖片推導 出至少一個運動矢量；以及在對第二輸入圖片的編碼中使用至少一個推導出的運動矢量。在本發(fā)明示例性實施方式的另一方面中，提供一種設備，包括處理器；以及可通 信地連接到處理器的存儲器單元，其包括被配置用于將第一輸入圖片序列和第二輸入圖片 序列編碼到比特流中的計算機代碼，其中第一輸入圖片序列的第一輸入圖片可以或者可以 不旨在用于輸出，并且其中第二輸入圖片序列的第二輸入圖片旨在用于輸出；被配置用于 包括指示視差運動的視差信號指示的計算機代碼；被配置用于使用運動推導方法、按照所 述視差運動從第一輸入圖片推導出至少一個運動矢量的計算機代碼；以及被配置用于在對 第二輸入圖片的編碼中使用至少一個推導出的運動矢量的計算機代碼。在本發(fā)明示例性實施方式的另一方面中，提供一種設備，包括用于將第一輸入圖 片序列和第二輸入圖片序列編碼到比特流中的裝置，其中第一輸入圖片序列的第一輸入圖 片可以或者可以不旨在用于輸出，并且其中第二輸入圖片序列的第二輸入圖片旨在用于輸 出；用于包括指示視差運動的視差信號指示的裝置；用于使用運動推導方法、按照所述視 差運動從第一輸入圖片推導出至少一個運動矢量的裝置；以及用于在對第二輸入圖片的編 碼中使用至少一個推導出的運動矢量的裝置。在本發(fā)明示例性實施方式的又一方面中，提供一種方法、計算機程序和設備，其被 配置用于將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中；以及在第一輸入圖片 序列的片報頭中用信號發(fā)送運動是否是通過從第二序列中的圖片的推導而生成的。在本發(fā)明示例性實施方式的再一方面中，提供一種方法、計算機程序和設備，其被 配置用于將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中；以及在網(wǎng)絡提取層單 元報頭中用信號發(fā)送第二輸入圖片序列中的圖片是否被第一輸入圖片序列中的至少一個 圖片用于運動跳躍。在本發(fā)明示例性實施方式的另一方面中，提供一種方法、計算機程序和設備，其被 配置用于從比特流接收第一輸入圖片序列和第二輸入圖片序列；接收網(wǎng)絡提取層單元報頭 中的信號，該信號指示第二輸入圖片序列中的圖片是否被第一輸入圖片序列中的至少一個 圖片用于運動跳躍，以及如果該信號指示第二輸入圖片序列中的圖片被第一輸入圖片序列 中的至少一個圖片用于運動跳躍，則在對第一輸入圖片序列中的所述至少一個圖片進行解 碼時，使用第二輸入圖片序列中的所述圖片以用于運動跳躍。在本發(fā)明示例性實施方式的另一方面中，提供一種方法、計算機程序和設備，其被 配置用于接收第一輸入圖片序列和第二輸入圖片序列，第一輸入圖片序列的片報頭包括有關運動是否是通過從第二序列中的圖片的推導而生成的信號，以及如果第一輸入圖片序列 的片報頭中的所述信號指示運動是通過從第二序列中的圖片的推導而生成的，則使用從第 二序列中的圖片推導出的運動來對第一輸入圖片序列中的至少一個圖片進行解碼。在本發(fā)明示例性實施方式的又一方面中，提供一種方法、計算機程序和設備，其被 配置用于將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中，其中第一輸入圖片序 列的第一輸入圖片可以或者可以不旨在用于輸出，并且其中第二輸入圖片序列的第二輸入 圖片旨在用于輸出；包括指示宏塊視差運動的視差信號指示；使用運動推導方法、按照所 述視差運動從第一輸入圖片推導出至少一個運動矢量；以及使用至少一個推導出的運動矢 量以用于運動補償。在本發(fā)明示例性實施方式的又一方面中，提供一種設備，其包括用于將第一輸入 圖片序列和第二輸入圖片序列編碼到比特流中的裝置，其中第一輸入圖片序列的第一輸入 圖片可以或者可以不旨在用于輸出，并且其中第二輸入圖片序列的第二輸入圖片旨在用于 輸出；用于包括指示宏塊視差運動的視差信號指示的裝置。所述設備進一步包括用于使用 運動推導方法、按照所述視差運動從第一輸入圖片推導出至少一個運動矢量的裝置，該至 少一個推導出的運動矢量用于運動補償。所述設備進一步包括用于在比特流中包括至少一 個進一步指示的裝置，所述至少一個進一步指示用于指示以下中的至少一個圖片是否在 對所述至少一個運動矢量的推導中使用，視角是否使用任何其他視角以用于視角間樣本預 測，以及視角是否支持單環(huán)路解碼。


圖1是示出了典型的MVC解碼順序(也即，比特流順序)的表示；圖2是用于多視角視頻編碼的典型的MVC預測(包括每個視角內的圖片間預測以 及視角間預測二者)結構的表示；圖3是示出了使用視差運動矢量的運動跳躍示例的圖示；圖4是示出了在傳統(tǒng)的基于H. 264/AVC或兼容的標準中使用的層級化宏塊分區(qū)布 置的表示；圖5是位于在針對運動跳躍所考慮的視角間參考圖片中具有不同參考狀態(tài)的多 個MB分區(qū)中的同位8 X 8分區(qū)示例；圖6是位于在針對運動跳躍所考慮的視角間參考圖片中具有不同參考索引值的 多個MB分區(qū)中的同位分區(qū)示例；圖7是對應于針對運動跳躍所考慮的視角間參考圖片的幀內MB中的像素的同位 8X8分區(qū)示例；圖8是位于兩個8 X 8MB分區(qū)內的8 X 8分區(qū)的表示；圖9是可以在其中實施本發(fā)明各種實施方式的通用多媒體通信系統(tǒng)的圖形表示；圖10是示出了按照各種實施方式當存在一個或多個視角間參考圖片時所遵循的 算法中涉及的過程的流程圖；圖11是按照各種實施方式的運動矢量縮放的圖形表示；圖12(a)是在非法同位MB分區(qū)中的四個塊以及它們的類別(縮放1、縮放2和縮 放3)的表示；以及圖12(b)是代表圖12(a)中諸多塊的單個塊以及該塊的相應的4個相鄰塊的圖示；圖13是示出了由兩個視角間參考圖片預測的可用運動信息的示例；圖14是來自相鄰MB的(A，B, D和C)的運動視差預測的表示；圖15是可以結合本發(fā)明各種實施方式的實現(xiàn)一起使用的電子設備的透視圖；以 及圖16是可以包括在圖15的電子設備中的電路的示意性表示。
具體實施例方式本發(fā)明的各種示例性實施方式涉及用于實現(xiàn)運動跳躍和單環(huán)路解碼以用于多視 角視頻編碼的系統(tǒng)和方法。在各種示例性實施方式中，針對當前具有8X8或4X4像素視 差運動矢量精度的JMVM布置使用更有效的運動跳躍，同時維持與有關分層化宏塊分區(qū)的 H. 264/AVC設計相兼容的運動補償過程。該系統(tǒng)和方法可應用于多環(huán)路解碼和單環(huán)路解碼。針對上面提到的有關8像素或4像素精度運動跳躍的問題，可以使用自適應參考 合并以便實現(xiàn)從一個視角間參考圖片更精確的運動跳躍。這種自適應參考合并也可以應用 于多個視角間參考圖片。對于存在多個視角間參考圖片的情形，尤其是針對不同方向上的 多個視角間參考圖片的情形，可以使用組合的運動跳躍算法。針對前面提到的信令問題，為了指示圖片是否將用于運動跳躍，可以使用NAL單 元報頭中的語法變型或新的語法元素。為了指示圖片是否使用了運動跳躍，可以在片報頭 中添加標志，并且可以在用于每個片的片報頭中用信號發(fā)送相關的視差運動矢量。比特流 的單環(huán)路解碼功能可以在序列級別用信號發(fā)送。還可以用信號發(fā)送針對每個MB或MB分區(qū) 的運動視差。在視角之間使用視角間預測時，使用本發(fā)明各種示例性實施方式以用于改善編碼 效率，同時在不將某些視角用于輸出時還降低整體復雜度。此外，此處討論的各種運動跳躍 布置也可以用于單環(huán)路解碼，其針對僅視角間預測需要而不用于輸出的那些視角不應用運 動補償。本發(fā)明的這些和其他優(yōu)勢和特征，以及其組織和操作的方式將從結合附圖的下述 具體描述中變得明顯，其中貫穿下述若干附圖，類似的元素具有類似的標號圖9是可以在其內實現(xiàn)本發(fā)明的各種實施方式的通用多媒體通信系統(tǒng)的圖形表 示。如圖9所示，數(shù)據(jù)源100以模擬格式、未壓縮數(shù)字格式或壓縮數(shù)字格式或這些格式的 任意組合來提供源信號。編碼器110將源信號編碼成已編碼媒體比特流。應當注意，要解 碼的比特流可以直接或間接地接收自實際上位于任意類型的網(wǎng)絡內的遠程設備。此外，比 特流可以接收自本地硬件或軟件。編碼器110可能能夠對不止一種媒體類型(諸如，音頻 和視頻)進行編碼，或者可能需要不止一個編碼器110以對源信號的不同媒體類型進行編 碼。編碼器110還可以得到合成產(chǎn)生的輸入，諸如圖形和文本，或者其能夠產(chǎn)生合成媒體的 已編碼比特流。在下文中，僅考慮對一種媒體類型的一個已編碼媒體比特流進行處理，以便 簡化描述。然而，應當注意的是，典型實時廣播服務包括若干流(典型地，至少一個音頻、視 頻和文本字幕流)。還應當注意的是，系統(tǒng)可以包括很多編碼器，但是在圖9中，不失一般性 地，僅示出一個編碼器110，以簡化描述。進一步應當理解，盡管包含在此的文字和示例可能 具體描述了編碼過程，但是本領域技術人員容易理解，相同的概念和原理還可以應用至對應的解碼過程，反之亦然。已編碼媒體比特流傳輸至儲存器120。儲存器120可以包括任何類型的海量存儲 器以存儲已編碼媒體比特流。儲存器120中已編碼媒體比特流的格式可以是基本自包含 的(elementary self-contained)比特流格式，或者一個或多個已編碼比特流可以封裝至 容器文件中。某些系統(tǒng)“直播”操作，即，省略儲存器而直接將已編碼媒體比特流從編碼器 110傳輸至發(fā)送器130。已編碼媒體比特流隨后傳輸至發(fā)送器130，根據(jù)需要，也稱為服務 器。在傳輸中使用的格式可以是基本自包含的比特流格式、分組流格式，或者一個或多個已 編碼媒體比特流可以封裝至容器文件中。編碼器110、儲存器120和服務器130可以位于相 同物理設備中，或者它們可以包括在單獨的設備中。編碼器110和服務器130可以利用直 播實時內容進行操作，在該情況下，已編碼媒體比特流通常不會被永久存儲，而是在內容編 碼器110和/或在服務器130中緩沖一小段時間，以平滑處理延遲、傳輸延遲和已編碼媒體 比特速率中的變動。服務器130使用通信協(xié)議棧來發(fā)送已編碼媒體比特流。作為多個非限制性示例， ?？梢园ǖ幌抻趯崟r傳輸協(xié)議(RTP)、用戶數(shù)據(jù)報協(xié)議(UDP)和因特網(wǎng)協(xié)議(IP)。當通 信協(xié)議棧是面向分組的時候，服務器130將已編碼媒體比特流封裝至分組中。例如，當使用 RTP時，服務器130根據(jù)RTP凈荷格式將已編碼媒體比特流封裝至RTP分組中。通常，每個 媒體類型具有專用的RTP凈荷格式。再次需要注意，系統(tǒng)可以包含多于一個的服務器130， 但是為了簡化，以下描述僅考慮一個服務器130。服務器130可以或可以不通過通信網(wǎng)絡連接至網(wǎng)關140。網(wǎng)關140可以執(zhí)行不同 類型的功能，諸如將按照一種通信協(xié)議棧的分組流轉譯成另一通信協(xié)議棧，對數(shù)據(jù)流進行 合并以及分流，以及根據(jù)下行鏈路和/或接收器的能力操縱數(shù)據(jù)流，諸如根據(jù)現(xiàn)行的下行 鏈路網(wǎng)絡條件控制轉發(fā)的流的比特速率。網(wǎng)關140的各種非限制性示例包括MCU、電路交換 和分組交換視頻電話之間的網(wǎng)關、蜂窩一鍵通(PoC)服務器、手持數(shù)字視頻廣播(DVB-H)系 統(tǒng)中的IP封裝器，或者將廣播傳輸本地轉發(fā)到家庭無線網(wǎng)絡的機頂盒。當使用RTP時，網(wǎng) 關140被稱為RTP混合器或者RTP轉譯器，并且通常充當RTP連接的端點。系統(tǒng)包括一個或者多個接收器150，其通常能夠接收并解調已傳輸?shù)男盘枺约皩?其解封裝為已編碼的媒體比特流。已編碼的媒體比特流被傳送到記錄儲存器155。記錄儲存 器155可以包括任意類型的海量存儲器以便存儲已編碼的媒體比特流。記錄儲存器155可 以備選地或附加地包括計算存儲器，諸如隨機訪問存儲器。記錄儲存器155中的已編碼媒 體比特流的格式可以是基本自包含的比特流格式，或者一個或多個已編碼媒體比特流可以 封裝至容器文件中。如果有很多已編碼媒體比特流，諸如音頻流和視頻流，其彼此相關聯(lián)， 則通常使用容器文件，并且接收器150包括或者附接至基于輸入流而產(chǎn)生容器文件的容器 文件生成器。某些系統(tǒng)“直播”操作，即，省略記錄儲存器155而直接將已編碼媒體比特流 從接收器150傳輸至解碼器160。在有些系統(tǒng)中，僅所記錄流的最新的部分，例如所記錄流 的最近10分鐘的摘錄，被保持在記錄儲存器155中，而從記錄儲存器155中丟棄任何更早 的記錄數(shù)據(jù)。已編碼媒體比特流從記錄儲存器155傳輸至解碼器160。如果有很多已編碼媒體 比特流，諸如音頻流和視頻流，其彼此相關聯(lián)并且被封裝到容器文件中，則可以使用文件解 析器(圖中未示出)來將每個已編碼媒體比特流從該容器文件中解封裝出來。記錄儲存器155或解碼器160可以包括該文件解析器，或者該文件解析器附接至記錄儲存器155或解碼 器 160。已編碼媒體比特流通常進一步由解碼器160處理，解碼器的輸出是一個或者多個 未壓縮的媒體流。最后，呈現(xiàn)器170可以例如通過揚聲器或者顯示器來重現(xiàn)未壓縮的媒體 流。接收器150、記錄儲存器155、解碼器160和呈現(xiàn)器170可以位于相同物理設備中，或者 它們可以被包含在單獨的設備中。按照本發(fā)明各種示例性實施方式的發(fā)送器130可以被配置用于出于多個理由而 選擇傳輸?shù)膶?，諸如為了響應接收器150的請求或者響應傳送比特流的網(wǎng)絡的主導條件。 來自接收器150的請求例如可以是針對用于顯示的層的改變或者相比于先前的設備具有 不同功能的呈現(xiàn)設備的改變的請求。以下描述和討論是當僅有一個視角間參考圖片用于運動跳躍時用于使得同位MB 可用于運動跳躍的算法。下文提供對早先定義的一些概念的多個新的定義和擴展。之后是 至少解決前面討論的各種問題的算法的非限制性示例。正如前面已討論的那樣，視角間參考圖片中的同位MB分區(qū)可能不服從層級化宏 塊分區(qū)，因此不能直接用于運動跳躍。一種此類情形涉及這樣的場景，一個或多個塊被指 定“使用ListX”，而其他塊被指定“未使用ListX”。正如此處所討論的那樣，如果同位MB 分區(qū)的所有塊都被指定為“使用ListX”(其中X為0或1)，則該同位MB分區(qū)被指定“使用 ListX”。如果以下所有條件都為真，則同位MB分區(qū)被定義為合法的首先，該MB分區(qū)內的 所有塊都同時是“使用ListO”且“使用Listl”，或者“使用ListO”且“未使用Listl”，或者 “未使用ListO”且“使用Listl”。滿足此條件的MB分區(qū)具有“好參考”。否則該MB分區(qū)具 有“壞參考”。第二，如果MB分區(qū)被指定“使用ListX”，那么該MB分區(qū)內的所有塊都同時使 用RefPicListX(其中X為0或1)中列出的相同參考圖片。應當注意，如果所有塊都在同 一片內，或者如果所有塊都在包含相同的參考圖片列表重排序命令(如果存在的話)的片 內，那么使用RefPicListX中列出的同一參考圖片的所有塊等效于使用RefPicListX中同 一參考圖片索引的所有塊。如果上述條件中任一為假，則同位MB分區(qū)被定義為非法的。如 果MB的所有MB分區(qū)都是合法的，則該MB被定義為合法的。否則該MB被定義為非法的。如 果視差矢量和(0，0)模2同余，也即，同位MB分區(qū)與視角間參考圖片的MB分區(qū)邊界對準， 則這些同位MB分區(qū)中的每一個自然是合法的，只要其位于視角間參考圖片中的幀內MB內。 這是因為視角間參考圖片中的任何MB分區(qū)都服從層級化宏塊分區(qū)。圖10是示出了按照各種實施方式、當存在一個或多個視角間參考圖片時所遵循 的算法中涉及的過程的流程圖。當對當前圖片的MB進行編碼時并且在運動跳躍模式的檢 查期間，在使用視差運動獲取同位MB分區(qū)之后，調用圖10中繪出的算法。圖10中繪出的算法導致兩種類型的退出合法MB退出或非法MB退出。合法MB 退出是指當前MB支持運動跳躍模式。非法MB退出是指運動跳躍模式不用于當前MB。對于 MB,如果支持運動跳躍模式，則運動跳躍模式最終是否用于對MB進行編碼取決于在編碼效 率方面其是否比其他編碼模式更好。對于MB，如果使用運動跳躍模式，則使用為此MB生成 的運動信息，從而直接或間接地用于進一步的運動補償。在圖10所繪的算法中涉及一對過程。在圖10中，第一過程開始于1005處所繪的點，在1075處所繪的點之前結束。此過程稱為MB分區(qū)運動合并。在MB分區(qū)運動合并中， 非法同位MB分區(qū)可以轉變成合法同位MB分區(qū)。第二過程開始于第一過程結束時(如1075 處所繪)，結束于1072、1085、1100或1110處所繪的點處。第二過程負責將非法同位MB進 一步轉變成合法同位MB，并且以非法MB退出或合法MB退出結束。此過程稱為MB運動合 并。在解碼期間，如果MB使用運動跳躍模式，則類似地應用此算法，除非可能的退出是合法 MB退出。將為此MB生成的運動信息直接或間接地用于進一步的運動補償。在MB分區(qū)運動 合并過程中，逐個檢查同位MB分區(qū)。如下處理每個同位MB分區(qū)。如果當前的同位MB分區(qū) 是合法的，則在此過程中不需要進一步的處理并且接著處理下一個同位MB分區(qū)。否則，如 果當前的同位MB分區(qū)是非法的，則應用如下處理。如果當前的同位MB分區(qū)具有“壞參考”， 則應用參考狀態(tài)合并過程以將“壞參考”修復為“好參考”。如果參考狀態(tài)合并過程失敗，則 同位MB分區(qū)仍然為非法，接著處理下一個同位MB分區(qū)。如果當前的同位MB分區(qū)具有“好參考”(可以是在上述過程之前同位MB分區(qū)就具 有“好參考”，或者通過上述過程而使得具有“好參考”)，則首先針對X為0，然后針對X為1 應用如下處理。如果當前的同位MB分區(qū)是“使用Listx”，則順序地調用參考索引合并過程 和運動矢量生成和縮放過程(下文描述)。參考索引合并過程保證在此過程之后，當前同位MB分區(qū)內的塊使用相同的參考 圖片用于每個預測方向的幀間預測。運動矢量生成和縮放過程對用于在參考索引合并過程 期間RefPicListX中的參考圖片已經(jīng)改變的塊的運動矢量進行縮放，以及生成用于在參考 索引合并過程之前不與RefPicListX的運動信息相關聯(lián)的塊的運動矢量。只要當前同位MB內的一個同位MB分區(qū)是非法的，圖10中所繪算法的MB運動合 并過程就試圖將非法同位MB修復為合法。當對該非法同位MB分區(qū)進行處理時，忽略其運 動信息(如果存在的話)。代替地，由MB運動合并過程來生成用于此非法同位MB分區(qū)的 運動信息，其中MB運動合并過程包括預測生成過程和運動矢量生成過程。對于X的每個值 (0或1)，預測生成過程試圖將非法同位MB分區(qū)設置為“使用ListX”并且試圖為此同位MB 分區(qū)設置參考索引。對于X的每個值(0或1)，當同位MB分區(qū)“使用ListX”時，運動矢量 生成過程生成與用于RefPicListX的參考索引相關聯(lián)的運動矢量。此描述假設僅使用了一 個視角間參考圖片。然而，圖10的算法也可以擴展到多個視角間參考圖片可用的情形，如 后文所描述的。MB分區(qū)運動合并的第一過程試圖使非法同位MB分區(qū)變成合法，并且此過程逐一 應用于當前同位MB中的所有四個同位MB分區(qū)。如果同位MB分區(qū)碰巧橫過視角間參考圖片 的片邊界，那么不同塊中的相同參考索引值可能不對應于相同的參考圖片。在這種情況下， 每個塊中的參考索引(如果可用的話)首先被映射到它的參考圖片P，并且在當前圖片的 RefPicListX中搜索參考圖片P的參考索引。如果找到可用的參考索引(標記為idx)，那 么應用此處所定義的過程，就如同該塊的參考索引是針對當前圖片的RefPicListX的idx。 如果未找到可用的參考索引，則將其視為“未使用ListX”。如果同位塊或MB分區(qū)具有引用 RefPicListX中的視角間參考圖片的參考索引，則也將其視為“未使用ListX”。以下描述了 MB分區(qū)運動合并過程的參考狀態(tài)合并過程、參考索引合并過程以及運動矢量生成和縮放過 程。參考狀態(tài)合并過程嘗試將具有“壞參考”的同位MB分區(qū)轉變?yōu)榫哂小昂脜⒖肌?。前向和后向預測狀態(tài)分別對應于“使用ListO”和“使用Listl”，其可以分開處理。以下處理 首先應用于為0的X，然后是為1的X。情況1涉及視差矢量和(0，0)模2同余的情形。同 位MB分區(qū)位于視角間參考圖片的一個MB分區(qū)中。不需要進行合并。情況2涉及視差矢量 和(1，0)或(0，1)模2同余的情形。同位MB分區(qū)位于視角間參考圖片的兩個MB分區(qū)中。 如果這兩個MB分區(qū)都“使用ListX”，則該同位MB分區(qū)被指定“使用ListX”。否則，該同位 MB分區(qū)被指定“未使用ListX”。情況3涉及視差矢量和(1，1)模2同余的情形。同位MB 分區(qū)包括視角間參考圖片的4個MB分區(qū)中的四個塊。如果這些塊中有3個或4個被指定 “使用ListX”，則該同位MB分區(qū)被指定“使用ListX”。否則，該同位MB分區(qū)被指定“未使 用ListX”。如果該同位MB分區(qū)被指定“使用ListX”，則其所有塊都被指定“使用ListX”。在參考狀態(tài)合并之后，如果同位MB分區(qū)被指定“使用ListO”但“未使用Listl”、 “使用Listl”但“未使用ListO”或者“使用ListO”且“使用Listl”，則其具有“好參考”。 以下過程(也即，參考索引合并過程和運動矢量生成和縮放過程)僅可應用于具有“好參 考”的MB分區(qū)。在本文另一實施方式中，同位MB分區(qū)可設置成具有“壞參考”，如果其屬于 B片并且不是雙向預測，也即“未使用ListO”或者“未使用Listl”，則在針對此同位MB分 區(qū)的該過程中停止進一步的處理。如果同位MB分區(qū)在參考狀態(tài)合并過程中已經(jīng)修復成具有“好參考”，則其可以通 過參考索引合并過程而轉變成合法同位MB分區(qū)。當X為0或1時應用參考索引合并過程。針對參考索引合并引入兩個規(guī)則。第一個規(guī)則用于選擇最小參考索引值。第二個 規(guī)則用于從此同位MB分區(qū)中的諸多塊中選擇最常用參考索引值。根據(jù)需要或希望，也可以 實施其他規(guī)則。針對上述情況1、2和3的解決方案如下。如果當前同位MB分區(qū)“使用ListX”，則 應用以下處理。在情況1的情形下(其中視差矢量和(0，0)模2同余)，跳過參考索引合并 過程。在情況2的情形下(其中視差矢量和(1，0)或(0，1)模2同余)，選擇視角間參考圖 片中這兩個MB分區(qū)的最小參考索引值。在情況3的情形下(其中視差矢量和(1，1)模2 同余)，應用如下四個解決方案之一。第一，選擇視角間參考圖片中四個塊的最小參考索引 值。第二，從視角間參考圖片中的四個塊中選擇對應于在顯示順序上與當前圖片最接近的 參考圖片的參考索引值。第三，選擇視角間參考圖片中的四個塊中最常用的參考索引。如 果有不止一個值最常使用，則選擇具有較小(最小)參考索引值的值。第四，選擇視角間參 考圖片中的四個塊中最常用的參考索引。如果有不止一個值最常使用，則選擇對應于在顯 示順序上與當前圖片最接近的參考圖片的值。由上可知，用于這四個塊的、引用RefPicListX中的圖片的可能不同的參考索引 可以統(tǒng)一成一個參考索引。用于該同位MB分區(qū)的最終參考索引稱為統(tǒng)一參考索引，并且對 應的參考圖片稱為統(tǒng)一參考圖片。圖11圖形化表示出了當X為0或1時應用運動矢量縮放和生成過程，該過程逐一 應用于當前同位MB分區(qū)中的所有四個塊。針對同位MB分區(qū)中的塊，以下任一情況都有可 能。在第一種情況中，塊在參考狀態(tài)合并之前被指定“使用ListX”并且參考索引值在參考 索引合并期間未被修改。在第二種情況中，塊在參考狀態(tài)合并之前被指定“使用ListX”，但 其參考索引值在參考索引合并期間被修改。在第三種情況中，塊被指定“未使用ListX”，但 其已經(jīng)轉變?yōu)椤笆褂肔istX”，并且在參考索引合并期間已經(jīng)為它指派了參考索引。
在上述第一種情況中，不需要運動矢量縮放和生成。在第二種情況中，按照公式 mv' = td*mv/to對運動矢量進行縮放，其中再次參考圖ll，mv是原始運動矢量，mv'是經(jīng) 縮放的運動矢量，td是當前圖片與統(tǒng)一參考圖片之間的距離，to是當前圖片與原始(在 先)參考圖片之間的距離。td和to的單位都是PicOrderCnt差值，其中PicOrderCnt指 示如H.264/AVC中所規(guī)定的圖片輸出順序(也即，顯示順序)。在上述第三種情況中，如下 生成運動矢量。根據(jù)參考狀態(tài)合并過程，針對RefPicListX,如果MB分區(qū)已經(jīng)轉變成“使用 ListX”，則在同位MB分區(qū)中至多一個塊可以是“未使用ListX”。因此，同位MB分區(qū)包含至 多一個塊屬于第三種情況。此塊的參考索引被設置為統(tǒng)一參考索引。通過下述兩種方法中 的任一方法來為引用RefPicListX中的圖片的塊生成運動矢量1.使用基于其他塊中三個運動矢量的中值操作。如果這3個運動矢量中的任意運 動矢量已被縮放，則在此中值操作中使用已縮放的運動矢量。繼而將該塊的運動矢量設置 為這三個運動矢量的中值。2.使用尚未被縮放的運動矢量。如果僅有一個運動矢量尚未被縮放，則使用此運 動矢量作為該塊的運動矢量。如果有兩個塊的兩個運動矢量尚未被縮放，則將這兩個運動 矢量的平均用作該塊的運動矢量。在其他情況下(也即，如果沒有運動矢量被縮放)，則使 用第一種方法中的中值操作。應當注意，對于上述第三種情況，針對同位MB分區(qū)中的至多兩個塊，可以由于參 考索引合并過程期間所引用的圖片的改變而對運動矢量進行縮放。算法的第二個過程，也即MB運動合并，可以將僅具有一個非法同位MB分區(qū)的非法 同位MB轉變成合法同位MB。在此過程期間，若存在非法同位MB分區(qū)的運動信息，則將其忽 略。在此過程的開始，非法同位MB被設置為“未使用ListO”且“未使用Listl”。此過程包 含兩個主要過程，預測生成和運動矢量生成。預測生成過程試圖使非法同位MB分區(qū)從“未使用ListO”且“未使用Listl”變成 “使用ListO”或“使用Listl”或二者均有。以下處理首先應用于為0的X，接著是為1的X。如果其他三個同位MB分區(qū)被指 定“使用ListX”，則該非法同位MB分區(qū)被設置為“使用ListX”，并且基于以下規(guī)則中的任 一規(guī)則來為此同位MB分區(qū)選擇參考索引(1)從其他3個同位MB分區(qū)中選擇最小參考索 引值；(2)從其他三個同位MB分區(qū)中選擇最常用參考索引值。在⑵中，如果有不止一個 值最常使用，則選擇具有較小(最小)參考索引值的那個值。運動矢量生成過程根據(jù)其他三個同位MB分區(qū)中的運動矢量，為非法同位MB分區(qū) 中的四個塊生成四個運動矢量。以下處理首先應用于為0的X，接著應用于為1的X。在其 他三個同位MB分區(qū)中，以下處理中僅考慮與該非法同位MB分區(qū)具有相同的參考索引的那 些的運動矢量。將非法同位MB分區(qū)中的四個塊劃分為3個類型(1)縮放1，該塊最接近 同位MB的中心；(2)縮放3，該塊離同位MB的中心最遠；以及(3)縮放2，其他兩個塊，如圖 12(a)所示。對于每個塊，如圖12(b)所示，左邊、右邊、上面和下面的塊稱為4相鄰塊。按 照下述來生成用于非法同位MB分區(qū)中的四個塊的運動矢量。1.對于縮放1中的塊，其具有兩個位于該同位MB中的其他同位MB分區(qū)內的4相 鄰塊。這兩個4相鄰塊被稱為候選塊1和2。其他同位MB分區(qū)中的第三候選塊是作為候選 塊1和2 二者的4相鄰塊的那個塊。對于這三個候選塊，使用與非法同位MB分區(qū)具有相同的參考索引值(其由預測生成過程生成)的那些的運動矢量來生成縮放1中的塊的運動矢 量。如果這三個候選塊中僅有一個合格，那么將此塊的運動矢量復制作為縮放1中的塊的 運動矢量。如果三個候選塊中有兩個合格，則將縮放1中的塊的運動矢量設置成這兩個塊 的運動矢量的平均。如果所有三個候選塊都合格，則將縮放1中的塊的運動矢量設置成這 三個候選塊的三個運動矢量的中值。2.對于縮放2中的塊，其具有一個位于其他同位MB分區(qū)內的4相鄰塊。這個4相 鄰塊是唯一的候選塊。如果此候選塊與非法同位MB分區(qū)具有相同的參考索引，則將縮放2 中的塊的運動矢量設置為該候選塊的運動矢量。否則，將該縮放2中的塊的運動矢量設置 為縮放1中的塊的運動矢量。3.針對縮放2中的另一塊重復過程(2)。4.針對縮放3中的塊，其不具有位于同位MB中的其他同位MB分區(qū)內的4相鄰塊。 如果在過程(2)或(3)中，候選塊具有與非法同位MB分區(qū)不同的參考索引，則將縮放3中 的塊的運動矢量設置為縮放1中的塊的運動矢量。否則，將此塊的運動矢量設置為同一同 位MB分區(qū)中其他3個塊的3個運動矢量的中值。如上面所提到的，圖10是示出了按照各種實施方式、當存在一個或多個視角間參 考圖片時所遵循的算法中涉及的過程的流程圖。在此詳細討論圖10。在1000處，算法開始 于當前MB。在1005處，將第一 MB分區(qū)設置為當前MB分區(qū)。在1010處，確定是否有MB分 區(qū)尚待處理。如果還有MB分區(qū)不得不被處理，則在1015處將待處理的下一 MB分區(qū)設置為 當前MB分區(qū)。在1020處，確定當前MB分區(qū)是否是合法的。如果是，則過程返回到1010。 如果否，則在1025處進行參考狀態(tài)合并，在此之后在1030處確定當前MB分區(qū)內的所有塊 是否都標識為“使用ListO”、“使用Listl”或者標識為“使用ListO”且“使用Listl，，。如 果否，則在1035處，將當前MB分區(qū)標識為非法MB分區(qū)，并且返回1010。然而，如果是，則 在1040處將χ設置為0，并且在1045處確定當前MB分區(qū)是否標識為“使用Listx”。如果 是，則在1050處針對Iistx發(fā)生參考索引合并。在1055處確定參考圖片是否已改變。如 果是，則在1060處進行運動矢量生成和縮放，并且在1065處確定χ是否大于0。如果χ不 大于0，則過程返回到1045。如果χ大于0，則在1070處將當前MB分區(qū)設置為合法并且過 程返回到1010。還應當注意，如果針對框1045和1055任一處的確定的答案是“否”，則過 程跳轉到1065。再次參考圖10中的1010，如果不再有MB分區(qū)要處理，則在1072處確定是否所有 MB分區(qū)都是合法的。如果所有MB分區(qū)都是合法的，則過程在1075處以合法MB退出結束。 然而如果不是，則在1080處確定是否有三個MB分區(qū)是合法的。如果不是，則過程以1085 處的非法MB退出結束。如果有三個MB分區(qū)，則在1090處針對非法MB進行預測生成。繼 而在1095處確定是否該非法MB分區(qū)中的所有塊都標識為“使用ListO”或“使用Listl”。 如果否，則該過程以1100處的非法MB退出結束。然而如果是，則在1105處進行運動矢量 預測，并且過程以1110處的合法MB退出結束。當存在不止一個視角間參考圖片時，在對片進行編碼時，可以選擇這些視角間參 考圖片中的任一用于運動跳躍。下面描述用于選擇的備選方法。當僅有一個視角間參考圖 片用于運動跳躍時，包含MB模式的同位MB和將用于預測當前MB的運動矢量來自于這一個 視角間參考圖片。由于同位MB可能已被上面討論的且在圖10中繪出的算法所改變，因此將最終的同位MB稱為預測值(predictor)MB。應當注意，圖10中示出的各個框可以視為方法步驟，和/或由計算機程序代碼的 運行而導致的操作，和/或構建來執(zhí)行相關功能的多個耦接的邏輯電路元件。以下更詳細地討論有關用于運動跳躍的視角間參考圖片的選擇。對于每個片，用于運動跳躍的視角間參考圖片或者是推導出的，或者是用信號發(fā) 送的。因此，用于運動跳躍的圖片可能不同于在視角依賴關系中用信號發(fā)送的第一視角間 參考圖片，并且其可以是任何視角間參考圖片。例如，將對應于RefPicListO的視角依賴關 系信息中用信號發(fā)送的第一視角間參考圖片選擇為用于運動跳躍的視角間參考圖片。作為 另一示例，選擇在RefPicListO中的第一視角間參考圖片。應當注意，RPLR命令可以使得 任何視角間參考圖片成為RefPicListO中的第一個。作為上述的備選，在當前圖片具有后向視角間參考圖片時，在上述兩個方法中， 用RefPicListl替換RefPicListO。在另一備選中，在當前圖片既具有前向視角間參考圖 片又具有后向視角間參考圖片時，可以應用上述方法以選擇分別對應于RefPicListO和 RefPicListl的兩個視角間參考圖片，并且用信號發(fā)送一標志以選擇這兩個被選的視角間 參考圖片之一。仍然備選地，可以顯式地用信號發(fā)送所使用的視角間參考圖片，例如通過在 片報頭中包括出現(xiàn)在視角依賴關系中的視角標識符的索引以及指示其為前向還是后向視 角間參考圖片的標志。仍然備選地，用于運動跳躍的視角的視角標識符也可以包括在該片 報頭中。上述方法用于從多個可用的視角間參考圖片中選擇一個視角間參考圖片以在運 動跳躍中使用。當存在不止一個視角間參考圖片可用時，也有可能針對待編碼的每個MBdi 用不止一個視角間參考圖片用于運動跳躍。在這種情況下，根據(jù)當前圖片與視角間參考圖 片之間的視差運動，當前MB在所使用的每個視角間參考圖片中具有同位MB。這些同位MB 的每一個稱為候選同位MB以用于生成預測值MB，并且根據(jù)所有候選同位MB來生成預測值 MB。以下提供用于利用多個視角間參考圖片為運動跳躍生成預測值MB的解決方案。這些 解決方案也稱為組合運動跳躍算法。首先，從候選同位MB分區(qū)中選擇預測值MB的每個預測值MB分區(qū)。這稱為參考組 合。在參考組合之后，上面討論的并且在圖10中繪出的算法的第二個過程被應用于這四個 預測值MB分區(qū)。在參考組合中，為了從候選同位MB分區(qū)中選擇預測值MB分區(qū)，按預先確定的順序 來考慮候選同位MB分區(qū)，例如首先是前向依賴視角，然后是后向依賴視角。對于每個參考 圖片列表中的視角間參考圖片，其順序與參考圖片列表中的相同，或者與序列參數(shù)集合MVC 擴展中的相同?；谠擁樞颍绻l(fā)現(xiàn)視角間參考圖片中的同位MB分區(qū)是合法的，則對該 同位MB分區(qū)應用上面討論的并且在圖10中繪出的算法的第一個過程，并且將此同位MB分 區(qū)選擇為預測值MB分區(qū)，而無需進一步考慮來自剩余的視角間參考圖片的候選同位MB分 區(qū)。如果在任一視角間參考圖片中沒有合法的同位MB分區(qū)，則應用以下處理。按上述 相同的順序，從候選同位MB分區(qū)中搜索具有“好參考”的第一同位MB分區(qū)。如果找到，則 將具有“好參考”的第一候選同位MB分區(qū)選擇為預測值MB分區(qū)，而無需進一步考慮剩余的 候選同位MB分區(qū)。繼而對預測值MB分區(qū)應用參考索引合并過程和運動矢量生成和縮放過程。如果沒找到具有“好參考”的同位MB分區(qū)，則按照上述順序對候選同位MB分區(qū)應用參 考狀態(tài)合并過程。無論何時針對候選同位MB分區(qū)的參考狀態(tài)合并過程成功，就將修復后具 有“好參考”的候選同位MB分區(qū)選擇為預測值MB分區(qū)，而無需進一步考慮剩余的候選同位 MB分區(qū)。繼而對預測值MB分區(qū)應用參考索引合并過程和運動矢量生成和縮放過程。如果 參考狀態(tài)合并過程對于所有候選同位MB分區(qū)都失敗，則該預測值MB分區(qū)是非法的。圖13中示出了參考組合的一個示例，其中前向視角間參考圖片(左邊的視角間參 考圖片)和后向視角間參考圖片(右邊的視角間參考圖片)都僅包含P片。當前圖片與前 向視角間參考圖片之間的視差矢量與(0，0)模2同余，并且當前圖片與后向視角間參考圖 片之間的視差運動與(1，1)模2同余。對于左上的預測值MB分區(qū)，來自前向視角間參考圖 片的候選同位MB分區(qū)落入幀間MB中，因此它是合法的并且被選擇作為預測值MB分區(qū)。因 此針對此左上預測值MB分區(qū)的過程1完成。對右上預測值MB分區(qū)和右下預測值MB分區(qū) 應用相同的過程。對于左下預測值MB分區(qū)，來自前向視角間參考圖片的候選同位MB分區(qū) 落入幀內MB中，因而是非法的。因此，檢查來自后向視角間參考圖片的下一候選同位MB分 區(qū)。此候選同位MB分區(qū)落入幀間MB中，因此它是合法的，并且被選擇作為預測值MB分區(qū)。 因此針對此左下預測值MB分區(qū)的過程1完成。從而在此示例中，生成了合法的預測值MB， 其具有來自前向視角間參考圖片的三個合法的預測值MB分區(qū)和來自后向視角間參考圖片 的一個合法的預測值MB分區(qū)。在參考組合中，預測值MB分區(qū)所來源的視角間參考圖片按照前面說明的那樣進 行推導。在下面的備選方案中，針對每個MB或MB分區(qū)用信號顯式地發(fā)送用于運動跳躍的 視角間參考圖片。在此備選方案中，針對每個MB，當支持運動跳躍時，還用信號發(fā)送用于運 動跳躍的視角。因此，運動跳躍算法可以適應性地選擇視角間參考圖片，從該視角間參考圖 片推導出當前MB的運動矢量。在此MB自適應選擇情況下，在編碼器中，針對每個同位MB 分別應用圖10中所繪算法的兩個過程，并且最終選擇導致最佳速率失真性能的過程，以及 針對正在被編碼的當前MB用信號發(fā)送將標識此視角間參考圖片的必要信息。在解碼器中， 當運動跳躍是當前MB的模式時，讀取指示使用哪個視角間參考圖片的信息，并且找到同位 MB。繼而調用圖10中所繪算法的第一個和第二個過程。上述處理是在MB級別，但是也可 以擴展到MB分區(qū)級別。除了針對圖片使用全局視差運動之外，還可以使用在MB或MB分區(qū)級別中的自適 應視差運動。在各種實施方式中，相對于用信號發(fā)送的全局視差運動對局部視差進行編碼。 在當前MB使用運動跳躍模式時，用信號發(fā)送局部視差運動。對局部視差運動的編碼類似于 運動矢量的預測編碼。如圖14所示，針對當前MB (Curr MB)，基于正上MB (B)、左MB (A)和 左上MB(D)來預測中值視差運動。如果D不可用，則使用右上MB (C)。在其他情況下，如果 MB不用信號發(fā)送局部視差運動，則可以推斷局部視差運動等于全局視差運動，從而被使用 在針對相鄰MB的局部視差運動的預測中。在編碼器處，可以通過典型的運動估計來生成期望的視差，繼而取決于所使用的 精度，將期望的視差量化為16像素、8像素或4像素精度。另一實施方式涉及通過搜索視 差運動預測值周圍的區(qū)域來細化視差運動預測。在生成預測值和期望的視差之后，以與 H. 264/AVC中的運動矢量差編碼相類似的方式對視差運動和預測值之間的差進行編碼。運動跳躍可以推導出當前MB的運動。然而，推導出的運動可能不夠精確。在此情形下，可以通過細化來進一步改善運動矢量精度，例如通過用信號發(fā)送推導出的運動矢量 與最優(yōu)(期望的)運動矢量之間的差。為了解決涉及運動跳躍信令的各種問題，提供了各種實施方式。在一個實施方式 中，使用指示符(在一個實施方式中采用標志的形式)來指定當前圖片是否被其他視角中 的任何圖片用于運動跳躍?？蛇x地，將inter_View_flag改為interjiewjdc，后者包括兩 個比特。第一比特等效于原始的inter_View_flag，第二比特等效于新引入的標志。在一個實施方式中采用標志形式的指示符也可以提供于片報頭中，以便指示片是 否正在使用運動跳躍。如果未使用，則不用信號發(fā)送針對當前片中所有宏塊的運動跳躍標 志，其因而可被推斷為假。如果此標志為真，則用信號發(fā)送運動視差。在一個實施方式中采用標志形式的另一指示符可以用于序列級別(例如序列參 數(shù)集合MVC擴展)中的每個視角，以便指示其是否可以利用單環(huán)路解碼來進行解碼。而且， 可以針對序列級別(例如序列參數(shù)集合MVC擴展)中的每個視角添加標志或其他指示符， 以指示其他視角中的任一是否需要該視角以用于運動跳躍，并且另一標志或其他指示符用 于指示其他視角中的任一是否需要該視角以用于傳統(tǒng)的視角間樣本預測。以下是可以在上述各種實施中使用的示例信令。然而，應當注意，此信令本質上僅 僅是示例性的，本領域技術人員可以理解其他信令也是可能的。為了用信號發(fā)送用于運動跳躍的圖片，NAL單元報頭SVC MVC擴展語法可以如下。
權利要求
1.一種方法，包括將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中，其中所述第一輸入圖片序 列的第一輸入圖片可以或者可以不旨在用于輸出，并且其中所述第二輸入圖片序列的第二 輸入圖片旨在用于輸出；包括指示視差運動的視差信號指示；使用運動推導方法、按照所述視差運動從所述第一輸入圖片推導出至少一個運動矢 量；以及在對所述第二輸入圖片的編碼中使用所述至少一個推導出的運動矢量。
2.根據(jù)權利要求1的方法，其中所述視差運動具有8像素精度。
3.根據(jù)權利要求1或2的方法，其中在推導所述至少一個運動矢量期間，所述第一輸入 圖片中至少一個塊的前向預測、后向預測和雙向預測之一的參考狀態(tài)被改變。
4.根據(jù)前述任一權利要求的方法，其中在推導所述至少一個運動矢量期間，所述第一 輸入圖片中的至少一個塊的參考索引被改變。
5.根據(jù)前述任一權利要求的方法，其中在推導所述至少一個運動矢量期間，所述第一 輸入圖片中的至少一個塊的參考索引被生成。
6.根據(jù)前述任一權利要求的方法，其中在推導所述至少一個運動矢量期間，所述第一 輸入圖片中的至少一個塊的運動矢量被改變。
7.根據(jù)前述任一權利要求的方法，其中在推導所述至少一個運動矢量期間，所述第一 輸入圖片中的至少一個塊的運動矢量被生成。
8.根據(jù)前述任一權利要求的方法，其中所述視差信號指示包括在用于圖片、片、宏塊和 宏塊分區(qū)之一的比特流中。
9.根據(jù)前述任一權利要求的方法，其中所述比特流中包括一個指示，所述指示用于指 示圖片是否在對所述至少一個運動矢量的推導中使用。
10.根據(jù)前述任一權利要求的方法，其中所述比特流中包括一個指示，所述指示用于指 示視角是否使用任何其他視角以用于視角間樣本預測。
11.根據(jù)前述任一權利要求的方法，其中所述比特流中包括一個指示，所述指示用于指 示針對視角是否支持單環(huán)路解碼。
12.根據(jù)前述任一權利要求的方法，其中對所述至少一個推導出的運動矢量進行細化， 從而針對宏塊和宏塊分區(qū)之一用信號發(fā)送所述至少一個推導出的運動矢量與期望的運動 矢量之間的運動矢量差。
13.根據(jù)權利要求1的方法，其中所述視差運動具有4像素精度。
14.一種計算機可讀介質，包括被配置用于執(zhí)行權利要求1的方法的計算機代碼。
15.一種設備，包括處理器；以及可通信地連接到所述處理器的存儲器單元，其包括被配置用于將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中的計算機代碼， 其中所述第一輸入圖片序列的第一輸入圖片可以或者可以不旨在用于輸出，并且其中所述 第二輸入圖片序列的第二輸入圖片旨在用于輸出；被配置用于包括指示視差運動的視差信號指示的計算機代碼；被配置用于使用運動推導方法、按照所述視差運動從所述第一輸入圖片推導出至少一 個運動矢量的計算機代碼；以及被配置用于在對所述第二輸入圖片的編碼中使用所述至少一個推導出的運動矢量的 計算機代碼。
16.根據(jù)權利要求15的設備，其中所述視差運動具有8像素精度。
17.根據(jù)權利要求15或16的設備，其中在推導所述至少一個運動矢量期間，所述第一 輸入圖片中至少一個塊的前向預測、后向預測和雙向預測之一的參考狀態(tài)被改變。
18.根據(jù)前述任一權利要求的設備，其中在推導所述至少一個運動矢量期間，所述第一 輸入圖片中的至少一個塊的參考索引被改變。
19.根據(jù)前述任一權利要求的設備，其中在推導所述至少一個運動矢量期間，所述第一 輸入圖片中的至少一個塊的參考索引被生成。
20.根據(jù)前述任一權利要求的設備，其中在推導所述至少一個運動矢量期間，所述第一 輸入圖片中的至少一個塊的運動矢量被改變。
21.根據(jù)前述任一權利要求的設備，其中在推導所述至少一個運動矢量期間，所述第一 輸入圖片中的至少一個塊的運動矢量被生成。
22.根據(jù)前述任一權利要求的設備，其中所述視差信號指示包括在用于圖片、片、宏塊 和宏塊分區(qū)之一的比特流中。
23.根據(jù)前述任一權利要求的設備，其中所述比特流中包括一個指示，所述指示用于指 示圖片是否在對所述至少一個運動矢量的推導中使用。
24.根據(jù)前述任一權利要求的設備，其中所述比特流中包括一個指示，所述指示用于指 示視角是否使用任何其他視角以用于視角間樣本預測。
25.根據(jù)前述任一權利要求的設備，其中所述比特流中包括一個指示，所述指示用于指 示針對視角是否支持單環(huán)路解碼。
26.根據(jù)前述任一權利要求的設備，其中所述至少一個推導出的運動矢量被細化，從而 針對宏塊和宏塊分區(qū)之一用信號發(fā)送所述至少一個推導出的運動矢量與期望的運動矢量 之間的運動矢量差。
27.根據(jù)權利要求15的設備，其中所述視差運動具有4像素精度。
28.根據(jù)權利要求15的設備，其至少部分地實現(xiàn)為至少一個集成電路。
29.一種設備，包括用于將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中的裝置，其中所述第一 輸入圖片序列的第一輸入圖片可以或者可以不旨在用于輸出，并且其中所述第二輸入圖片 序列的第二輸入圖片旨在用于輸出；用于包括指示視差運動的視差信號指示的裝置；用于使用運動推導方法、按照所述視差運動從所述第一輸入圖片推導出至少一個運動 矢量的裝置；以及用于在對所述第二輸入圖片的編碼中使用所述至少一個推導出的運動矢量的裝置。
30.根據(jù)權利要求29的設備，其中所述視差運動具有8像素精度。
31.一種方法，包括將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中；在所述第一輸入圖片序列的片報頭中用信號發(fā)送運動是否是通過從第二序列中的圖 片的推導而生成的。
32.—種計算機可讀存儲介質，其存儲有被配置用于執(zhí)行權利要求31的方法的計算機 程序指令。
33.一種設備，包括 處理器；以及可通信地連接到所述處理器的存儲器單元，其包括被配置用于將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中的計算機代碼；以及被配置用于在所述第一輸入圖片序列的片報頭中用信號發(fā)送運動是否是通過從第二 序列中的圖片的推導而生成的計算機代碼。
34.根據(jù)權利要求33的設備，其至少部分地實現(xiàn)為至少一個集成電路。
35.一種設備，包括用于將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中的裝置；以及 用于在所述第一輸入圖片序列的片報頭中用信號發(fā)送運動是否是通過從第二序列中 的圖片的推導而生成的裝置。
36.根據(jù)權利要求35的設備，其至少部分地實現(xiàn)為至少一個集成電路。
37.一種方法，包括將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中；以及 在網(wǎng)絡提取層單元報頭中用信號發(fā)送所述第二輸入圖片序列中的圖片是否被所述第 一輸入圖片序列中的至少一個圖片用于運動跳躍。
38.一種計算機可讀存儲介質，其存儲有被配置用于執(zhí)行權利要求37的方法的計算機 程序指令。
39.一種設備，包括 處理器；以及可通信地連接到所述處理器的存儲器單元，其包括被配置用于將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中的計算機代碼；以及被配置用于在網(wǎng)絡提取層單元報頭中用信號發(fā)送所述第二輸入圖片序列中的圖片是 否被所述第一輸入圖片序列中的至少一個圖片用于運動跳躍的計算機代碼。
40.根據(jù)權利要求39的設備，其至少部分地實現(xiàn)為至少一個集成電路。
41.一種設備，包括用于將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中的裝置；以及 用于在網(wǎng)絡提取層單元報頭中用信號發(fā)送所述第二輸入圖片序列中的圖片是否被所 述第一輸入圖片序列中的至少一個圖片用于運動跳躍的裝置。
42.根據(jù)權利要求41的設備，其至少部分地實現(xiàn)為至少一個集成電路。
43.一種方法，包括從比特流接收第一輸入圖片序列和第二輸入圖片序列；接收網(wǎng)絡提取層單元報頭中的信號，所述信號指示所述第二輸入圖片序列中的圖片是否被所述第一輸入圖片序列中的至少一個圖片用于運動跳躍；以及如果所述信號指示所述第二輸入圖片序列中的圖片被所述第一輸入圖片序列中的至 少一個圖片用于運動跳躍，則在對所述第一輸入圖片序列中的所述至少一個圖片進行解碼 時，使用所述第二輸入圖片序列中的所述圖片以用于運動跳躍。
44.一種計算機可讀存儲介質，其存儲有被配置用于執(zhí)行權利要求43的方法的計算機 程序指令。
45.一種設備，包括 處理器；以及可通信地連接到所述處理器的存儲器單元，其包括被配置用于從比特流接收第一輸入圖片序列和第二輸入圖片序列的計算機代碼； 被配置用于接收網(wǎng)絡提取層單元報頭中的信號的計算機代碼，所述信號指示所述第二 輸入圖片序列中的圖片是否被所述第一輸入圖片序列中的至少一個圖片用于運動跳躍；以 及被配置用于，如果所述信號指示所述第二輸入圖片序列中的圖片被所述第一輸入圖片 序列中的至少一個圖片用于運動跳躍，則在對所述第一輸入圖片序列中的所述至少一個圖 片進行解碼時，使用所述第二輸入圖片序列中的所述圖片以用于運動跳躍的計算機代碼。
46.根據(jù)權利要求45的設備，其至少部分地實現(xiàn)為至少一個集成電路。
47.一種設備，包括用于從比特流接收第一輸入圖片序列和第二輸入圖片序列的裝置； 用于接收網(wǎng)絡提取層單元報頭中的信號的裝置，所述信號指示所述第二輸入圖片序列 中的圖片是否被所述第一輸入圖片序列中的至少一個圖片用于運動跳躍；以及用于如果所述信號指示所述第二輸入圖片序列中的圖片被所述第一輸入圖片序列中 的至少一個圖片用于運動跳躍，則在對所述第一輸入圖片序列中的所述至少一個圖片進行 解碼時，使用所述第二輸入圖片序列中的所述圖片以用于運動跳躍的裝置。
48.根據(jù)權利要求47的設備，其至少部分地實現(xiàn)為至少一個集成電路。
49.一種方法，包括接收第一輸入圖片序列和第二輸入圖片序列，所述第一輸入圖片序列的片報頭包括有 關運動是否是通過從第二序列中的圖片的推導而生成的信號；以及如果所述第一輸入圖片序列的片報頭中的所述信號指示運動是通過從第二序列中的 圖片的推導而生成的，則使用從第二序列中的圖片推導出的運動來對所述第一輸入圖片序 列中的至少一個圖片進行解碼。
50.一種計算機可讀存儲介質，其存儲有被配置用于執(zhí)行權利要求49的方法的計算機 程序指令。
51.一種設備，包括 處理器；以及可通信地連接到所述處理器的存儲器單元，其包括被配置用于接收第一輸入圖片序列和第二輸入圖片序列的計算機代碼，所述第一輸入 圖片序列的片報頭包括有關運動是否是通過從第二序列中的圖片的推導而生成的信號；以 及被配置用于，如果所述第一輸入圖片序列的片報頭中的所述信號指示運動是通過從第 二序列中的圖片的推導而生成的，則使用從第二序列中的圖片推導出的運動來對所述第一 輸入圖片序列中的至少一個圖片進行解碼的計算機代碼。
52.根據(jù)權利要求51的設備，其至少部分地實現(xiàn)為至少一個集成電路。
53.一種設備，包括用于接收第一輸入圖片序列和第二輸入圖片序列的裝置，所述第一輸入圖片序列的片 報頭包括有關運動是否是通過從第二序列中的圖片的推導而生成的信號；以及用于如果所述第一輸入圖片序列的片報頭中的所述信號指示運動是通過從第二序列 中的圖片的推導而生成的，則使用從第二序列中的圖片推導出的運動來對所述第一輸入圖 片序列中的至少一個圖片進行解碼的裝置。
54.根據(jù)權利要求53的設備，其至少部分地實現(xiàn)為至少一個集成電路。
55.一種方法，包括將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中，其中所述第一輸入圖片序 列的第一輸入圖片可以或者可以不旨在用于輸出，并且其中所述第二輸入圖片序列的第二 輸入圖片旨在用于輸出；包括指示宏塊視差運動的視差信號指示；使用運動推導方法、按照所述視差運動從所述第一輸入圖片推導出至少一個運動矢 量；以及使用所述至少一個推導出的運動矢量以用于運動補償。
56.根據(jù)權利要求55的方法，進一步包括在所述比特流中包括至少一個指示，所述至 少一個指示用于指示以下中的至少一個圖片是否在對所述至少一個運動矢量的推導中使 用，視角是否使用任何其他視角以用于視角間樣本預測，以及針對視角是否支持單環(huán)路解碼。
57.一種計算機可讀存儲介質，其存儲有被配置用于執(zhí)行權利要求55的方法的計算機 程序指令。
58.一種存儲有計算機程序指令的計算機可讀存儲介質，所述計算機程序指令的執(zhí)行 導致以下操作，包括將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中，其中所述第一輸入圖片序 列的第一輸入圖片可以或者可以不旨在用于輸出，并且其中所述第二輸入圖片序列的第二 輸入圖片旨在用于輸出；包括指示宏塊視差運動的視差信號指示；使用運動推導方法、按照所述視差運動從所述第一輸入圖片推導出至少一個運動矢 量，所述至少一個推導出的運動矢量用于運動補償。
59.根據(jù)權利要求58的計算機可讀存儲介質，其中在所述比特流中包括至少一個指 示，所述至少一個指示用于指示以下中的至少一個圖片是否在對所述至少一個運動矢量 的推導中使用，視角是否使用任何其他視角以用于視角間樣本預測，以及針對視角是否支 持單環(huán)路解碼。
60.一種設備，包括用于將第一輸入圖片序列和第二輸入圖片序列編碼到比特流中的裝置，其中所述第一輸入圖片序列的第一輸入圖片可以或者可以不旨在用于輸出，并且其中所述第二輸入圖片 序列的第二輸入圖片旨在用于輸出；用于包括指示宏塊視差運動的視差信號指示的裝置；用于使用運動推導方法、按照所述視差運動從第一輸入圖片推導出至少一個運動矢量 的裝置，所述至少一個推導出的運動矢量用于運動補償；以及用于在所述比特流中包括至少一個進一步指示的裝置，所述至少一個進一步指示用于 指示以下中的至少一個圖片是否在對所述至少一個運動矢量的推導中使用，視角是否使 用任何其他視角以用于視角間樣本預測，以及針對視角是否支持單環(huán)路解碼。
61.根據(jù)權利要求60的設備，其至少部分地實現(xiàn)為至少一個集成電路。
全文摘要
提供了系統(tǒng)、方法和有形地包含在存儲介質中的計算機程序，用于針對多視角視頻編碼來實現(xiàn)運動跳躍和單環(huán)路解碼。在各種實施方式中，針對當前具有8×8或4×4像素視差運動矢量精度的JMVM布置使用更有效的運動跳躍，同時維持與有關分層化宏塊分區(qū)的H.264/AVC設計相兼容的運動補償過程?？梢允褂米赃m應參考合并以便實現(xiàn)從一個視角間參考圖片更精確的運動跳躍。為了指示圖片是否將用于運動跳躍，可以使用NAL單元報頭中的語法變型或新的語法元素。
文檔編號H04N7/50GK101999228SQ200880120881
公開日2011年3月30日 申請日期2008年10月15日 優(yōu)先權日2007年10月15日
發(fā)明者M·安尼克塞拉, 王業(yè)奎, 陳穎 申請人:諾基亞公司