專利名稱：用于可伸縮視頻的感興趣區(qū)域信息設(shè)置方法和解析方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種支持在可伸縮視頻編碼(SVC)中編碼和解碼多個感興趣區(qū)域 (ROI)的新功能的方法，且更具體地，涉及一種在SVC中定義多個ROI且獨立地用SVC中提供的可伸縮性來解碼該多個ROI的方法。
背景技術(shù)：
作為在運動圖片編解碼器中實現(xiàn)的ROI的例子，存在基于HJ63的編碼和基于 MPEG-4對象的編碼。提供以H. 263獨立地解碼特定區(qū)域的方法的獨立分段解碼(ISD)模式從將被獨立地解碼的該區(qū)域被視為在基于MPEG-4對象的編碼中的一個完整圖像的角度來看與基于MPEG-4對象的編碼相同。但是，該ISD模式不同于如下的基于MPEG-4對象的編碼。I.H.洸3中的ISD模式在基于HJ63的編碼中，獨立地解碼圖像中的特定區(qū)域的方法被提供作為選項 (見H. 263的附件R)。具體地，在基于H. 263的編碼中，可以通過使用可伸縮分層編碼來提供空間、時間和質(zhì)量的可伸縮性。在H. 263中，通過使用對應(yīng)于SVC的粗粒度可伸縮性(CGS)的方法來提供質(zhì)量可伸縮性，且通過使用對應(yīng)于精細粒度可伸縮性(res)的方法并支持各種幀來提供時間可伸縮性。另外，在空間可伸縮性中，類似于可伸縮視頻解碼(SVD)，根據(jù)分辨率來進行編碼，且使用具有較低分辨率的圖像來進行層間編碼。2.基于MPEG-4對象的編碼器在基于MPEG-4對象的編碼中，具有任意形狀的對象區(qū)域被編碼成由視頻對象平面(VOP)定義的矩形區(qū)域。根據(jù)本方法，類似于R0I，在圖像中的特定區(qū)域以其能夠被獨立地解碼的方式被編碼。根據(jù)基于H. 264的編碼的SVC具有比H. 263和MPEG-4更高的編碼速率，且在SVC 中的編碼機制不同于H. 263和MPEG-4的編碼機制。

發(fā)明內(nèi)容
本發(fā)明提供一種代表適合于可伸縮視頻編碼(SVC)的感興趣的區(qū)域(ROI)的方法。技術(shù)方案根據(jù)本發(fā)明的方面，提供一種多ROI (感興趣區(qū)域)設(shè)置裝置，包括R0I設(shè)置單元，其設(shè)置至少一個或多個ROI并通過定義宏塊作為被分配給至少一個ROI的方式來將ROI 標識編號分配給每個ROI ；映射單元，其將至少一個或多個片組標識編號分配給至少一個或多個ROI標識編號；以及消息生成單元，其生成消息，該消息包括ROI相關(guān)信息、片組相關(guān)信息、關(guān)于將至少一個或多個ROI標識編號映射到至少一個或多個片組標識編號的映射信息和可伸縮性信息。多ROI設(shè)置裝置可以進一步包括選擇單元，其基于消息從比特流中選擇具有特定可伸縮性的特定ROI的比特流。另外，當(dāng)在ROI之間存在重疊區(qū)域時，映射單元可以將片組標識編號的每個分配給重疊區(qū)域和不重疊其他ROI的ROI的區(qū)域。另外，選擇單元可以基于在消息中的信息，來從比特流中檢測與被映射到特定ROI 標識編號的片組標識編號相對應(yīng)的片組，移除其中不存在所檢測的片組的NAL單元，并移除具有高于特定可伸縮性的可伸縮性的NAL單元。根據(jù)本發(fā)明的另一方面，提供一種ROI選擇裝置，包括接收單元，其接收具有消息的比特流，該消息包括關(guān)于將至少一個或多個片組分配到一個或多個ROI集的映射的映射信息、ROI相關(guān)信息、片組相關(guān)信息和可伸縮性信息；以及選擇單元，其基于消息從比特流中選擇與具有特定可伸縮性的特定ROI相對應(yīng)的比特流。映射信息可以包括關(guān)于將ROI標識編號分配給至少一個或多個ROI的信息，和關(guān)于將表示至少一個或多個片組的片組標識編號分配給ROI標識編號的信息。另外，當(dāng)在ROI之間存在重疊區(qū)域時，片組標識編號可以被分配給重疊區(qū)域和不重疊其他ROI的ROI的區(qū)域。根據(jù)本發(fā)明的另一方面，提供一種選擇性ROI重構(gòu)裝置，包括接收單元，其接收具有消息的比特流，該消息包括關(guān)于將至少一個或多個片組分配到一個或多個ROI集的映射的映射信息、ROI相關(guān)信息、片組相關(guān)信息和可伸縮性信息；以及選擇單元，其基于消息從比特流中選擇與具有特定可伸縮性的特定ROI相對應(yīng)的比特流；以及解碼單元，其解碼所選擇的比特流。根據(jù)本發(fā)明的另一方面，提供一種多ROI (感興趣區(qū)域)設(shè)置方法，包括(a)設(shè)置至少一個或多個ROI和將ROI標識編號分配給每個ROI ； (b)將至少一個或多個片組標識編號映射給至少一個或多個ROI標識編號；以及(c)生成消息，該信息包括ROI相關(guān)信息、片組相關(guān)信息、關(guān)于將至少一個或多個ROI標識編號映射到至少一個或多個片組標識編號的映射信息和可伸縮性信息。多ROI設(shè)置方法可以進一步包括(d)基于消息從比特流中選擇具有特定可伸縮性的特定ROI的比特流。根據(jù)本發(fā)明的另一方面，一種ROI選擇方法，包括(a)接收具有消息的比特流，該消息包括關(guān)于將至少一個或多個片組分配到一個或多個ROI集的映射的映射信息、ROI相關(guān)信息、片組相關(guān)信息和可伸縮性信息；以及(b)基于消息從比特流中選擇與具有特定可伸縮性的特定ROI相對應(yīng)的比特流。根據(jù)本發(fā)明的另一方面，提供一種選擇性ROI重構(gòu)方法，包括(a)接收具有消息的比特流，該消息包括關(guān)于將至少一個或多個片組分配到一個或多個ROI集的映射的映射信息、ROI相關(guān)信息、片組相關(guān)信息和可伸縮性信息；(b)基于消息從比特流中選擇與具有特定可伸縮性的特定ROI相對應(yīng)的比特流；以及(C)解碼所選擇的比特流。具體來說，根據(jù)本發(fā)明的一個方面，提供了一種用于可伸縮視頻的ROI (感興趣區(qū)域)信息設(shè)置方法，該方法包括在幀中設(shè)置至少一個R0I，并且向所述至少一個ROI中的每一個ROI分配ROI標識編號；將該ROI標識編號映射到層標識編號；以及將至少一個或多個片組標識編號映射到該層標識編號，其中，SEI (補充增強信息)消息包括該ROI標識編號到該層標識編號之間的映射信息、以及該ROI標識編號與所述至少一個或多個片組標識編號之間的映射信息。根據(jù)本發(fā)明的又一方面，提供了一種用于可伸縮視頻的ROI解析方法，該方法包括根據(jù)SEI消息來確認ROI標識編號與層標識編號之間的映射關(guān)系；根據(jù)該SEI消息來確定與該層標識編號對應(yīng)的至少一個或多個片組標識編號；以及基于所述至少一個或多個片組標識編號來確定在PSS(圖像參數(shù)集)中對應(yīng)的片組的位置。根據(jù)本發(fā)明的又一方面，提供了一種ROI解析方法，該方法包括根據(jù)可伸縮信息 SEI消息來確認包括ROI的層的層標識編號與ROI標識編號之間的映射關(guān)系；根據(jù)子圖像可伸縮層SEI消息和運動約束片組集SEI消息來確定與該層標識編號對應(yīng)的至少一個或多個片組標識編號；以及基于所述至少一個或多個片組標識編號來確定在PSS中對應(yīng)的片組的位置。


圖1示出根據(jù)本發(fā)明的實施例的被顯示在移動電話或PDA的屏幕上的交通監(jiān)視窗□。圖2示出被定義在類型2的片組映射(slice group map)中的四個片組。圖3示出在存在一個感興趣的區(qū)域(ROI)的情況下的例子。圖4示出存在具有重疊區(qū)域的兩個ROI的情況下的例子。圖5A示出在通過使用靈活的宏塊排序(FMO)實現(xiàn)的圖4的ROI的情況下的例子。圖5B示出根據(jù)本發(fā)明的實施例的對于包括ROI在內(nèi)的補充增強信息(SEI)消息的SEI消息生成操作。圖6是示出根據(jù)本發(fā)明的實施例的基于ROI的視頻通信、視頻編碼和解碼操作的示意圖。圖7是示出根據(jù)本發(fā)明的實施例的多ROI設(shè)置裝置的構(gòu)造的圖。圖8是示出根據(jù)本發(fā)明的實施例的ROI選擇裝置的構(gòu)造的圖。圖9A是示出根據(jù)本發(fā)明的實施例的選擇性ROI重構(gòu)裝置的構(gòu)造的圖。圖9B示出根據(jù)本發(fā)明的實施例的選擇性ROI重構(gòu)裝置的ROI提取操作。圖10AU0B和IOC示出根據(jù)本發(fā)明的實施例的SEI消息的語法。圖11示出根據(jù)本發(fā)明的實施例的SEI消息的語法的例子。圖12是示出在可伸縮視頻編碼(SVC)中實現(xiàn)多個ROI的操作的流程圖。
具體實施例方式近來，已經(jīng)使用可伸縮視頻編碼(SVC)作為用于在不同環(huán)境中傳輸視頻的重要技術(shù)。在SVC中，根據(jù)用戶的終端或網(wǎng)絡(luò)的情況從已編碼的比特流中移除特定部分，以便可以生成具有不同的時間、空間和質(zhì)量特性的比特流。除了現(xiàn)有SVC的前述特征以外，本發(fā)明提供在具有一個或多個ROI的可伸縮視頻流中提取具有特定的感興趣的區(qū)域(ROI)的新的比特流的方法。由于這種方法，用戶可以看到具有對于諸如移動電話或PDA之類的限制了分辨率和顯示尺寸的用戶的裝置來說可能的最高分辨率的視頻。當(dāng)網(wǎng)絡(luò)或終端在尺寸方面受限時，僅傳輸在視頻中具有重要意義的感興趣的區(qū)域 (ROI)，以便可以提供能夠保證服務(wù)質(zhì)量(QoQ的視頻流服務(wù)。現(xiàn)在，參考圖1描述其示例。圖1示出根據(jù)本發(fā)明的實施例的被顯示在移動電話或PDA的屏幕上的交通監(jiān)視窗在具有低分辨率的這種移動電話或PDA中，接收原始圖像，該原始圖像的分辨率被處理以便被降低。但是，在本實施例中，僅接收如并輸出Iio或120定義的R0I，以便可以瀏覽適合于該終端的ROI。在SVC中的多個ROI的實現(xiàn)當(dāng)定義了一個或多個ROI時，考慮兩因素以便代表R0I。1)可以提供一個或多個ROI以便在可伸縮視頻比特流中具有不同的可伸縮性。2)在兩個ROI之間可能存在重疊區(qū)域，且重疊區(qū)域可能減少編碼速率。在本實施例中，使用根據(jù)H. 264/AVC的靈活的宏塊排序(FMO)來構(gòu)造獨立的ROI。1.使用FMO來編碼和解碼ROI現(xiàn)在，將描述根據(jù)本發(fā)明的實施例的SVC中的ROI的實現(xiàn)。在本發(fā)明的實施例中， 使用根據(jù)各種片組映射類型中的類型2的片組映射的FMO來定義ROI作為片組。圖2示出在類型2的片組映射中定義的四個片組。應(yīng)該注意，前述類型僅是示例，但本發(fā)明包括其所有修改和改變。圖3示出在存在一個ROI的情況下的例子。位于幀中的ROI外部的宏塊被定義為另一片組。如果僅存在一個ROIJUROI 310 變成片組1，而其背景變成片組2。給該幀中的每個宏塊分配包括了該宏塊的片組的片組ID。給每個宏塊分配一個片組ID。在SVC中，以片組為單位進行幀的編碼。當(dāng)編碼特定的片組時，僅編碼在該幀中具有該特定片組的相同片組ID的宏塊。在編碼中，在圖像參數(shù)集中，描述了片組的總數(shù)和片組ID，且記錄在每個片組的左上和右下角中的宏塊的地址。該信息被用于進行以片為單位的編碼。2.使用FMO來實現(xiàn)多個ROI圖4示出在存在具有重疊區(qū)域的兩個ROI的情況下的例子。不像圖3所示的在一個幀中存在一個ROI的情況，在多個ROI的情況下，存在多個 ROI。因此，需要考慮在ROI之間的重疊區(qū)域。例如，如圖4所示，可以定義R0I_1 400和R0I_2 440。在這種情況下，使用FM0， 將R0I_1 400和R0I_2 440定義為單獨的片組。因此，被包括在R0I_1 400和R0I_2 440 中的重疊區(qū)域可以被包括在包括了 R0I_1 400或R0I_2 440的一個片組中。在這種情況下，有以下問題。重疊區(qū)域420被包括在具有在R0I_1 400和R0I_2 440中較低的片組ID的片組中。例如，當(dāng)R0I_1 400的片組ID是0且R0I_2 440的片組ID是1時，重疊區(qū)域中的宏塊被包括在R0I_1 400中。在合成的編碼中，編碼R0I_1 400以便維持原始區(qū)域410和420。但是，編碼R0I_2 440以便僅分配排除重疊區(qū)域以外的區(qū)域430作為R0I_2。在這種情況下，當(dāng)用戶僅解碼來自編碼比特流的R0I_2 440時，僅編碼R0I_2 440的排除重疊區(qū)域以外的區(qū)域430以便在編碼器中看到。為了解決該問題，根據(jù)本發(fā)明的實施例，在R0I_1 400和R0I_2 440之間重疊區(qū)域 OR 420被定義為獨立的片組。因此，重復(fù)區(qū)域420可以被獨立地編碼和解碼。但是，為了滿足在FMO中定義的規(guī)則，重疊區(qū)域的片組ID需要低于R0I_1 400和R0I_2 440的片組ID。當(dāng)用戶想要瀏覽R0I_1 400時，重疊區(qū)域420和R0I_1 400排除重疊區(qū)域420以外的區(qū)域410被編碼和解碼。當(dāng)用戶想要瀏覽R0I_2 440時，重疊區(qū)域420和R0I_2 440 排除重疊區(qū)域420以外的區(qū)域430被編碼和解碼。因此，可以瀏覽適當(dāng)?shù)囊曨l。圖5A示出在通過使用FMO實現(xiàn)圖4所示的ROI的情況下的例子。作為例子，原始視頻具有通用圖像格式(CIF)尺寸，且用戶可能想要瀏覽原始尺寸、即CIF尺寸的R0I_1 500和其原始尺寸(分辨率)的一半、即四分之一 CIFOiCIF)尺寸的R0I_2 5400在這種情況下，為了編碼R0I_1 500和R0I_2 M0，編碼器在可伸縮層 (QCIF, CIF.4CIF)中進行編碼。更具體地，編碼器編碼R0I_1 500排除重疊區(qū)域以外的區(qū)域R0I_1-0R 510、排除重疊區(qū)域以外的R0I_2-0R 530和重疊區(qū)域OR 520作為三個獨立的片組。每個片組是矩形的形狀?？梢酝ㄟ^使用類型2的片組映射來編碼ROI和重疊區(qū)域 OR。在本實施例中，可伸縮性增加或減少2的整數(shù)倍。作為例子，如圖5A所示，為了通過考慮重疊區(qū)域OR來進行解碼，重疊區(qū)域OR的片組ID需要低于R0I_1 500和R0I_2 540的片組ID。因此，重疊區(qū)域OR，R0I_1和R0I_2的片組ID可以被分別分配0、1和2。3.用于提取ROI比特流的元數(shù)據(jù)如圖4和5A所示，當(dāng)通過使用FMO在視頻中定義具有重疊區(qū)域的多個ROI時，可以用一個或多個片組來構(gòu)造一個ROI。因此，為了提取具有特定ROI的比特流，需要指示每個片組被包括在哪個ROI中的信息。例如，可以從原始比特流中提取具有圖4和5A所示的每個ROI (R0I_1和R0I_2) 的兩個比特流?？梢栽谟脩舻慕K端中解碼并顯示每個R0I。在這種情況下，可以在一個顯示單元或多個顯示單元上獨立地或同時顯示R0I。在本發(fā)明的實施例中，為了提取具有特定ROI的比特流，表示ROI信息被定義為補充增強信息(SEI)的元數(shù)據(jù)被提供給可伸縮性視頻比特流。包括ROI關(guān)聯(lián)信息在內(nèi)的SEI 消息包括ROI的位置和尺寸和ROI的可伸縮性。由于在SEI中描述了必要的元數(shù)據(jù)，因此提取ROI所需的信息可以被傳輸給比特流提取器或解碼器。如下是被包括在表示ROI的元數(shù)據(jù)的結(jié)構(gòu)中的主要信息?！?ROI的數(shù)量被包括在比特流中的ROI的數(shù)量★ROI ID :R0I唯一的值，用戶可以用它來選擇特定的ROI以下信息被用于對應(yīng)的空間層?！锲MID 片組唯一的ID
★片組的尺寸和位置關(guān)于片組的尺寸和位置的信息，用它可以以特定的可伸縮性來識別ROI的尺寸和位置★片組到ROI的映射關(guān)于將片組ID映射到特定ROI ID的信息在當(dāng)前的SVC中，通過使用三個SEI、即可伸縮信息SEI、子圖像可伸縮層信息SEI 和運動約束片組集SEI來呈現(xiàn)ROI關(guān)聯(lián)信息。圖5B示出對于包括ROI在內(nèi)的SEI消息的SEI消息生成操作。通過使用包括關(guān)于片組的信息在內(nèi)的FMO信息來生成圖像參數(shù)集(PPS)。以SEI 的形式來描述對應(yīng)于片組的層。此時，生成包括用于將ROI ID映射到層中的ROI關(guān)聯(lián)層的信息在內(nèi)的SEI。接下來，生成包括表示關(guān)于鏈接到片組ID的層ID的信息的元數(shù)據(jù)在內(nèi)的 SEI，并將其插入要被編碼的比特流中。4.提取具有ROI的比特流圖6是示出根據(jù)本發(fā)明的實施例的基于ROI的視頻通信、視頻編碼和解碼操作的示意圖。在編碼器610中，將輸入的視頻數(shù)據(jù)編碼成SVC網(wǎng)絡(luò)抽象層(NAL)單元(611)。 還將在被包括在SEI消息中的SVC比特流中的ROI關(guān)聯(lián)信息和可伸縮性信息也編碼成SEI NAL單元(612)。在傳輸中，被編碼的SEI NAL單元先于包含被編碼的視頻數(shù)據(jù)的SVC NAL單元。在選擇單元620中，提取從在編碼器610中編碼的可伸縮視頻比特流中選擇的具有特定ROI的比特流。在解碼器630中，解碼用所提取的NAL單元構(gòu)造的比特流。現(xiàn)在，參考圖7和8詳細描述在選擇單元620中進行的提取具有ROI的比特流的方法。圖7是示出根據(jù)本發(fā)明的實施例的多ROI設(shè)置裝置700的構(gòu)造的圖。多ROI設(shè)置裝置700進行在SVC中的多個ROI的設(shè)置、所設(shè)置的ROI的編碼和用于解碼ROI的SEI消息的生成。另外，多ROI設(shè)置裝置700可以進行僅提取具有特定ROI的比特流的功能。多ROI設(shè)置裝置700包括ROI設(shè)置單元710、映射單元720和消息生成單元730。 多ROI設(shè)置裝置700可以進一步包括選擇單元740。ROI設(shè)置單元710設(shè)置至少一個或多個ROI，以便通過H. 264的多個片組的靈活的宏塊排序(FMO)來設(shè)置宏塊作為至少一個或多個ROI，且該宏塊分配ROI ID給ROI。映射單元720給至少一個或多個ROI ID分配至少一個或多個片組ID。映射單元 720根據(jù)圖3和4所示的操作將ROI ID映射到片組ID。當(dāng)在視頻中存在一個或多個ROI時，ID被用于標識R0I。由于ROI是有意義的區(qū)域，因此需要不考慮空間分辨率來指定特定空間區(qū)域的方法。在SVC中，僅給能夠表示特定可伸縮性的特定幀速率的片組指定layer_ID。在比特流提取器中，設(shè)置ROI ID以便不考慮可伸縮性和幀速率來指定特定R0I，且設(shè)置片組ID以便表示特定可伸縮性的特定幀速率。 然后，進行映射。消息生成單元730生成一個消息，包括ROI關(guān)聯(lián)信息、片組關(guān)聯(lián)信息、關(guān)于將ROI ID映射到一個或多個片組ID的映射消息和可伸縮性信息。該消息在H. 264/AVC和SVC中的補充增強信息(SEI)消息，且被編碼以便被包括在編碼器的比特流中。由于在上述部分 “3.用于提取ROI比特流的元數(shù)據(jù)”中描述SEI消息，因此省略SEI消息的詳細描述。選擇單元740根據(jù)由消息生成單元730生成的SEI消息從初始比特流提取具備具有特定可伸縮性的特定ROI的比特流?，F(xiàn)在將參考圖8詳細描述選擇單元740。圖8是示出根據(jù)本發(fā)明的實施例的ROI選擇裝置800的構(gòu)造的圖。ROI選擇單元800包括接收單元810和選擇單元820。接收單元810接收具有包括關(guān)于映射的映射信息(其分配至少一個或多個片組給至少一個或多個ROI集)、R0I關(guān)聯(lián)信息、片組關(guān)聯(lián)信息、和可伸縮性信息在內(nèi)的消息的比特流。選擇單元820可以從輸入的可伸縮視頻流中提取具有具備特定可伸縮性的特定 ROI的比特流。選擇單元820進行SEI消息解析以便提取初始比特流中的R0I，以基于SEI 消息來從比特流中提取對應(yīng)于具有特定可伸縮性的特定ROI的比特流。關(guān)于ROI的消息以元數(shù)據(jù)的形式被包括在SEI消息中，且用于提取特定ROI所需的消息被包括在SEI消息中。根據(jù)對終端或網(wǎng)絡(luò)的限制或根據(jù)用戶的選擇，輸入將被提取的外部或預(yù)定ROI的 ROI ID和可伸縮性，且通過使用在將經(jīng)過解析的SEI消息中的關(guān)于ROI ID和片組ID之間的映射的映射信息來標識對應(yīng)于將被提取的可伸縮性層的片組。接下來，當(dāng)被包括在所請求的ROI中的片組不存在于任何所接收的NAL單元中時， 移除對應(yīng)的NAL單元。另外，當(dāng)NAL單元具有高于所請求的ROI的可伸縮性的分辨率時，移除NAL單元。用沒有在上述操作中被移除的NAL單元來構(gòu)造從選擇單元820輸出的比特流。包括由選擇單元820提取的ROI的比特流還是可伸縮的比特流。圖9A是示出根據(jù)本發(fā)明的實施例的選擇性ROI重構(gòu)裝置900的構(gòu)造的圖。選擇性ROI重構(gòu)單元900包括實質(zhì)上等于或類似于圖8描述的接收單元810和選擇單元820的接收單元910和選擇單元920。另外，選擇性ROI重構(gòu)單元900包括解碼單元 930。由于接收單元910和選擇單元920等于或類似于圖8所示的那些，因此省略其描述。解碼單元930解碼由選擇單元820或920提取的具有ROI的比特流，以便可以最終在SVC中解碼多個ROI。圖9B示出根據(jù)本發(fā)明的實施例的選擇性重構(gòu)裝置的ROI提取操作。從圖像參數(shù)集(PPQ獲得片組的數(shù)量和幾何信息。接下來，從包括關(guān)于將layer_ ID映射到ROI ID的映射信息在內(nèi)的SEI中獲得表示片組的層的R0IID。接下來，從包括關(guān)于被連接于片組ID的layer_ID的信息在內(nèi)的SEI中獲得表示片組ID和layer_ID之間的關(guān)系的信息，以便可以通過使用片組ID來標識被連接于對應(yīng)于將被提取的ROI ID的input_ R0I_ID的片組。因此，可以提取關(guān)聯(lián)的比特流。圖IOA到IOC示出根據(jù)本發(fā)明的實施例的SEI消息的語法。可伸縮性信息SEI提供比特流的可伸縮性信息。構(gòu)造比特流的層根據(jù)其可伸縮性被分類為可伸縮層?？缮炜s層表示特定片組。在可伸縮性信息SEI中描述關(guān)于可伸縮層的信息，以便可以提供提取比特流所需的信息。在本發(fā)明的實施例中，給可伸縮層分配ROI ID用于特定 R0I,以便可以提取具有特定ROI的比特流。由Sub_piC_layer_flag值為1來表示的可伸縮層指示片組是表示ROI的片組。當(dāng) sub_pic_layer_flag值是1時，記錄ROI ID,以便ROI是特定片組的ROI。圖11示出包含ROI有關(guān)信息的選擇性的可伸縮性信息SEI。當(dāng)ROI存在于比特流中時，roi_flag可以被用作取代Sub_piC_layer_flag的信號。roi_flag被設(shè)為1以便指示ROI存在于比特流。另外，ROI的數(shù)量值減去1被設(shè)為num_r0iS_minuS_l。當(dāng)定義ROI 時，兩個或多個片組存在于一個視頻中。在這種情況下，將對應(yīng)于ROI的層分組，以便可以定義子流(substream)。對應(yīng)于 ROI減1的子流數(shù)量被設(shè)為nun_component_substreams_minus_l。ID被分配給子流，且ID 被存儲在 component_substream_id 陣列中。另外描述構(gòu)成子流的可伸縮層的信息，以便可以提供實際片組的可伸縮性信息。在本發(fā)明的另一實施例中，roi_flag、子流、nun_component_substreams_minus_l 禾口 component_substream_id 被存儲作為 ROI 信息。圖12是示出實現(xiàn)在SVC中的多個ROI的操作的流程圖。如下進行在SVC中的多個ROI的實現(xiàn)。通過使用多個片組設(shè)置至少一個或多個ROI，且ROI ID被分配給ROI (操作S1210 和 S1220)。接下來，至少一個或多個片組ID被映射到至少一個或多個ROI ID (操作S1230)。 當(dāng)在ROI之間存在重疊區(qū)域，片組ID被分配給重疊區(qū)域和不重疊其他ROI的ROI的區(qū)域。 (操作 S1230)。在完成將ROI ID映射到片組ID，生成包括ROI相關(guān)信息、片組相關(guān)信息、關(guān)于將 ROI ID映射到一個或多個片組ID的映射信息和可伸縮性信息的SEI消息(操作S1M0)?；赟EI消息從比特流中選擇具有特定可伸縮性的特定ROI的比特流(操作 S1250)。更具體地，基于在SEI消息中的信息來選擇與從比特流映射到特定ROI ID的片組 ID相對應(yīng)的片組。移除其中不存在所檢測的片組的NAL單元，且移除具有高于特定可伸縮性的可伸縮性的NAL單元。之后，提取剩余NAL單元作為比特流。解碼所提取的比特流(操作SU60)。還可以實現(xiàn)本發(fā)明作為在計算機可讀記錄介質(zhì)上的計算機可讀代碼。計算機可讀記錄介質(zhì)是可以存儲能以后由計算機系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲設(shè)備。計算機可讀記錄介質(zhì)的例子包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤、光數(shù)據(jù)存儲設(shè)備和載波(諸如通過因特網(wǎng)的數(shù)據(jù)傳輸)。計算機可讀記錄介質(zhì)還可以被分布在網(wǎng)絡(luò)耦合計算機系統(tǒng)上，以便以分布式方式來存儲和執(zhí)行計算機可讀代碼。盡管已經(jīng)參考本發(fā)明的示范實施例具體示出和描述了本發(fā)明，但本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離由所附權(quán)利要求所限定的本發(fā)明的精神和范圍的情況下，可以進行形式和細節(jié)上的各種改變。
權(quán)利要求
1.一種用于可伸縮視頻的ROI (感興趣區(qū)域)信息設(shè)置方法，該方法包括在幀中設(shè)置至少一個R0I，并且向所述至少一個ROI中的每一個ROI分配ROI標識編號；將該ROI標識編號映射到層標識編號；以及將至少一個或多個片組標識編號映射到該層標識編號，其中，SEI (補充增強信息)消息包括該ROI標識編號到該層標識編號之間的映射信息、 以及該ROI標識編號與所述至少一個或多個片組標識編號之間的映射信息。
2.根據(jù)權(quán)利要求1的方法，其中，該SEI消息包括可伸縮信息SEI消息、子圖像可伸縮層SEI消息和運動約束片組集SEI消息。
3.根據(jù)權(quán)利要求1的方法，其中，在該將該ROI標識編號映射到層標識編號的步驟中， 在該可伸縮信息SEI消息中包括用于指示該ROI標識編號到該層標識編號之間的映射信息的元數(shù)據(jù)。
4.根據(jù)權(quán)利要求1的方法，其中，在該分配ROI標識編號的步驟中，在該子圖像可伸縮層SEI消息和該運動約束片組集SEI消息中包括用于指示以下信息的元數(shù)據(jù)，該信息關(guān)于向?qū)訕俗R編號分配的所分配的ROI標識編號和所述至少一個或多個片組標識編號。
5.根據(jù)權(quán)利要求1的方法，其中，在該在幀中設(shè)置至少一個ROI的步驟中，通過使用 H. 264多片組靈活的宏塊排序(FMO)來設(shè)置宏塊作為所述至少一個或多個ROI。
6.一種用于可伸縮視頻的ROI解析方法，該方法包括根據(jù)SEI消息來確認ROI標識編號與層標識編號之間的映射關(guān)系；根據(jù)該SEI消息來確定與該層標識編號對應(yīng)的至少一個或多個片組標識編號；以及基于所述至少一個或多個片組標識編號來確定在PSS (圖像參數(shù)集)中對應(yīng)的片組的位置。
7.根據(jù)權(quán)利要求6的方法，其中，通過確定在該SEI消息中包括的sub_piC_layer_ flag值，僅僅相對于具有1作為該sub_piC_layer_flag值的層來確認該ROI標識編號與層標識編號之間的映射關(guān)系。
8.根據(jù)權(quán)利要求7的方法，其中，該SEI消息是可伸縮信息SEI消息。
9.根據(jù)權(quán)利要求7的方法，其中，每一層地描述該Sub_piC_layer_flag值，并且只有當(dāng)該sub_pic_layer_flag值為1時，ROI才存在于對應(yīng)的層中。
10.根據(jù)權(quán)利要求6的方法，其中，該用于確定至少一個或多個片組標識編號的SEI消息是子圖像可伸縮層SEI消息和運動約束片組集SEI消息。
11.根據(jù)權(quán)利要求6的方法，其中，該確定位置的步驟包括基于所述至少一個或多個片組標識編號來確定在每個片組的左上和右下角中的宏塊的地址。
12.—種ROI解析方法，該方法包括根據(jù)可伸縮信息SEI消息來確認包括ROI的層的層標識編號與ROI標識編號之間的映射關(guān)系；根據(jù)子圖像可伸縮層SEI消息和運動約束片組集SEI消息來確定與該層標識編號對應(yīng)的至少一個或多個片組標識編號；以及基于所述至少一個或多個片組標識編號來確定在PSS中對應(yīng)的片組的位置。
13.根據(jù)權(quán)利要求12的方法，其中，通過確定在該SEI消息中包括的sub_piC_layer_flag值，僅僅相對于具有1作為該sub_piC_layer_flag值的層來確認該ROI標識編號與層標識編號之間的映射關(guān)系。
14.根據(jù)權(quán)利要求13的方法，其中，每一層地描述該sub_piC_layer_flag值，并且只有當(dāng)該sub_pic_layer_flag值為1時，ROI才存在于對應(yīng)的層中。
15.根據(jù)權(quán)利要求12的方法，其中，該確定位置的步驟包括基于所述至少一個或多個片組標識編號來確定在每個片組的左上和右下角中的宏塊的地址。
全文摘要
提供在可伸縮性視頻編碼中的多ROI(感興趣區(qū)域)設(shè)置方法和裝置以及ROI重構(gòu)方法和裝置。多ROI(感興趣區(qū)域)設(shè)置裝置，包括ROI設(shè)置單元，其設(shè)置至少一個或多個ROI并通過定義宏塊作為被分配給至少一個ROI的方式來將ROI標識編號分配給每個ROI；映射單元，其將至少一個或多個片組標識編號分配給至少一個或多個ROI標識編號；以及消息生成單元，其生成消息，該消息包括ROI相關(guān)信息、片組相關(guān)信息、關(guān)于將至少一個或多個ROI標識編號映射到至少一個或多個片組標識編號的映射信息和可伸縮性信息。
文檔編號H04N7/24GK102271249SQ20111023216
公開日2011年12月7日 申請日期2006年9月25日 優(yōu)先權(quán)日2005年9月26日
發(fā)明者姜晶媛, 張供黨, 洪鎮(zhèn)佑, 裵泰眠, 金在坤, 魯勇滿 申請人:韓國電子通信研究院, 韓國科學(xué)技術(shù)院