專利名稱：在基于對象的視頻編碼中的自動掩碼選擇的制作方法
技術領域：
本發(fā)明涉及用于視頻通信系統(tǒng)的基于對象的編碼，更具體來說，涉及一種在基于對象的編碼環(huán)境中選擇掩碼的方法和系統(tǒng)。
背景技術：
隨著個人計算和因特網(wǎng)的出現(xiàn)，已經(jīng)產生了對數(shù)字數(shù)據(jù)、特別是數(shù)字視頻數(shù)據(jù)的傳輸?shù)木薮笮枨蟆Ｈ欢?，在諸如電話線等低容量通信通道上傳輸視頻數(shù)據(jù)的能力依然是一個正在解決中的難題。
為了解決這個問題，正在開發(fā)出這樣的系統(tǒng)，其中將視頻信號的編碼表示分解成能被獨立編碼和操作的視頻元素或對象。例如，MPEG-4是由運動圖象專家組(MPEG)開發(fā)出來的、用于管理視頻對象的壓縮準則。每個視頻對象均由單獨編碼的呈形狀、動作和紋理信息形式的時間和空間信息來表征。
時間中的視頻對象(video objects in time)的實例被稱作視頻對象平面(VOP)。使用這種類型的表示方法允許增強的對象操作、位流編輯、基于對象的可縮放性等等。每個VOP的都能由紋理和形狀表示來完全描述。形狀信息能被表示成二進制的形狀掩碼、阿爾法平面(alpha plane)、或者用于透明對象的灰度形狀。
為了捕獲阿爾法平面中的視頻對象以便進行編碼，使用與對象的形狀相匹配或接近的形狀掩碼。常用的用于基于對象的編碼的阿爾法平面中的掩碼包括(1)在像素水平與對象緊密匹配的任意形狀(即基于像素的掩碼)；(2)限定對象形狀(例如矩形)的邊框(bounding box)；(3)基于宏塊的掩碼。根據(jù)對象的形狀和復雜性，實現(xiàn)每個掩碼類型的位速率要求可能不同。此外，盡管一種類型的掩碼對形狀編碼要求較少的位，但同樣的掩碼類型可能導致對紋理編碼要求更多的位。
因此，需要一種能為最大程度地節(jié)省位速率而自動選擇最佳掩碼的系統(tǒng)。
發(fā)明概要本發(fā)明通過下述方法解決上述需要以及其它需要即提供了一種根據(jù)對象的實際特征(即編碼的形狀、紋理和動作信息)動態(tài)地選擇最佳掩碼的視頻對象編碼系統(tǒng)。在第一個方面中，本發(fā)明提供一種視頻對象編碼系統(tǒng)，其中包含一個用預定準則評估視頻對象的對象評估系統(tǒng)；以及，一個根據(jù)對視頻對象的評估而生成視頻對象的多個掩碼類型之一的掩碼生成系統(tǒng)。
在第二個方面中，本發(fā)明提供了一種存儲在可讀介質上的、在被執(zhí)行時對視頻對象進行編碼的程序產品，該程序產品包含為用預定準則評估視頻對象而配置的程序代碼；以及，為根據(jù)對視頻對象的評估生成視頻對象的多個掩碼類型之一而配置的程序代碼。
在第三個方面中，本發(fā)明提供了一種在基于對象的視頻通信系統(tǒng)中對視頻對象進行編碼的方法，它包含以下步驟用預定準則評估視頻對象；以及，根據(jù)對視頻對象的評估生成視頻對象的多個掩碼類型之一。
附圖簡述以下將結合


本發(fā)明的示例性優(yōu)選實施例，附圖中相同的記號表示相同的元素。
圖1表示按照本發(fā)明優(yōu)選實施例的對象編碼系統(tǒng)的功能圖；圖2表示按照本發(fā)明的示例性形狀準則流程圖。
發(fā)明詳述現(xiàn)在參看附圖，圖1表示一個將視頻對象26從視頻數(shù)據(jù)27編碼成編碼對象28的對象編碼系統(tǒng)10。視頻對象被對象編碼系統(tǒng)10用從多個掩碼類型中選出的一種類型的掩碼從視頻數(shù)據(jù)中分離。為了選擇適當類型的掩碼，對象編碼系統(tǒng)10包括一個用于評估視頻對象的特征的對象評估系統(tǒng)12、一個用于創(chuàng)建所選擇類型的掩碼的掩碼生成系統(tǒng)14、以及一個用于用所創(chuàng)建的掩碼對視頻對象進行編碼的對象編碼器16。應當認識到，對象編碼系統(tǒng)10可以以獨立的系統(tǒng)實現(xiàn)，也可以合并在諸如MPEG-4編碼器之類的更大的系統(tǒng)中。
按照這個優(yōu)選實施例，可以將幾種不同掩碼類型17、19、21的任何一種用于編碼過程。對象編碼系統(tǒng)10根據(jù)輸入的視頻對象26的特性確定要為該視頻對象26生成的最佳類型的掩碼。為了確定要使用的最佳掩碼類型，對象評估系統(tǒng)12提供一個或多個能被用來評估視頻對象的特性的準則11、13、15。在圖1所示的實施例中，對象評估系統(tǒng)12提供了三種不同的準則，包括形狀準則11、紋理準則13和動作準則15。這樣，當視頻對象26需要編碼時，其形狀、紋理和/或動作特征就能被對象評估系統(tǒng)12所評估，然后根據(jù)該評估，選擇一種掩碼類型。
形狀準則11、紋理準則13和動作準則15提供有助于對視頻對象26分類的模板或指導。根據(jù)分類，用來對對象進行編碼的最佳類型的掩碼可以被選擇出來并由掩碼生成系統(tǒng)14生成。例如，如果用形狀準則11來評估視頻對象26，則要對編碼到視頻對象26中的形狀信息進行評估，以對該對象分類(例如，基本上是圓的，基本上是方的等等)。一旦形狀被分類，就能用適當?shù)难诖a類型來提供所需的結果，即位速率效率與表示精確性的某種平衡。類似地，如果使用紋理準則13，則要對編碼到視頻對象26中的紋理信息進行評估，如果使用動作準則15，則要對編碼到視頻對象26中的動作信息進行評估。應當認識到，其它準則也同樣可以使用，這些其它準則應認為在本發(fā)明的范圍之內。
掩碼生成系統(tǒng)14根據(jù)對象評估系統(tǒng)12的結果生成適當?shù)难诖a類型。在圖1所示的實施例中，示出了三種示例性的掩碼類型，包括基于像素的掩碼17、邊框掩碼19和基于宏塊的掩碼21。這些掩碼類型的每一個以及這里沒有示出的其它掩碼類型提供了不同水平的位速率效率和表示精確性。這樣，就能用不同的掩碼類型來實現(xiàn)不同的預定性能要求。應當認識到，圖1中描述的掩碼類型的每一個都是現(xiàn)有技術中已知的，因此不在這里更詳細地說明。
在掩碼生成系統(tǒng)14選擇用來實現(xiàn)所需結果的最佳掩碼類型后，所選擇的掩碼24被生成并被提供給對象編碼器16，后者接收視頻對象26，對該對象進行編碼，然后輸出編碼對象28。用掩碼來對對象進行編碼的過程(例如MPEG-4所教導的)也是現(xiàn)有技術中已知的，因此不作詳細討論。
現(xiàn)在參看圖2，圖中示出了用于評估視頻對象和選擇掩碼類型的示例性形狀準則11。在這個示例性例子中，第一步是確定對象形狀是否基本上是圓的32。如果形狀基本上是圓的，則使用基于像素的掩碼34。如果對象形狀并非基本上是圓的，則生成邊框(即捕獲該對象的矩形框)36。然后，確定所生成的邊框的區(qū)域是否基本上接近對象形狀的區(qū)域38。如果邊框的區(qū)域并非基本上接近對象形狀的區(qū)域，則使用基于像素的掩碼34。如果基本上接近，則生成基于宏塊的形狀(即捕獲該對象的一系列16*16像素的塊)37。
下一步，確定所生成的基于宏塊的形狀的區(qū)域是否基本上接近邊框的區(qū)域40。如果并非基本上接近，則使用邊框掩碼42。如果基本上接近，則確定基于宏塊的形狀的區(qū)域是否基本上大于實際對象的區(qū)域44。如果基本上更大，則使用邊框42。如果并非基本上更大，則使用基于宏塊的掩碼46。
應當認識到，圖2中所示的邏輯提供了能被用來評估對象的形狀的許多可能的準則之一。
也應當認識到，這里所描述的系統(tǒng)、功能、方法和模塊可以以硬件、軟件或者硬件與軟件組合的形式實現(xiàn)。它們可以通過任何類型的計算機系統(tǒng)或者其它適合執(zhí)行本文所述方法的裝置來實現(xiàn)。硬件與軟件的典型組合可以是帶有計算機程序的通用計算機系統(tǒng)，所述計算機程序在被加載并執(zhí)行時能控制計算機系統(tǒng)執(zhí)行本文所述方法?；蛘咭部梢允褂煤袑ｉT用于執(zhí)行本發(fā)明的一個或多個功能任務的硬件的專用計算機。本發(fā)明也可以被體現(xiàn)在計算機程序產品中，該計算機程序產品含有能實現(xiàn)本文所述方法和功能的所有特征，并且在裝入計算機系統(tǒng)時能執(zhí)行這些方法和功能。計算機程序、軟件程序、程序、程序產品或軟件在本文中是指一組指令以任何語言、代碼或符號方式任何表達形式，所述一組指令旨在使具有信息處理能力的系統(tǒng)直接地或者在下列兩個步驟或其二者之一之后執(zhí)行特定的功能(a)轉換成另一種語言、代碼或符號；和/或(2)以不同材料的形式再現(xiàn)。
以上為了解釋和說明而描述了本發(fā)明的最佳實施例。這些實施例并不是窮盡的，也不是要把本發(fā)明限制在所公開的精確形式上，顯然，按照上述教導有可能進行多種修改和改變。這種對于本領域的熟練人員來說顯而易見的修改和改變要被包含在如后附的權利要求書所定義的本發(fā)明的范圍內。
權利要求
1.一種視頻對象編碼系統(tǒng)(10)，包含用預定準則(11、13、15)評估視頻對象(26)的對象評估系統(tǒng)12)；以及根據(jù)對視頻對象(26)的評估生成視頻對象(26)的多個掩碼類型(17、19、21)之一的掩碼生成系統(tǒng)(14)。
2.權利要求1的視頻對象編碼系統(tǒng)(10)，其中，所述多個掩碼類型(17、19、21)包括基于像素的掩碼(17)、邊框掩碼(19)和基于宏塊的掩碼(21)。
3.權利要求1的視頻對象編碼系統(tǒng)(10)，其中，所述預定準則檢查視頻對象(26)的形狀。
4.權利要求1的視頻對象編碼系統(tǒng)(10)，其中，所述預定準則檢查視頻對象(26)的紋理。
5.權利要求1的視頻對象編碼系統(tǒng)(10)，其中，所述預定準則檢查關于視頻對象(26)的動作信息。
6.權利要求3的視頻對象編碼系統(tǒng)(10)，其中，所述預定準則包括視頻對象形狀是否基本上是圓的。
7.權利要求3的視頻對象編碼系統(tǒng)(10)，其中，所述預定準則包括視頻對象形狀的區(qū)域是否基本上類似于所生成的邊框的區(qū)域。
8.權利要求7的視頻對象編碼系統(tǒng)(10)，其中，所述預定準則包括為視頻對象生成的基于宏塊的形狀的區(qū)域是否基本上類似于所生成的邊框的區(qū)域。
9.權利要求8的視頻對象編碼系統(tǒng)(10)，其中，所述預定準則包括該基于宏塊的形狀的區(qū)域是否基本上大于該視頻對象形狀的區(qū)域。
10.權利要求1的視頻對象編碼系統(tǒng)(10)，進一步包含一個MPEG-4編碼器。
11.一種存儲在可讀介質上的、在被執(zhí)行時對視頻對象進行編碼的程序產品，該程序產品包含為用預定準則(11、13、15)評估視頻對象(26)而配置的程序代碼(12)；以及為根據(jù)對視頻對象(26)的評估生成視頻對象(26)的多個掩碼類型(17、19、21)之一而配置的程序代碼(14)。
12.權利要求11的程序產品，其中，所述多個掩碼類型(17、19、21)包括基于像素的掩碼(17)、邊框掩碼(19)和基于宏塊的掩碼(21)。
13.權利要求11的程序產品，其中，所述預定準則檢查視頻對象(26)的形狀。
14.權利要求11的程序產品，其中，所述預定準則檢查視頻對象(26)的紋理。
15.權利要求11的程序產品，其中，所述預定準則檢查關于視頻對象(26)的動作信息。
16.權利要求13的程序產品，其中，所述預定準則包括視頻對象形狀是否基本上是圓的。
17.權利要求13的程序產品，其中，所述預定準則包括視頻對象形狀的區(qū)域是否基本上類似于所生成的邊框的區(qū)域。
18.權利要求17的程序產品，其中，所述預定準則包括為視頻對象(26)生成的基于宏塊的形狀的區(qū)域是否基本上類似于所生成的邊框的區(qū)域。
19.權利要求18的程序產品，其中，所述預定準則包括該基于宏塊的形狀的區(qū)域是否基本上大于該視頻對象形狀的區(qū)域。
20.一種在基于對象的視頻通信系統(tǒng)中對視頻對象進行編碼的方法，包含以下步驟用預定準則(11、13、15)評估視頻對象(26)；以及根據(jù)對視頻對象(26)的評估生成視頻對象(26)的多個掩碼類型(17、19、21)之一。
21.權利要求20的方法，其中，所述多個掩碼類型(17、19、21)包括基于像素的掩碼(17)、邊框掩碼(19)和基于宏塊的掩碼(21)。
22.權利要求20的方法，其中，所述預定準則檢查視頻對象(26)的形狀。
23.權利要求20的方法，其中，所述預定準則檢查視頻對象(26)的紋理。
24.權利要求20的方法，其中，所述預定準則檢查關于視頻對象(26)的動作信息。
25.權利要求22的方法，其中，所述預定準則包括視頻對象形狀是否基本上是圓的。
26.權利要求22的方法，其中，所述評估步驟包括生成一個邊框(36)；以及確定對象形狀的區(qū)域是否基本上類似于所生成的邊框的區(qū)域(38)。
27.權利要求26的方法，其中，所述評估步驟包括生成一個邊框(37)；以及確定基于宏塊的形狀的區(qū)域是否基本上類似于所生成的邊框的區(qū)域(40)。
28.權利要求27的方法，其中，所述評估步驟包括確定該基于宏塊的形狀的區(qū)域是否大于該對象形狀(26)的區(qū)域。
全文摘要
根據(jù)視頻對象的特征動態(tài)地選擇掩碼類型的視頻對象編碼系統(tǒng)和方法。系統(tǒng)包含一個用預定準則評估視頻對象的對象評估系統(tǒng)以及一個根據(jù)對視頻對象的評估生成視頻對象的多個掩碼類型之一的掩碼生成系統(tǒng)。
文檔編號H03M7/30GK1593063SQ02815164
公開日2005年3月9日 申請日期2002年7月3日 優(yōu)先權日2001年8月3日
發(fā)明者晏勇 申請人:皇家菲利浦電子股份有限公司