專利名稱：用于分層視頻編碼的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像編碼，更具體地，涉及到對分層編碼的視頻圖像的增強層進(jìn)行分部編碼。
分層編碼(例如細(xì)粒標(biāo)量(Fine Granular Scalar，即FGS))，和小波編碼在視頻圖像編碼技術(shù)中是熟知的。例如，F(xiàn)GS編碼把視頻圖像編碼成基本層和增強層?；緦哟砜梢酝ㄟ^網(wǎng)絡(luò)以可接受的質(zhì)量傳輸?shù)淖钚D象。增強層代表當(dāng)有足夠的剩余帶寬可供使用時可以通過網(wǎng)絡(luò)傳輸?shù)母郊拥膱D像細(xì)節(jié)。
增強層以位面格式編碼，其中每個增強層數(shù)值的最高位存儲在第一位面，以及每個增強層數(shù)值的每個相繼的位存儲在相應(yīng)的位面。在增強層傳輸期間，每個位面中的數(shù)值被相繼地發(fā)送，直至可提供的帶寬被占用為止。
在JPEG-2000中引入了分部(fractional)位面的概念，以便鑒別各個位在位面內(nèi)的重要性以及改進(jìn)在位面內(nèi)位面編碼的效率。這個概念在其他的分層編碼方法諸如FGS中不存在。所以，需要一種編碼方法和設(shè)備，其中被確定為重要的視頻圖像的區(qū)域要在對增強層編碼以前被識別。
在圖上

圖1顯示按照本發(fā)明的原理的FGS分部位面編碼器；圖2顯示經(jīng)重要性映射的增強層位面；圖3a顯示按照本發(fā)明的原理的、用于識別圖像內(nèi)重要的圖像區(qū)域的示例性方框圖的流程圖；圖3b顯示按照本發(fā)明的原理的、用于生成重要性映像的示例性處理過程的流程圖；以及圖4顯示按照本發(fā)明的原理的、用于確定經(jīng)重要性映射的增強層位面的系統(tǒng)。
應(yīng)當(dāng)看到，這些附圖僅僅是用于說明本發(fā)明的概念的目的，并不打算作為本發(fā)明的限制的定義。圖1到4所示的和在伴隨的詳細(xì)說明中描述的實施例用作為說明性實施例，以及不應(yīng)當(dāng)被看作為實施本發(fā)明的唯一的情形。另外，系統(tǒng)的參考數(shù)字，在適當(dāng)?shù)膱龊峡赡苡米址M(jìn)行補充，用來表示類似的單元。
在具有包括多個子層的至少一層的分層編碼系統(tǒng)中，這里揭示了一種用于對視頻圖像進(jìn)行編碼的方法，該視頻圖像由多個像素塊組成，像素塊包含被確定為在一個相應(yīng)的子層內(nèi)是重要的至少一個區(qū)域。該方法包括以下步驟把重要性程度與至少一個重要區(qū)域內(nèi)每個已知尺寸的塊相聯(lián)系，根據(jù)被包含在相繼地更大的塊內(nèi)的至少一個已知尺寸的塊的重要性程度，把重要性程度與每個相繼地較大的塊相聯(lián)系，以及映射每個相關(guān)的重要性程度。
在本發(fā)明的另一個實施例中，重要性映像被發(fā)送，以及相應(yīng)的圖像層可以用重要性映像來重建。
圖1顯示按照本發(fā)明的原理的示例性分部位面編碼器100的方框圖。在該圖上，輸入信號110加到相加器115，把它與經(jīng)運動補償圖像相混合，后者將進(jìn)一步討論。組合的信號然后施加到離散系數(shù)變換(DCT)120，以便把像素值映射成系數(shù)。DCT系數(shù)接著施加到量化器125進(jìn)行量化。量化的DCT系數(shù)然后加到可變長度編碼器130和組合器175。
量化的DCT系數(shù)也施加到逆量化器135，以恢復(fù)DCT系數(shù)。應(yīng)當(dāng)看到，恢復(fù)的DCT系數(shù)并不完全與原先的DCT值相同，因為在量化過程中某些信息被丟失。逆量化的系數(shù)接著施加到逆DCT140，以便在DCT和量化處理后恢復(fù)原先的像素單元。同樣地，在原先的像素單元與恢復(fù)的像素單元之間存在已知的差別，因為某些信息在量化過程中丟失。恢復(fù)的像素單元施加到運動估值器/運動補償器145。經(jīng)運動估值/補償?shù)男盘柸缓笫┘拥较嗉友b置115，以便與原先的圖像110組合。
相加的圖像150連同從逆DCT140的輸出的恢復(fù)的像素單元一起也施加到相加裝置155。相加裝置的輸出是在原先的信號110與恢復(fù)的基本層圖像之間的剩余的單元。剩余圖像同時加到增強層編碼器160和重要性映像編碼器165。重要性映像編碼器165的結(jié)果又施加到增強編碼器170，用于映射位面，正如將更充分地描述的。
增強層170和重要性映像165的輸出加到組合器180，以及組合的輸出加到組合器175。組合器175的輸出190然后可以通過網(wǎng)絡(luò)被發(fā)送或被存儲供以后傳輸。
圖2a顯示圖像幀200，包含重要的信息，諸如邊界的改變，彩色或紋理。重要的圖像區(qū)域210，215，220可以使用已知的方法識別。因此，在結(jié)構(gòu)上呈現(xiàn)很小的改變或沒有改變的區(qū)域可被識別為非重要的。因此，只需要發(fā)送關(guān)于這些區(qū)域的很少的信息或不需要發(fā)送關(guān)于這些區(qū)域的信息。因此，在本發(fā)明的一個實施例中，通過檢查每個像素單元就可以確定重要的區(qū)域。在優(yōu)選實施例中，可以通過檢查相應(yīng)的DCT系數(shù)來確定重要的區(qū)域。
圖2b顯示本發(fā)明的另一個方面，其中重要的圖像區(qū)域(例如210)與多個塊、相應(yīng)的宏塊、和相應(yīng)的超級宏塊相聯(lián)系。雖然顯示了圖像的特定的分段，但將會看到，圖像可以按其他準(zhǔn)則被分段；正如下面討論的。在這個說明的例子中，圖像區(qū)域210由超級宏塊222，224，226，228，230和232組成。每個超級宏塊可被劃分成宏塊。為了簡明起見，超級宏塊222被顯示為劃分成宏塊240，242，244和246。每個宏塊240，242，244和246可被再劃分成小型宏塊。為了簡明起見，宏塊240被顯示為劃分成小型宏塊250，252，254和256。每個小型宏塊可被再劃分成塊。為了簡明起見，小型宏塊250被顯示為劃分成塊260，262，264和266。將會看到，每個超級宏塊可以類似地被劃分和識別為宏塊、小型宏塊、和塊并與它們相聯(lián)系。
在優(yōu)選實施例中，塊260包含與8×8配置的像素單元有關(guān)的信息。而且，小型宏塊250與16×16配置的像素單元相聯(lián)系。宏塊240與32×32配置的像素單元相聯(lián)系，以及超級宏塊222與64×64配置的像素單元相聯(lián)系。在這個優(yōu)選實施例中，塊260類似于相應(yīng)的像素單元塊的DCT編碼。
圖2c顯示按照本發(fā)明的優(yōu)選實施例的被識別的重要的區(qū)域210在位面272，274和276中的位面映射270。在這種情況中，增強層通過使用三個位的位面被編碼。然而，應(yīng)當(dāng)看到，位面的深度可以是任何數(shù)，不打算把位面深度限于這里顯示的數(shù)目。在本優(yōu)選實施例中，因為DCT信息被映射到每個位面，區(qū)域210和相關(guān)的超級宏塊、宏塊、小型宏塊，并且各塊可以容易地識別。
圖3a顯示按照本發(fā)明的原理的、用于重要性映射的示例性過程300的流程圖。在這個過程中，重要性映射開始于與圖像有關(guān)的任意選定的位面。在說明的優(yōu)選實施例中，在方框305，選擇了與最高位相關(guān)的位面，即位面0。在方框310，確定與選擇的位面有關(guān)的重要性映像。在方框315，與位面有關(guān)的重要性映像被編碼。在方框320，被識別為重要的塊的紋理被編碼，以及生成重要性映像的按比特的表示。重要性映像的按比特的表示可以在接收裝置中被譯碼以了解重要性映像。在方框325，確定與圖像有關(guān)的所有的位面是否都被處理。如果回答是否定的，則在方框332，選擇下一個/以后的位面，以及為選中的下一個/以后的位面繼續(xù)進(jìn)行重要性映射過程。
然而，如果回答是肯定的，則在方框330確定是否所有的圖像都已處理。如果回答是否定的，則在方框334選擇下一個/以后的圖像。然后為選中的下一個/以后的圖像的每個位面繼續(xù)進(jìn)行重要性映射過程。
圖3b顯示重要性映射的示例性過程310的流程圖。在這個示例性過程中，在方框340，確定初始塊尺寸和相關(guān)的最小和最大塊尺寸。在這種情況中，顯示了與優(yōu)選的塊尺寸有關(guān)的初始塊尺寸。在方框345，確定當(dāng)前塊的尺寸是否等于最小塊尺寸。如果回答是肯定的，則在方框350確定當(dāng)前塊是否具有非零系數(shù)。如果回答是肯定的，則在方框355把相關(guān)的塊標(biāo)記為或識別為重要的。
然而，如果回答是否定的，則在方框370把該塊標(biāo)記為或識別為不重要的。
在方框355，識別當(dāng)前塊為重要的，或在方框370，識別為不重要以后，在方框360，確定是否達(dá)到最后的塊。如果回答是否定的，則在方框365，選擇位面中的下一個/以后的塊。在方框345，為選中的下一個/以后的塊繼續(xù)進(jìn)行處理。
然而，如果在方框360的回答是肯定的，即，當(dāng)前的尺寸的所有的塊已被處理，則確定當(dāng)前的塊尺寸是否大于最大塊尺寸。如果回答是否定的，則在方框380增加當(dāng)前塊尺寸，最好是加倍。在方框345，為與增加的尺寸相關(guān)的每個塊繼續(xù)進(jìn)行處理。
回到在方框345的判決，如果回答是否定的，則在方框385確定較小的塊(即較大的塊內(nèi)的子塊)是否為重要的。如果回答是肯定的，則在方框355，較大的塊被標(biāo)記為或被識別為重要的。然而，如果回答是否定的，則在方框370，較大的塊被標(biāo)記為或被識別為不重要的。
然后對于每個接連的較大的塊繼續(xù)進(jìn)行處理，直至在方框375，塊尺超過最大塊尺寸為止。
圖4顯示可被使用于實施本發(fā)明的原理的系統(tǒng)400的示例性實施例。系統(tǒng)400可以代表TV發(fā)射機或接收機系統(tǒng)、臺式計算機、筆記本電腦、掌上電腦、個人數(shù)字助理(PDA)、視頻/圖像存儲設(shè)備(如盒式磁帶錄像機(VCR)、數(shù)字視頻記錄器(DVR)、TiVO設(shè)備)等等，以及這些和其他設(shè)備的部分或組合。系統(tǒng)400可包含一個或多個輸入/輸出設(shè)備402、處理器403、和存儲器404，它們可接入一個或多個包含視頻圖像的源401。源401可被存儲在永久的或半永久的媒體中，諸如電視接收機(SDTV或HDTV)、VCR、RAM、ROM、硬盤驅(qū)動器、光盤驅(qū)動器、或其他視頻圖像存儲設(shè)備。源401可以替換地通過一個或多個網(wǎng)絡(luò)連接410接入，用于例如通過全球計算機通信網(wǎng)(諸如互聯(lián)網(wǎng))、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、地面廣播系統(tǒng)、有線網(wǎng)、衛(wèi)星網(wǎng)、或電話網(wǎng)、以及這些和其他類型的網(wǎng)絡(luò)的部分或組合，接收來自一個或多個服務(wù)器的視頻。
輸入/輸出設(shè)備402、處理器403、和存儲器404可以通過通信媒體406通信。通信媒體406例如可以代表總線、通信網(wǎng)、電路、電路卡或其他設(shè)備的一個或多個內(nèi)部連接，以及這些和其他通信媒體的部分或組合。來自源401的輸入數(shù)據(jù)按照被存儲在存儲器404中的和由處理器403執(zhí)行的一個或多個軟件程序來處理，以便把分部編碼的視頻圖像提供到網(wǎng)絡(luò)420。分部編碼的視頻圖像可被發(fā)送到存儲裝置，或可被發(fā)送到顯示系統(tǒng)，用于實時觀看編碼的視頻圖像。
處理器403可以是任何裝置，諸如通用或?qū)Ｓ糜嬎阆到y(tǒng)，或可以是硬件結(jié)構(gòu)，諸如筆記本電腦、臺式計算機、手持計算機、專用邏輯電路、集成電路、可編程陣列邏輯(PAL)、專用集成電路(ASIC)、等等，以便根據(jù)已知的輸入提供已知的輸出。
在優(yōu)選實施例中，利用本發(fā)明的原理的編碼和譯碼可以由處理器403執(zhí)行的計算機可讀的代碼來實施。代碼可被存儲在存儲器404，或從存儲器媒體中(諸如CD-ROM，或軟盤(未示出))被讀出/下載。在其他實施例中，硬件電路可以代替軟件指令，或與軟件組合以實施本發(fā)明。例如，這里顯示的單元也可以被實施為分立的硬件單元。
在本發(fā)明的一個方面，術(shù)語處理器可以代表一個或多個處理單元或計算單元，它們與一個或多個存儲器單元和例如外設(shè)的其他設(shè)備通信，后者以電子方式連接到和與該至少一個處理單元通信。而且，這些設(shè)備可以通過內(nèi)部總線(例如ISA總線、微信道總線、PCI總線、PCMCIA總線等等)，或電路、電路卡或其他設(shè)備的一個或多個內(nèi)部連接，以及這些和其他通信媒體或外部網(wǎng)(例如互聯(lián)網(wǎng))和內(nèi)部網(wǎng)的部分或組合而被按電子方式連接到一個或多個處理單元。
本發(fā)明的基本新穎特性被顯示，描述，和指出為應(yīng)用于優(yōu)選實施例。應(yīng)當(dāng)看到，在描述的設(shè)備中，在所揭示的設(shè)備的形式和細(xì)節(jié)上，以及在它們的運行上，可以由本領(lǐng)域技術(shù)人員作出各種省略和替換與改變，而不背離本發(fā)明的精神。例如，雖然本發(fā)明是對于FGS編碼描述的，但應(yīng)當(dāng)看到，本發(fā)明也可以適用于類似地開發(fā)的分層編碼系統(tǒng)。類似地，雖然超級宏塊是對于64×64陣列或矩陣討論的，但改變塊的尺寸也應(yīng)當(dāng)在本領(lǐng)域技術(shù)人員的知識范圍之內(nèi)。而且，雖然超級宏塊的邊界被顯示為固定的，但可以想象超級宏塊邊界可以根據(jù)重要的數(shù)據(jù)的第一指示而被動態(tài)地確定。
也明顯地打算把以基本上相同的方式執(zhí)行基本上相同的功能的這些單元的所有的組合認(rèn)為是在本發(fā)明的范圍內(nèi)。從一個描述的實施例到另一個的單元的替換也完全是可想像和預(yù)期的。
權(quán)利要求
1.在具有包括多個子層的至少一層的分層編碼系統(tǒng)中，一種用于對視頻圖像(200)進(jìn)行編碼的方法，視頻圖像由多個像素塊組成，所述像素塊包含在相應(yīng)的子層(272，274，276)內(nèi)被確定是重要的至少一個區(qū)域(210)，所述方法包括以下步驟a.把重要性程度與所述至少一個重要區(qū)域(210)內(nèi)已知尺寸的每個塊(250，252)相聯(lián)系，b.根據(jù)被包含在相繼地更大的塊(222，224)內(nèi)已知尺寸的至少一個所述塊(250，252)的重要性程度，把該重要性程度與所述至少一個所述相繼地更大的塊(222，224)中的每一個相聯(lián)系，以及c.映射每個所述相關(guān)的重要性程度。
2.如權(quán)利要求1中闡述的方法，還包括以下步驟對于每個所述子層，重復(fù)進(jìn)行步驟a-c。
3.如權(quán)利要求1中闡述的方法，還包括以下步驟發(fā)送相應(yīng)于所述子層的所述重要性程度映射。
4.如權(quán)利要求1中闡述的方法，其中所述分層編碼系統(tǒng)是細(xì)粒可縮放(FGS)系統(tǒng)。
5.如權(quán)利要求4中闡述的方法，其中所述子層是位面(272，274，276)。
6.如權(quán)利要求1中闡述的方法，其中所述塊尺寸是從預(yù)定的尺寸組中選擇的。
7.如權(quán)利要求1中闡述的方法，其中所述相繼地更大的塊具有已知的最大值。
8.用于把被形成為多個像素塊的視頻圖像(200)編碼(100)成至少一個層的系統(tǒng)(400)，其中一個所述層由多個子層(272，274，276)組成，所述子層包括至少一個重要的區(qū)域(210)，包括用于把重要性程度與所述至少一個重要區(qū)域(210)內(nèi)已知尺寸的每個塊(250，252)相聯(lián)系的裝置(165)；用于根據(jù)被包含在所述相繼地更大的塊(222，224)內(nèi)已知尺寸的至少一個所述塊(250，252)的所述重要性程度來識別所述至少一個相繼地更大的塊(222，224)中的每一個的重要性程度的裝置(165)，以及用于映射所述重要性程度的裝置(165)。
9.如權(quán)利要求8中闡述的系統(tǒng)，其中所述映射包括有關(guān)每個所述已知尺寸的塊和具有已知的程度的相繼的塊的信息。
10.如權(quán)利要求8中闡述的系統(tǒng)，其中所述已知的程度表示為非零系數(shù)。
11.用于對作為分層編碼的信號來發(fā)送的圖像進(jìn)行譯碼的譯碼系統(tǒng)，包括用于接收相應(yīng)于所述分層編碼的信號的至少一個子層的重要性映射的數(shù)據(jù)的裝置；用于對所述重要性映像進(jìn)行譯碼的裝置；以及用于從所述重要性映像重建所述子層中的相應(yīng)的一個子層的裝置。
12.如權(quán)利要求11中闡述的譯碼系統(tǒng)，還包括用于接收通過網(wǎng)絡(luò)發(fā)送的所述分層編碼信號的裝置。
13.如權(quán)利要求11中闡述的譯碼系統(tǒng)，其中所述重要性映像包括有關(guān)包含重要性信息的塊的信息。
全文摘要
在具有包括多個子層(272，274，276)的至少一層的分層編碼系統(tǒng)中，這里揭示了一種用于視頻圖像(200)編碼的方法，視頻圖像由多個像素塊組成，像素塊包含在相應(yīng)的子層(272，274，276)內(nèi)被確定是重要的至少一個區(qū)域(200，215，220)。該方法包括以下步驟把重要性程度與至少一個重要區(qū)域(200)內(nèi)已知尺寸的每個塊(250，252)相聯(lián)系，根據(jù)被包含在所述較大的塊(222，224)內(nèi)已知尺寸的至少一個所述塊(250，252)的重要性程度，把重要性程度與每個相繼地更大的塊(222，224)相聯(lián)系，以及對每個相關(guān)的重要性程度進(jìn)行映射。在本發(fā)明的另一個實施例中，重要性映像被發(fā)送，以及相應(yīng)的圖像層可以通過重要性映像被重建。
文檔編號H03M7/30GK1640146SQ03805241
公開日2005年7月13日 申請日期2003年3月4日 優(yōu)先權(quán)日2002年3月5日
發(fā)明者M·范德沙爾, R·卡爾魯里 申請人:皇家飛利浦電子股份有限公司