專利名稱：冗余圖像編解碼的方法與裝置的制作方法
技術領域：
本發(fā)明涉及一種圖像編解碼的方法和裝置，特別涉及用于圖像編碼的條(slice)部分的冗余圖像進行編碼和解碼，該條部分用于圖像編碼。
背景技術：
普通的圖像壓縮是去掉其中的冗余信息。當對運動圖像進行這種壓縮時，通常要依次進行時間/空間上的預測編碼、變換/量化編碼以及熵編碼。
當壓縮圖像生成為比特流在網(wǎng)絡上傳輸時，會出現(xiàn)突發(fā)錯誤和丟包錯誤。出現(xiàn)這些錯誤時，就不能將與出錯部分相鄰的比特流正確解碼。為了解決這一不足，已提出來一種常規(guī)方法，該方法將一幅圖像分成多個條單元再進行編碼，從而使錯誤只出現(xiàn)在對應的條上。然而，在這個常規(guī)方法中，當一個條出錯損壞時，對應圖像的畫面質(zhì)量也就損壞了，于是，由于損壞的條，錯誤會傳播遍由空間預測編碼生成的圖像。
為了阻止錯誤的傳播，將周期性地使用圖像中的幅(piece)或一部分(part)，在該幅或部分中沒有應用時間預測編碼。以這種方法可以阻止錯誤傳播，卻會大大增加比特數(shù)，因此，這種方法只是有限制地使用。
于是，在現(xiàn)有技術中，圖像在進行條單元編碼時，條的尺寸做的很小以便條能夠?qū)﹀e誤保持穩(wěn)定。然而，由于條尺寸變得更小了，需要對條頭編碼的比特數(shù)就增加了，編碼比特數(shù)的增加是由于壓縮損失，而壓縮損失是由于不能進行預測編碼而造成的。
根據(jù)MPEG-4(Motion Picture Experts Group，運動圖像專家組)或H.263國際標準，將一個條指定為多個預定尺寸的比特數(shù)單元，或一串16×16尺寸的宏塊。在這種情況下，當在一個條中出現(xiàn)錯誤時，該條由于錯誤而損壞，由此，一個預定的圖像區(qū)域損壞了，畫面主觀質(zhì)量降低了。為了解決這個不足，根據(jù)聯(lián)合視頻組(JVT，Joint Video Team)最終委員會的推薦提議，采用了彈性宏塊排序(FMO，flexible macroblock ordering)。用這種方法，一個條由任意的宏塊組成。在此種情況下，如果在一個條中出現(xiàn)錯誤，這個條中的宏塊不大會排列在圖像的固定范圍中，而是分散在幾個圖像區(qū)域中，這樣減輕了畫面主觀質(zhì)量的損失，并讓使用周圍未損壞塊的錯誤掩蓋方法得以輕松采用。
聯(lián)合視頻組最終委員會的推薦提議也提供了一種冗余條的方法，通過該方法，對同一個編碼了的條會進行冗余傳輸。然而，這個方法可以在條的尺寸較小時有效地使用，但當條尺寸較大時，由于冗余傳輸條的比特數(shù)的增加，編碼效率就降低了。
與此同時，在應用時間預測編碼的常規(guī)圖像壓縮方法的情況中，在一個時間點出現(xiàn)的錯誤在下一幅圖也是持續(xù)傳播的。為了阻止這個錯誤傳播，采用不進行時間預測編碼的內(nèi)部更新方案(intra-updating scheme)，該方案對圖像的正弦部分進行編碼。在這種情況下，編碼效率被降低了。
同時，在另一種常規(guī)多編碼方法中，圖像編碼成比特流單元，每個比特流獨立解碼，從而提高誤差穩(wěn)定性。在此種情況下，當每個比特流獨立解碼時，編碼效率降低了，解碼器結構變得復雜，以便每個比特流都獨立解碼或相互疊加解碼。
此外，在常規(guī)的分層編碼方法中，將包含基礎層和上層的信息編碼，在數(shù)據(jù)分割方法中，是將頭信息、運動信息和紋理信息一起編碼。即使在這種情況下，額外的編解碼過程也是必需的，并且重要信息需要單獨保護以體現(xiàn)出誤差穩(wěn)定性。

發(fā)明內(nèi)容
本發(fā)明提供了一種冗余圖像編解碼的方法與裝置，其對用于圖像編解碼的條結構使用冗余編碼和解碼，保持了高的編碼效率，同時考慮了出錯率和冗余編碼位數(shù)而不關心條尺寸，使誤差穩(wěn)定性也提高了。
根據(jù)本發(fā)明的一個方面，這里提供了對圖像預定區(qū)域進行冗余編碼的裝置。這個裝置包括條建模單元，用于確定應用于圖像編碼的條結構和冗余編碼區(qū)域，以便要進行冗余編碼的預定圖像區(qū)域的圖像數(shù)據(jù)包含在多個條中；條分配單元，用于分配圖像每個區(qū)域的圖像數(shù)據(jù)到多個條中；畫面頭編碼單元，用于對多個編碼了的條所需的解碼信息進行編碼，并生成畫面信息；以及條編碼單元，用來根據(jù)畫面頭信息在條單元中對圖像編碼。
條建模單元又包括條結構建模部分，用于確定圖像編碼中多個條的結構；以及冗余編碼建模部分，其對使用多個條中確定要進行冗余編碼的區(qū)域的位置和數(shù)量。
條編碼單元又包括條頭編碼部分，用于生成條的頭，頭中含有對條內(nèi)宏塊編碼的信息；時間/空間預測編碼部分，用于在圖像條單元中進行時間/空間預測編碼操作；變換量化部分，用于變換時間/空間預測編碼數(shù)據(jù)為頻率區(qū)域并量化數(shù)據(jù)；以及對量化數(shù)據(jù)進行熵編碼的熵編碼部分。
同時，條建模單元將圖像分割成至少一個矩形區(qū)域和其他區(qū)域，并確定條的結構以便每個區(qū)域都包含在至少一個獨立條中。
同時，條建模單元通過在圖像中檢測有運動活躍的區(qū)域來確定要進行冗余編碼的區(qū)域。
畫面頭編碼單元又對包含有每個條的結構、位置以及尺寸的畫面頭信息進行編碼。
條頭又包括標記信息，該信息用于指示要編碼的條是否只包括要進行冗余編碼的區(qū)域。
根據(jù)本發(fā)明的一個方面，這里提供了一個冗余圖像解碼裝置。該裝置包括畫面頭解碼單元，用于對包含有編碼了的圖像數(shù)據(jù)比特流中的條結構、位置和尺寸等畫面頭信息進行解碼；條構建單元，用于確定多個要根據(jù)畫面頭信息進行解碼的條的結構和位置；條解碼單元，用于根據(jù)畫面頭信息來解碼條單元中的圖像；以及圖像構建單元，用于根據(jù)由條構建單元確定的條的結構和位置來排列解碼了的條圖像，還原并輸出圖像。由條構建單元構建的多個條中，至少有兩個條的預定區(qū)域是互相交迭的。
條解碼單元又包括熵解碼部分，用于根據(jù)條的位置和尺寸信息對輸入的條單元比特流進行熵解碼；逆變換量化部分，用于將熵解碼圖像數(shù)據(jù)進行逆量化，將逆量化的圖像數(shù)據(jù)逆變換進入時間區(qū)域，并生成時間/空間預測編碼圖像數(shù)據(jù)；以及圖像還原部分，用于通過補償時間/空間預測編碼圖像數(shù)據(jù)來還原圖像。
根據(jù)本發(fā)明的一個方面，這里提供了一種對圖像預定區(qū)域進行冗余編碼的方法。該方法包括(a)確定要用于圖像編碼的條的結構和要進行冗余編碼的區(qū)域，以便要進行冗余編碼的預定區(qū)域的圖像數(shù)據(jù)包含在多個條中；(b)分配圖像每個區(qū)域的圖像數(shù)據(jù)到多個條中；(c)對解碼多個編碼了的條所需的信息進行編碼并生成畫面信息；(d)根據(jù)畫面頭信息對條單元圖像進行編碼。
在(a)中，圖像被分割成至少一個矩形區(qū)域和其他區(qū)域，并確定條的結構以便每個區(qū)域都包含在至少一個獨立條中。
還是在(a)中，條建模單元通過在圖像中檢測有運動活躍的區(qū)域來確定要進行冗余編碼的區(qū)域。
而且，(a)中要確定用于圖像編碼的多個條的結構，還要從使用多個條的圖像中確定要進行冗余編碼的區(qū)域的位置和數(shù)量。
在(c)中，包含每個條的結構、位置和尺寸的畫面頭信息要進行編碼。
(d)中要生成包含用于條中宏塊編碼信息的條頭；在圖像條單元中進行時間/空間預測編碼；將時間/空間預測編碼數(shù)據(jù)變換進頻率區(qū)域并量化數(shù)據(jù)；以及對量化數(shù)據(jù)進行熵編碼。條頭又包括標記信息，該信息用于指示要編碼的條是否只包括要進行冗余編碼的區(qū)域。
根據(jù)本方面的一個方面，這里提供了一種冗余圖像解碼的方法。該方法包括(a)對包含有編碼了的圖像數(shù)據(jù)比特流中條的結構、位置和尺寸等畫面頭信息進行解碼；(b)根據(jù)畫面頭信息確定要進行解碼的多個條的結構和位置；(c)根據(jù)畫面頭信息來解碼條單元中的圖像；(d)根據(jù)(b)中確定的條的結構和位置來處理解碼了的條圖像，還原并輸出圖像。由條構建單元構建的多個條中，至少有兩個條的預定區(qū)域是互相交迭的。
(c)還根據(jù)條的位置和尺寸信息來對輸入的條單元比特流進行熵編碼；將熵解碼圖像數(shù)據(jù)進行逆量化；將逆量化的圖像數(shù)據(jù)逆變換進入時間區(qū)域；并生成時間/空間預測編碼圖像數(shù)據(jù)；以及通過補償時間/空間預測編碼圖像數(shù)據(jù)來還原圖像。


通過示范實施例的細節(jié)描述及參考其中附圖，本發(fā)明上述的和其他的特性及優(yōu)點會更加清楚。
圖1A是說明根據(jù)本發(fā)明的實施例來進行冗余圖像編碼，以提高誤差穩(wěn)定性的裝置結構的框圖。
圖1B是說明根據(jù)本發(fā)明的實施例來進行冗余圖像編碼，以提高誤差穩(wěn)定性的方法的流程圖。
圖2A是說明根據(jù)本發(fā)明的實施例來進行冗余圖像解碼，以提高誤差穩(wěn)定性的裝置結構的框圖。
圖2B是說明根據(jù)本發(fā)明的實施例來進行冗余圖像解碼，以提高誤差穩(wěn)定性的方法的流程圖。
圖3A到3D說明了應用在包含一串宏塊的條結構上的冗余圖像編碼方法的例子。
圖4說明了使用額外矩形條進行冗余圖像編碼的方法的例子。
圖5A和5B說明了使用互相交迭矩形條的時的冗余圖像編碼方法的例子。
圖6A到圖6C說明了在包含宏塊的條結構中對預定區(qū)域進行冗余編碼的例子。
圖7A和7B說明了在包含宏塊的條結構中對一個區(qū)域進行冗余編碼的例子。
圖8說明了在數(shù)據(jù)分割方法中對部分頭信息或運動信息進行冗余編碼的情況。
圖9說明了在使用細粒度可擴展方法(FGS，fine granularity scalability)在上層對最高有效位條進行冗余編碼的例子。
具體實施例方式
在下文中，將詳細描述本發(fā)明的優(yōu)選實施例，并通過附圖來說明其實例。
圖1A是說明根據(jù)本發(fā)明的實施例來進行冗余圖像編碼，以提高誤差穩(wěn)定性的裝置結構的框圖。該裝置包括條結構建模單元100，用于確定輸入圖像中要用于編碼的條結構；冗余圖像編碼建模單元110，用于確定輸入圖像中要進行冗余編碼的區(qū)域的位置和數(shù)量；條分配單元120，用于將輸入圖像的每個區(qū)域分配到確定了的條中；畫面頭編碼單元130，用于對圖像中所有條解碼所需的公用信息進行編碼；以及條編碼單元140，用于對輸入的條單元圖像進行編碼。
條編碼單元140又包括條頭編碼部分142；空間/時間預測編碼部分144；變換編碼與量化部分146；以及熵編碼部分148。
圖1B是說明根據(jù)本發(fā)明的實施例來進行冗余圖像編碼，以提高誤差穩(wěn)定性的方法的流程圖。
在下文中，將參照圖1A和1B來描述冗余圖像編碼的方法。
要編碼的圖像(運動圖像)分別輸入到條結構建模單元100和條編碼單元140中。當將一幅輸入圖像分割成獨立的條并編碼時，條結構建模單元100要確定有一定結構(形狀)的條，以便能在一幅輸入圖像中將需要的區(qū)域獨立編碼(S150)。在這種情況下，條結構可以由一串或一組在固定位置的宏塊組成。此外，可以將圖像分割成區(qū)域(感興趣的區(qū)域(ROI，region of interest))和其他區(qū)域(背景區(qū)域)，每個區(qū)域可以包含獨立條。此外，在一幅圖像中可以應用單一條結構，也可使用復合條結構。這些條所表示的區(qū)域中的最小單元是宏塊。條結構建模單元100將確定了的條結構輸出到冗余圖像編碼建模單元110中。
冗余圖像編碼建模單元110通過考慮在傳輸編碼圖像數(shù)據(jù)的網(wǎng)絡環(huán)境中的出錯率和信道帶寬來確定輸入圖像中要進行冗余編碼的區(qū)域的數(shù)量，確定輸入圖像中要進行冗余編碼的區(qū)域，并將確定了的區(qū)域輸出至條分配單元120(S155)。
要進行冗余編碼的區(qū)域可以在圖像的固定位置，或是選擇預定區(qū)域，即感興趣區(qū)域(ROI)，為整個圖像中主觀上認為重要的部分，或有運動活躍的區(qū)域，或容易出錯或難于掩蓋錯誤的部分。
對圖像固定位置的區(qū)域進行冗余編碼時，區(qū)域要根據(jù)與預定宏塊數(shù)一樣多的冗余編碼數(shù)，并以預定順序進行冗余編碼，比如，以宏塊地址的順序。當使用包含一串宏塊的條結構時，區(qū)域要根據(jù)與一串預定宏塊數(shù)一樣多的冗余編碼數(shù)，并以預定順序進行冗余編碼，比如向下。
當對預定區(qū)域(感興趣區(qū)域(ROI))進行冗余編碼時，將在一幅圖像中將用戶更感興趣的部分確定為感興趣區(qū)域，并將這部分以高畫質(zhì)編碼，從而提高了主觀畫面質(zhì)量。在此種情況下，對應感興趣區(qū)域的冗余編碼部分的數(shù)量就大于背景區(qū)域的數(shù)量，感興趣區(qū)域得到了更好的出錯防護，這樣，當在傳輸圖像中出現(xiàn)錯誤時，感興趣區(qū)域的出錯將最小化，感興趣區(qū)域的主觀畫面質(zhì)量將可以提高。
當對預定區(qū)域進行冗余編碼時，有運動活躍的部分會冗余編碼，于是，可以通過對有運動的區(qū)域進行錯誤掩蓋來減少錯誤。在此種情況下，有運動活躍區(qū)域的設置基于應用在運動補償?shù)倪\動向量的大小，或是絕對差之和(SAD，sum of absolute difference)，所述差值為與運動向量相應的前一個圖像區(qū)域和當前圖像區(qū)域之差，該區(qū)域可以置為冗余圖像編碼區(qū)域。
條分配單元120從冗余圖像編碼建模單元110接收要進行冗余編碼的圖像區(qū)域的確定了的條結構、位置和數(shù)量，根據(jù)條結構建模單元100確定的條結構，分配圖像每個區(qū)域的圖像數(shù)據(jù)到每個條中，就是說，分配圖像區(qū)域到每個條中，以便對由冗余圖像編碼建模單元110確定的區(qū)域進行冗余編碼(S160)。在此種情況下，條分配單元120根據(jù)要冗余編碼的圖像區(qū)域的數(shù)量，通過調(diào)整條結構、尺寸以及位置，將輸入圖像分配到每個條中。此處，條可以只包含冗余區(qū)域。條可以只包含要進行冗余編碼的區(qū)域。在此種情況下，可以在條的頭中標識表示條只包含冗余區(qū)域的標記。當該標記在條頭中標識出來，并且在包括冗余區(qū)域的其他條中沒有錯誤出現(xiàn)時，該條參照此頭信息可以不進行解碼。根據(jù)不同的條結構進行冗余圖像編碼的例子將在后面參照圖3來描述。
畫面頭編碼單元130對圖像所有條的解碼所需的公用信息進行編碼，特別地，將圖像中條的數(shù)量、每個條結構以及每個條表示的區(qū)域，即表示對應于每個條的宏塊的信息，編碼成畫面頭信息，并將同樣的信息作為編碼后的畫面頭信息輸出到條編碼單元140中(S165)。
條編碼單元140對輸入的條單元圖像進行編碼。為此目的，條頭編碼部分142根據(jù)由畫面頭編碼單元130輸入的頭信息對用于條中宏塊編碼的公用信息進行編碼(S170)。如果此條中所有宏塊都被冗余編碼，就可以在條頭編入信息，表示相應條只包括冗余編碼信息。
空間/時間預測編碼部分144去掉空間/時間冗余信息，并將去除后的信息輸出到變換編碼和量化部分146，變換編碼和量化部分146在輸入圖像條單元上進行離散余弦變換(Discrete Cosine Transform，DCT)，將輸入圖像變換進頻率區(qū)域，以預定的量化比特將變換系數(shù)進行量化，于是，信息就被壓縮了(S175)。
熵編碼部分148使用預定的熵編碼方法對由變換編碼和量化部分146輸入的條單元圖像數(shù)據(jù)作為最終比特流進行熵編碼(S180)。
冗余區(qū)域在條編碼單元140中編碼一次，同樣的信息就可以包含在條中并傳輸?shù)饺哂鄥^(qū)域。在此種情況下，編碼只需進行一次，計算量很小。同時，當每個冗余區(qū)域都可以在每個條中編碼時，要在每個條中使用不同的量化間距來對冗余區(qū)域進行編碼，這樣就可能會出現(xiàn)畫面質(zhì)量差異。就是說，一個條可能以高畫質(zhì)編碼，其他條可能以低畫質(zhì)編碼。如果解碼時兩個區(qū)域都沒有錯誤生成，圖像就會以高畫質(zhì)條進行解碼。
在條只包含冗余編碼信息的情況下，信息以較大的壓縮比來進行壓縮，或條中只包含重要信息，于是，編碼效率得到了提高。就是說，通過多次量化可以降低畫面質(zhì)量，只有出錯時才使用降低了畫質(zhì)的圖像，于是，只用很少的比特數(shù)就能提高誤差穩(wěn)定性。當條中只包含重要信息時，該條包括的重要信息諸如宏塊頭，運動向量，運動頭，以及離散余弦變換系數(shù)中的離散余弦系數(shù)組成，于是，可以用很少的比特數(shù)來進行冗余圖像編碼。下文中，將參照圖2A與2B描述冗余圖像編碼的方法與裝置。
圖2A是說明根據(jù)本發(fā)明的實施例來進行冗余圖像解碼，以提高誤差穩(wěn)定性的裝置結構的框圖。該裝置包括畫面頭解碼單元200，用于對畫面頭信息進行解碼；條構建單元210，用于根據(jù)解碼了的畫面頭信息來確定解碼了的條的位置；條解碼單元220，用于參照畫面頭信息對條單元圖像進行解碼；以及圖像構建單元230，用于根據(jù)由條構建單元210確定的條的位置來排列解碼了的條圖像，還原并輸出圖像。條解碼單元220又包括熵解碼部分222、逆量化和逆變換部分224、以及圖像還原部分226。
圖2B是說明根據(jù)本發(fā)明的實施例來進行冗余圖像解碼，以提高誤差穩(wěn)定性的方法的流程圖。參照圖2A和2B，冗余圖像解碼裝置在緩沖器(未示出)中臨時存儲傳輸著的比特流，將頭信息從存儲的比特流中輸出到畫面頭解碼單元200中，將編碼成條單元的圖像數(shù)據(jù)輸出到條解碼單元220中(S250)。
畫面頭解碼單元200將輸入比特流中的畫面頭信息解碼，將條的數(shù)量、形狀、位置及條的尺寸等信息輸出到條構建單元210中，將其他信息輸出到條解碼單元220中(S260)。
條構建單元210選擇條的位置，以便通過使用由畫面頭解碼單元200輸入的畫面頭信息，將每個解碼后的條組成一幅圖像。在此種情況下，出現(xiàn)表示不同條的區(qū)域與另一個區(qū)域交迭的情況意味著對應區(qū)域的宏塊是冗余編碼了的。如果兩個條中的任意一個出現(xiàn)錯誤，出錯區(qū)域上的信息將被丟棄，交迭部分的信息將使用未出錯條上的信息來還原。
條解碼單元220參照輸入的畫面頭信息對條單元圖像進行解碼。熵解碼部分222對輸入比特流進行熵解碼，首先，解碼條頭，用解碼后的信息對條中所有宏塊解碼。然后，熵解碼部分222將熵解碼后的條單元的圖像數(shù)據(jù)輸出到逆量化和逆變換部分224中(S270)。如果條中設置了表示對應條只由冗余信息組成的標記，那在其他解碼了的條中不出錯的情況下，就不對冗余編碼了的條進行解碼。但是，當解碼了條中出現(xiàn)錯誤時，錯誤會由對冗余編碼的條進行解碼而還原。如果條只由特定信息，即宏塊頭、運動向量、離散余弦變換系數(shù)中的離散余弦系數(shù)等重要信息組成，圖像就可以用這些信息得到還原。
逆量化和逆變換部分224使用與量化時同樣的比特數(shù)對輸入圖像數(shù)據(jù)進行逆量化，在逆向離散余弦變換編碼期間進行對逆量化圖像數(shù)據(jù)變換中的逆變換，將圖像數(shù)據(jù)以條單元方式從頻率區(qū)域還原到空間區(qū)域，并輸出還原了的圖像數(shù)據(jù)到圖像還原部分226中。圖像還原部分226通過補償時間/空間預測編碼圖像數(shù)據(jù)來還原圖像并輸出還原了的圖像到圖像構建部分230中(S280)。
圖像構建部分230根據(jù)由條構建單元210輸入的條的位置信息，將還原的條單元中的圖像還原到一幅圖像中(S290)。在此種情況下，當所有冗余解碼部分都不出現(xiàn)錯誤時，使用一個部分來構建圖像。當在冗余區(qū)域之間存在畫質(zhì)差異時，就使用最高畫質(zhì)編碼的部分。當在冗余解碼部分上出現(xiàn)錯誤時，就只用沒有出錯的部分來構建圖像。
圖3A到圖6說明了根據(jù)不同的條結構來進行冗余圖像編碼的方法。
圖像進行編碼時，通過圖1A所示的條結構建模單元100，在不同的條結構中選擇適合用戶環(huán)境的條結構。當由于用戶終端性能有限，或傳輸環(huán)境沒有太多錯誤且使用了寬帶等原因而只是需要簡單條結構時，會使用由一串宏塊單元組成的條。
此外，用戶可以使用矩形條結構有效地進行感興趣區(qū)域的編碼。在此種情況下，感興趣區(qū)域是用戶主觀上認為重要的區(qū)域并包含在矩形條區(qū)域中。此處，感興趣區(qū)域編碼是這樣一種技術，即對用戶主觀上認為重要的部分以高畫質(zhì)編碼，并且對該部分之外的部分，即背景區(qū)域用高壓縮比壓縮，于是，在有限的比特率上提高了整體的主觀畫質(zhì)。在此種情況下，當圖像在出錯環(huán)境下傳輸時，包含在矩形條結構中的感興趣區(qū)域進行了冗余編碼，并比背景區(qū)域得到了更好的錯誤防護，于是主觀畫質(zhì)就得以提高。
同時，條可以由一組預定位置的宏塊組成。在此種情況下，作為條中成分的宏塊分布在整個圖像中。這樣，即使在一條中出錯，錯誤也不會在圖像預定區(qū)域大量出現(xiàn)，而是分布在整個圖像中，因此，可以減小出錯產(chǎn)生的影響。特別是當使用條結構進行冗余圖像編碼時，用戶可以依照自己意愿來選擇要進行冗余編碼的宏塊。在此種情況下，要進行冗余編碼的宏塊由有運動活躍的區(qū)域、容易出錯的區(qū)域，或是難以掩蓋錯誤的區(qū)域中選出，這樣就提高了誤差穩(wěn)定性。
圖3A到3D說明了應用在包含一串宏塊的條結構上的冗余圖像編碼方法的例子。包含一串宏塊的條結構是簡單的。圖3A說明了條由一幅圖像里的一組宏塊組成的情況，圖3B說明了圖像的中央部分進行冗余編碼的情況。
在圖3C和3D中展示了關于對圖3B中的圖像進行冗余編碼情況的更具體的例子。圖3C說明了通過條的形成將兩個由一串宏塊組成的條表示的區(qū)域互相交迭起來時對圖像進行冗余編碼的情況。圖3D說明了如圖3A所示來構建兩個由一串宏塊組成的條，以及使用由一串額外的宏塊組成的條進行冗余圖像編碼的情況。
圖4說明了使用額外矩形條進行冗余圖像編碼的方法的例子。所有可能的結構的條都可以應用在圖4中所示的額外矩形條之外的區(qū)域中。矩形區(qū)域尤其包括感興趣區(qū)域，這樣感興趣區(qū)域?qū)﹀e誤保持穩(wěn)定同時其主觀畫面質(zhì)量也提高了。
圖5A和5B說明了使用存在互相交迭矩形條的情況的冗余圖像編碼方法的例子。如圖5A和5B所示的結構應用在由聯(lián)合視頻組最終委員會推薦提議的彈性宏塊排序模式2中。該方法是這樣一項技術，即將圖像分割進矩形感興趣區(qū)域和其他區(qū)域(背景區(qū)域)中，每個區(qū)域都作為條來編碼。圖5A說明了兩個不同的矩形區(qū)域的情況，它們不互相包含，但部分相互交迭，圖5B說明了一個矩形區(qū)域完全包括另一個矩形區(qū)域并互相交迭的情況。在這兩種情況下，對矩形區(qū)域互相交迭的部分進行冗余編碼。交迭的部分尤其包括感興趣區(qū)域，這樣感興趣區(qū)域?qū)﹀e誤保持穩(wěn)定且感興趣區(qū)域的主觀畫面質(zhì)量得以改善。使用矩形條結構時，矩形區(qū)域能獨立編碼，這樣可將其作為分離圖像使用。就是說，可以支持畫中畫(PIP，picture-in-picture)方案，在圖5A中可以支持對表示不同位置的畫中畫進行冗余圖像編碼，在圖5B中可以支持有不同尺寸的畫中畫。
圖6A到6C說明了在包含宏塊的條結構中對預定區(qū)域進行冗余編碼的例子。圖6A到6C中小矩形里的數(shù)字表示要編碼圖像相應區(qū)域所對應的條。就是說，圖6A到6C所示的圖像由四個條組成，標號從0到3。
圖6A說明了由宏塊組成的條的例子。該方法可以使用由聯(lián)合視頻組最終委員會推薦提議的彈性宏塊排序模式1或模式6來具體化。圖6B和6C說明了對圖像特定部分進行冗余編碼的情形。圖6B特別說明了用四個條對圖像中央?yún)^(qū)域進行冗余編碼的情形，圖6C特別說明了用由標號4表示的的不同于四個條的額外條對中央?yún)^(qū)域進行冗余編碼的情形。在此種情況下，將感興趣區(qū)域作為冗余編碼區(qū)域使用，這樣就可以改善主觀畫面質(zhì)量。
圖7A和7B說明了在包含宏塊的條結構中對分散區(qū)域進行冗余編碼的例子。圖7A說明了與圖6B相似的，由四個條表示的區(qū)域互相交迭的情形，圖7B說明了用由標號4表示的不同于四個條的額外條對中央?yún)^(qū)域進行冗余編碼的情形，與圖6C相似。
進行冗余圖像編碼的時候，要冗余編碼區(qū)域的位置由圖1A中所示的冗余圖像編碼建模單元110確定。圖像中的固定位置，特定區(qū)域，即象感興趣區(qū)域這樣被認為主觀重要的部分，有運動活躍的區(qū)域、容易出錯或難于掩蓋錯誤的部分都可以被選為區(qū)域中的位置。
要進行冗余編碼的區(qū)域的數(shù)量可根據(jù)網(wǎng)絡通道的出錯程度來確定。就是說，在通道錯誤多的情況下，增加進行冗余編碼的區(qū)域的數(shù)量以減小出錯損失，在通道錯誤少的情況下，減少進行冗余編碼的區(qū)域的數(shù)量以提高壓縮效率。
此外，可以通過編解碼方法的效率來調(diào)整冗余編碼的圖像的數(shù)量。就是說，可以通過壓縮效率、是否支持另一種誤差穩(wěn)定性方法以及誤差穩(wěn)定性方法的效率來調(diào)整冗余編碼的圖像的數(shù)量。例如，當內(nèi)部更新方法與編解碼方法一起應用時，在現(xiàn)有技術中，要作為內(nèi)部圖像進行編碼的宏塊的數(shù)量是根據(jù)出錯率來確定的。然而，根據(jù)本發(fā)明的編解碼方法中，對這些宏塊進行冗余編碼，可以減少作為內(nèi)部圖像編碼的宏塊的數(shù)量。在此種情況下，冗余編碼宏塊的比特數(shù)比作為內(nèi)部圖像編碼的宏塊的比特數(shù)少的多，這樣就提高了編碼效率。
可以應用考慮了壓縮效率和由于錯誤導致的率失真(rate-distortion)的拉格朗日(Lagrangian)優(yōu)化法，或應用使用了動態(tài)編程的最優(yōu)路徑搜索法考慮前述各因素?？紤]了率失真的拉格朗日優(yōu)化法如公式1所示。
J＝D+λR ...(1)D是圖像編碼時由于出錯或損失導致的失真，絕對差之和(SAD，sum ofabslute difference)或均方誤差(MSE，mean square error)都可用作D。此外，λ是拉格朗日系數(shù)，R是比特率。
出錯概率為p時，D可以分為Dc與Dq，其中Dc為由出錯時的錯誤掩蓋而還原錯誤后的失真，Dq為不出錯時的如量化等有損壓縮導致的失真。這樣，拉格朗日優(yōu)化法為公式2所示。
J＝pDc+(1-p)Dq+λR...(2)進行冗余圖像編碼時，在公式2中，冗余編碼量r加到比特率上，失真Dc的值根據(jù)冗余編碼量改成Dr。這樣，拉格朗日優(yōu)化法就可以表示為公式3所示。
J＝pDr+(1-p)Dq+λ(R+r)...(3)用于最小化J的r值可由公式3確定。
到目前為止，圖像編碼成條單元時的冗余圖像編碼方法已作為本發(fā)明的優(yōu)選實施例進行了解釋。在根據(jù)本發(fā)明的冗余圖像編碼方法中，不需要簡單和額外的圖像編解碼方法，現(xiàn)有圖像編解碼裝置的結構不需任何改變就可以使用，這樣根據(jù)本發(fā)明的冗余圖像編碼方法可以在條結構和不同的編碼方法，如數(shù)據(jù)分割法和層編碼法中得以采用。
圖8說明了在數(shù)據(jù)分割方法中對部分頭信息或運動信息進行冗余編碼的情況。當對數(shù)據(jù)分割法中的頭信息、運動信息和紋理信息進行編碼時，如果頭信息是重要的，就可以通過對頭信息編碼來保護重要信息，如果運動信息是重要的，可以對該信息本身或該信息的一部分進行冗余編碼。
圖9說明了在使用細粒度可擴展方法的上層對最高有效位條進行冗余編碼的例子。基礎層上的信息是層編碼法中最重要的。該信息象冗余圖像編碼方法中的一樣，用前述的條結構進行編碼，這樣就得到了有效地保護。對于上層的信息，只有重要的信息根據(jù)其重要性進行編碼，這樣可以提高誤差穩(wěn)定性。例如，細粒度可擴展方法的上層由位平面組成。位平面愈靠近最高有效位愈重要。于是，如圖9所示，將對應最高有效位的位平面進行冗余編碼，這樣就提高了誤差穩(wěn)定性。
在此種情況下，既然基礎層和上層都由額外的比特流組成，上層就可以由額外的條組成。在圖像中認為是重要的區(qū)域，其對應宏塊的最高有效位平面組成了額外條，這樣可以進行冗余圖像編碼操作。冗余編碼了的條在條頭中標識出來，這樣就可以從普通條中區(qū)別出來。
根據(jù)本發(fā)明的冗余圖像編解碼的方法和裝置也可以在計算機可讀的記錄媒體上實現(xiàn)。計算機可讀的記錄媒體包括所有類型的記錄設備，其上的數(shù)據(jù)可以由計算機讀取和存儲，如ROMs，RAMs，CD-ROMs，磁帶，軟盤，光數(shù)據(jù)存儲單元以及載波(象通過互聯(lián)網(wǎng)的傳輸)。同樣，計算機可讀的記錄媒體可以分布在網(wǎng)絡連接的計算機系統(tǒng)上，并通過計算機可讀代碼來存儲和執(zhí)行。
如上所述，在根據(jù)本發(fā)明的以提高誤差穩(wěn)定性的冗余圖像編解碼方法和裝置中，當圖像編碼成條單元時，由條表示的區(qū)域是互相交迭的，交迭的部分進行冗余編碼，這樣就可以在通過網(wǎng)絡傳輸時獲得誤差的穩(wěn)定性。
特別是既然用戶可以調(diào)整進行冗余編碼的區(qū)域的位置和數(shù)量，就將該區(qū)域置為感興趣區(qū)域，這樣就可以提高感興趣區(qū)域的主觀畫面質(zhì)量，根據(jù)網(wǎng)絡通道的出錯程度來調(diào)整冗余編碼的比特數(shù)，這樣，編碼效率就提高了。
盡管本發(fā)明是參照優(yōu)選實施例來具體描述的，但本領域的技術人員應該理解，在不脫離本發(fā)明的精神和范圍的情況下，可以對其進行形式和細節(jié)的各種修改。
權利要求
1.一種對圖像預定區(qū)域進行冗余編碼的裝置，該裝置包括條建模單元，用于確定應用于圖像編碼的條結構和冗余編碼區(qū)域，以便要進行冗余編碼的預定圖像區(qū)域的圖像數(shù)據(jù)包含在多個條中；條分配單元，用于分配圖像每個區(qū)域的圖像數(shù)據(jù)到多個條中；畫面頭編碼單元，用于對多個編碼了的條所需的解碼信息進行編碼，并生成畫面信息；以及條編碼單元，用來根據(jù)畫面頭信息對圖像條單元編碼。
2.如權利要求1所述裝置，其中條建模單元將條編成一串宏塊單元。
3.如權利要求1所述裝置，其中條建模單元將圖像分割成至少一個矩形區(qū)域和其他區(qū)域，并確定條的結構以便每個區(qū)域都包含在至少一個獨立條中。
4.如權利要求1所述裝置，其中條建模單元將條編成一組在輸入圖像的固定位置的宏塊單元。
5.如權利要求1所述裝置，其中條建模單元確定包含圖像數(shù)據(jù)的條結構是相同的結構。
6.如權利要求1所述裝置，其中條建模單元確定多個結構作為包含圖像數(shù)的條結構。
7.如權利要求1所述裝置，其中條建模單元把由用戶預定作圖像中重要區(qū)域的區(qū)域確定為進行冗余編碼的區(qū)域。
8.如權利要求1所述裝置，其中條建模單元通過在圖像中檢測有運動活躍的區(qū)域來確定要進行冗余編碼的區(qū)域。
9.如權利要求1所述裝置，其中條建模單元根據(jù)傳輸環(huán)境中的出錯率和傳輸帶寬，以及條編碼單元的編碼效率來確定要進行冗余編碼的區(qū)域的數(shù)量。
10.如權利要求1所述裝置，其中條建模單元包括條結構建模部分，用于確定圖像編碼中多個條的結構；以及冗余編碼建模部分，其使用多個條來確定圖像中要進行冗余編碼的區(qū)域的位置和數(shù)量。
11.如權利要求1所述裝置，其中條分配單元根據(jù)冗余編碼的區(qū)域的數(shù)量確定多個條的尺寸。
12.如權利要求1所述裝置，其中條分配單元將圖像數(shù)據(jù)分配到多個條中以便每個條都包括要冗余編碼的區(qū)域和不要冗余編碼的區(qū)域。
13.如權利要求1所述裝置，其中條分配單元將圖像數(shù)據(jù)分配到多個條中以便至少有一個條包括唯一要進行冗余編碼的區(qū)域的圖像數(shù)據(jù)。
14.如權利要求1所述裝置，其中畫面頭編碼單元對包含每個條的結構、位置和尺寸的畫面頭信息進行編碼。
15.如權利要求1所述裝置，其中條編碼單元包括條頭編碼部分，用于生成條的頭，頭中含有對條內(nèi)宏塊編碼的信息；時間/空間預測編碼部分，用于在圖像條單元中進行時間/空間預測編碼操作；變換量化部分，用于變換時間/空間預測編碼數(shù)據(jù)為頻率區(qū)域并量化數(shù)據(jù)；以及對量化數(shù)據(jù)進行熵編碼的熵編碼部分。
16.如權利要求15所述裝置，其中條頭包括標記信息，用于指示要編碼的條是否只包括要進行冗余編碼的區(qū)域。
17.如權利要求1所述裝置，其中當對包含要冗余編碼區(qū)域的圖像數(shù)據(jù)的多個條進行編碼時，條編碼單元將一個條上的冗余編碼數(shù)據(jù)也包括在其他條中。
18.如權利要求1所述裝置，其中條編碼單元以不同的量化間距對包含冗余編碼區(qū)域的每個條進行量化和編碼。
19.如權利要求1所述裝置，其中在兩個包括冗余編碼區(qū)域的圖像數(shù)據(jù)的條中，條編碼單元只對一個條中的包含冗余編碼區(qū)域的宏塊頭和運動向量的重要信息編碼，對另一個條中的冗余編碼區(qū)域的所有信息則都進行編碼。
20.如權利要求1所述裝置，其中在兩個包括冗余編碼區(qū)域的圖像數(shù)據(jù)的條中，條編碼單元只對一個條中的包含冗余編碼區(qū)域的宏塊頭和運動向量，以及離散余弦變換系數(shù)中的離散余弦系數(shù)這些重要信息編碼，對另一個條中的冗余編碼區(qū)域的所有信息則都進行編碼。
21.一種冗余圖像解碼裝置，該裝置包括畫面頭解碼單元，用于對包含有編碼了的圖像數(shù)據(jù)比特流中條的結構、位置和尺寸等畫面頭信息進行解碼；條構建單元，用于確定多個要根據(jù)畫面頭信息進行解碼的條的結構和位置；條解碼單元，用于根據(jù)畫面頭信息來解碼條單元中的圖像；以及圖像構建單元，用于根據(jù)由條構建單元確定的條的結構和位置來排列解碼了的條圖像，還原并輸出圖像；其中由條構建單元構建的多個條中，至少有兩個條的預定區(qū)域是互相交迭的。
22.如權利要求21所述裝置，其中條解碼單元包括熵解碼部分，用于根據(jù)條的位置和尺寸信息對輸入的條單元比特流進行熵解碼；逆變換量化部分，用于將熵解碼圖像數(shù)據(jù)進行逆量化，將逆量化的圖像數(shù)據(jù)逆變換進入時間區(qū)域，并生成時間/空間預測編碼圖像數(shù)據(jù)；以及圖像還原部分，用于通過補償時間/空間預測編碼圖像數(shù)據(jù)來還原圖像。
23.如權利要求21所述裝置，其中當條頭包含著表示對應條只由冗余區(qū)域組成的信息時，條解碼單元只有在另一個包括冗余區(qū)域的解碼條出錯時，才對只由冗余區(qū)域組成的條進行解碼。
24.如權利要求21所述裝置，其中當冗余編碼區(qū)域在圖像解碼期間出錯時，圖像構建單元使用另外的包括冗余編碼區(qū)域的圖像數(shù)據(jù)來構建圖像。
25.如權利要求21所述裝置，其中當所有冗余編碼部分都沒有出錯時，圖像構建單元使用以最小量化間距解碼的部分來構建圖像。
26.一種圖像預定區(qū)域的冗余編碼方法，該方法包括(a)確定要用于圖像編碼的條的結構和要進行冗余編碼的區(qū)域，以便要進行冗余編碼的預定區(qū)域的圖像數(shù)據(jù)包含在多個條中；(b)分配圖像每個區(qū)域的圖像數(shù)據(jù)到多個條中；(c)對解碼多個編碼了的條所需的信息進行編碼并生成畫面信息；以及(d)根據(jù)畫面頭信息對條單元圖像進行編碼。
27.如權利要求26所述方法，其中在(a)中，條由一串宏塊組成。
28.如權利要求26所述方法，其中在(a)中，圖像被分割成至少一個矩形區(qū)域和其他區(qū)域，并確定條的結構以便每個區(qū)域都包含在至少一個獨立條中。
29.如權利要求26所述方法，其中在(a)中，條由一組在輸入圖像固定位置的宏塊組成。
30.如權利要求26所述方法，其中在(a)中，確定包括圖像數(shù)據(jù)的條結構是相同的。
31.如權利要求26所述方法，其中在(a)中，將多個結構確定為包括圖像數(shù)據(jù)的條結構。
32.如權利要求26所述方法，其中在(a)中，把由用戶預定為圖像中重要區(qū)域的區(qū)域確定為冗余編碼的區(qū)域。
33.如權利要求26所述方法，其中在(a)中，通過在圖像中檢測有運動活躍的區(qū)域來確定要進行冗余編碼的區(qū)域。
34.如權利要求26所述方法，其中在(a)中，根據(jù)傳輸環(huán)境中的出錯率和傳輸帶寬，以及對條進行編碼的編碼器的編碼效率確定要進行冗余編碼的區(qū)域的數(shù)量。
35.如權利要求26所述方法，其中(a)包括確定用于圖像編碼的多個條的結構；從使用多個條的圖像中確定要進行冗余編碼的區(qū)域的位置和數(shù)量。
36.如權利要求26所述方法，其中在(b)中，根據(jù)冗余編碼區(qū)域的數(shù)量確定多個條的尺寸。
37.如權利要求26所述方法，其中在(b)中，將圖像數(shù)據(jù)分配到條中以便每個條都包括要進行冗余編碼的區(qū)域的圖像數(shù)據(jù)和不需要進行冗余編碼的區(qū)域的圖像數(shù)據(jù)。
38.如權利要求26所述方法，其中在(b)中，將圖像數(shù)據(jù)分配到條中以便至少有一個條包括唯一要進行冗余編碼的區(qū)域的圖像數(shù)據(jù)。
39.如權利要求26所述方法，其中在(c)中，對包括每個條結構、位置和尺寸的畫面頭信息進行編碼。
40.如權利要求26所述方法，其中(d)包括生成包含用于條中宏塊編碼信息的條頭；在圖像條單元中進行時間/空間預測編碼；將時間/空間預測編碼數(shù)據(jù)變換進頻率區(qū)域并量化數(shù)據(jù)；以及對量化數(shù)據(jù)進行熵編碼。
41.如權利要求40所述方法，其中條頭包括標記信息，用于指示要編碼的條是否只包括要進行冗余編碼的區(qū)域。
42.如權利要求26所述方法，其中在(d)中，當對包含冗余編碼區(qū)域的圖像數(shù)據(jù)的多個條進行編碼時，一個條上的冗余編碼的數(shù)據(jù)包含在其他條中。
43.如權利要求26所述方法，其中在(d)中，以不同的量化間距對每個包括冗余編碼區(qū)域的條進行量化和編碼。
44.如權利要求26所述方法，其中在(d)中，在兩個包括冗余編碼區(qū)域的圖像的條中，在一個條上只對包含有冗余編碼區(qū)域的宏塊頭和運動向量這些重要信息進行編碼，另一個條上則對冗余編碼區(qū)域的所有信息進行編碼。
45.如權利要求26所述方法，其中在(d)中，在兩個包括冗余編碼區(qū)域的圖像的條中，在一個條上只對包含有冗余編碼區(qū)域的宏塊頭和運動向量，以及離散余弦變換系數(shù)中的離散余弦系數(shù)這些重要信息進行編碼，另一個條上則對冗余編碼區(qū)域的所有信息進行編碼。
46.一種冗余圖像解碼的方法，該方法包括(a)對包含有編碼了的圖像數(shù)據(jù)比特流中條的結構、位置和尺寸等畫面頭信息進行解碼；(b)根據(jù)畫面頭信息確定要進行解碼的多個條的結構和位置；(c)根據(jù)畫面頭信息來解碼條單元中的圖像；以及(d)根據(jù)(b)中確定的條的結構和位置來處理解碼了的條圖像，還原并輸出圖像；其中在(b)中構建的多個條中，至少有兩個條的預定區(qū)域是互相交迭的。
47.如權利要求46所述的方法，其中(c)包括根據(jù)條的位置和尺寸信息來對輸入的條單元比特流進行熵編碼；將熵解碼圖像數(shù)據(jù)進行逆量化，將逆量化的圖像數(shù)據(jù)逆變換進入時間區(qū)域，并生成時間/空間預測編碼圖像數(shù)據(jù)；以及通過補償時間/空間預測編碼圖像數(shù)據(jù)來還原圖像。
48.如權利要求46所述的方法，其中在(c)中，當條頭中包含表示對應條只由冗余區(qū)域組成的信息時，僅當另外包含冗余區(qū)域的解碼了的條出錯，才會對只包含冗余區(qū)域的條進行解碼。
49.如權利要求46所述的方法，其中在(d)中，一個區(qū)域在圖像解碼期間出錯時，使用另外的包含冗余編碼區(qū)域的條將圖像還原。
50.如權利要求46所述的方法，其中在(d)中，當所有冗余編碼部分都不出錯時，使用解碼了的部分以最小的量化間距對將圖像還原。
51.可以將如權利要求26所述的冗余圖像編碼方法作為可執(zhí)行的程序代碼存于一種計算機可讀的記錄媒體上。
52.可以將如權利要求46所述的冗余圖像解碼方法作為可執(zhí)行的程序代碼存于一種計算機可讀的記錄媒體上。
全文摘要
本文提供了一種冗余圖像編解碼的方法和裝置，該方法和裝置將應用于圖像的圖像編碼部分的條結構進行冗余編碼和解碼。冗余圖像編解碼裝置包括條建模單元，用于確定要在圖像編碼中使用的條的結構和要進行冗余編碼的區(qū)域，以便這個要進行冗余編碼的預定區(qū)域的圖像數(shù)據(jù)包含在多個條中；條分配單元，用于將一幅圖像上每個區(qū)域的圖像數(shù)據(jù)分配在多個條中；圖像頭編碼單元，用于對多個編碼了的條所需的解碼信息進行編碼，生成畫面信息；以及條編碼單元，用于根據(jù)畫面頭信息在條單元中對圖像編碼。
文檔編號H04N7/26GK1520189SQ0315894
公開日2004年8月11日 申請日期2003年9月12日 優(yōu)先權日2003年1月30日
發(fā)明者金佑 , 金佑湜, 李時和, 李相祚 申請人:三星電子株式會社