圖像邊界鄰域中的自回歸像素預(yù)測的制作方法
【專利說明】圖像邊界鄰域中的自回歸像素預(yù)測
[0001] 本發(fā)明涉及用于編碼數(shù)字圖像數(shù)據(jù)的方法以及涉及對應(yīng)的解碼方法。另外，本發(fā) 明涉及用于編碼數(shù)字圖像數(shù)據(jù)的設(shè)備和用于解碼數(shù)字圖像數(shù)據(jù)的設(shè)備。
[0002] 增加對視覺內(nèi)容（比如圖像、視頻或多維醫(yī)學(xué)數(shù)據(jù)）的分辨率和質(zhì)量要求提升了對 于高度高效的編碼方法的需求。在預(yù)測編碼技術(shù)中，對圖像數(shù)據(jù)中的像素的像素值進行預(yù) 測。經(jīng)預(yù)測的相似值與原始像素值之間的差（即預(yù)測誤差）被壓縮，從而形成經(jīng)編碼的圖像 數(shù)據(jù)的一部分。
[0003] 在文獻[1]至[3]中，描述了所謂的分段式自回歸像素預(yù)測方法的不同變型。在 那些方法中，基于鄰近于當前像素的鄰域區(qū)中的經(jīng)重構(gòu)的、之前處理的像素的加權(quán)和計算 要預(yù)測的當前像素的像素值。為了確定權(quán)重，對基于針對鄰近于當前像素的訓(xùn)練區(qū)中的已 知像素值的加權(quán)和的線性方程組進行求解。
[0004] 為了進行精確預(yù)測，分段式自回歸像素預(yù)測方法要求圍繞當前像素的已知經(jīng)重構(gòu) 的像素的大因果（largecausal)鄰域區(qū)。通常，這樣的大鄰域區(qū)并非對所有圖像位置都可 用，例如在圖像邊界處。如果圖像區(qū)必須被彼此獨立地進行編碼，則該問題變得更嚴重，因 為這是并行編碼實現(xiàn)中的分塊式處理的情況。
[0005] 以上描述的出現(xiàn)在分段式自回歸像素預(yù)測方法中的邊界問題在現(xiàn)有技術(shù)公開物 中通常未被解決，或者建議在使用自回歸像素預(yù)測方法時跳過邊界區(qū)。解決該問題而沒有 算法改變的直接方式是在邊界區(qū)處例如利用已經(jīng)傳輸?shù)倪吔缦袼刂档囊阎档膱D像填充 (例如恒定邊界擴展)。在文獻[4]中，建議減小在邊界位置處的訓(xùn)練區(qū)尺寸。然而，這造成 過擬合并且通常導(dǎo)致不良狀態(tài)的線性方程組。用于應(yīng)對邊界區(qū)的另一選擇是使用具有松弛 上下文要求的不同預(yù)測方案的特殊邊界像素處置，比如中值預(yù)測(參見文件[5])。這樣的特 殊處置要求附加的實現(xiàn)努力，造成不均一的預(yù)測，并且可能通常顯著地危及預(yù)測精度。
[0006] 本發(fā)明的目的是提供一種克服以上缺點并且使得能夠?qū)崿F(xiàn)具有低復(fù)雜性的高效 壓縮的包括分段式自回歸像素預(yù)測方法的用于編碼數(shù)字圖像數(shù)據(jù)的方法。另外，本發(fā)明的 目的是提供對應(yīng)的解碼方法以及用于編碼的設(shè)備和用于解碼的設(shè)備。
[0007] 該目的通過獨立專利權(quán)利要求解決。本發(fā)明的優(yōu)選實施例在從屬權(quán)利要求中限 定。
[0008] 根據(jù)本發(fā)明的方法，編碼包括具有對應(yīng)像素值的像素的一個或多個陣列的數(shù)字圖 像數(shù)據(jù)（即2-D、3_D或甚至N維數(shù)據(jù))，其中通過下述預(yù)測來預(yù)測每一個陣列中的待編碼像 素的像素值，在所述預(yù)測中，基于鄰近于當前像素的特定鄰域區(qū)中的經(jīng)重構(gòu)的、之前處理的 像素的經(jīng)重構(gòu)像素值的加權(quán)和來確定當前像素的經(jīng)預(yù)測的值。所述經(jīng)重構(gòu)的像素值涉及之 前已經(jīng)在該方法中被壓縮和解壓縮的像素值或甚至涉及在使用無損編碼方法的情況中的 原始像素值?；谟糜卩徑诋斍跋袼氐奶囟ㄓ?xùn)練區(qū)中的經(jīng)重構(gòu)像素的線性和/或非線性 方程來確定經(jīng)重構(gòu)的像素值的加權(quán)和的權(quán)重，其中訓(xùn)練區(qū)至少具有鄰域區(qū)的尺寸并且優(yōu)選 地(但不必然地)包括鄰域區(qū)的像素。所描述的方法目前涉及分段式自回歸預(yù)測方法。在用 于生成經(jīng)編碼的圖像數(shù)據(jù)的編碼方法中處理經(jīng)預(yù)測的像素值與原始像素值之間的預(yù)測誤 差，如從現(xiàn)有技術(shù)中得知的那樣。以上術(shù)語"線性和/或非線性方程"涉及就作為變量的權(quán) 重而言為線性和/或非線性的方程。
[0009] 本發(fā)明的方法基于用于確定在所述預(yù)測方法中使用的特定鄰域區(qū)和特定訓(xùn)練區(qū) 的新技術(shù)。如在下文中描述的那樣確定那些區(qū)。
[0010] 在步驟a)中，鄰近于當前像素的預(yù)設(shè)鄰域區(qū)中的下述那些像素被確定，S卩：對于 這些像素而言存在陣列中的經(jīng)重構(gòu)的像素值，從而導(dǎo)致由所確定的像素限定的經(jīng)修改的鄰 域區(qū)。另外，在步驟b)中，鄰近于當前像素的預(yù)設(shè)訓(xùn)練區(qū)中的下述那些像素被確定，S卩：對 于這些像素而言存在陣列中的經(jīng)重構(gòu)的像素值，并且對于這些像素而言，鄰近于相應(yīng)像素 的經(jīng)修改的鄰域區(qū)排他性地包括這樣的像素，即：對于這樣的像素而言存在陣列中的經(jīng)重 構(gòu)的像素值，從而導(dǎo)致由所確定的像素限定的經(jīng)修改的訓(xùn)練區(qū)。
[0011] 在步驟C)中，驗證值被確定為隨參數(shù)而變(例如是所述參數(shù))，所述參數(shù)依賴于經(jīng) 修改的訓(xùn)練區(qū)中的像素的增加數(shù)目而增加(其中經(jīng)修改的鄰域區(qū)中的像素數(shù)目是固定的） 并且所述參數(shù)依賴于經(jīng)修改的鄰域區(qū)中的像素的減小數(shù)目而增加(其中經(jīng)修改的訓(xùn)練區(qū)中 的像素數(shù)目是固定的)。優(yōu)選地，驗證值依賴于增加的參數(shù)而增加或減小。在特別優(yōu)選的實 施例中，所述參數(shù)和優(yōu)選地所述驗證值是經(jīng)修改的訓(xùn)練區(qū)中的像素數(shù)目與經(jīng)修改的鄰域區(qū) 中的像素數(shù)目之間的比值。
[0012] 在根據(jù)本發(fā)明的方法的步驟d)中，如果驗證值對應(yīng)于小于或者小于或等于預(yù)確定 的閾值的參數(shù)，則執(zhí)行迭代。在針對驗證值的該條件不滿足的情況中，特定鄰域區(qū)對應(yīng)于經(jīng) 修改的鄰域區(qū)并且特定訓(xùn)練區(qū)對應(yīng)于經(jīng)修改的訓(xùn)練區(qū)。
[0013] 在執(zhí)行迭代的情況中，本發(fā)明的方法以步驟e)繼續(xù)進行，其中在每一個迭代步驟 中從經(jīng)修改的鄰域區(qū)移除至少一個附加像素，從而在每一個迭代步驟中導(dǎo)致更新的經(jīng)修改 的鄰域區(qū)，其中當在對應(yīng)迭代步驟中基于更新的經(jīng)修改的鄰域區(qū)中的像素數(shù)目（例如基于 (更新的）經(jīng)修改的訓(xùn)練區(qū)中的像素數(shù)目與更新的經(jīng)修改的鄰域區(qū)中的像素數(shù)目的比值）確 定的驗證值對應(yīng)于超過或達到預(yù)確定的閾值的參數(shù)時，迭代終止。在迭代終止的情況中， 特定鄰域區(qū)是更新的經(jīng)修改的鄰域區(qū)并且特定訓(xùn)練區(qū)是這樣的區(qū)，即：該區(qū)排他性地包括 預(yù)設(shè)訓(xùn)練區(qū)的下述像素，即：對于所述像素而言存在經(jīng)重構(gòu)的像素值，并且對于所述像素而 言，在迭代的終止處的更新的經(jīng)修改的鄰域區(qū)排他性地包括這樣的像素，即：對于這樣的像 素而言存在經(jīng)重構(gòu)的像素值。
[0014] 本發(fā)明的方法基于以下發(fā)現(xiàn)：訓(xùn)練區(qū)中的像素數(shù)目與鄰域區(qū)中的像素數(shù)目之間的 低比值由于基于線性和/或非線性方程組的權(quán)重的不精確的確定而造成不精確的預(yù)測。因 而，在這樣的情況中，通過在鄰域區(qū)中剪除像素來增加比值，直到達到預(yù)確定的閾值。在優(yōu) 選實施例中，將預(yù)確定的閾值選擇成至少1. 5。優(yōu)選地，將閾值選擇成大約5,從而導(dǎo)致非常 好的預(yù)測。
[0015] 在本發(fā)明的一個變型中，以上描述的在步驟e)中確定的特定訓(xùn)練區(qū)是經(jīng)修改的訓(xùn) 練區(qū)。然而，該區(qū)還可以是更新的經(jīng)修改的訓(xùn)練區(qū)，其排他性地包括預(yù)設(shè)訓(xùn)練區(qū)的所有像 素，對于該所有像素而言，存在經(jīng)重構(gòu)的像素值，并且對于該所有像素而言，在迭代的終止 處的更新的經(jīng)修改的鄰域區(qū)排他性地包括這樣的像素，即：對于這樣的像素而言存在經(jīng)重 構(gòu)的像素值。在后一種情況中，實現(xiàn)權(quán)重的更準確的確定，因為更新的經(jīng)修改的訓(xùn)練區(qū)由于 鄰域區(qū)中的像素的減少的數(shù)目而可以包括比經(jīng)修改的訓(xùn)練區(qū)更多的像素。
[0016] 在本發(fā)明的優(yōu)選實施例中，基于更新的經(jīng)修改的鄰域區(qū)中的像素數(shù)目和以上限定 的更新的經(jīng)修改的訓(xùn)練區(qū)中的像素數(shù)目二者確定步驟e)中的驗證值。例如，基于更新的經(jīng) 修改的訓(xùn)練區(qū)中的像素數(shù)目與更新的經(jīng)修改的鄰域區(qū)中的像素數(shù)目之間的比值確定驗證 值。這導(dǎo)致用于預(yù)測精度的非常好的度量。
[0017]在本發(fā)明的另一實施例中，在每一個迭代步驟中移除的至少一個像素是這樣的像 素：該像素導(dǎo)致造成具有大部分像素的更新的經(jīng)修改的訓(xùn)練區(qū)的更新的經(jīng)修改的鄰域區(qū)。 該實施例提供造成大驗證值的訓(xùn)練區(qū)的良好適配，并且因此提供預(yù)測的良好精度。
[0018] 在本發(fā)明的另一變型中，在像素的每一個陣列中限定歐幾里德距離，其中在每一 個迭代步驟中移除的至少一個像素是具有到當前像素的最大歐幾里德距離的像素。類似于 之前所描述的實施例，這導(dǎo)致預(yù)測的良好精度。
[0019] 在存在導(dǎo)致具有大部分像素的更新的經(jīng)修改的訓(xùn)練區(qū)的若干像素的情況中和/ 或如果存在具有最大歐幾里德距離的若干像素，則從那些若干像素中移除這樣的像素：其 導(dǎo)致具有有著到當前像素的最小距離的形心的更新的經(jīng)修改的鄰域區(qū)。這導(dǎo)致鄰域區(qū)中的 像素的移除，其中存在許多其它像素，從而導(dǎo)致良好的預(yù)測結(jié)果。
[0020] 在本發(fā)明的另一變型中，基于一個或多個準則，特別是在迭代不能找到造成驗證 值(該驗證值對應(yīng)于超過或達到所述預(yù)確定值的參數(shù)）的更新的經(jīng)修改的鄰域區(qū)的情況中， 除以上描述的分段式自回歸像素預(yù)測之外的另一類型的預(yù)測被用于特定當前像素。另一類 型的預(yù)測的示例是基于鄰域區(qū)中的可用像素的平均值或最近像素到當前像素的直接拷貝 的預(yù)測。
[0021] 在本發(fā)明的另一變型中，以基于行掃描和/或Z次序掃描和/或希爾伯特掃描的 編碼次序編碼數(shù)字圖像數(shù)據(jù)的像素。
[0022] 優(yōu)選地，在編碼方法中確定的預(yù)測誤差經(jīng)受熵編碼?？蛇x地，預(yù)測誤差在應(yīng)用熵編 碼之前可以經(jīng)受有損壓縮方法。如果預(yù)測誤差僅僅被熵編碼，這導(dǎo)致無損編碼方案。優(yōu)選 地，用于像素的每一個陣列的熵編碼是自適應(yīng)算術(shù)編碼或自適應(yīng)可變長度編碼，其優(yōu)選地 以具有一個或多個分布參數(shù)和優(yōu)選地具有方差的初始概率分布開始。例如，概率分布是拉 普拉斯或高斯概率分布。分布參數(shù)被包括作為經(jīng)編碼的圖像數(shù)據(jù)中的邊信息，并且因此使 得能夠?qū)崿F(xiàn)經(jīng)編碼的圖像數(shù)據(jù)的正確解碼。
[0023] 在本發(fā)明的另一優(yōu)選實施例中，同時編碼像素的若干和優(yōu)選地所有陣列，使得能 夠?qū)崿F(xiàn)若干陣列的并行處理，導(dǎo)致圖像數(shù)據(jù)的快速編碼。
[0024] 在本發(fā)明的優(yōu)選變型中，在執(zhí)行像素值的預(yù)測之前執(zhí)行以上所描述的步驟a)至 e)，其中在存儲裝置中預(yù)存儲針對像素的特定鄰域區(qū)和特定訓(xùn)練區(qū)，在像素值的預(yù)測期間 訪問所述存儲裝置。因而，可以在圖像數(shù)據(jù)的實際編碼之前執(zhí)行鄰域和訓(xùn)練區(qū)的確定，導(dǎo)致 圖像數(shù)據(jù)的快速預(yù)測和因此的快速編碼。
[0025] 在本發(fā)明的優(yōu)選變型中，編碼方法是視頻編碼方法，其編碼數(shù)字圖像的序列，其中 像素的每一個陣列涉及所述序列中的一個塊。術(shù)語塊要被寬泛地解釋并且還可以包括整個 圖像。特別地，視頻編碼可以基于標準H. 264/AVC或(草案）標準HEVC(HEVC=高效視頻編 碼)。
[0026] 本發(fā)明的方法還可以用于編碼包括具有三個或更多維度的一個或多個圖像的圖 像數(shù)據(jù)，特別是例如由計算機斷層攝影系統(tǒng)確定的醫(yī)學(xué)體積圖像。在這樣的情況中，以上提 到的塊涉及N維立方體，其在三維情況中為正六面體。
[0027] 除以上的編碼方法之外，本發(fā)明還涉及用于解碼通過以上描述的編碼方法編碼的 數(shù)字圖像數(shù)據(jù)的方