專利名稱：針對邊緣的圖像處理的制作方法
技術領域：
本發(fā)明總體涉及視頻處理。更具體地，本發(fā)明的實施例涉及針對邊緣(edge directed)的圖像處理。
背景技術：
視頻圖像可以具有各種圖像特征。例如，視頻圖像可以具有一個或多個邊緣特征。 如文中使用的，術語“邊緣”和/或“邊緣特征”可以指刻畫至少兩個其它圖像特征之間的 可視區(qū)別(諸如邊界)的圖像特征。此部分描述的方法是可實行的方法，但是不一定是以前已構想或實行的方法。因 此，除非另外指出，不應當假定此部分中描述的任意方法由于被包含在此部分內而僅僅被 當作是現有技術。類似地，除非另外指出，關于一個或多個方法的所指出的問題不應當基于 此部分而被假定已在任意現有技術中被識別。

發(fā)明內容
下面的段落給出了用于提供對于本發(fā)明的實施例的某些方面的基本理解的簡要 的、簡化的概述。應當注意，這個概述不是對實施例的各方面的詳盡綜述。另外，應當注意， 本概述不應被理解為標識實施例的任何特定的重要方面或元素，也不被理解為特別地描繪 實施例的任意范圍或一般地描繪本發(fā)明的任意范圍。下面的簡要概述僅以濃縮和簡化的形 式給出了與示例性實施例有關的某些概念，并且應當被理解為僅是在該簡要概述之后的示 例性實施例的更詳細描述的概念性前序。一個示例性實施例處理視頻圖像。訪問與輸入視頻圖像的邊緣特征相關的信息。 輸入圖像具有輸入分辨率值。所訪問的信息將輸入圖像的多個像素與輸入圖像的邊緣特征 相關聯。對于形成邊緣特征的分量(component)的輸入像素，該信息包括對應于邊緣特征 的角度值。所述邊緣特征具有輸入圖像中的輪廓(profile)特性。所述輪廓特性可以描述 或定義邊緣的形狀、銳度、周線(contour)、清晰度和/或其它屬性。以輸出分辨率值將輸出圖像配準(register)到輸入圖像。基于該配準，所訪問的 邊緣特征相關信息被與輸出像素相關聯。該關聯的信息指定至少某些輸出像素與所述輸入 圖像邊緣特征和對應的邊緣角度值配準?；谒鲞吘壗嵌戎颠x擇邊緣分量輸入像素。處 理所選擇的邊緣分量輸入像素。處理所選擇的邊緣分量輸入像素阻止輸出圖像中該邊緣特 征的輪廓特性退化。輸出圖像分辨率可以等于或不同于輸入圖像分辨率?？梢曰谠撎幚韴?zhí)行降噪操作。在執(zhí)行降噪時，輸出分辨率和輸入分辨率可以相 等，并且處理所選擇的邊緣分量輸入像素的步驟可以包括使用低通濾波器對所選擇的邊緣 分量輸入像素濾波。在輸出分辨率和輸入分辨率不同的情況下，輸出分辨率可以大于或小于輸入分辨 率，并且處理所選擇的邊緣分量輸入像素可以包括對所選擇的邊緣分量輸入像素進行插 值，例如對所選擇的邊緣分量輸入像素應用插值濾波?？梢曰趯Ξa生的像素應用的插值濾波產生輸出像素。處理所選擇的邊緣分量輸入像素的步驟可以包括對所選擇的邊緣分量 輸入像素的一個或多個組執(zhí)行插值濾波。執(zhí)行的插值濾波可以在符合邊緣角度值的輸出圖 像中的位置處產生像素。然后可以對產生的像素應用插值濾波。然后可以基于應用于產生 的像素的插值濾波產生輸出像素。處理視頻圖像可以包括基于濾波處理對視頻圖像進行諸 如上變換和/或下變換的縮放操作。根據一個實施例，處理所選擇的邊緣分量輸入像素不需要諸如水平和/或垂直濾 波的縮放過程。然而，對于沒有邊緣特征的輸入像素(例如，不位于邊緣上的或不形成邊緣 特征的分量的像素)，一個實施例可以使用這種縮放。本發(fā)明的實施例還可被應用于各種格式和交錯機制，例如，當前用于三維(3D)內 容的壓縮和傳遞的那些格式和交錯機制。這尤其可以包括行交錯(場序制)、底部在下 (bottom under)、棋盤、像素/列交錯和并排。本發(fā)明的一個或多個實施例可以涉及這種過程或處理，和/或涉及在其中可以執(zhí) 行所述過程或處理的系統(tǒng)，以及諸如可具有如下這樣的被編碼的指令的計算機可讀存儲介 質，該指令在被一個或多個處理器執(zhí)行時使得一個或多個處理器執(zhí)行所述處理或過程。


在附圖中以示例性方式而不是以限制方式示出了本發(fā)明，其中類似的附圖標記指 示類似的元件，并且其中圖1示出了根據本發(fā)明的實施例的具有邊緣特征的示例性輸入圖像；圖2A和2B分別示出了根據本發(fā)明的實施例的邊緣特征的一部分和該邊緣特征的 示例性圖；圖3A和3B分別示出了根據本發(fā)明的實施例的示例性邊緣圖和具有不同于輸入圖 像的分辨率的網格，以及具有該不同分辨率的示例性邊緣圖；圖4示出了根據本發(fā)明的實施例的示例性疊加操作；圖5示出了根據本發(fā)明的實施例的基于邊緣角的示例性移位操作；圖6示出了根據本發(fā)明的實施例的集中于邊緣角周圍的像素的檢索；圖7A和7B分別示出了根據本發(fā)明的實施例的對于非中心像素的基于邊緣角的示 例性移位，以及對于非中心像素的集中于邊緣角周圍的像素的檢索；圖8示出了根據本發(fā)明的實施例的示例性輸出像素定位；圖9示出了根據本發(fā)明的實施例的示例性過程的流程圖；和圖10示出了可以實現本發(fā)明的實施例的示例性計算機系統(tǒng)平臺。
具體實施例方式這里描述了關于針對邊緣的圖像處理的實施例。在下面的描述中，出于解釋的目 的，闡述了若干特定細節(jié)以便提供對本發(fā)明的透徹理解。然而應當明了，可以在不具有這些 特定細節(jié)的情況下實施本發(fā)明。在其它情況下，公知的結構和設備未被詳盡地詳細描述，以 便避免不必要地遮蔽、模糊、搞混或迷惑本發(fā)明。概述這里描述的示例性實施例涉及針對邊緣的圖像處理。在處理視頻圖像時，訪問與輸入視頻圖像的邊緣特征相關的信息。輸入圖像具有輸入分辨率值。所訪問的信息將輸入 圖像的多個像素與輸入圖像邊緣特征相關聯。對于形成邊緣特征的分量的輸入像素，該信 息包括對應于該邊緣特征的角度值。該邊緣特征具有輸入圖像中的輪廓特性。所述輪廓特 性可以描述或定義邊緣的形狀、銳度、周線、清晰度和/或其它屬性。以輸出分辨率值將輸出圖像配準到輸入圖像?；谠撆錅剩L問的邊緣特征相 關信息與輸出像素相關聯。該關聯的信息指定將至少某些輸出像素與該輸入圖像邊緣特征 和對應的邊緣角度值配準?；谶吘壗嵌戎颠x擇邊緣分量輸入像素。處理所選擇的邊緣分 量輸入像素。處理邊緣分量輸入像素阻止輸出圖像中該邊緣特征的輪廓特性退化。輸出圖 像分辨率可以等于或不同于輸入圖像分辨率。針對邊緣的圖像處理利用視頻圖像中的檢測到的邊緣，并且允許有效的圖像重新 采樣。因此，這些實施例可被用于縮放和/或運動補償視頻處理應用。這些實施例有效地 對視頻圖像重新采樣，而沒有顯著的與圖形失真保持或增強效果有關的效果，并且沒有顯 著的帶寬約束。另外，這些實施例能夠提供有效的重新采樣，而不會在插值濾波中引起明顯 的激振效應。輸出圖像分辨率可以等于或不同于輸入圖像分辨率。例如對于某些降噪應用，輸 出圖像分辨率可以不顯著改變，或可以等于輸入圖像分辨率。此處參考其中輸出圖像的分 辨率高于輸入圖像的分辨率的實現來描述一個示例性實施例，其可被用于諸如上變換的縮 放應用。例如，一個實施例能夠從以相對較低分辨率、標準清晰度輸入的視頻產生高清晰度 電視(HDTV)輸出圖像。然而，視頻處理、視頻壓縮等相關領域的技術人員應當明了，出于說 明而不是限制的目的選擇此處描述示例性實現。本發(fā)明的實施例涉及二維(2D)成像應用，以及三維(3D)應用(本上下文中術語 2D和3D指的是空間維度)。另外，這些實施例涉及計算機成像和醫(yī)學成像應用，以及其它 更專業(yè)的圖形處理應用，諸如，2D和/或3D生物醫(yī)學成像。生物醫(yī)學成像應用可以包括核 磁共振成像(MRI)和超聲波心動描記術，其可以例如實時地視覺呈現跳動的心臟的運動圖 像以便診斷或研究。3D成像應用可以在包括“深度”或“ζ”分量的3D圖像空間內視覺地呈 現例如與心臟跳動相關聯的平移運動。此處參考2D視頻序列描述示例性實施例。然而，從本描述中應當明了，這些實施 例不限于這些示例性特征，這里僅僅出于一致、簡要、簡單和清楚的目的使用這些示例性特 征。相反，從本描述中應當明了，這些實施例非常適合于工作于3D和各種多維度應用，以及 諸如計算機成像和生物醫(yī)學成像的成像應用。在當前上下文中，術語2D和3D指的是空間 維度。本發(fā)明的實施例還可應用于各種格式和交錯機制，例如當前用于3D內容的壓縮 和傳遞的那些格式和交錯機制。這尤其可以包括行交錯(場序制)、底部在下、棋盤、像素/ 列交錯和并排。一個實施例操作以便在具有源視頻的分辨率(例如輸入分辨率)的視頻圖像中， 最初檢測邊緣特征，并且確定與該邊緣特征相關聯的角度。對于其中輸出分辨率大于輸入 分辨率的應用，以較低的輸入分辨率(例如，而不是以潛在地更高的輸出分辨率)執(zhí)行初始 邊緣特征檢測和邊緣角確定可以節(jié)省在這種處理中所使用的計算資源。另外，對于諸如運 動補償處理的應用，可對于每個進入幀計算和緩存邊緣結果。對于每個進入視頻幀計算并且緩存邊緣結果可被用于創(chuàng)建大量輸出像素以供使用。一種計算機系統(tǒng)可以執(zhí)行此處描述的一個或多個特征，該計算機系統(tǒng)包括一個或 多個處理器，并且可以采用硬件、軟件、固件和/或它們的任意組合工作，以便執(zhí)行上面描 述的特征中的一個或多個。在執(zhí)行上述特征中的一個或多個時，該計算機系統(tǒng)的(多個) 處理器和/或其它組件可以在計算機可讀并且可執(zhí)行指令的引導下工作，所述指令可被編 碼在一個或多個計算機可讀存儲介質內，或可被計算機系統(tǒng)接收。此處描述的一個或多個特征可以在編碼器或解碼器中執(zhí)行，所述編碼器或解碼器 可以包括硬件、軟件、固件和/或它們的任意組合，其在計算機平臺上工作。此處描述的特 征還可以在組件、諸如視頻卡的電路板、邏輯器件、和/或諸如微控制器、現場可編程門陣 列(FPGA)、專用集成電路(ASIC)的集成電路(IC)、以及其它平臺內執(zhí)行。示例性的針對邊緣的圖像處理技術確定在為(例如，具有)輸入分辨率的輸入圖像視頻圖像中的一個或多個邊緣特 征的位置和角度。可以用各種技術檢測邊緣特征(例如，邊緣)并且確定它們的邊緣角。一 種用于尋找邊緣并且確定角度的示例性技術處理任意分辨率和長寬比的交錯圖像和漸進 圖像兩者。圖1示出了根據本發(fā)明的實施例的示例性輸入圖像100。輸入圖像100具有邊緣 特征(例如，邊緣)101。輸入圖像100被示出為簡單的漸進源圖像，其相對于較亮背景具有 類似于“菱形”形狀的片段(segment)的暗圖像特征。邊緣特征101對應于在菱形片段頂 部的邊界，例如，在該處在圖像中菱形片段結束并且較亮背景開始。輸入圖像100內的每個 方形片段對應于單個輸入像素。確定邊緣特征的位置和角度可以得到與原始圖像具有相同分辨率的圖。圖2A示 出了邊緣特征101的一部分210。所采用的邊緣檢測和角度確定技術可以創(chuàng)建這樣的圖，該 圖具有集中在原始輸入像素之間的網格(例如，沿水平和/或垂直方向或取向)上的或集 中在與原始輸入像素具有任意關系的網格上的邊緣值。圖2B示出了根據本發(fā)明的實施例 的邊緣特征的示例性圖222。網格220被覆蓋在圖像部分210上，以便繪制與其相關聯的邊 緣特征。原始輸入圖像100的部分210基本被放大，并且以邊緣圖222示出邊緣檢測輸出。 以暗方塊示出的邊緣值“1”指示部分210中發(fā)現邊緣之處的位置，例如，輸入圖像100中的 作為邊緣特征的分量的輸入像素。以較亮的方塊示出的非邊緣值“0”指示部分210中未發(fā) 現邊緣分量之處的位置。除了指示“邊緣/非邊緣”位置之外，圖222中的每個“1”值邊緣 特征位置包含與邊緣特征101相關聯的角度(例如，邊緣角)。在一個實施例中，輸出圖像的輸出分辨率可以等于輸入分辨率。這在視頻降噪應 用中可能是有用的。然而，在一個實施例中，輸出圖像的輸出分辨率可以與輸入分辨率不 同。這在諸如下變換和上變換的視頻縮放應用中可能是有用的。因此，輸出分辨率可以小 于輸入分辨率，或如示出此處描述的示例性實現的圖中所示，輸出分辨率可以超出輸入分辨率?？梢詧?zhí)行圖像重新采樣，以便創(chuàng)建在水平和/或垂直取向上具有大于(或小于) 原始輸入圖像分辨率的分辨率的輸出。由于輸入和輸出樣本之間的關系對于每個輸出位置 可能改變，重新采樣計算可以單獨處理每個輸出像素。為了允許進行針對邊緣的處理，每個輸出位置被配準到角度圖中，以便確定輸出像素是否位于原始圖像的邊緣的區(qū)域中。圖3A示出了根據本發(fā)明的實施例的為原始輸入圖像分辨率的示例性邊緣圖222 和較高分辨率的輸出網格322。網格322被以為原始輸入圖像邊緣圖222的水平和垂直分 辨率的兩倍的分辨率示出。圖3B示出了較高分辨率輸出網格322疊加到(例如，配準到) 邊緣圖222上的合成物330。這種“高分辨率”邊緣圖提供了每一像素的邊緣信息，根據該 信息可以計算輸出圖像。例如，輸出像素331位于原始輸入圖像的邊緣區(qū)域中。根據一個 實施例，可對于位于邊緣區(qū)域中的輸出像素331使用針對邊緣的處理來計算輸出圖像?？?以對于不是邊緣特征分量輸出像素的輸出像素339使用水平和/或垂直濾波或其它放大技 術來計算輸出圖像。圖4示出了根據本發(fā)明的實施例的示例性配準(例如，“疊加”)操作401。輸出分 辨率邊緣圖222被疊加到原始輸入100上，以便計算輸出分辨率邊緣圖疊加的邊緣圖410。 邊緣圖410示出了邊緣圖數據和原始圖像之間可能存在的關系。對于具有相關聯的邊緣的每個輸出像素，如由邊緣角所描述的，檢索原始輸入像 素。在例如關于與其相關聯的斜率或關于相對于水平線平緩或略微近似于徘徊的斜率，邊 緣角符合相對淺的角度情況下(例如，如圖5、圖6、圖7A和/或圖7B所示)，可以從輸出像 素位置之上和之下的輸入行檢索原始輸入像素。在例如關于與其相關聯的斜率或關于相對 于水平線相對陡峭或接近垂直的斜率，邊緣角符合相對陡峭的角度的情況下，可以從與輸 出像素位置相鄰(例如，左側和右側)的輸入行檢索原始輸入像素。對于淺的或陡峭的角 度，在一個實施例中，基于邊緣角的偏移量選擇原始像素。因此，這些實施例非常適合在實 際上為任意斜率的邊緣角上工作。在此處給出并且描述的例子中，對于具有相關聯的邊緣的每個輸出像素，來自邊 緣位置之上和之下的行的原始像素被檢索，偏移該邊緣角。具有相關聯的邊緣的輸出像素 可以是作為輸入和/或輸出圖像中的邊緣特征的分量的輸出像素。在一個實施例中，以像 素單位(例如，而不是以度、弧度或其它角度測量單位)存儲邊緣角。以像素單位存儲邊緣 角允許邊緣角用作原始輸入像素網格上的直接偏移量。可以按照低于像素的精度存儲邊緣處理原始輸入圖像100示出了一個例子。輸入圖像100中的邊緣“臺階(st印)，， 被圖形地示出為具有近似4的邊緣角，例如，輸入圖像100中的邊緣對于每個垂直平移的像 素水平平移4個像素。對于諸如二值測試圖像的圖像，邊緣角可以精確地等于4，但是對于 某些視頻圖像，可以期望其它的邊緣角。例如，灰度圖像可以具有4.6的邊緣角。對于在輸 入像素中間的輸出位置，可以直接使用二分之一邊緣角(例如2. 3)從上方的行和下方的行 檢索像素。圖5示出了根據本發(fā)明的實施例的基于邊緣角510的示例性移位操作。移位操作 處理檢索到的輸入圖像的像素，以產生位于沿著所述邊緣的位置的值?？梢栽谝莆徊僮髦?使用插值濾波器，從而對于輸出像素之上和之下的輸入行產生沿著邊緣的值。然后可以處 理這些值，以便產生輸出像素。圖5示出了具有位于上方和下方原始輸入行中間的輸出像 素的簡單例子，諸如，這在2倍(2X)垂直按比例放大時可能在這些行的一半處出現。在特 定輸出像素的邊緣角是+4. 6的情況下，檢索來自在上方的行的像素，其集中于在輸出位置 右側+2. 3個像素處(位置511)，并且檢索來自在下方的行的像素，其集中于在輸出位置左側-2. 3個像素處(位置512)。圖6示出了集中在邊緣角周圍的像素的檢索。位置511和512指示邊緣角與輸出 像素之上和之下的行的交點，并且區(qū)域601和602示出了集中在這些位置周圍的像素組。 在位置511和512周圍可集合任意數目的像素。一個實施例可通過用于插值濾波器的3個 像素起作用。然而，在特定應用中可以使用更少或更多像素實現有效的插值濾波?？梢詫?從在上方的行檢索到的像素，即組601，進行插值，以便產生沿著邊緣角所描述的線的值，例 如，產生沿著邊緣的值。類似地，可以對來自在下方的行的像素，即組602，進行插值，以便計 算沿著邊緣角所描述的線的值，即，產生沿著邊緣的值。然后可以處理對于在上方的行和在 下方的行的插值后的值，以確定位置505處的輸出像素。位于原始行中間的輸出像素在某些環(huán)境或應用中可能是有用的。對于一般縮放應 用，輸出像素可以位于任何位置。對于不是邊緣分量的輸出像素，僅僅通過基于邊緣角的處 理可能不足以確定檢索來自在上方的行和在下方的行的哪些像素。可對于不是邊緣分量的 輸出像素使用水平和垂直濾波。輸入和輸出網格之間可以存在任意縮放關系。對于相同邊緣角+4. 6個像素，具有 不同分辨率的不同輸出圖像可以導致不垂直位于輸入行中間的輸出像素位置。這導致不同 的所述角與在上方的行和在下方的行上的原始像素的交點。圖7A給出了根據本發(fā)明的實施例的對于非中心像素715的基于邊緣角的示例性 移位710。位置711和712指示邊緣角與輸出像素之上和之下的行的交點。線720給出了 通過輸出像素位置715繪出的邊緣角。圖7B給出了對集中在邊緣角周圍的像素的檢索。從輸出像素之上和之下的行中 檢索集中在位置711和712周圍的像素，并且區(qū)域701和702指示集中在這些位置周圍的 像素的組。一個實施例可以通過用于插值濾波器的3個像素起作用。然而，在特定應用中 可以使用更少或更多像素實現有效的插值濾波。圖8示出了根據本發(fā)明的實施例的示例性濾波操作800。該操作組合來自輸出像 素之上和之下的行的插值輸出。為了組合上方行插值(或移位)輸出801和下方行插值 (或移位)輸出，可以計算輸出像素815相對于輸入圖像的垂直偏移量。原始輸入樣本的中 心之間的垂直偏移量確定上方移位樣本801和下方移位樣本802的加權?？梢允褂眉訖嗥?均，這是上方樣本和下方樣本的更復雜的混合。根據下面的等式1，通過移位的上方行輸出801(Top0ut)、移位的下方行輸出 802 (BotOut)和偏移量810 ‘A，，計算輸出像素位置815 (OPL)OPL = (TopOut) (1. 0-A) + (BotOut) (A)(等式 1)可以采用水平和垂直插值濾波，處理沒有位于在原始圖像中的檢測到邊緣的區(qū)域 中的輸出像素。根據這些實施例的針對邊緣的圖像處理可被用于包括(但不限于)針對邊緣的縮 放和運動補償處理的應用?？赏ㄟ^一個實施例執(zhí)行縮放應用。在縮放應用中，每個輸出像素具有相對于輸入 圖像的水平和垂直位移的唯一組合。這使得可以源分辨率而不是輸出分辨率進行邊緣檢測 處理。因此，更高的輸出分辨率不會招致初始階段的更多處理。運動補償處理系統(tǒng)也可以利用針對邊緣的處理，例如，作為另一個縮放應用的延伸。在運動補償處理中，可以使用多個相鄰幀以便預測每個輸出像素。來自相鄰幀的像素 可按照幀之間的運動估計的規(guī)定水平和垂直移位，以便提供輸出的時間預測版本?；谶\ 動移位可以包括檢索由于運動而位移的像素塊，隨后進行水平和垂直插值濾波，以便實現 子像素精度。然而，在這個步驟之前存在邊緣和角度處理的情況下，與水平和垂直濾波輸出 相對比，可以創(chuàng)建更高質量的針對邊緣的輸出，這可以產生更高質量的時間預測器?？梢砸暂^低原始源分辨率對每個到來的幀執(zhí)行一次邊緣檢測和角度確定，并且將 其緩存，這可以減少對于每次需要輸出就得執(zhí)行這些計算的需求。示例性過程此處描述的示例性過程可與針對邊緣的圖像處理相關地執(zhí)行?？赏ㄟ^一個實施例 執(zhí)行的過程可被以多于或少于所示的示例性步驟的步驟執(zhí)行，和/或被以按照可不同于示 例性過程的順序的順序執(zhí)行的步驟執(zhí)行。這些示例性過程可例如在編碼在一個或多個計算 機可讀存儲介質內的計算機可讀指令的控制下，在一個或多個計算機系統(tǒng)上執(zhí)行，或該過 程可以在ASIC或可編程IC設備內執(zhí)行。一個示例性實施例處理視頻圖像。圖9示出了根據本發(fā)明的實施例的示例性過程 900的流程圖。在步驟901，訪問與輸入視頻圖像的邊緣特征相關的信息。輸入圖像具有輸 入分辨率值。所訪問的信息使輸入圖像的多個像素與輸入圖像邊緣特征相關。對于形成邊 緣特征分量的輸入像素，該信息包括對應于該邊緣特征的角度值。邊緣特征具有輸入圖像 中的輪廓特性。輪廓特性可以描述或定義邊緣的形狀、銳度、周線、清晰度和/或其它屬性。在步驟902，以輸出分辨率值將輸出圖像配準到輸入圖像?；谠撆錅?，在步驟 903中，使所訪問的邊緣特征相關信息與輸出像素相關聯。該相關聯的信息將至少某些輸出 像素指定為與輸入圖像邊緣特征和對應的邊緣角度值配準。在步驟904，基于邊緣角度值選 擇邊緣分量輸入像素。在步驟905，處理所選擇的邊緣分量輸入像素。處理邊緣分量輸入像 素阻止輸出圖像中該邊緣特征的輪廓特性退化。輸出圖像分辨率可以等于或不同于輸入圖 像分辨率?？梢曰谠撎幚韴?zhí)行降噪操作。在執(zhí)行降噪時，輸出分辨率和輸入分辨率可以相 等，并且處理所選擇的邊緣分量輸入像素的步驟可以包括使用低通濾波器對所選擇的邊緣 分量輸入像素濾波。在輸出和輸入分辨率不同的情況下，輸出分辨率可以大于或小于輸入分辨率，并 且處理所選擇的邊緣分量輸入像素可以包括對所選擇的邊緣分量輸入像素進行插值，例如 應用插值濾波?？梢曰趹糜诋a生的像素的插值濾波產生輸出像素。處理所選擇的邊緣 分量輸入像素的步驟可以包括對所選擇的邊緣分量輸入像素的一個或多個組執(zhí)行插值濾 波。執(zhí)行的插值濾波可以在輸出圖像中符合所述邊緣角度值的位置產生像素。然后可以對 產生的像素應用插值濾波。然后可以基于應用于產生的像素的插值濾波產生輸出像素。處 理視頻圖像可以包括執(zhí)行縮放操作，諸如基于濾波處理對視頻圖像進行上變換和/或下變 換。根據一個實施例，處理所選擇的邊緣分量輸入像素不需要諸如水平和/或垂直濾 波的縮放過程。然而，一個實施例可以針對沒有邊緣特征的輸入像素(例如，不位于邊緣上 或不形成邊緣特征的分量的像素)使用這種縮放。示例性的計算機系統(tǒng)平臺
圖10示出了可以實現本發(fā)明的實施例的示例性計算機系統(tǒng)平臺1000。計算機系 統(tǒng)1000包括用于傳遞信息的總線1002或其它通信機構、以及與總線1002耦合的用于處理 信息的處理器1004 (其可以表示一個或多個處理器)。計算機系統(tǒng)1000還包括耦合到總線 1002的用于存儲待由處理器1004執(zhí)行的信息和指令的諸如隨機存取存儲器(RAM)或其它 動態(tài)存儲設備的主存儲器1006。主存儲器1006還可用于在將由處理器1004執(zhí)行的指令的 執(zhí)行過程中存儲臨時變量或其它中間信息。計算機系統(tǒng)100還包括耦合到總線1002的用 于存儲用于處理器1004的靜態(tài)信息和指令的只讀存儲器(ROM) 1008或其它靜態(tài)存儲設備。 諸如磁盤或光盤的存儲設備1010被提供并且耦合到總線1002以用于存儲信息和指令。計算機系統(tǒng)1000可通過總線1002耦合到諸如液晶顯示器(IXD)、陰極射線管 (CRT)等的顯示器1012，以用于向計算機用戶顯示信息。包括字母數字和其它按鍵的輸入 設備1014被耦合到總線1002，以用于向處理器1004傳遞信息和命令選擇。另一種類型的 用戶輸入設備是諸如鼠標、軌跡球或光標方向鍵的光標控制設備1016，用于向處理器1004 傳遞方向信息和命令選擇，并且用于控制顯示器1012上的光標移動。這種輸入設備通常具 有兩個軸第一軸(例如，χ)和第二軸(例如，y)上的兩個自由度，這允許該設備指定平面 內的位置。本發(fā)明涉及使用計算機系統(tǒng)1000進行針對邊緣的圖像處理。根據本發(fā)明的一個 實施例，響應于處理器1004執(zhí)行包含在主存儲器1006內的一個或多個指令的一個或多個 序列，由計算機系統(tǒng)1000提供針對邊緣的圖像處理。這些指令可被從諸如存儲設備1010 的另一個計算機可讀介質讀入主存儲器1006。包含在主存儲器1006內的指令序列的執(zhí)行 使得處理器1004執(zhí)行此處描述的處理步驟。還可以采用多處理布置中的一個或多個處理 器，以執(zhí)行包含在主存儲器1006內的指令序列。在可替換實施例中，可以作為軟件指令的 替代或與軟件指令相結合地使用硬布線電路以實現本發(fā)明。因此，本發(fā)明的實施例不限于 硬件電路和軟件的任意特定組合。此處使用的術語“計算機可讀介質”指參與向處理器1004提供指令以便執(zhí)行的任 意介質。這種介質可以采用許多形式，包括但不限于，非易失性介質、易失性介質和傳輸介 質。非易失性介質包括例如光盤或磁盤，諸如存儲設備1010。易失性介質包括動態(tài)存儲器， 諸如主存儲器1006。傳輸介質包括同軸電纜、銅線和其它導線和光纖，包括包含總線1002 的導線。傳輸介質還可以采用聲波或光波的形式，諸如在無線電波和紅外線數據通信過程 中產生的聲波或光波。計算機可讀介質的常見形式包括例如，軟盤、柔性盤、硬盤、磁帶或任意其它磁介 質、CD-ROM、任意其它光學介質、穿孔卡、紙帶、具有孔圖案的任意其它老式或其它物理介 質、RAM、PROM和EPROM、FLASH-EPR0M、任意其它存儲器芯片或磁帶盒、下文描述的載波、或 計算機可以從中讀取的任意其它介質。向處理器1004傳送一個或多個指令的一個或多個序列以便執(zhí)行可以涉及各種形 式的計算機可讀介質。例如，指令最初可被承載在遠程計算機的磁盤上。遠程計算機可將 指令裝入其動態(tài)存儲器，并且使用調制解調器通過電話線發(fā)送指令。計算機系統(tǒng)1000本地 的調制解調器可以在電話線上接收數據，并且使用紅外線發(fā)射器將該數據變換為紅外線信 號。耦合到總線1002的紅外線檢測器可以接收紅外線信號中攜帶的數據，并且將數據放置 在總線1002上?？偩€1002將數據傳送到主存儲器1006，處理器1004從主存儲器1006檢索并且執(zhí)行指令。由主存儲器1006接收到的指令可任選地在處理器1004的執(zhí)行之前或之 后被存儲在存儲設備1010上。計算機系統(tǒng)1000還包括耦合到總線1002的通信接口 1018。通信接口 1018提供 與網絡鏈路1020的雙向數據通信耦合，其中網絡鏈路1020連接到本地網絡1022。例如，通 信接口 1018可以是綜合業(yè)務數字網絡(ISDN)卡或數字用戶線路(DSL)、電纜線或其它調制 解調器，以便提供到相應類型的電話線的數據通信連接。作為另一個例子，通信接口 1018 可以是局域網(LAN)卡，以便提供到兼容LAN的數據通信連接。還可以實現無線鏈路。在 任意這種實現中，通信接口 1018發(fā)送和接收承載著表示各種類型信息的數字數據流的電 信號、電磁信號或光學信號。網絡鏈路1020通常通過一個或多個網絡提供與其它數據設備的數據通信。例如， 網絡鏈路1020可以通過本地網絡1022提供到主計算機1024或到由Internet服務提供商 (ISP) 1026操作的數據裝置的連接。ISP1026繼而通過現在通常被稱為“Internet”的世界 范圍的分組數據通信網絡1028提供數據通信服務。本地網絡1022和Internet 1028兩者 使用承載數字數據流的電信號、電磁信號或光學信號。承載去往和來自計算機系統(tǒng)1000的 數字數據的通過各種網絡的信號以及網絡鏈路1020上的并且通過通信接口 1018的信號是 傳輸信息的載波的示例性形式。計算機系統(tǒng)1000可以通過(多個)網絡、網絡鏈路1020和通信接口 1018發(fā)送 消息和接收數據，包括程序代碼。在Internet的例子中，服務器1030可以通過Internet 1028、ISP 1026、本地網絡1022和通信接口 1018傳輸應用程序的請求代碼。根據本發(fā)明， 一個這種下載應用提供此處描述的針對邊緣的圖像處理。接收到的代碼可在被接收時由處理器1004執(zhí)行，和/或被存儲在存儲設備1010 或其它非易失性存儲設備中以便稍后執(zhí)行。這樣，計算機系統(tǒng)1000可以獲得載波形式的應 用代碼。計算機系統(tǒng)1000可以是用于電子設備或裝置的平臺、或可被與電子設備或裝置 一起布置或被部署為電子設備或裝置的組件。與計算機系統(tǒng)1000 —起工作以便進行針對 邊緣的圖像處理的設備和裝置可以包括但不限于，TV或HDTV、DVD、HD DVD或BD播放器或 用于另一種光學編碼介質的播放器應用、用于編碼的磁存儲介質、固態(tài)(例如，閃存)或其 它存儲介質的播放器應用、音頻/視頻(A/V)接收器、媒體服務器(例如，中央式個人媒體 服務器)、醫(yī)療、科研或其它成像系統(tǒng)、個人視頻編輯和/或處理系統(tǒng)、工作站、臺式機、膝上 計算機、手持或其它計算機、網絡元件、能夠使用網絡的通信和/或計算設備，諸如移動電 話、便攜數字助理(PDA)、便攜娛樂設備、便攜游戲設備等。計算機系統(tǒng)1000的一個或多個 特征可被配置為執(zhí)行該特征的集成電路(IC)設備實現。IC可以是專用IC(ASIC)，和/或 可編程IC設備，諸如現場可編程門陣列(FPGA)或微控制器。例子在一個實施例中，一種方法包括如下步驟，或一種計算機可讀介質承載一個或多 個指令序列，所述指令在由一個或多個處理器執(zhí)行時使得所述一個或多個處理器執(zhí)行如下 步驟訪問與具有輸入分辨率值的輸入圖像的邊緣特征相關的信息，其中該信息使輸入圖 像的多個像素與輸入圖像邊緣特征相關，并且對于包括邊緣特征分量的輸入像素，該信息 包括對應于邊緣特征的角度值，并且其中邊緣特征具有輸入圖像中的輪廓特性，以輸出分辨率值將輸出圖像配準到輸入圖像，基于該配準步驟，將所訪問的邊緣特征相關信息與輸 出像素相關聯，其中相關聯的信息指定至少某些輸出像素與入圖像邊緣特征和相應的邊緣 角度值配準，基于所述邊緣角度值，選擇邊緣分量輸入像素，并且處理所選擇的邊緣分量輸 入像素，其中處理所選擇的邊緣分量輸入像素的步驟阻止輸出圖像中邊緣特征的輪廓特性 退化。在一個實施例中，一種方法或計算機可讀介質還包括其中輸出圖像具有等于或不 同于輸入圖像分辨率的分辨率。在一個實施例中，一種方法或計算機可讀介質還包括其中處理視頻圖像包括基于 處理步驟對視頻圖像執(zhí)行降噪操作。在一個實施例中，一種方法或計算機可讀介質還包括其中，對于具有與輸入分辨 率相等的輸出分辨率的輸出圖像，處理所選擇的邊緣分量輸入像素步驟包括使用低通濾波 器對所選擇的邊緣分量輸入像素濾波。在一個實施例中，一種方法或計算機可讀介質還包括其中與輸入分辨率不同的輸 出分辨率大于或小于所述輸入分辨率。在一個實施例中，一種方法或計算機可讀介質還包括其中處理所選擇的邊緣分量 輸入像素步驟包括對所選擇的邊緣分量輸入像素應用插值濾波，并且基于對產生的像素 的應用的插值濾波產生輸出像素。在一個實施例中，一種方法或計算機可讀介質還包括其中處理所選擇的邊緣分量 輸入像素步驟包括對所選擇的邊緣分量輸入像素的一個或多個組執(zhí)行插值濾波，其中執(zhí)行 的插值濾波在輸出圖像中符合邊緣角度值的位置產生像素，對產生的像素應用插值濾波， 并且基于應用于產生的像素的插值濾波產生輸出像素。在一個實施例中，一種方法或計算機可讀介質還包括其中處理視頻圖像包括基于 濾波處理，對視頻圖像進行縮放操作。在一個實施例中，一種方法或計算機可讀介質還包括其中縮放操作包括上變換或 下變換操作中的至少一個。在一個實施例中，一種方法或計算機可讀介質還包括其中輪廓特性包括與邊緣特 征相關的形狀、銳度、周線或清晰度屬性中的至少一個。在一個實施例中，一種方法或計算機可讀介質還包括其中處理所選擇的邊緣分量 輸入像素的步驟包括獨立于縮放過程執(zhí)行的濾波步驟。在一個實施例中，一種方法或計算機可讀介質還包括其中縮放過程包括一個或多 個水平或垂直濾波。在一個實施例中，一種方法或計算機可讀介質還包括對沒有邊緣特征的輸入像素 應用縮放過程，并且至少部分地基于應用縮放特征步驟，產生一個或多個沒有輸出邊緣特 征的輸出像素。在一個實施例中，一種系統(tǒng)包括用于訪問與具有輸入分辨率值的輸入圖像的邊緣 特征相關的信息的裝置，其中該信息使輸入圖像的多個像素與輸入圖像邊緣特征相關聯， 并且對于包括邊緣特征分量的輸入像素，該信息包括對應于邊緣特征的角度值，并且其中 該邊緣特征具有輸入圖像中的輪廓特性，用于以輸出分辨率值將輸出圖像配準到輸入圖像 上的裝置，用于基于配準裝置的功能，將所訪問的邊緣特征相關信息與輸出像素相關聯的裝置，其中該相關聯的信息指定至少某些輸出像素與輸入圖像邊緣特征和相應的邊緣角度 值配準，用于基于邊緣角度值，選擇邊緣分量輸入像素的裝置，和用于處理所選擇的邊緣分 量輸入像素的裝置，其中用于處理所選擇的邊緣分量輸入像素的裝置工作以便阻止輸出圖 像中邊緣特征的輪廓特性退化。在一個實施例中，一種方法包括如下步驟，或一種計算機可讀介質承載一個或多 個指令序列，所述指令在由一個或多個處理器執(zhí)行時使得所述一個或多個處理器執(zhí)行如下 步驟訪問與具有輸入分辨率值的輸入圖像的邊緣特征相關的信息，其中該信息使輸入圖 像的多個像素與輸入圖像邊緣特征相關聯，并且對于包括邊緣特征分量的輸入像素，該信 息包括對應于邊緣特征的角度值，并且其中邊緣特征具有輸入圖像中的輪廓特性，以輸出 分辨率值將輸出圖像配準到輸入圖像上，基于配準步驟將所訪問的邊緣特征相關信息與輸 出像素相關聯，其中相關聯的信息指定至少某些輸出像素與輸入圖像邊緣特征和相應的邊 緣角度值配準，基于邊緣角度值，選擇邊緣分量輸入像素，并且處理所選擇的邊緣分量輸入 像素，其中處理所選擇的邊緣分量輸入像素的步驟阻止輸出圖像中邊緣特征的輪廓特性退 化。等同物、擴展、替換和雜項在前面的說明書中，已經參考可以根據實現而改變的若干特定細節(jié)描述了本發(fā)明 的實施例。因此，由在本申請中以特定形式提出的權利要求唯一地并且排它地指示申請人 所認為的本發(fā)明，包括任何后續(xù)的修正。此處為這些權利要求中包含的術語明確提出的任 何定義支配這些術語被在權利要求中使用的含義。因此，權利要求中未明確表述的限制、元 素、屬性、特征、優(yōu)點或性質不以任何方式限制本發(fā)明的范圍。因此，說明書和附圖被認為是 說明性的而不是約束性的。
權利要求
一種用于處理視頻圖像的方法，包括步驟訪問與具有輸入分辨率值的輸入圖像的邊緣特征相關的信息；其中所述信息將輸入圖像的多個像素與輸入圖像的邊緣特征相關聯，并且對于包括邊緣特征的分量的輸入像素，所述信息包括對應于所述邊緣特征的角度值，并且其中所述邊緣特征在所述輸入圖像中具有輪廓特性；以輸出分辨率值將輸出圖像配準到所述輸入圖像；基于所述配準步驟，將所訪問的邊緣特征相關信息與輸出像素相關聯；其中所述相關聯的信息將至少某些輸出像素指定為與所述輸入圖像邊緣特征和對應的邊緣角度值配準；基于所述邊緣角度值，選擇邊緣分量輸入像素；和處理所選擇的邊緣分量輸入像素；其中處理所選擇的邊緣分量輸入像素的步驟阻止輸出圖像中邊緣特征的輪廓特性的退化。
2.如權利要求1所述的方法，其中所述輸出圖像具有等于或不同于輸入圖像分辨率的 分辨率。
3.如權利要求2所述的方法，其中處理視頻圖像包括基于所述處理步驟對所述視頻圖 像執(zhí)行降噪操作。
4.如權利要求3所述的方法，其中對于具有與輸入分辨率相等的輸出分辨率的輸出圖 像，處理所選擇的邊緣分量輸入像素步驟包括使用低通濾波器對所選擇的邊緣分量輸入像 素濾波。
5.如權利要求2所述的方法，其中與輸入分辨率不同的輸出分辨率大于或小于所述輸入分辨率。
6.如權利要求5所述的方法，其中處理所選擇的邊緣分量輸入像素步驟包括步驟 對所選擇的邊緣分量輸入像素應用插值濾波；和基于對產生的像素應用的插值濾波產生輸出像素。
7.如權利要求5所述的方法，其中處理所選擇的邊緣分量輸入像素步驟包括步驟 對所選擇的邊緣分量輸入像素的一個或多個組執(zhí)行插值濾波；其中執(zhí)行的插值濾波在所述輸出圖像中符合所述邊緣角度值的位置處產生像素； 對產生的像素應用插值濾波；并且 基于應用于產生的像素的插值濾波產生輸出像素。
8.如權利要求6或7所述的方法，其中處理視頻圖像包括基于所述濾波處理，對所述視 頻圖像進行縮放操作。
9.如權利要求8所述的方法，其中所述縮放操作包括上變換或下變換操作中的至少一個。
10.如權利要求1所述的方法，其中所述輪廓特性包括與所述邊緣特征相關的形狀、銳 度、周線、清晰度屬性中的至少一個。
11.如權利要求1所述的方法，其中處理所選擇的邊緣分量輸入像素的步驟包括獨立 于縮放過程執(zhí)行的濾波步驟。
12.如權利要求11所述的方法，其中所述縮放過程包括一個或多個水平或垂直濾波。
13.如權利要求12所述的方法，還包括步驟 對沒有邊緣特征的輸入像素應用縮放過程；和至少部分地基于應用縮放特征步驟，產生沒有輸出的邊緣特征的一個或多個輸出像素。
14.一種視頻圖像處理系統(tǒng)，包括用于訪問與具有輸入分辨率值的輸入圖像的邊緣特征相關的信息的裝置； 其中所述信息將輸入圖像的多個像素與輸入圖像的邊緣特征相關聯，并且對于包括邊 緣特征的分量的輸入像素，所述信息包括對應于所述邊緣特征的角度值，并且其中所述邊 緣特征在所述輸入圖像中具有輪廓特性；用于以輸出分辨率值將輸出圖像配準到所述輸入圖像的裝置； 用于基于所述配準裝置的作用，將所訪問的邊緣特征相關信息與輸出像素相關聯的裝置；其中所述相關聯的信息將至少某些輸出像素指定為與所述輸入圖像的邊緣特征和對 應的邊緣角度值配準；用于基于所述邊緣角度值，選擇邊緣分量輸入像素的裝置；和 用于處理所選擇的邊緣分量輸入像素的裝置；其中用于處理所選擇的邊緣分量輸入像素的裝置工作以便阻止輸出圖像中邊緣特征 的輪廓特性的退化。
15.一種具有編碼的指令的計算機可讀存儲介質，當一個或多個處理器執(zhí)行所述指令 時，所述指令使得所述一個或多個處理器執(zhí)行如下步驟訪問與具有輸入分辨率值的輸入圖像的邊緣特征相關的信息； 其中所述信息將輸入圖像的多個像素與輸入圖像的邊緣特征相關聯，并且對于包括邊 緣特征的分量的輸入像素，所述信息包括對應于所述邊緣特征的角度值，并且其中所述邊 緣特征在所述輸入圖像中具有輪廓特性；以輸出分辨率值將輸出圖像配準到所述輸入圖像； 基于所述配準步驟，將所訪問的邊緣特征相關信息與輸出像素相關聯； 其中所述相關聯的信息將至少某些輸出像素指定為與所述輸入圖像邊緣特征和相應 的邊緣角度值配準；基于所述邊緣角度值，選擇邊緣分量輸入像素；和 處理所選擇的邊緣分量輸入像素；其中處理所選擇邊緣分量輸入像素的步驟阻止輸出圖像中邊緣特征的輪廓特性的退化。
全文摘要
訪問與具有輸入分辨率值的輸入圖像的邊緣特征相關的信息。該信息將多個輸入圖像像素與具有輪廓特性的邊緣特征相關聯。對于形成邊緣特征的分量的輸入像素，所述信息包括與其對應的角度值。以輸出分辨率值將輸出圖像配準到所述輸入圖像?；谒雠錅?，邊緣特征相關信息與輸出像素相關聯。所述相關聯的信息指定至少某些輸出像素與所述輸入圖像邊緣特征和對應的邊緣角度值配準。基于所述邊緣角度值選擇邊緣分量輸入像素。處理所選擇的邊緣分量輸入像素，這阻止輸出圖像中所述邊緣特征的輪廓特性退化。
文檔編號G06T3/40GK101903907SQ200880121743
公開日2010年12月1日 申請日期2008年12月17日 優(yōu)先權日2007年12月21日
發(fā)明者C·J·奧利克 申請人:杜比實驗室特許公司