圖像增強裝置、圖像增強方法
【專利摘要】本發(fā)明提供一種圖像增強裝置，其以不對多個幀反復進行運算的方式，利用超過奈奎斯特頻率的頻率成分來銳化圖像。本發(fā)明的圖像增強裝置(1)生成將輸入圖像銳化后的輸出圖像，所述圖像增強裝置(1)具備：非線性處理部(10)，其對表示所述輸入圖像的輸入圖像信號進行非線性處理而生成第一信號；濾波器部(20)，其通過去除所述第一信號所包含的頻率成分中的至少直流成分而生成第二信號；限幅器(30)，其通過調整所述第二信號而生成第三信號；以及加法器(40)，其通過將所述第三信號與所述輸入圖像信號相加而生成表示所述輸出圖像的輸出圖像信號。
【專利說明】圖像增強裝置、圖像增強方法
[0001] 本申請主張日本專利申請2012-177476號（2012年8月9日提交）的優(yōu)先權，在 此組入該申請的全部公開內容以便用于參照。

【技術領域】
[0002] 本發(fā)明涉及用于銳化圖像來改善畫質的圖像增強裝置以及圖像增強方法，例如涉 及適用于電視（TV)接收機中實時顯示的動態(tài)圖像的銳化的圖像增強裝置以及圖像增強方 法。

【背景技術】
[0003] 以往，廣泛地公知有用于銳化圖像來改善畫質的圖像增強處理。例如，在現有的電 視接收機中，進行使與顯示的圖像的輪廓部相當的影像信號的上升、下降急劇的輪廓補償。 在該輪廓補償中，提取輸入圖像信號（亮度信號）的高頻成分，并將該高頻成分放大而與輸 入圖像信號相加，由此來提高視覺上的畫質。圖1〇是表示由現有的圖像增強處理帶來的圖 像的信號電平的波形變化的圖。圖10(A)是表示輸入圖像信號的水平方向的信號電平的波 形的圖，特別是表示水平方向上的與信號電平變化的邊緣相當的部分的波形的圖。圖10(B) 是從輸入圖像信號提取的高頻成分，通過將該高頻成分放大而與輸入圖像信號相加，從而 能夠得到圖10(C)所示的邊緣的上升變化急劇的輸出圖像信號。
[0004] 另外，近年，尤其是也提出了將輸入圖像升頻轉換為更高分辨率的輸出圖像，并對 該升頻轉換后的圖像進行增強處理的被稱為超分辨率的技術（例如，參照非專利文獻1)。
[0005]非專利文獻 1 :S. Farsiu，D. Robinson，M. Elad, and P. Milanfar，" Fast and Robust Multi-frame Super-resolution，'， IEEE Transactions on Image Processing, vol. 13, no. 10,pp.1327-1344, October 2004.
[0006] 現有的圖像增強處理是基于線性的數字信號處理的圖像增強處理，因此，無法生 成比奈奎斯特頻率高的頻率成分、即無法生成比成為對象的圖像的采樣頻率的1/2高的頻 率成分。因此，無法為了改善畫質而生成、利用超過奈奎斯特頻率的頻率成分來銳化圖像。
[0007]例如，在全高清（HDTV :High Definition Television, 1080X 1920像素）的電視接 收機中對分辨率不滿足HDTV的圖像信號進行放大顯的情況下，圖像被模糊地顯示。另外， 在將具有HDTV的分辨率的圖像信號放大為更高清晰度的分辨率（例如4000 X 2000像素左 右的4K分辨率）的情況下，圖像也同樣被模糊地顯示。像這樣圖像模糊的原因是因為，在 放大處理后的圖像信號中，僅包含到放大前的原始圖像的奈奎斯特頻率為止的頻率成分， 不包含放大后的圖像的奈奎斯特頻率附近的頻率成分。
[0008] 以下，根據圖11對圖像的放大、增強處理所帶來的頻率成分的變化進行說明。圖 11 (A)表示采樣頻率為fs的數字圖像信號的頻譜，圖11 (B)是對該數字圖像信號進行升頻 轉換而將像素數在水平方向上放大了 2倍的情況下的頻譜。放大處理后的采樣頻率Fbs為 原來的采樣頻率fs的2倍（Fsb = 2 *fs)。這里，如圖11 (B)所示，在升頻轉換后的數字圖 像信號中，在與原來的采樣頻率fs對應的奈奎斯特頻率fs/2、和與新的采樣頻率Fbs對應 的新的奈奎斯特頻率Fbs/2 = fs之間，不存在頻率成分。
[0009] 圖11 (C)表示對升頻轉換后的數字圖像信號，進行使用現有的線性數字信號處理 的圖像增強處理的情況下的頻譜。如圖所示，通過使用線性數字信號處理的圖像增強處理， 使原來的奈奎斯特頻率fs/2附近的頻率成分增大。但是，在使用現有的線性數字信號處理 的圖像增強處理中，不生成超過原來的奈奎斯特頻率fs/2的頻率成分。因此，在使用現有 的線性數字信號處理的圖像增強處理中，不會如圖11(D)所例示那樣，超過原來的奈奎斯 特頻率fs/2,而生成新的奈奎斯特頻率Fbs/2附近的頻率成分。即，針對升頻轉換后的數字 圖像信號，無法為了改善畫質而生成、利用超過奈奎斯特頻率的頻率成分來銳化圖像。
[0010] 另外，非專利文獻1等所記載的現有的超分辨率技術對采樣頻率相同的多個幀反 復實施運算處理，從各幀選擇分辨率較高的像素并對其進行合成，從而進行圖像增強處理。 因此，對于圖像而言有時無法正確地恢復，從而在動態(tài)圖像中存在產生失真圖像突然出現 那樣的閃爍的可能性，另外，存在使用多個幀的運算的處理量非常繁重這一問題。


【發(fā)明內容】

[0011] 因此，本發(fā)明的目的在于，提供一種能夠以不對多個幀反復進行運算的方式，利用 超過奈奎斯特頻率的頻率成分來銳化圖像的圖像增強裝置以及圖像增強方法。
[0012] 為了解決上述各課題，本發(fā)明的圖像增強裝置生成將輸入圖像銳化后的輸出圖 像，上述圖像增強裝置具備：非線性處理部，其是對表示上述輸入圖像的輸入圖像信號進行 非線性處理而生成第一信號的非線性處理部，該非線性處理部進行將上述第一信號相對于 上述輸入圖像信號表示為連續(xù)的非線性函數、且生成上述輸入圖像信號中未包含的頻率成 分的非線性處理；濾波器部，其通過去除上述第一信號所包含的頻率成分中的至少直流成 分而生成第二信號；限幅器，其通過調整上述第二信號而生成第三信號；以及加法器，其通 過將上述第三信號與上述輸入圖像信號相加而生成表示上述輸出圖像的輸出圖像信號。
[0013] 另外，優(yōu)選上述非線性處理部生成上述輸入圖像信號的乘方來作為上述第一信 號。
[0014] 另外，優(yōu)選上述非線性處理部生成上述輸入圖像信號的開方來作為上述第一信 號。
[0015] 如上所述那樣將本發(fā)明的解決手段作為裝置而進行了說明，但是應理解的是，本 發(fā)明也能夠作為實際與上述解決手段相當、并且由裝置所具備的處理器執(zhí)行的方法、程序、 或者記錄了程序的存儲介質來實現，并且本發(fā)明的范圍也包含上述方法、程序、或者記錄了 程序的存儲介質。
[0016] 例如，將本發(fā)明作為方法來實現的圖像增強方法是生成將輸入圖像銳化后的輸出 圖像的圖像增強裝置中的圖像增強方法，基于上述圖像增強裝置進行的處理順序包括：非 線性處理步驟，該非線性處理步驟是對表示上述輸入圖像的輸入圖像信號進行非線性處理 而生成第一信號的非線性處理步驟，在該非線性處理步驟中，進行將上述第一信號相對于 上述輸入圖像信號表示為連續(xù)的非線性函數、且生成上述輸入圖像信號中未包含的頻率成 分的非線性處理；通過去除上述第一信號所包含的頻率成分中的至少直流成分而生成第二 信號的步驟；通過調整上述第二信號而生成第三信號的步驟；以及通過將上述第三信號與 上述輸入圖像信號相加而生成表示上述輸出圖像的輸出圖像信號的步驟。
[0017] 另外，優(yōu)選在上述非線性處理步驟中，生成上述輸入圖像信號的乘方來作為上述 第一信號。
[0018] 另外，優(yōu)選在上述非線性處理步驟中，生成上述輸入圖像信號的開方來作為上述 第一信號。
[0019] 根據本發(fā)明的圖像增強裝置以及圖像增強方法，能夠以不對多個幀反復進行運算 的方式，利用超過奈奎斯特頻率的頻率成分來銳化圖像。

【專利附圖】

【附圖說明】
[0020] 圖1是表示本發(fā)明的一實施方式的圖像增強裝置的結構的圖。
[0021] 圖2是表示圖像的水平方向的信號電平的波形的圖。
[0022] 圖3是表示高通濾波器的結構的一個例子的圖。
[0023] 圖4是表示由低通濾波器構成的高通濾波器的一個例子的圖。
[0024] 圖5是用于使用伽瑪處理的非線性處理的評價的原始圖像。
[0025] 圖6是伽瑪處理前后的頻譜。
[0026] 圖7是表示進行了本發(fā)明的圖像增強處理的圖像的圖。
[0027] 圖8是表示進行了本發(fā)明的圖像增強處理的圖像的頻譜。
[0028] 圖9是表示本發(fā)明的圖像增強處理與現有方法的圖像的比較的圖。
[0029] 圖10是表示現有的圖像增強處理所帶來的圖像的信號電平的波形變化的圖。
[0030] 圖11是表示圖像的放大、增強處理所帶來的頻率成分的變化的圖。

【具體實施方式】
[0031] 以下，參照各附圖，對本發(fā)明的實施方式進行詳細說明。
[0032] 圖1是表示本發(fā)明的一實施方式的圖像增強裝置1的結構的框圖。該圖像增強 裝置1是針對作為表示圖像的數字信號而從外部輸入的輸入圖像信號S in，實施用于將該輸 入圖像信號Sin所表示的圖像銳化的處理（以下稱為"圖像增強處理"或者僅稱為"增強處 理"）的裝置，其具備非線性處理部10、高通濾波器（HPF) 20、限幅器30、以及加法器40。
[0033] 輸入圖像信號Sin所表示的圖像可以是靜止圖像，也可以是動態(tài)圖像，在輸 入圖像信號S in表示動態(tài)圖像的情況下，該動態(tài)圖像也可以是在例如標準畫質電視 (SDTV:Standard Definition Television)或者高清晰度電視（HDTV :High Definition Television)的接收機中實時顯示的動態(tài)圖像。
[0034] 以下，以圖2所示的圖像的水平方向的信號電平（亮度值）的波形為例，對各構成 部的動作以及輸出的波形進行說明。此外，在以下的說明中，針對圖像的水平方向的信號電 平的波形，進行各構成部的說明，但是應留意即使針對圖像的垂直方向的信號電平的波形、 動態(tài)圖像的圖像之間的時間方向的信號電平的波形，各構成部也能夠以與水平方向同等的 處理進行圖像增強處理這一點。
[0035] 圖2(A)是表示輸入圖像信號Sin的水平方向的信號電平的波形的圖，尤其是表示 與水平方向上信號電平變化的邊緣相當的部分的波形的圖。此外，輸入圖像信號S in的分辨 率是與輸出圖像信號Swt的分辨率對應的分辨率，在輸出圖像的分辨率比原來的輸入圖像 的分辨率高的情況下，輸入圖像信號S in是將原來的輸入圖像的分辨率升頻轉換為輸出圖 像信號swt的分辨率后的圖像信號。例如，在利用圖像增強裝置1將SDTV的圖像作為HDTV 的圖像而輸出的情況下，輸入圖像信號Sin成為通過現有的線性變換將原來的SDTV的圖像 轉換為HDTV的分辨率后的信號。
[0036] 非線性處理部10通過對輸入圖像信號Sin進行非線性處理而生成第一信號S1。由 非線性處理部10施行的非線性處理的目的在于銳化圖像的輪廓，具體而言，使圖2 (A)所示 的輸入圖像信號Sin成為圖2(B)所示的第一信號S1，而進行在信號電平中使邊緣的上升變 化急劇的處理。
[0037] 由非線性處理部10施行的從輸入圖像信號Sin生成第一信號S1的處理能夠由公 式（1)概括。由非線性處理部10施行的非線性處理包含所有用p/q表示的一般有理數的 冪指數。
[0038]公式1
[0039]

【權利要求】
1. 一種圖像增強裝置，其生成將輸入圖像銳化后的輸出圖像， 所述圖像增強裝置具備： 非線性處理部，其是對表示所述輸入圖像的輸入圖像信號進行非線性處理而生成第一 信號的非線性處理部，該非線性處理部進行將所述第一信號相對于所述輸入圖像信號表示 為連續(xù)的非線性函數、且生成所述輸入圖像信號中未包含的頻率成分的非線性處理； 濾波器部，其通過去除所述第一信號所包含的頻率成分中的至少直流成分而生成第二 信號； 限幅器，其通過調整所述第二信號而生成第三信號；以及 加法器，其通過將所述第三信號與所述輸入圖像信號相加而生成表示所述輸出圖像的 輸出圖像信號。
2. 根據權利要求1所述的圖像增強裝置，其中， 所述非線性處理部生成所述輸入圖像信號的乘方來作為所述第一信號。
3. 根據權利要求1所述的圖像增強裝置，其中， 所述非線性處理部生成所述輸入圖像信號的開方來作為所述第一信號。
4. 一種圖像增強方法，其是生成將輸入圖像銳化后的輸出圖像的圖像增強裝置中的圖 像增強方法， 基于所述圖像增強裝置進行的處理順序包括： 非線性處理步驟，該非線性處理步驟是對表示所述輸入圖像的輸入圖像信號進行非線 性處理而生成第一信號的非線性處理步驟，在該非線性處理步驟中，進行將所述第一信號 相對于所述輸入圖像信號表示為連續(xù)的非線性函數、且生成所述輸入圖像信號中未包含的 頻率成分的非線性處理； 通過去除所述第一信號所包含的頻率成分中的至少直流成分而生成第二信號的步 驟； 通過調整所述第二信號而生成第三信號的步驟；以及 通過將所述第三信號與所述輸入圖像信號相加而生成表示所述輸出圖像的輸出圖像 信號的步驟。
5. 根據權利要求4所述的圖像增強方法，其中， 在所述非線性處理步驟中，生成所述輸入圖像信號的乘方來作為所述第一信號。
6. 根據權利要求4所述的圖像增強方法，其中， 在所述非線性處理步驟中，生成所述輸入圖像信號的開方來作為所述第一信號。
【文檔編號】G06T5/20GK104335568SQ201380029164
【公開日】2015年2月4日 申請日期:2013年8月7日 優(yōu)先權日:2012年8月9日
【發(fā)明者】合志清一 申請人:株式會社計測技術研究所