專利名稱：圖像調整量確定裝置、方法、程序以及圖像處理裝置的制作方法
技術領域：
本發(fā)明涉及一種確定圖像調整量的圖像調整量確定裝置、圖像調整 量確定方法和圖像調整量確定程序、以及包括上述圖像調整量確定裝置 構成的圖像處理裝置。
背景技術：
"影像"通過使單一的靜態(tài)圖像即"幀圖像"連續(xù)而構成。包括影像的 獲取、存儲、傳送、顯示、編碼及解碼等在內的影像處理， 一般把各個 幀圖像的鮮明度(以下簡稱為"鮮明度")恒定或逐漸變化的影像作為對 象。另一方面，人的眼睛可以明確識別圖像的鮮明度的差異。因此，鮮 明度的差異直接涉及對圖像質量的評價的情況居多， 一般把高鮮明度的 圖像評價為高質量。
其中，在雖然各個幀圖像是鮮明度較低的圖像(模糊圖像)但各個 幀圖像被顯示為連續(xù)影像的情況下，對于觀看該影像的人而言將產生以 下錯覺現(xiàn)象，即，幀圖像的鮮明度提高，作為影像看起來比較鮮明，并
且感覺到在平滑地移動，這些記載于"Takeuchi,T. & De Valois, K.K. (2005),'Sharpening image motion based on spatio-temporal characteristics of human vision,, Human Vision and Electronic Imaging X"(以下稱為"文獻 1")中。這種錯覺現(xiàn)象被稱為motion sharpening現(xiàn)象(也稱為基于移動 的鮮明化現(xiàn)象)。
在文獻1中記載為這種motion sharpening現(xiàn)象有可能起因于幀圖像 中包含的被攝影物的移動的大小、和空間頻率的高頻成分。并且，在文 獻l中記載如下，在motion sharpening現(xiàn)象中，在利用鮮明度低于預定 基準的幀圖像(以下稱為"低鮮明度圖像")構成的影像中，插入鮮明度 高于預定基準的幀圖像(以下稱為"高鮮明度圖像")，由此在作為影像觀
看時，有時會覺得低鮮明度圖像的鮮明度高于實際的鮮明度。尤其在構 成影像的幀圖像中的50%利用高鮮明度圖像構成的情況下，觀看該影像 的人的眼睛感覺到的鮮明度，有時看起來與觀看全部幀圖像利用高鮮明 度圖像構成的影像時的鮮明度沒有變化(即主觀上感覺到的鮮明度不變
的錯覺)。這種motion sharpening現(xiàn)象，也可以稱為通過混合存在高鮮明 度圖像和低鮮明度圖像來確保主觀質量的現(xiàn)象。
因此，申請人認為這種motion sharpening現(xiàn)象也許是在影像的場景 變換等中確認到的時間方向的掩蔽(masking)現(xiàn)象的一種。即，認為高 鮮明度圖像降低(即掩蔽)了低鮮明度圖像的不易觀看程度。
在"大山正 今井省吾 和氣典二，"新編感覺/知覺心理手冊"誠心 書房，ISBN: 4414305039，第664頁"(以下稱為"文獻2")中記載如下， 一般，掩蔽現(xiàn)象根據(jù)掩蔽刺激(賦予掩蔽效應的刺激)和目標刺激(接 受掩蔽效應的刺激)之間的空間頻率成分的大小關系、和掩蔽刺激與目 標刺激的顯示定時(Forward masking現(xiàn)象和Backward masking現(xiàn)象)， 該掩蔽現(xiàn)象的效應變化。
另外，在竹內龍人、"源于運動的影像的鮮明化"、"2006年10月26 日檢索"、 因特網(wǎng) <URL:http:〃www.ntt.co.jp/joumal/0510/ files/jn200510050.pd& (以下稱為"文獻3")中記載了以下觀點，motion sharpening現(xiàn)象不是由于記憶和學習這種高層次的視覺認知機理 (mechanism),而是由于存在于人眼的初始視覺系統(tǒng)的機理的非線性移 動導致的。因此，申請人認為保證主觀質量的motion sharpening現(xiàn)象中， 構成影像的幀圖像之間的"移動"、與給初始視覺系統(tǒng)帶來很大影響的"平 均亮度"雙方的影響較大。并且，認為確定掩蔽效應的影響的"空間頻率 成分的大小"和"各個刺激間的時間間隔"也與這種現(xiàn)象有關，關注這些影 像的特征，作為一種掩蔽現(xiàn)象捕捉到了 motion sharpening現(xiàn)象。
但是，在上述文獻1和文獻3中，關于與motion sharpening現(xiàn)象相 關的影像的特征量，提到了"移動的大小"和"空間頻率成分的構成"，但是 這些"移動的大小"和"空間頻率成分的構成"與motion sharpening現(xiàn)象的 效應之間的定量關系不明確。并且，關于把各個幀圖像作為連續(xù)影像觀
看時感覺到的鮮明度，雖然提出了以下實驗結果的報告，即，在降低各 個幀圖像的空間頻率的情況下(即，降低鮮明度的情況下)，對于人眼而 言看起來存在某種程度的空間頻率，但是，用于保持人眼感覺到的鮮明 度(以下稱為"主觀鮮明度")的條件(即，用于保持作為影像的主觀質 量的條件)不明確。
因此，申請人通過實驗計算在上述motion sharpening現(xiàn)象中對象影 像中包含的特征量與能夠保持主觀鮮明度的低鮮明度圖像的最低限度的 空間頻率成分之間的關系，明確指出根據(jù)低鮮明度圖像與相對于該低鮮 明度圖像在顯示順序上相鄰的高鮮明度圖像之間的特征量的關系，能夠 保持主觀鮮明度的低鮮明度圖像的最低限度的空間頻率成分不同，并由 此完成了本發(fā)明。

發(fā)明內容
本發(fā)明的目的在于，根據(jù)與影像中包含的處理對象圖像不同的幀圖 像的特征量，適當確定用于保持作為影像的主觀質量的與處理對象圖像 相關的調整量。
為了解決上述問題，本發(fā)明涉及的圖像調整量確定裝置的特征在于，
具有處理圖像確定單元，接收從外部輸入的由多個幀圖像構成的輸入
影像信號，把該輸入影像信號分解為多個幀圖像，根據(jù)預定的基準，從 該多個幀圖像中確定成為圖像處理對象的處理對象圖像、以及在顯示順
序上位于所述處理對象圖像附近的一個以上的鄰近圖像；圖像特征提取 單元，提取與通過所述處理圖像確定單元確定的鄰近圖像相關的預定特 征量；以及圖像調整量確定單元，根據(jù)通過所述圖像特征提取單元提取 出的與所述鄰近圖像相關的預定特征量，確定與通過所述處理圖像確定 單元確定的處理對象圖像相關的空間頻率成分的振幅和頻帶寬度至少一 方的調整量。
根據(jù)這種圖像調整量確定裝置，處理圖像確定單元接收從外部輸入 的由多個幀圖像構成的輸入影像信號，把該輸入影像信號分解為多個幀 圖像，根據(jù)預定的基準，從該多個幀圖像中確定成為圖像處理對象的處
理對象圖像、和在顯示順序上位于所述處理對象圖像附近的一個以上的 鄰近圖像，圖像特征提取單元提取與上述所確定的鄰近圖像相關的預定 特征量，圖像調整量確定單元根據(jù)上述提取出的與所述鄰近圖像相關的 預定特征量，確定與上述所確定的處理對象圖像相關的空間頻率成分的 振幅和頻帶寬度至少一方的調整量。由此，可以根據(jù)與影像中包含的處 理對象圖像不同的幀圖像的特征量，適當確定用于保持作為影像的主觀 質量的與處理對象圖像相關的調整量(空間頻率成分的振幅和頻帶寬度 至少一方的調整量)。
并且，在本發(fā)明涉及的圖像調整量確定裝置中，優(yōu)選構成為圖像特 征提取單元還提取與所述處理對象圖像相關的預定特征量，圖像調整量 確定單元根據(jù)圖像特征提取單元提取出的與所述鄰近圖像相關的預定特 征量和與所述處理對象圖像相關的預定特征量，確定與所述處理對象圖 像相關的空間頻率成分的振幅和頻帶寬度至少一方的調整量。該情況時， 除與鄰近圖像相關的預定特征量外，還以與處理對象圖像相關的預定特 征量為基礎，確定與處理對象圖像相關的空間頻率成分的振幅和頻帶寬 度至少一方的調整量，因此，例如能夠考慮根據(jù)與鄰近圖像相關的預定 特征量和與處理對象圖像相關的預定特征量兩者的關系而確定的視覺上 的掩蔽效應，確定上述調整量。
并且，本發(fā)明涉及的圖像調整量確定裝置優(yōu)選構成為還具有幀間變 化計算單元，該幀間變化計算單元計算表示所述處理對象圖像和所述鄰 近圖像之間的變化的預定變化量，所述圖像調整量確定單元還以通過所 述幀間變化計算單元計算出的變化量為基礎，確定與所述處理對象圖像 相關的空間頻率成分的振幅和頻帶寬度至少一方的調整量。該情況時， 還能夠以表示處理對象圖像和鄰近圖像之間的變化的預定變化量為基 礎，確定上述調整量。因此，例如在由于處理對象圖像和鄰近圖像之間 的變化引起亮度值的不連續(xù)性等情況下，能夠符合由此造成的人眼能力 下降引起的時間上的掩蔽效應，所以能夠考慮視覺上更大的掩蔽效應來 確定上述調整量。
并且，在本發(fā)明涉及的圖像調整量確定裝置中，優(yōu)選構成為圖像特
征提取單元提取平均亮度和空間頻率成分的振幅的至少一方，作為預定 特征量。該情況時，作為圖像的特征量，可以提取對視覺特性和掩蔽現(xiàn) 象賦予較大影響的平均亮度和空間頻率成分的振幅的至少一方，所以能 夠充分考慮視覺上的掩蔽效應來確定上述調整量。
并且，在本發(fā)明涉及的圖像調整量確定裝置中，優(yōu)選構成為幀間變 化計算單元計算所述處理對象圖像和所述鄰近圖像之間的移動量，作為
預定變化量。已經(jīng)知道在motion sharpening現(xiàn)象中存在移動越大其掩蔽 效應越大的相關關系。因此，通過計算處理對象圖像和鄰近圖像之間的 移動量，可以根據(jù)上述相關關系充分考慮視覺上的掩蔽效應來確定上述 調整量。
并且，在本發(fā)明涉及的圖像調整量確定裝置中，優(yōu)選構成為處理圖 像確定單元確定在顯示順序上位于所述處理對象圖像之前的圖像和位于 所述處理對象圖像之后的圖像中的雙方或一方，作為鄰近圖像。在此， 作為鄰近圖像確定在顯示順序上位于處理對象圖像之前的圖像，由此， 可以確定考慮到作為鄰近圖像對處理對象圖像的Forward masking現(xiàn)象的 視覺上的掩蔽效應的上述確定量。同樣，作為鄰近圖像確定在顯示順序 上位于處理對象圖像之后的圖像，由此可以確定考慮到作為鄰近圖像對 處理對象圖像的Backward masking現(xiàn)象的視覺上的掩蔽效應的上述調整 量。另外，作為鄰近圖像確定在顯示順序上位于處理對象圖像之前的圖 像和位于其之后的圖像雙方，由此可以確定考慮到在時間上從前后的鄰 近圖像接受的Forward masking和Backward masking雙方的掩蔽效應的上 述調整量。
并且，在本發(fā)明涉及的圖像調整量確定裝置中，優(yōu)選構成為圖像調 整量確定單元還以處理對象圖像和鄰近圖像之間的時間間隔為基礎，確 定與處理對象圖像相關的空間頻率成分的振幅和頻帶寬度至少一方的調 整量。在motion sharpening現(xiàn)象中，具有掩蔽效應的掩蔽量隨著時間越 近而越多、并且掩蔽量伴隨時間經(jīng)過而減少的特性。這樣，掩蔽效應和 時間經(jīng)過具有相關關系，所以能夠考慮處理對象圖像和鄰近圖像之間的 時間間隔的影響來適當?shù)卮_定上述調整量。
并且，在本發(fā)明涉及的圖像調整量確定裝置中，優(yōu)選構成為圖像調 整量確定單元確定調整量，使得滿足以下預先設定的基準，即，相對于 對調整前的影像信號感覺到的鮮明度，使對包括調整后的處理對象圖像 在內的影像信號感覺到的鮮明度保持在預定的同一范圍內。該情況下，
根據(jù)motion sharpening現(xiàn)象，可以考慮鮮明度被保持在預定的同一范圍 內的基準(保持主觀質量的基準)來確定上述調整量。關于上述基準， 例如可以采用在主觀評價試驗等中使用的MOS值超過恒定值這樣的基 準。
并且，在本發(fā)明涉及的圖像調整量確定裝置中，優(yōu)選構成為圖像調 整量確定單元確定通過合成兩種以上的不同特性而表現(xiàn)的調整量，作為 上述調整量。該情況時，f歹j如關于相對于處理對象圖像的調整量的空間 頻率成分的形狀，在視覺上的時空頻率特性由具有被稱為"過渡"和"持續(xù)" 的兩種不同特性的部分構成時，關于motion sharpening現(xiàn)象，掩蔽效應 可由于這兩種特性的存在而表現(xiàn)出來，通過確定作為調整量的空間頻率 成分的形狀，能夠確定用于保持主觀質量的、關于motion sharpening現(xiàn) 象可從視覺觀點說明的調整量。
本發(fā)明涉及的圖像處理裝置的特征在于，具有前面敘述的圖像調整 量確定裝置和圖像調整單元，該圖像調整單元根據(jù)通過圖像調整量確定 裝置確定的調整量，調整與處理對象圖像相關的空間頻率成分的振幅和 頻帶寬度的至少一方。根據(jù)這種圖像處理裝置，可以根據(jù)通過前面敘述 的圖像調整量確定裝置確定的調整量，調整與處理對象圖像相關的空間 頻率成分的振幅和頻帶寬度的至少一方。
并且，圖像調整量確定裝置涉及的發(fā)明也可以實現(xiàn)為圖像調整量確 定方法涉及的發(fā)明和圖像調整量確定程序涉及的發(fā)明，并且可以分別記 述如下。這些圖像調整量確定方法涉及的發(fā)明和圖像調整量確定程序涉 及的發(fā)明，可以發(fā)揮與圖像調整量確定裝置涉及的發(fā)明相同的效果。
本發(fā)明涉及的圖像調整量確定方法的特征在于，包括處理圖像確 定步驟，圖像調整量確定裝置接收從外部輸入的由多個幀圖像構成的輸 入影像信號，把該輸入影像信號分解為多個幀圖像，根據(jù)預定的基準，
從該多個幀圖像中確定成為圖像處理對象的處理對象圖像、以及在顯示 順序上位于所述處理對象圖像附近的一個以上的鄰近圖像；圖像特征提 取步驟，所述圖像調整量確定裝置提取與在所述處理圖像確定步驟中確 定的鄰近圖像相關的預定特征量；以及圖像調整量確定步驟，所述圖像 調整量確定裝置根據(jù)在所述圖像特征提取步驟中提取出的與所述鄰近圖 像相關的預定特征量，確定與在所述處理圖像確定步驟中確定的處理對 象圖像相關的空間頻率成分的振幅和頻帶寬度至少一方的調整量。
本發(fā)明涉及的圖像調整量確定程序的特征在于，使計算機發(fā)揮以下 單元的作用處理圖像確定單元，接收從外部輸入的由多個幀圖像構成 的輸入影像信號，把該輸入影像信號分解為多個幀圖像，根據(jù)預定的基 準，從該多個幀圖像中確定成為圖像處理對象的處理對象圖像、以及在 顯示順序上位于所述處理對象圖像附近的一個以上的鄰近圖像；圖像特 征提取單元，提取與通過所述處理圖像確定單元確定的鄰近圖像相關的 預定特征量；以及圖像調整量確定單元，根據(jù)通過所述圖像特征提取單 元提取出的與所述鄰近圖像相關的預定特征量，確定與通過所述處理圖 像確定單元確定的處理對象圖像相關的空間頻率成分的振幅和頻帶寬度 至少一方的調整量。
根據(jù)本發(fā)明，可以根據(jù)與影像中包含的處理對象圖像不同的幀圖像 的特征量，適當確定用于保持作為影像的主觀質量的與處理對象圖像相 關的調整量。


圖1是例示第1實施方式的圖像處理裝置的功能結構的方框結構圖。 圖2是表示被讀入的幀圖像的示意圖。
圖3是例示頻率區(qū)域中的空間頻率成分的振幅和DC成分的圖。
圖4是表示第1實施方式的圖像處理裝置的流程的流程圖。
圖5是例示第2實施方式的圖像處理裝置的功能結構的方框結構圖。
圖6是表示第2實施方式的圖像處理裝置的流程的流程圖。
圖7是表示圖像調整量確定程序的結構圖。
圖8是表示用于執(zhí)行記錄在記錄介質中的圖像調整量確定程序的計 算機硬件結構的圖。
圖9是用于執(zhí)行存儲在記錄介質中的圖像調整量確定程序的計算機 的立體圖。
具體實施例方式
以下，根據(jù)

本發(fā)明涉及的各種實施方式。另外，在各個附 圖中，對相同構成要素賦予相同符號并省略重復說明。 [第1實施方式]
首先，說明本發(fā)明涉及的第1實施方式。圖1是例示第1實施方式
的圖像調整量輛定裝置IO的功能結構的方框結構圖。該圖像調整量確定 裝置10由作為硬件的計算機構成，該計算機具有CPU (中央處理裝置)、
存儲器等存儲裝置、和輸入輸出影像的輸入輸出裝置(通信裝置)等。
這種圖像調整量確定裝置IO例如可以利用電腦等固定式通信終端、或手
機等移動通信終端等各種信息處理裝置構成。
下面，參照圖1說明圖像調整量確定裝置10的功能方框結構。如圖 1所示，圖像調整量確定裝置10構成為包括處理圖像確定單元101、圖 像特征提取單元102、幀圖像間變化計算單元103、圖像調整量確定單元 104、和參數(shù)存儲單元105。
(關于處理圖像確定單元IOI)
其中，處理圖像確定單元101接收作為運動圖像信號從外部輸入的 輸入影像信號106，對該輸入影像信號106進行幀頻f的分析而分解為幀 圖像，根據(jù)預定的基準K，確定成為圖像處理對象的處理對象圖像F1。 在此，關于基準K，例如采用表示將幀圖像按照顯示順序排序時的該顯 示順序的幀序號(以下稱為"顯示順序序號")為偶數(shù)的基準。
另外，關于基準K不限于上述方式，例如也可以釆用顯示順序序號 能夠用預先確定的數(shù)值M除盡的基準、顯示順序序號不能用預先確定的 數(shù)值M除盡的基準。并且，關于基準K，除顯示順序之外，例如也可以
使用平均亮度、頻帶寬度、圖像的空間頻率成分的大小這樣的數(shù)值，也 可以采用平均亮度、頻帶寬度、圖像的空間頻率成分的大小分別大于預 定基準值的基準。另外，關于上述的基準K，可以由處理圖像確定單元 101預先存儲，也可以從外部輸入到處理圖像確定單元101。
另外，處理圖像確定單元101在確定處理對象幀圖像F1后，確定在 顯示順序上位于其前面的圖像即幀圖像FO和位于其后面的圖像即幀圖像 F2。然后，上述己分解的幀圖像經(jīng)由L107被發(fā)送給圖像特征提取單元 102和幀圖像間變化計算單元103。
另外，以上示出了確定除處理對象幀圖像F1之外的其前面的幀圖像 F0和其后面的幀圖像F2的示例，但是不限于此，只要在顯示順序上位于 處理對象圖像F1的前后，則可以確定任何幀圖像。并且，既可以只確定 在顯示順序上位于處理對象圖像F1前面的圖像，也可以只確定位于處理 對象圖像F1后面的圖像。
并且，上述幀圖像FO、 F2的確定僅以顯示順序為基準進行確定，但 也可以以顯示順序之外的因素為基準進行確定。例如，可以把后面敘述 的圖像的特征量作為基準，也可以把顯示時間作為基準。關于把顯示時 間作為基準的示例，可以把位于處理對象幀圖像F1的前后IOO毫秒以內 的幀圖像確定為幀圖像FO、 F2。
并且，在本實施方式中，確定處理對象圖像F1前后的圖像(合計兩 個圖像)作為鄰近圖像，但確定的數(shù)量只要在一個以上，則可以是任何 數(shù)量。
(關于圖像特征提取單元102) 下面說明圖像特征提取單元102。首先，圖像特征提取單元102按 照以下方式計算有關處理對象圖像F1和幀圖像FO、 F2的平均亮度和空 間頻率成分的振幅的大小。具體地講，圖像特征提取單元102對各個幀 圖像實施二維傅立葉轉換，生成頻率系數(shù)矩陣，計算該頻率系數(shù)矩陣內 的系數(shù)的大小。S卩，圖像特征提取單元102計算各個傅立葉系數(shù)的實數(shù) 項的平方與虛數(shù)項的平方之和的平方根，作為各個空間頻率的空間頻率 振幅的大小。并且，關于平均亮度，圖像特征提取單元102只提取空間
頻率的DC成分，對亮度值實施逆轉換，由此計算平均亮度。圖3的曲 線圖例示頻率區(qū)域中的空間頻率成分的振幅，空間頻率=0時的振幅表示
DC成分的大小。另外，有關空間頻率成分的振幅的表述方法不限于上述
方式，也可以利用其他表述方法。并且，平均亮度也可以通過計算各個 幀圖像的亮度值的平均值來求出。并且，也可以計算平均亮度和空間頻 率成分的振幅的大小中任意一方。
另外，在本實施方式中，示出了按照幀圖像單位求出平均亮度和空 間頻率成分的振幅的示例，但是不限于此，例如也可以按照塊單位求出 平均亮度和空間頻率成分的振幅。
并且，在本實施方式中，計算了二維的空間頻率成分的振幅，但是 也可以使用一維傅立葉轉換計算空間頻率成分的振幅。該情況時，例如 可以對水平方向的各1列進行傅立葉轉換并計算。并且，也可以把相對 于垂直方向、水平方向、水平垂直以外的預定方向中的任意一個以上的 方向的空間頻率成分的振幅作為對象。
并且，在本實施方式中，直接利用了空間頻率成分的振幅，但也可 以利用空間頻率成分的大小與某個基準值的差分來表述空間頻率成分的 振幅。例如，可以把空間頻率成分表述為電力的大小，利用空間頻率成
分的大小與預定的電力基準值Y[dB] (Y=40)的差分，表述空間頻率成 分的振幅。
并且，在本實施方式中，頻率轉換采用了傅立葉轉換，但是也可以 采用傅立葉轉換之外的離散余弦轉換和離散小波轉換等其他頻率轉換。
并且，在本實施方式中，計算平均亮度和空間頻率成分的振幅的大 小，作為圖像的"特征量"，但是也可以計算其他特征量。例如，可以計 算空間頻率成分的頻帶寬度的方差和振幅的方差，也可以計算使用了圖 像亮度值的特征量(像素值的方差、圖像的對比度等)。
并且，在本實施方式中，計算有關處理對象圖像F1和在顯示順序上 位于其前后的幀圖像FO、 F2雙方的特征量，但是也可以不計算有關處理 對象圖像F1的特征量，而只計算有關位于其前后的幀圖像FO、 F2的特 征量，只根據(jù)有關幀圖像FO、 F2的特征量，確定有關處理對象圖像Fl
的調整量。
然后，圖像特征提取單元102把按照上述方式計算出的平均亮度和 空間頻率成分的振幅的大小，發(fā)送給圖像調整量確定單元104。
(關于幀圖像間變化計算單元103) 下面，說明幀圖像間變化計算單元103。圖2是由多個幀圖像構成 的影像的示意圖。另外，為了便于說明，使用圖2所示的處理對象圖像 Fl和圖像F0、 F2這樣連續(xù)的合計3個幀圖像進行說明。幀圖像間變化 計算單元103按照以下方式計算圖像F0 F2之間的移動量。以下，具體
說明移動量的計算處理。
首先，幀圖像間變化計算單元103順序讀入連續(xù)的兩個幀圖像。然 后，幀圖像間變化計算單元103根據(jù)所讀入的兩個幀圖像之間一致程度 在預定值以上的圖像信號圖形(所謂相互類似的圖像信號圖形)，計算作 為上述兩個幀圖像之間的空間位移量的移動向量(MVbx、 MVby)。
在本實施方式中，幀圖像間變化計算單元103把幀圖像分割為預定 大小的多個塊，對圖像F1的各個塊，使用塊匹配法等搜索處理，從圖像 FO中搜索與該各個塊的圖像信號圖形最類似的圖像信號圖形(例如一致 程度在預定值以上的圖像信號圖形)。然后，幀圖像間變化計算單元103 利用在圖像FO和Fl之間圖像信號圖形相同的各個塊，判斷表示位置在 幀圖像內偏移哪種程度的偏移量，由此計算移動向量。
然后，幀圖像間變化計算單元103根據(jù)對所有塊計算出的移動向量 (MVbx、 MVby)，計算各個塊的移動向量的中心值，由此計算整個幀圖 像的移動量V1 (MVxl、 MVyl)。并且，關于圖像F2和圖像F1之間的 移動向量，也按照相同步驟計算移動量V2 (MVx2、 MVy2)。
另外，在本實施方式中，計算對所有塊計算出的移動向量的中心值， 但也可以采用例如有關按照幀圖像中包含的每個塊計算出的移動向量的 大小(MVx、 MVy)的平均值、最大值、中間值、最小值中的任意一方， 代替有關所有塊的移動向量的中心值。并且，也可以直接利用各個塊的 移動向量。
并且，在本實施方式中，移動量的計算采用了塊匹配法，但不限于
此。也可以采用其他計算方法例如光流場(optical flow)等計算移動向量。
并且，在本實施方式中，利用移動向量計算移動量，但是也可以根 據(jù)與圖像移動相關的其他特征量，例如移動方向、幀圖像內的塊具有的 移動向量的分布、各個移動向量的大小差異、各個移動向量的方向差異、 大小在規(guī)定值以上的移動向量的比率等，計算幀圖像間的變化量。
并且，在本實施方式中，關于幀圖像間的變化，計算移動量，但是 也可以計算除此之外的、與像素值變化相關的幀圖像間的變化(例如亮 度值的變化量、平均亮度的變化等)。
并且，移動量也可以使用圖像的頻率轉換時的相位來計算。該情況 時，對兩個圖像的所有像素分別進行離散傅立葉轉換等，進行從像素空 間向頻率空間的轉換，并除以各個圖像的同一頻率成分，由此計算使用 了相位大小的移動量即可。在計算出各個頻率成分的相位后，合計所有 相位的值，把合計值作為移動量。并且，頻率轉換后的相位的利用不限 于此，只要是表示兩個圖像之間的移動量的因素，則可以任意計算。
并且，在本實施方式中，對于處理對象圖像F1，利用其前面的幀圖
像和其后面的幀圖像計算移動量，但不限于此。例如，當處理對象圖像
Fl和鄰近的幀圖像FO之間存在其他幀圖像時，也可以利用該其他幀圖像 計算移動向量。
并且，在本實施方式中，直接利用處理對象圖像F1和圖像F0、 F2 計算移動向量，但也可以在對這些處理對象圖像F1和圖像F0、 F2進行 濾波處理等后，計算移動向量。例如，通過使用邊緣強調濾波器等，可 以針對模糊計算變化最大的與邊緣相關的移動向量。并且，通過使用低 通濾波器等，可以在噪聲影響較小的圖像之間計算移動向量。
然后，幀圖像間變化計算單元103把計算出的圖像F0 F1之間的移 動量V1 (MVxl、 MVyl)、和F1 F2之間的移動量V2 (MVx2、 MVy2)， 發(fā)送給圖像調整量確定單元104。 (關于參數(shù)存儲單元105)
在參數(shù)存儲單元105中預先存儲有參數(shù)，該參數(shù)符合在人一并觀看 具有各個特征的影像(幀圖像F0 F2)時能夠保持主觀質量的基準V (例
如MOS評價在4.0以上等)。
不過，也可以在參數(shù)存儲單元105中存儲上述基準V之外的基準例 如基于PSNR等客觀指標的基準V的參數(shù)組。 (關于圖像調整量確定單元104)
下面，說明圖像調整量確定單元104。在圖像調整量確定單元104 中，經(jīng)由L108被輸入有關幀圖像F0 F2的平均亮度和空間頻率成分的 振幅的大小，經(jīng)由L109被輸入幀圖像F0 F1之間的移動量和幀圖像 F1 F2之間的移動量。圖像調整量確定單元104根據(jù)發(fā)送過來的平均亮 度、空間頻率成分的振幅的大小和移動向量的大小，按照以下方式確定 限制有關處理對象圖像F1的空間頻率成分的振幅/頻帶寬度的調整量。另 外，在本實施方式中說明的頻帶寬度，把頻率系數(shù)列的系數(shù)中其大小在 直流成分的y^以下的最大頻率成分作為該像素列的頻帶。例如，在本實 施方式中y二0.5，但是也可以使用除此之外的數(shù)值。并且，在本實施方 式中，按照以下方式分別確定相對于水平方向、垂直方向的空間頻率成 分的調整量。
首先，圖像調整量確定單元104分別比較水平方向的圖像F0的各個 空間頻率成分SF的振幅的大小P一sf (FO)、和圖像F1的對應的空間頻率 SF的成分的大小P—sf (Fl)。然后，在對所有空間頻率成分進行比較后， 在比P—sf (Fl)大的P—sf (FO)的數(shù)量超過全部空間頻率的X% (在此 設定為乂=50%)時，圖像調整量確定單元104根據(jù)(1)圖像FO的平 均亮度Yave (FO)、 (2)各個空間頻率成分SF、 (3)各個空間頻率成分 SF的振幅的大小P—sf(F0)、(4)F0 Fl之間的移動量VI (MVxl、 MVyl) 中的MVxl的值、和(5)利用由處理圖像確定單元101計算出的幀頻f 和兩個幀圖像之間的幀圖像數(shù)量N求出的幀圖像彼此間的時間間隔t (相 當于(幀圖像數(shù)量N/幀頻f))，從參數(shù)存儲單元105調出下式(1)中的 參數(shù)A G，根據(jù)所調出的參數(shù)A G和式(1)確定調整量Rlx。
調整量<formula>formula see original document page 17</formula>
<formula>formula see original document page 18</formula>…(1)
另一方面，在比P一sf (Fl)大的P一sf (F0)的數(shù)量沒有超過全部空 間頻率的X%時，從參數(shù)存儲單元105調出與上述A G不同的參數(shù)組， 根據(jù)所調出的參數(shù)A G和式(1)確定調整量Rlx。
然后，圖像調整量確定單元104對垂直方向的空間頻率成分的調整 量Rly，也采用與上述相同的方法進行計算。此時，各個空間頻率成分 SF的振幅的大小P—sf采用垂直方向的值，移動量采用F0 F1之間的移 動量V1 (MVxl、 MVyl)中的MVyl的值。
另夕卜，在式(1)中，調整量(Yave,SF，PSF,mv,t)表示一維空間頻率 成分的調整量的振幅特性，各個系數(shù)n、 oc、 (3、 Yl、 Y2、 y3為常數(shù)。
同樣，圖像調整量確定單元104首先分別比較水平方向的圖像F2的 各個空間頻率成分SF的振幅的大小P一sf (F2)、和圖像F1的對應的空間 頻率SF的成分的大小P—sf (Fl)。然后，在對所有空間頻率成分進行比 較后，在比P—sf (Fl)大的P—sf (F2)的數(shù)量超過全部空間頻率的X% (在此設定為X二50。/0時，圖像調整量確定單元104根據(jù)(1)圖像F2 的平均亮度Yave (F2)、 (2)各個空間頻率成分SF、 (3)各個空間頻率 成分SF的振幅的大小P—sf (F2)、 (4) F1 F2之間的移動量V2 (MVx2、 MVy2)中的MVx2的值、和(5)利用由處理圖像確定單元101計算出 的幀頻f和兩個幀圖像之間的幀圖像數(shù)量N求出的幀圖像彼此間的時間 間隔t (相當于(幀圖像數(shù)量N/幀頻f))，從參數(shù)存儲單元105調出上式 (1)中的參數(shù)A G，根據(jù)所調出的參數(shù)A G和式(1)確定調整量 R2x。
另一方面，在比P一sf (Fl)大的P一sf (F2)的數(shù)量沒有超過全部空 間頻率的x^時，從參數(shù)存儲單元105調出與上述A G不同的參數(shù)組， 根據(jù)所調出的參數(shù)A G和式(1)確定調整量R2x。
然后，圖像調整量確定單元104對垂直方向的空間頻率成分的調整 量R2y，也采用與上述相同的方法進行計算。此時，各個空間頻率成分 SF的振幅的大小P sf采用垂直方向的值，移動量采用F1 F2之間的移動量V2 (MVx2、 MVy2)中的MVy2的值。
利用如上所述求出的、根據(jù)由圖像F0和圖像F1之間的特征量確定 的參數(shù)計算出的調整量Rlx和調整量Rly、以及根據(jù)由圖像Fl和圖像 F2之間的特征量確定的參數(shù)計算出的調整量R2x和調整量R2y，合計相 同方向彼此間的調整量，由此計算調整量R3x和調整量R3y。即，R3x 二Rlx+R2x， R3y二Rly+R2y。
然后，圖像調整量確定單元104經(jīng)由Llll輸出計算出的調整量R3x 和調整量R3y。
另外，在本實施方式中，分別計算調整量Rli和調整量R2i (i表示 x或y)，利用它們計算調整量R3i，但是也可以直接根據(jù)幀圖像F0 F2 的特征量確定調整量R3i的參數(shù)。
并且，在本實施方式中，分別計算水平方向/垂直方向的調整量，但 也可以進行二維的調整量計算。
并且，在本實施方式中，關于幀圖像間的所有空間頻率成分進行振 幅的大小比較并選擇參數(shù)，但是也可以只對空間頻率成分中的一部分進 行比較并選擇參數(shù)，還可以不進行上述比較即選擇參數(shù)。并且，把比較 時的比率X設定為"50"，但是不限于此。并且，也可以根據(jù)所有空間頻 率成分的振幅的大小，按照每個空間頻率進行參數(shù)的選擇。
另外，在本實施方式中，根據(jù)(l)幀圖像F0或F2的平均亮度Yave、 (2)各個空間頻率成分SF、 (3)幀圖像FO或F2的各個空間頻率成分 SF的振幅的大小P—sf、 (4)幀圖像間的移動向量V (MVx、 MVy)、和 (5)幀圖像彼此間的時間間隔t確定參數(shù)A G，但是只要使用(1) (5)中的至少一個特征量確定參數(shù)即可。并且，關于(O和(3)，也 可以使用幀圖像F0或F2的相對關系來確定參數(shù)。并且，除圖像的特征 量之外，也可以利用與觀看影像的環(huán)境相關的信息來確定參數(shù)。例如， 可以從外部輸入顯示器的顯示能力(分辨率等)、觀看距離、影像尺寸等 信息，利用這些值來確定參數(shù)。
并且，在本實施方式中，關于比較，進行了圖像FO與處理對象圖像 Fl的空間頻率成分的振幅的比較、以及圖像F2與處理對象圖像F1的空
間頻率成分的振幅的比較，但不限于此，也可以進行平均亮度的比較。
并且，在本實施方式中，沒有使用除移動量V (MVx、 MVy)之外
的與幀圖像間的變化相關的特征量，但是，例如也可以把平均亮度的變 化量或空間頻率成分的變化量等用作特征量來確定參數(shù)。并且，還可以 使用移動方向、幀圖像內的移動向量的分布、各個移動向量的大小差異、 各個移動向量的方向差異、大小在規(guī)定值以上的移動向量的比率這些特 征量，計算移動量。
另外，本實施方式中表示空間頻率成分的振幅/頻帶寬度的限制量的 振幅特性的上述式(1)是通過學習掩蔽現(xiàn)象的定性模型，并合成l個低
通濾波器和3個帶通濾波器而構成的，并且，右邊第l項
_a_
1+ (ocxSF/p) 2n 表述人的視覺中的"過渡"通道，右邊第2項 第4項 Bxexp (— ((SF—yl) /C) 2)十Dxexp (— ((SF—丫2) /E) 2) +Fxexp (— ((SF—y3) /G) 2)
表述"持續(xù)"通道(即，表述兩種不同的特性)。由此，能夠容易從視覺觀 點進行說明。但是，表述空間頻率成分的振幅/頻帶寬度的限制量的方法 不限于此，例如也可以通過合成三種以上的不同特性來進行表述。并且， 在使用濾波器表述的情況下，濾波器的類型和數(shù)量不限于此。另外，可 以使用更加普通的濾波器，例如低通濾波器、高通濾波器、帶通濾波器、 帶阻濾波器、以及組合以上濾波器而成的濾波器等。并且，式(1)中的 各個系數(shù)n、 oc、 P、 Yl、 Y2、 為常數(shù)，但是它們的值也可以設定為根 據(jù)各個幀圖像的特征量確定的參數(shù)。
并且，在本實施方式中，計算調整量Rli和調整量R2i的合計值作 為調整量R3i，但是也可以把調整量Rli和調整量R2i中空間頻率成分的 調整量的頻帶寬度限制較大的一方(或者較小的一方)作為調整量R3i。 并且，作為調整量R3i，也可以使用調整量Rli和調整量R2i的平均值、 最大值、最小值、中心值等。
并且，也可以使用上述以外的不同基準，例如通過區(qū)域的特性優(yōu)于
預定基準、衰減區(qū)域的特性優(yōu)于預定基準這樣的與振幅特性的性質好壞 相關的基準。另外，在選擇兩個以上的幀圖像時，也可以使用相同基準 進行判定。
并且，在本實施方式中，調整量Rli和調整量R2i使用相同的式(1) 確定調整量，但是也可以通過彼此不同的算式確定調整量。例如，也可 以使用表述在顯示順序的前后掩蔽效應的性質不同的不同算式。
并且，本實施方式的調整量表示與空間頻率成分的振幅和頻帶寬度 雙方相關的調整量，但是也可以表示與空間頻率成分的振幅和頻帶寬度 中的任意一方相關的調整量。
并且，在本實施方式中，作為調整量，說明了用于限制空間頻率成 分的振幅和頻帶寬度的量，但也可以是用于擴大空間頻率成分的振幅和 頻帶寬度的量。
下面，根據(jù)圖4說明第1實施方式的圖像調整量確定裝置10的圖像 處理。圖4是表示圖像調整量確定裝置10的圖像處理的流程圖。
首先，處理圖像確定單元101接收經(jīng)由L107發(fā)送過來的輸入影像信 號106 (步驟S400)，對該輸入影像信號106進行幀頻f的分析而分解為 幀圖像(步驟S401)，從通過分解得到的幀圖像中，確定處理對象圖像 Fl和在顯示順序上與處理對象圖像的前后相鄰的幀圖像FO、 F2合計3 個圖像(步驟S402)。所確定的幀圖像F0 F2被依次發(fā)送給圖像特征提 取單元102和幀圖像間變化計算單元103。
然后，圖像特征提取單元102計算上述幀圖像F0 F2的平均亮度和 各個空間頻率成分的振幅的大小(步驟S403)。其計算方法如前面所述。 計算出的平均亮度和空間頻率成分的振幅的大小被發(fā)送給圖像調整量確 定單元104。
與步驟S403并行，幀圖像間變化計算單元103根據(jù)圖像FO 圖像 F2，計算F0 F1之間和F1 F2之間的幀圖像間的移動向量，作為移動 量，計算從幀圖像FO到幀圖像Fl的移動量和從幀圖像Fl到幀圖像F2 的移動量(步驟S404)。移動量的計算方法如前面所述。計算出的移動量被發(fā)送給圖像調整量確定單元104。
然后，圖像調整量確定單元104根據(jù)計算出的平均亮度、空間頻率
成分的振幅、空間頻率、移動量、幀圖像間的時間間隔，選擇存儲在參
數(shù)存儲單元105中的參數(shù)(步驟S405)。然后，圖像調整量確定單元104 計算根據(jù)選擇出的參數(shù)生成的幀圖像FO相對于處理對象圖像Fl的空間 頻率成分的振幅/頻帶寬度的調整量1和幀圖像F2相對于幀圖像F1的調 整量2的合計值，把計算出的合計值確定為相對于處理對象圖像的空間 頻率成分的振幅/頻帶寬度的調整量3 (步驟S406)。此處的調整量的確定 方法如前面所述。然后，輸出所確定的調整量3，結束圖4所示的處理。 [第1實施方式的效果]
如上所述，根據(jù)第1實施方式的圖像調整量確定裝置10，確定影像 中的處理對象幀圖像，計算顯示順序在處理對象幀圖像前后的幀圖像的 平均亮度、空間頻率成分的振幅和幀圖像間的移動量。然后，根據(jù)計算 出的上述特征量，確定用于構成保持預先設定的主觀質量(例如主觀鮮 明度)所需的最低限度的表示空間頻率成分的振幅/頻帶寬度的調整量的 參數(shù)，確定調整量。因此，對于輸入影像信號的處理對象圖像F1，根據(jù) 處理對象圖像F1及其前后的幀圖像FO、 F2的特征量，確定在一并觀看 作為影像的前后幀圖像時能夠保持主觀鮮明度的空間頻率的振幅/頻帶寬 度的調整量，可以在保持作為影像的質量的同時，適當確定作為對處理 對象圖像F1削減信息量的指標的調整量。
下面，說明本發(fā)明涉及的第2實施方式。圖5是表示第2實施方式 的圖像處理裝置50的功能結構的方框結構圖。該圖像處理裝置50由作 為硬件的計算機構成，該計算機具有CPU (中央處理裝置)、存儲器等存 儲裝置、和輸入輸出影像的輸入輸出裝置(通信裝置)等。這種圖像處 理裝置50例如可以利用電腦等固定式通信終端、或手機等移動通信終端 等各種信息處理裝置構成。
下面，參照圖5說明圖像處理裝置50的功能方框結構。如圖5所示，
圖像處理裝置50構成為包括上述第1實施方式所述的圖像調整量確定裝
置IO和圖像調整單元502。
其中，圖像調整量確定裝置10如在第1實施方式中說明的那樣，具 有圖1所示的功能結構，其構成為包括處理圖像確定單元101、圖像特征 提取單元102、幀圖像間變化計算單元103、圖像調整量確定單元104、 和參數(shù)存儲單元105。該圖像調整量確定裝置IO進行作為運動圖像信號 從外部輸入的輸入影像信號503的幀頻的分析而分解為幀圖像，從通過 分解得到的幀圖像中，確定處理對象圖像F1和在顯示順序上與處理對象 圖像的前后相鄰的幀圖像FO、 F2合計3個圖像。然后，圖像調整量確定 裝置10計算有關幀圖像F0 F2的平均亮度、空間頻率成分的振幅和幀 圖像間的移動量，根據(jù)計算出的上述特征量，確定處理對象圖像F1的空 間頻率成分的振幅/頻帶寬度的大小的調整量，然后，經(jīng)由L504將該調 整量輸出給圖像調整單元502。
圖像調整單元502根據(jù)上述調整量進行圖像的空間頻率成分的振幅/ 頻帶寬度的調整。具體地講，圖像調整單元502首先計算處理對象圖像 Fl的空間頻率成分(空間頻率振幅的大小和平均亮度)。即，圖像調整單 元502對各個幀圖像實施二維傅立葉轉換，生成頻率系數(shù)矩陣，計算該 頻率系數(shù)矩陣內的系數(shù)的大小。即，圖像調整單元502計算各個傅立葉 系數(shù)的實數(shù)項的平方和虛數(shù)項的平方之和的平方根，作為各個空間頻率 的振幅的大小。并且，圖像調整單元502只提取空間頻率的DC成分， 把該空間頻率的DC成分逆轉換為亮度值，由此計算平均亮度。另外， 空間頻率成分的振幅的表述方法不限于此，也可以是其他表述方法。并 且，平均亮度也可以計算各個幀圖像的亮度值的平均值，求出該平均值 作為平均亮度。
另外，在第2實施方式中，空間頻率成分的振幅的計算利用了與第 1實施方式的圖像調整量確定裝置IO相同的方法，但也可以利用不同的 方法計算空間頻率成分的振幅。
然后，圖像調整單元502對計算出的處理對象圖像F1的空間頻率成 分在頻率區(qū)域中乘以調整量，由此進行空間頻率成分的振幅/頻帶寬度的
調整。然后，圖像調整單元502對調整后的空間頻率成分實施逆二維傅 立葉轉換，轉換為像素值并輸出。
另外，在本實施方式中，把處理對象圖像轉換為頻率區(qū)域，在頻率 區(qū)域中進行空間頻率成分的振幅/頻帶寬度的調整，但也可以在像素空間 中進行處理。例如，也可以采用對像素值進行濾波處理等方法。并且， 在本實施方式中，示出了幀圖像單位的處理，但是處理單位沒有特別限 制，例如也可以按照塊單位進行處理。
并且，在本實施方式中，示出了對處理對象圖像F1的空間頻率成分 乘以調整量的調整方法，但是不限于此。例如，也可以使空間頻率成分 的振幅不變，對調整量表示的頻帶寬度進行限制空間頻率成分等處理。
并且，也可以通過對頻率成分進行確定某種量化基準的量化和逆量 化的處理，并削減電力水平較低的空間高頻成分的值，由此進行空間頻 率成分的振幅/頻帶寬度的調整。并且，除此以外，只要是調整空間頻率 成分的振幅/頻帶寬度的手段，則可以采用任何方法。
下面，根據(jù)圖6說明第2實施方式的圖像處理裝置50的圖像處理。 圖6是表示圖像處理裝置50的圖像處理的流程圖。
首先，輸入對象影像，所輸入的輸入影像信號503被發(fā)送給圖像調 整量確定裝置IO。圖像調整量確定裝置10使用輸入影像信號503，進行 對處理對象圖像Fl的空間頻率成分的振幅/頻帶寬度的調整量的計算。 即，圖像調整量確定裝置10使用輸入影像信號503，進行在第l實施方 式中說明的圖4的步驟S401 S406的圖像調整量計算處理，由此確定處 理對象圖像F1的空間頻率成分的調整量(步驟S601)。
然后，圖像調整單元502根據(jù)圖像調整量確定裝置10確定的調整量， 進行圖像的空間頻率成分的調整(步驟S602)。具體的調整方法如前面所 述。在調整后，圖像調整單元502對空間頻率成分進行逆轉換而轉換為 像素值，由此輸出空間頻率成分的振幅/頻帶寬度被調整后的圖像，結束 圖6的處理。
如上所述，根據(jù)第2實施方式的圖像處理裝置50，確定影像中的處 理對象幀圖像，計算顯示順序在處理對象幀圖像前后的平均亮度、空間 頻率成分的振幅和幀圖像間的移動量。然后，根據(jù)計算出的特征量，確 定用于構成保持預先設定的主觀質量(例如主觀鮮明度)所需的最低限 度的表示空間頻率成分的振幅/頻帶寬度的調整量的參數(shù)，確定調整量。
然后，根據(jù)所確定的調整量進行處理對象圖像F1的空間頻率成分的振幅 /頻帶寬度的調整。因此，對于輸入影像信號的處理對象圖像F1，根據(jù)處 理對象圖像F1及其前后的幀圖像FO、 F2的特征量，確定在一并觀看作 為影像的前后幀圖像時能夠保持主觀鮮明度的空間頻率的振幅/頻帶寬度 的調整量，根據(jù)所確定的調整量，進行符合使用狀況的圖像的空間頻率 成分的調整，由此可以在保持作為影像的質量的同時，適當確定作為對 處理對象圖像F1削減信息量的指標的調整量。 [關于圖像調整量確定程序]
下面，說明用于使計算機作為本發(fā)明涉及的圖像調整量確定裝置而 動作的圖像調整量確定程序。圖7是與記錄介質710 —起表示圖像調整 量確定程序P710的結構的圖。記錄介質710可以利用軟盤、CD-ROM、 DVD、 ROM等記錄介質或半導體存儲器等構成。
如圖7所示，圖像調整量確定程序P710構成為包括處理圖像確定模 塊701、圖像特征提取模塊702、幀間變化計算模塊703、圖像調整量確 定模塊704、參數(shù)存儲模塊705。處理圖像確定模塊701是實現(xiàn)圖1中的 處理圖像確定單元101的功能的模塊，圖像特征提取模塊702是實現(xiàn)圖 像特征提取單元102的功能的模塊，幀間變化計算模塊703是實現(xiàn)幀圖 像間變化計算單元103的功能的模塊，圖像調整量確定模塊704是實現(xiàn) 圖像調整量確定單元104的功能的模塊，參數(shù)存儲模塊705是實現(xiàn)參數(shù) 存儲單元105的功能的模塊。
并且，圖8是表示用于執(zhí)行記錄在記錄介質中的程序的計算機硬件 結構的圖，圖9是用于執(zhí)行存儲在記錄介質中的程序的計算機的立體圖。 此處的計算機也包括具備CPU并進行基于軟件的處理和控制的DVD播 放機、機頂盒、手機等。
如圖8所示，計算機30構成為包括由軟盤驅動裝置、CD-ROM驅 動裝置、DVD驅動裝置等構成的讀取裝置12;作業(yè)用存儲器(RAM)
14;由ROM等構成的存儲器16;作為顯示裝置的顯示器18;作為輸入
裝置的鼠標20和鍵盤22;用于進行數(shù)據(jù)等的發(fā)送接收的通信裝置24; 控制程序的執(zhí)行的CPU 26。這種結構的計算機30中，在記錄介質710 被插入讀取裝置12后，存儲在記錄介質710中的圖像調整量確定程序 P710被讀取裝置12讀取并輸入計算機30，通過CPU 26執(zhí)行圖像調整量 確定程序P710，由此計算機30作為本發(fā)明涉及的圖像調整量確定裝置而 動作。
另外，如圖9所示，圖像調整量確定程序P710也可以作為被疊加在 載波上的計算機數(shù)據(jù)信號40通過網(wǎng)絡提供。該情況時，計算機30可以 把通過通信裝置24接收到的圖像調整量確定程序P710存儲到存儲器16 中，通過CPU26執(zhí)行該圖像調整量確定程序P710。
權利要求
1.一種圖像調整量確定裝置，其特征在于，該圖像調整量確定裝置具有處理圖像確定單元，其接收從外部輸入的由多個幀圖像構成的輸入影像信號，把該輸入影像信號分解為多個幀圖像，根據(jù)預定的基準，從該多個幀圖像中確定成為圖像處理對象的處理對象圖像、以及在顯示順序上位于所述處理對象圖像附近的一個以上的鄰近圖像；圖像特征提取單元，其提取與通過所述處理圖像確定單元確定的鄰近圖像相關的預定特征量；以及圖像調整量確定單元，其根據(jù)通過所述圖像特征提取單元提取出的與所述鄰近圖像相關的預定特征量，確定與通過所述處理圖像確定單元確定的處理對象圖像相關的空間頻率成分的振幅和頻帶寬度至少一方的調整量。
2. 根據(jù)權利要求l所述的圖像調整量確定裝置，其特征在于， 所述圖像特征提取單元還提取與所述處理對象圖像相關的預定特征所述圖像調整量確定單元根據(jù)通過所述圖像特征提取單元提取出的 與所述鄰近圖像相關的預定特征量和與所述處理對象圖像相關的預定特 征量，確定與所述處理對象圖像相關的空間頻率成分的振幅和頻帶寬度 至少一方的調整量。
3. 根據(jù)權利要求l所述的圖像調整量確定裝置，其特征在于，所述圖像調整量確定裝置還具有幀間變化計算單元，該幀間變化計 算單元計算表示所述處理對象圖像和所述鄰近圖像之間的變化的預定變所述圖像調整量確定單元還以通過所述幀間變化計算單元計算出的 變化量為基礎，確定與所述處理對象圖像相關的空間頻率成分的振幅和 頻帶寬度至少一方的調整量。
4. 根據(jù)權利要求3所述的圖像調整量確定裝置，其特征在于，所述幀間變化計算單元計算所述處理對象圖像和所述鄰近圖像之間 的移動量，作為所述預定變化量。
5. 根據(jù)權利要求l所述的圖像調整量確定裝置，其特征在于， 所述圖像特征提取單元提取平均亮度和空間頻率成分的振幅的至少一方，作為所述預定特征量。
6. 根據(jù)權利要求l所述的圖像調整量確定裝置，其特征在于， 所述處理圖像確定單元確定在顯示順序上位于所述處理對象圖像之前的圖像和位于所述處理對象圖像之后的圖像中的雙方或一方，作為所 述鄰近圖像。
7. 根據(jù)權利要求l所述的圖像調整量確定裝置，其特征在于， 所述圖像調整量確定單元還以所述處理對象圖像和所述鄰近圖像之間的時間間隔為基礎，確定與所述處理對象圖像相關的空間頻率成分的 振幅和頻帶寬度至少一方的調整量。
8. 根據(jù)權利要求7所述的圖像調整量確定裝置，其特征在于， 所述圖像調整量確定單元確定通過合成兩種以上的不同特性而表現(xiàn)的調整量，作為所述調整量。
9. 根據(jù)權利要求l所述的圖像調整量確定裝置，其特征在于， 所述圖像調整量確定單元確定所述調整量，使得滿足以下預先設定的基準，即，相對于對調整前的影像信號感覺到的鮮明度，使對包括調 整后的處理對象圖像在內的影像信號感覺到的鮮明度保持在預定的同一 范圍內。
10. —種圖像處理裝置，其特征在于，該圖像處理裝置具有 權利要求1所述的圖像調整量確定裝置；圖像調整單元，其根據(jù)通過所述圖像調整量確定裝置確定的調整量， 調整與處理對象圖像相關的空間頻率成分的振幅和頻帶寬度的至少一 方。
11. 一種圖像調整量確定方法，其特征在于，該圖像調整量確定方法包括處理圖像確定步驟，圖像調整量確定裝置接收從外部輸入的由多個幀圖像構成的輸入影像信號，把該輸入影像信號分解為多個幀圖像，根 據(jù)預定的基準，從該多個幀圖像中確定成為圖像處理對象的處理對象圖 像、以及在顯示順序上位于所述處理對象圖像附近的一個以上的鄰近圖像；圖像特征提取步驟，所述圖像調整量確定裝置提取與在所述處理圖像確定步驟中確定的鄰近圖像相關的預定特征量；以及圖像調整量確定步驟，所述圖像調整量確定裝置根據(jù)在所述圖像特征提取步驟中提取出的與所述鄰近圖像相關的預定特征量，確定與在所述處理圖像確定步驟中確定的處理對象圖像相關的空間頻率成分的振幅和頻帶寬度至少一方的調整量。
12. —種圖像調整量確定程序，其特征在于，使計算機發(fā)揮以下單元的作用處理圖像確定單元，其接收從外部輸入的由多個幀圖像構成的輸入 影像信號，把該輸入影像信號分解為多個幀圖像，根據(jù)預定的基準，從 該多個幀圖像中確定成為圖像處理對象的處理對象圖像、以及在顯示順序上位于所述處理對象圖像附近的一個以上的鄰近圖像；圖像特征提取單元，其提取與通過所述處理圖像確定單元確定的鄰近圖像相關的預定特征量；以及圖像調整量確定單元，其根據(jù)通過所述圖像特征提取單元提取出的與所述鄰近圖像相關的預定特征量，確定與通過所述處理圖像確定單元確定的處理對象圖像相關的空間頻率成分的振幅和頻帶寬度至少一方的調整量。
全文摘要
本發(fā)明提供一種圖像調整量確定裝置(10)，具有處理圖像確定單元(101)，其接收從外部輸入的由多個幀圖像構成的輸入影像信號，把該輸入影像信號分解為多個幀圖像，根據(jù)預定的基準，從該多個幀圖像中確定成為圖像處理對象的處理對象圖像、以及在顯示順序上位于所述處理對象圖像附近的一個以上的鄰近圖像；圖像特征提取單元(102)，其提取與所確定的鄰近圖像相關的預定特征量；以及圖像調整量確定單元(104)，其根據(jù)與提取出的鄰近圖像相關的預定特征量，確定與上述所確定的處理對象圖像相關的空間頻率成分的振幅和頻帶寬度至少一方的調整量。
文檔編號H04N7/01GK101193255SQ20071019603
公開日2008年6月4日 申請日期2007年11月28日 優(yōu)先權日2006年11月28日
發(fā)明者加藤禎篤, 文仲丞, 藤林曉 申請人:株式會社Ntt都科摩