專利名稱：圖像處理裝置及方法、學(xué)習(xí)裝置及方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置及方法、學(xué)習(xí)裝置及方法以及程序，特別是涉及能夠簡單地選擇被推定為值得欣賞的圖像的圖像處理裝置及方法、學(xué)習(xí)裝置及方法以及程序。
背景技術(shù)：
在利用對拍攝所獲得的照片等圖像進(jìn)行整理的相冊創(chuàng)建功能及圖像的幻燈片展 示功能時，用戶就需要選擇要保存或者顯示的圖像，但從大量圖像之中選出所需要的圖像 卻是件夠嗆的作業(yè)。因而，作為從多個圖像之中選擇所謂的最佳照片、也就是說選擇被推定為值得用 戶欣賞的圖像的技術(shù)，已知有從連拍的多個圖像中選擇最佳照片的技術(shù)(例如，專利文獻(xiàn)1 參照)。另外，作為與圖像相關(guān)聯(lián)的技術(shù)，還已知有基于圖像的清晰度、臉部圖像的質(zhì)量以 及有無光斑來評價作為照片的圖像的質(zhì)量的技術(shù)(例如，參照專利文獻(xiàn)2)和從圖像中檢測 臉部并根據(jù)其檢測結(jié)果來選擇最佳構(gòu)圖并截取的技術(shù)(例如，參照專利文獻(xiàn)3)。專利文獻(xiàn)專利文獻(xiàn)1 日本特開2006-311340號公報專利文獻(xiàn)2 日本特表2005-521927號公報專利文獻(xiàn)3 日本特開2007-27971號公報但是，在上述技術(shù)中，卻很難確切地評價作為評價對象的圖像是否是被推定為值 得用戶欣賞的圖像、亦即是否是清晰地拍照了拍攝物的圖像。例如，在從連拍的圖像中選擇最佳照片的技術(shù)中，雖然進(jìn)行圖像整體的模糊程度 以及曝光的評價，但對于一般的并非連拍得到的圖像而言，盡管進(jìn)行模糊程度及曝光的評 價，但很好地拍攝的圖像的評價卻未必高。也就是說，一般而言焦點(diǎn)對準(zhǔn)拍攝物、背景模糊不清的照片，因拍攝物清晰地被拍 下，所以大多是很好地拍攝到的所謂的最佳照片?？墒?，若對并非連拍的圖像采用專利文獻(xiàn) 1記載的技術(shù)，則焦點(diǎn)對準(zhǔn)圖像整體的圖像被選擇為最佳照片的可能性就會高于焦點(diǎn)對準(zhǔn) 拍攝物但背景模糊不清的圖像。另外，在專利文獻(xiàn)2所記載的技術(shù)中，設(shè)拍攝物為人的臉部來評價圖像的質(zhì)量，所 以在未從圖像中檢測出臉部的情況下，根據(jù)清晰度和有無光斑來評價圖像的質(zhì)量。因此，在 這種情況下，與焦點(diǎn)對準(zhǔn)拍攝物但背景模糊不清的圖像相比，焦點(diǎn)對準(zhǔn)圖像整體的圖像就 會得到較高的評價。進(jìn)而，在專利文獻(xiàn)3所記載的技術(shù)中，雖然能夠取出最佳構(gòu)圖，但卻無法評價圖像 是否是很好地拍攝到的。另外，在這一技術(shù)中，當(dāng)在圖像中沒有作為拍攝物的人的臉部的情 況下就無法取出最佳構(gòu)圖。

發(fā)明內(nèi)容
本發(fā)明就是鑒于這種狀況而完成的，其目的是能夠更確切地評價作為評價對象的 圖像是否是清晰地拍下了拍攝物的圖像。本發(fā)明的第一方面的圖像處理裝置具備生成單元，基于輸入圖像生成用于確定上述輸入圖像上的拍攝物區(qū)域的拍攝物確定信息；和檢測單元，使用上述拍攝物確定信息 以及上述輸入圖像，將上述輸入圖像中的包含上述拍攝物的區(qū)域作為處理對象來檢測上述 拍攝物的模糊情況?？梢栽谏鲜錾蓡卧性O(shè)置信息映射生成單元，從上述輸入圖像中提取上述拍 攝物區(qū)域具有的特征的特征量，并生成表示上述輸入圖像的各區(qū)域的上述特征量的信息映 射；和拍攝物確定信息生成單元，通過對多個表示相互不同的上述特征的上述特征量的上 述信息映射進(jìn)行加權(quán)相加運(yùn)算來生成上述拍攝物確定信息。在上述檢測單元中可以通過檢測出上述拍攝物區(qū)域內(nèi)的邊緣的強(qiáng)度來檢測出上 述拍攝物的模糊情況。在上述信息映射生成單元中，可以從上述輸入圖像中提取上述特征量，并生成表示 上述輸入圖像的各區(qū)域的上述特征量的特征圖像，并且基于上述特征圖像生成分辨率互不相 同的多個上述特征圖像，并通過求解上述多個上述特征圖像的差分來生成上述信息映射。本發(fā)明第一方面的圖像處理方法或者程序包括如下步驟基于輸入圖像生成用于 確定上述輸入圖像上的拍攝物區(qū)域的拍攝物確定信息；使用上述拍攝物確定信息以及上述 輸入圖像，將上述輸入圖像中的包含上述拍攝物的區(qū)域作為處理對象來檢測上述拍攝物的 模糊情況。在本發(fā)明第一方面中，基于輸入圖像生成了用于確定上述輸入圖像上的拍攝物區(qū) 域的拍攝物確定信息；使用上述拍攝物確定信息以及上述輸入圖像，將上述輸入圖像中的 包含上述拍攝物的區(qū)域作為處理對象來檢測出上述拍攝物的模糊情況。本發(fā)明的第二方面的學(xué)習(xí)裝置是一種通過基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)來求解為了生成 拍攝物映射而使用的加權(quán)的學(xué)習(xí)裝置，所述拍攝物映射用于確定圖像上的拍攝物區(qū)域，所 述學(xué)習(xí)裝置具備信息映射生成單元，從包含上述拍攝物的、被用于上述學(xué)習(xí)的學(xué)習(xí)圖像中 提取上述拍攝物區(qū)域具有的特征的特征量，并生成表示上述學(xué)習(xí)圖像的各區(qū)域的上述特征 量的信息映射；拍攝物映射生成單元，通過使用上述加權(quán)對多個表示互不相同的上述特征 的上述特征量的上述信息映射進(jìn)行加權(quán)相加運(yùn)算來生成上述拍攝物映射；加權(quán)變化量計算 單元，使用上述拍攝物映射和預(yù)先求出的表示上述學(xué)習(xí)圖像中的上述拍攝物區(qū)域的圖像標(biāo) 簽，來計算應(yīng)當(dāng)使上述加權(quán)變化的變化量；和更新單元，將上述變化量與上述加權(quán)相加來更 新上述加權(quán)。本發(fā)明的第二方面的學(xué)習(xí)方法或者程序是一種通過基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)來求解 為了生成拍攝物映射而使用的加權(quán)的學(xué)習(xí)方法或者程序，所述拍攝物映射用于確定圖像上 的拍攝物區(qū)域，所述學(xué)習(xí)方法或者程序包含如下步驟從包含上述拍攝物的、被用于上述學(xué) 習(xí)的學(xué)習(xí)圖像中提取上述拍攝物區(qū)域具有的特征的特征量，并生成表示上述學(xué)習(xí)圖像的各 區(qū)域的上述特征量的信息映射，通過使用上述加權(quán)對多個表示互不相同的上述特征的上述 特征量的上述信息映射進(jìn)行加權(quán)相加運(yùn)算來生成上述拍攝物映射，使用上述拍攝物映射和 預(yù)先求出的表示上述學(xué)習(xí)圖像中的上述拍攝物區(qū)域的圖像標(biāo)簽，來計算應(yīng)當(dāng)使上述加權(quán)變化的變化量，將上述變化量與上述加權(quán)相加來更新上述加權(quán)。在本發(fā)明的第二方面中，在通過基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)來求解為了生成拍攝物映射 而使用的加權(quán)的學(xué)習(xí)處理中，所述拍攝物映射用于確定圖像上的拍攝物區(qū)域，其中，從包含 上述拍攝物的、被用于上述學(xué)習(xí)的學(xué)習(xí)圖像中提取了上述拍攝物區(qū)域具有的特征的特征 量，并生成了表示上述學(xué)習(xí)圖像的各區(qū)域的上述特征量的信息映射，并且通過使用上述加 權(quán)對多個表示互不相同的上述特征的上述特征量的上述信息映射進(jìn)行加權(quán)相加運(yùn)算生成 了上述拍攝物映射，使用上述拍攝物映射和預(yù)先求出的表示上述學(xué)習(xí)圖像中的上述拍攝物 區(qū)域的圖像標(biāo)簽，計算出應(yīng)當(dāng)使上述加權(quán)變化的變化量，并將上述變化量與上述加權(quán)相加 來更新上述加權(quán)。根據(jù)本發(fā)明的第一方面，能夠評價圖像。特別是根據(jù)本發(fā)明的第一方面，能夠更確 切地選擇被推定為清晰地拍下了拍攝物的圖像。另外，根據(jù)本發(fā)明的第二方面，能夠求解為了評價圖像而使用的加權(quán)。特別是，根 據(jù)本發(fā)明的第二方面，能夠提供為了更確切地選擇被推定為清晰地拍下了拍攝物的圖像而 使用的加權(quán)。


圖1是表示應(yīng)用了本發(fā)明的圖像處理裝置的一實施方式的構(gòu)成例的圖。圖2是表示亮度信息提取部的構(gòu)成例的圖。圖3是表示顏色信息提取部的構(gòu)成例的圖。圖4是表示邊緣信息提取部的構(gòu)成例的圖。圖5是表示臉部信息提取部的構(gòu)成例的圖。圖6是表示運(yùn)動信息提取部的構(gòu)成例的圖。圖7是表示模糊判定部的構(gòu)成例的圖。圖8是說明圖像評價處理的流程圖。圖9是說明亮度信息提取處理的流程圖。圖10是說明顏色信息提取處理的流程圖。圖11是說明邊緣信息提取處理的流程圖。圖12是說明臉部信息提取處理的流程圖。圖13是說明運(yùn)動信息提取處理的流程圖。圖14是說明模糊判定處理的流程圖。圖15是對邊緣映射的生成進(jìn)行說明的圖。圖16是對局部最大值的生成進(jìn)行說明的圖。圖17是表示邊緣的構(gòu)造的例的圖。圖18是說明基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)的概要的圖。圖19是說明基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)的概要的圖。圖20是表示應(yīng)用了本發(fā)明的學(xué)習(xí)裝置的一實施方式的構(gòu)成例的圖。圖21是表示拍攝物提取部的構(gòu)成例的圖。圖22是表示亮度信息提取部的構(gòu)成例的圖。圖23是表示顏色信息提取部的構(gòu)成例的圖。
圖24是表示邊緣信息提取部的構(gòu)成例的圖。圖25是表示加權(quán)計算部的構(gòu)成例的圖。圖26是說明學(xué)習(xí)處理的流程圖。圖27是表示圖像評價系統(tǒng)的構(gòu)成例的圖。圖28是表示計算機(jī)的構(gòu)成例的圖。附圖標(biāo)記說明11圖像處理裝置；41亮度信息提取部；42顏色信息提取部；43邊緣信息提取部； 44臉部信息提取部；45運(yùn)動信息提取部；46拍攝物映射生成部；51模糊判定部；54得分計 算部；84亮度信息映射生成部；117顏色信息映射生成部；118顏色信息映射生成部；153至 156邊緣信息映射生成部；182臉部信息映射生成部；214運(yùn)動信息映射生成部；241邊緣映 射生成部；245邊緣點(diǎn)提取部；246提取量判定部；247邊緣分析部；248模糊度檢測部；301 學(xué)習(xí)裝置；311拍攝物提取部；312加權(quán)計算部
具體實施例方式以下，參照附圖就應(yīng)用了本發(fā)明的實施方式進(jìn)行說明。[圖像處理裝置的構(gòu)成]圖1是表示應(yīng)用了本發(fā)明的圖像處理裝置的一實施方式的構(gòu)成例的框圖。圖像處理裝置11例如被搭載在照相機(jī)等攝像裝置上，對拍攝到的輸入圖像進(jìn)行評價。在輸入圖像的評價中，輸入圖像上的拍攝物不模糊閃動而被推定為清晰地拍下的輸 入圖像，就認(rèn)為是很好地拍攝的圖像即最佳照片。相反地，拍攝物模糊不清或者曝光過度的 輸入圖像則認(rèn)為是未很好地拍攝的圖像即劣質(zhì)照片。也就是說，越是被推定為清晰地拍下了拍攝物的輸入圖像，則越認(rèn)為是值得用戶 欣賞的圖像而被賦予越高的評價值(得分)。而且，例如，在輸入圖像的評價值大于等于規(guī) 定閾值的情況下就認(rèn)為輸入圖像是最佳照片。圖像處理裝置11由拍攝物提取部21以及判定部22所構(gòu)成，通過拍攝而獲得的輸 入圖像被提供給拍攝物提取部21以及判定部22。拍攝物提取部21從被提供的輸入圖像中檢測出拍攝物，生成用于確定輸入圖像 中的包含拍攝物的區(qū)域的信息即拍攝物映射并提供給判定部22。這里，設(shè)被推定為在用戶 看了輸入圖像一眼時用戶將會注意的輸入圖像上的物體、也就是說被推定為用戶的目光投 向的物體是拍攝物，來進(jìn)行拍攝物的檢測。因此，拍攝物未必限于人。拍攝物提取部21由亮度信息提取部41、顏色信息提取部42、邊緣信息提取部43、 臉部信息提取部44、運(yùn)動信息提取部45以及拍攝物映射生成部46所構(gòu)成。亮度信息提取部41基于被提供的輸入圖像，生成表示輸入圖像的各區(qū)域的與亮 度有關(guān)的信息的亮度信息映射，并提供給拍攝物映射生成部46。顏色信息提取部42基于被 提供的輸入圖像，生成表示輸入圖像的各區(qū)域的與顏色有關(guān)的信息的顏色信息映射，并提 供給拍攝物映射生成部46。邊緣信息提取部43基于被提供的輸入圖像，生成表示輸入圖像的各區(qū)域的與邊 緣有關(guān)的信息的邊緣信息映射，并提供給拍攝物映射生成部46。臉部信息提取部44基于被 提供的輸入圖像，生成表示輸入圖像的各區(qū)域的與作為拍攝物的人的臉部有關(guān)的信息的臉部信息映射，并提供給拍攝物映射生成部46。運(yùn)動信息提取部45基于被提供的輸入圖像， 生成表示輸入圖像的各區(qū)域的與運(yùn)動有關(guān)的信息的運(yùn)動信息映射，并提供給拍攝物映射生 成部46。此外，以下在無需一一區(qū)別從亮度信息提取部41至運(yùn)動信息提取部45輸出的、亮 度信息映射至運(yùn)動信息映射的每個的情況下，也簡稱為信息映射。這些信息映射中包含的 信息被設(shè)為是表示在包含拍攝物的區(qū)域中較多包含的特征的特征量的信息，將該信息與輸 入圖像的各區(qū)域?qū)?yīng)起來排列而形成的就是信息映射。也就是說，信息映射可以說是表示 輸入圖像的各區(qū)域的特征量的信息。從而，各信息映射中的對應(yīng)于信息量較多的區(qū)域、也就是特征量較多的區(qū)域的輸 入圖像上的區(qū)域就是包含拍攝物的可能性較高的區(qū)域，能夠根據(jù)各信息映射來確定輸入圖 像中的包含拍攝物的區(qū)域。拍攝物映射生成部46將亮度信息提取部41至運(yùn)動信息提取部45所提供的亮度 信息映射、顏色信息映射、邊緣信息映射、臉部信息映射以及運(yùn)動信息映射進(jìn)行線性結(jié)合， 生成拍攝物映射。亦即，按每個位于相同位置的區(qū)域?qū)α炼刃畔⒂成渲吝\(yùn)動信息映射的各 區(qū)域的信息(特征量)進(jìn)行加權(quán)相加運(yùn)算來生成拍攝物映射。拍攝物映射生成部46將所 生成的拍攝物映射提供給判定部22。判定部22使用被提供的輸入圖像和從拍攝物提取部21的拍攝物映射生成部46 提供的拍攝物映射，來計算并輸出作為輸入圖像的評價指標(biāo)的得分。判定部22由模糊判定 部51、曝光判定部52、白平衡判定部53以及得分計算部54構(gòu)成。模糊判定部51使用被提供的輸入圖像和從拍攝物映射生成部46提供的拍攝物映 射，將輸入圖像中的包含拍攝物的區(qū)域作為處理對象來檢測拍攝物的模糊情況(模糊的程 度)，并將其檢測結(jié)果提供給得分計算部54。曝光判定部52基于被提供的輸入圖像檢測輸入圖像整體上的曝光的適當(dāng)程度， 并將其檢測結(jié)果提供給得分計算部54。另外，白平衡判定部53基于被提供的輸入圖像檢測 輸入圖像整體上的白平衡的適當(dāng)程度，并將其檢測結(jié)果提供給得分計算部54。得分計算部 54基于分別從模糊判定部51、曝光判定部52以及白平衡判定部53提供的檢測結(jié)果來計算 并輸出輸入圖像的得分。接著，參照圖2至圖7，就圖1的亮度信息提取部41至運(yùn)動信息提取部45以及模 糊判定部51的更為詳細(xì)的構(gòu)成進(jìn)行說明。圖2是表示亮度信息提取部41的構(gòu)成例的框圖。亮度信息提取部41由亮度圖像生成部81、塔式(Pyramid)圖像生成部82、差分計 算部83以及亮度信息映射生成部84所構(gòu)成。亮度圖像生成部81使用被提供的輸入圖像，生成將輸入圖像的像素的亮度值作 為像素的像素值的亮度圖像，并提供給塔式圖像生成部82。這里，亮度圖像任意像素的像素 值表示與該像素處于相同位置的輸入圖像像素的亮度值。塔式圖像生成部82使用從亮度圖像生成部81提供的亮度圖像，生成多個分辨率 互不相同的亮度圖像，并將這些亮度圖像作為亮度的塔式圖像提供給差分計算部83。例如，生成從等級Ll至等級L8的8個分辨率層次的塔式圖像，并設(shè)等級Ll的塔 式圖像的分辨率最高，塔式圖像的分辨率從等級Ll到等級L8按順序變低。
在此情況下，設(shè)由亮度圖像生成部81生成的亮度圖像為等級Ll的塔式圖像。另 夕卜，設(shè)等級Li (其中，1 < i ( 7)的塔式圖像中的、相互鄰接的4個像素的像素值的平均值 為與這些像素相對應(yīng)的等級L(i+1)的塔式圖像的一個像素的像素值。從而，等級L(i+1) 的塔式圖像就成為相對于等級Li的塔式圖像縱橫二分之一(在除不開的情況下舍去)的 圖像。差分計算部83選擇從塔式圖像生成部82提供的多個塔式圖像之中的、層次互不 相同的兩個塔式圖像，求解所選擇的塔式圖像的差分來生成亮度的差分圖像。此外，因各層 次的塔式圖像的大小(像素數(shù))各不相同，故在生 成差分圖像時，使較小一方的塔式圖像配 合較大的塔式圖像實施向上轉(zhuǎn)換。若按預(yù)先決定的數(shù)量生成了亮度的差分圖像，差分計算部83就使所生成的這些 差分圖像標(biāo)準(zhǔn)化，并提供給亮度信息映射生成部84。亮度信息映射生成部84基于從差分計 算部83提供的差分圖像生成亮度信息映射，并提供給拍攝物映射生成部46。圖3是表示圖1的顏色信息提取部42的構(gòu)成例的框圖。顏色信息提取部42由RG差分圖像生成部111、BY差分圖像生成部112、塔式圖像 生成部113、塔式圖像生成部114、差分計算部115、差分計算部116、顏色信息映射生成部 117以及顏色信息映射生成部118構(gòu)成。RG差分圖像生成部111使用被提供的輸入圖像，生成將輸入圖像的像素的R(紅) 成分與G(綠)成分之間的差分作為像素的像素值的RG差分圖像，并提供給塔式圖像生成 部113。RG差分圖像的任意像素的像素值表示與該像素處于相同位置的輸入圖像的像素的 R成分與G成分之間的差分的值。BY差分圖像生成部112使用被提供的輸入圖像，生成將輸入圖像的像素的B (藍(lán)) 成分與Y(黃)成分之間的差分作為像素的像素值的BY差分圖像，并提供給塔式圖像生成 部114。BY差分圖像的任意像素的像素值表示與該像素處于相同位置的輸入圖像的像素的 B (藍(lán))成分與Y(黃)成分之間的差分的值。塔式圖像生成部113以及塔式圖像生成部114使用從RG差分圖像生成部111以 及BY差分圖像生成部112提供的RG差分圖像以及BY差分圖像，生成多個分辨率互不相同 的RG差分圖像以及BY差分圖像。而且，塔式圖像生成部113以及塔式圖像生成部114將 所生成的這些RG差分圖像以及BY差分圖像作為RG差分的塔式圖像以及BY差分的塔式圖 像提供給差分計算部115以及差分計算部116。例如，與亮度的塔式圖像的情況相同，分別生成從等級Ll到等級L8的8個分辨率 層次的塔式圖像作為RG差分的塔式圖像以及BY差分的塔式圖像。差分計算部115以及差分計算部116選擇從塔式圖像生成部113以及塔式圖像生 成部114提供的多個塔式圖像之中的、層次互不相同的2個塔式圖像，求解所選擇的塔式圖 像的差分來生成RG差分的差分圖像以及BY差分的差分圖像。此外，各層次的塔式圖像的 大小各不相同，故在生成差分圖像時，對較小一方的塔式圖像實施向上轉(zhuǎn)換使其成為與較 大一方的塔式圖像相同的大小。若按預(yù)先決定的數(shù)量生成了 RG差分的差分圖像以及BY差分的差分圖像，差分計 算部115以及差分計算部116就使所生成的這些差分圖像標(biāo)準(zhǔn)化，并提供給顏色信息映射 生成部117以及顏色信息映射生成部118。顏色信息映射生成部117以及顏色信息映射生成部118基于從差分計算部115以及差分計算部116提供的差分圖像生成顏色信息映射， 并提供給拍攝物映射生成部46。在顏色信息映射生成部117中生成RG差分的顏色信息映 射，在顏色信息映射生成部118中生成BY差分的顏色信息映射。圖4是表示圖1的邊緣信息提取部43的構(gòu)成例的框圖。邊緣信息提取部43由邊緣圖像生成部141至邊緣圖像生成部144、塔式圖像生成 部145至塔式圖像生成部148、差分計算部149至差分計算部152、以及邊緣信息映射生成 部153至邊緣信息映射生成部156構(gòu)成。邊緣圖像生成部141至邊緣圖像生成部144對被提供的輸入圖像實施采用了伽柏 濾波器的濾波處理，生成例如將0度、45度、90度以及135度方向的邊緣強(qiáng)度作為像素的像 素值的邊緣圖像，并提供給塔式圖像生成部145至塔式圖像生成部148。例如，由邊緣圖像生成部141生成的邊緣圖像的任意像素的像素值表示與該像素 處于相同位置的輸入圖像的像素中的0度方向的邊緣強(qiáng)度。此外，各邊緣的方向是指構(gòu)成 伽柏濾波器的伽柏函數(shù)中的角度成分所示的方向。塔式圖像生成部145至塔式圖像生成部148使用從邊緣圖像生成部141至邊緣圖 像生成部144提供的各方向的邊緣圖像，生成分辨率互不相同的多個邊緣圖像。而且，塔式 圖像生成部145至塔式圖像生成部148將所生成的這些各方向的邊緣圖像作為邊緣各方向 的塔式圖像提供給差分計算部149至差分計算部152。例如，與亮度的塔式圖像的情況相同，分別生成從等級Ll到等級L8的8個層次的 塔式圖像作為邊緣各方向的塔式圖像。差分計算部149至差分計算部152選擇從塔式圖像生成部145至塔式圖像生成部 148提供的多個塔式圖像之中的、層次互不相同的2個塔式圖像，求解所選擇的塔式圖像的 差分來生成邊緣各方向的差分圖像。此外，各層次的塔式圖像的大小各不相同，故在生成差 分圖像時，對較小一方的塔式圖像實施向上轉(zhuǎn)換。若按預(yù)先決定的數(shù)量生成了邊緣各方向的差分圖像，差分計算部149至差分計算 部152就使所生成的這些差分圖像標(biāo)準(zhǔn)化，并提供給邊緣信息映射生成部153至邊緣信息 映射生成部156。邊緣信息映射生成部153至邊緣信息映射生成部156基于從差分計算部 149至差分計算部152提供的差分圖像，生成各方向的邊緣信息映射，并提供給拍攝物映射 生成部46。圖5是表示圖1的臉部信息提取部44的構(gòu)成例的框圖。臉部信息提取部44由臉部檢測部181以及臉部信息映射生成部182構(gòu)成。臉部檢測部181從被提供的輸入圖像中檢測出作為拍攝物的人的臉部區(qū)域，并將 其檢測結(jié)果提供給臉部信息映射生成部182。臉部信息映射生成部182基于來自臉部檢測 部181的檢測結(jié)果生成臉部信息映射，并提供給拍攝物映射生成部46。圖6是表示圖1的運(yùn)動信息提取部45的構(gòu)成例的框圖。運(yùn)動信息提取部45由局部運(yùn)動矢量提取部211、全局運(yùn)動矢量提取部212、差分計 算部213以及運(yùn)動信息映射生成部214所構(gòu)成。局部運(yùn)動矢量提取部211使用被提供的輸入圖像和拍攝時刻不同于該輸入圖像 的其他輸入圖像，檢測出輸入圖像的各像素的運(yùn)動矢量作為局部運(yùn)動矢量，并提供給差分 計算部213。全局運(yùn)動矢量提取部212使用被提供的輸入圖像和拍攝時刻不同于該輸入圖像的其他輸入圖像，求解輸入圖像的各像素的運(yùn)動矢量，進(jìn)而例如將這些各像素的運(yùn)動矢 量的平均值設(shè)為全局運(yùn)動矢量，提供給差分計算部213。此全局運(yùn)動矢量表示輸入圖像整體 的運(yùn)動方向。差分計算部213求解來自局部運(yùn)動矢量提取部211的局部運(yùn)動矢量與來自全局運(yùn) 動矢量提取部212的全局運(yùn)動矢量之間的差分的絕對值來生成運(yùn)動差分圖像，并提供給運(yùn) 動信息映射生成部214。這里，運(yùn)動差分圖像中的任意像素的像素值表示與該像素處于相 同位置的輸入圖像的像素的局部運(yùn)動矢量和輸入圖像整體的全局運(yùn)動矢量之間的差分的 絕對值。從而，運(yùn)動差分圖像的像素的像素值表示輸入圖像的像素所表示的物體(或者背 景)相對于輸入圖像整體的、也就是說相對于背景的相對運(yùn)動量。運(yùn)動信息映射生成部214基于來自差分計算部213的運(yùn)動差分圖像生成運(yùn)動信息 映射，并提供給拍攝物映射生成部46。此外，更詳細(xì)而言，在作為輸入圖像被提供了時間上 連續(xù)拍攝的圖像時，例如輸入圖像為連拍的圖像或運(yùn)動圖像時進(jìn)行運(yùn)動信息映射的生成。圖7是表示圖1的模糊判定部51的構(gòu)成例的框圖。模糊判定部51由邊緣映射生成部241、動態(tài)范圍檢測部242、運(yùn)算參數(shù)調(diào)整部243、 局部最大值生成部244、邊緣點(diǎn)提取部245、提取量判定部246、邊緣分析部247以及模糊度 檢測部248所構(gòu)成。
邊緣映射生成部241使用被提供的輸入圖像、和來自拍攝物映射生成部46的拍攝 物映射，從輸入圖像中提取被推定為包含拍攝物的區(qū)域作為拍攝物圖像。另外，邊緣映射生成部241基于拍攝物圖像，以大小互不相同的3種塊為單位來檢 測出拍攝物圖像邊緣的強(qiáng)度(邊緣強(qiáng)度)，并生成將所檢測出的邊緣強(qiáng)度作為像素值的邊 緣映射。按每個塊的大小生成此邊緣映射，并從塊較小的開始按順序設(shè)為標(biāo)度SCl至標(biāo)度 SC3的邊緣映射。邊緣映射生成部241將所生成的這些3個邊緣映射提供給動態(tài)范圍檢測 部242以及局部最大值生成部244。動態(tài)范圍檢測部242使用來自邊緣映射生成部241的邊緣映射來檢測拍攝物圖像 邊緣強(qiáng)度的最大值與最小值的差即動態(tài)范圍，并將其檢測結(jié)果提供給運(yùn)算參數(shù)調(diào)整部243。運(yùn)算參數(shù)調(diào)整部243基于從動態(tài)范圍檢測部242提供的檢測結(jié)果來調(diào)整用于邊緣 點(diǎn)提取的運(yùn)算參數(shù)，以使得在拍攝物圖像的模糊情況檢測中所使用的邊緣點(diǎn)的提取量(以 下也稱為邊緣點(diǎn)提取量)成為適當(dāng)?shù)闹?。這里，邊緣點(diǎn)是指圖像內(nèi)的構(gòu)成邊緣的像素。另外，在運(yùn)算參數(shù)中包含用于判定是否為邊緣點(diǎn)的邊緣基準(zhǔn)值、以及用于判定邊 緣點(diǎn)提取量是否適當(dāng)?shù)奶崛』鶞?zhǔn)值。運(yùn)算參數(shù)調(diào)整部243將邊緣基準(zhǔn)值提供給邊緣點(diǎn)提取 部245以及提取量判定部246，并將提取基準(zhǔn)值提供給提取量判定部246。局部最大值生成部244，將從邊緣映射生成部241提供的邊緣映射分別分割成規(guī) 定大小的塊，并提取各塊的像素值的最大值，由此來生成局部最大值。按每個邊緣映射的標(biāo) 度生成局部最大值，并從局部最大值生成部244提供給邊緣點(diǎn)提取部245以及邊緣分析部 247。以下，將根據(jù)標(biāo)度SCl至標(biāo)度SC3的邊緣映射所生成的局部最大值分別稱為局部最大 值LMl至局部最大值LM3。邊緣點(diǎn)提取部245基于來自拍攝物映射生成部46的拍攝物映射、來自運(yùn)算參數(shù)調(diào) 整部243的邊緣基準(zhǔn)值、以及來自局部最大值生成部244的局部最大值，從拍攝物圖像上的 拍攝物區(qū)域提取邊緣點(diǎn)。另外，邊緣點(diǎn)提取部245生成表示所提取出的邊緣點(diǎn)的信息的邊緣點(diǎn)表，并提供給提取量判定部246。此外，以下將根據(jù)局部最大值LMl至局部最大值LM3 的每個得到的邊緣點(diǎn)表稱為邊緣點(diǎn)表ETl至邊緣點(diǎn)表ET3。提取量判定部246基于來自邊緣點(diǎn)提取部245的邊緣點(diǎn)表、以及來自運(yùn)算參數(shù)調(diào) 整部243的提取基準(zhǔn)值來判定邊緣點(diǎn)提取量是否適當(dāng)。提取量判定部246在邊緣點(diǎn)提取量 不適當(dāng)?shù)那闆r下，將表示邊緣點(diǎn)提取量不適當(dāng)?shù)男畔⑼ㄖo運(yùn)算參數(shù)調(diào)整部243，在邊緣點(diǎn) 提取量適當(dāng)?shù)那闆r下，將此時的邊緣基準(zhǔn)值以及邊緣點(diǎn)表提供給邊緣分析部247。
邊緣分析部247基于來自提取量判定部246的邊緣點(diǎn)表，來分析拍攝物圖像中的 拍攝物區(qū)域的邊緣點(diǎn)，并將其分析結(jié)果提供給模糊度檢測部248。模糊度檢測部248基于邊 緣點(diǎn)的分析結(jié)果來檢測作為表示輸入圖像上的拍攝物的模糊情況的指標(biāo)的模糊度，并將該 模糊度提供給得分計算部54。[圖像處理裝置的動作]若將輸入圖像提供給了圖像處理裝置11，圖像處理裝置11就開始圖像評價處理， 求解并輸出表示針對輸入圖像的評價的得分。以下，參照圖8的流程圖就圖像評價處理進(jìn) 行說明。在步驟Sll中，亮度信息提取部41進(jìn)行亮度信息提取處理，基于被提供的輸入圖 像生成亮度信息映射，并提供給拍攝物映射生成部46。而且，在步驟S12中，顏色信息提取 部42進(jìn)行顏色信息提取處理，基于被提供的輸入圖像生成顏色信息映射，并提供給拍攝物 映射生成部46。在步驟S13中，邊緣信息提取部43進(jìn)行邊緣信息提取處理，基于被提供的輸入圖 像生成邊緣信息映射，并提供給拍攝物映射生成部46。另外，在步驟S14中，臉部信息提取 部44進(jìn)行臉部信息提取處理，基于被提供的輸入圖像生成臉部信息映射，并提供給拍攝物 映射生成部46。進(jìn)而，在步驟S15中，運(yùn)動信息提取部45進(jìn)行運(yùn)動信息提取處理，基于被提 供的輸入圖像生成運(yùn)動信息映射，并提供給拍攝物映射生成部46。此外，這些亮度信息提取處理、顏色信息提取處理、邊緣信息提取處理、臉部信息 提取處理以及運(yùn)動信息提取處理的細(xì)節(jié)將在后敘述。另外，更詳細(xì)而言，在未將時間上連續(xù) 拍攝的輸入圖像提供給拍攝物提取部21的情況下不進(jìn)行運(yùn)動信息提取處理。在步驟S16中，拍攝物映射生成部46使用從亮度信息提取部41至運(yùn)動信息提取 部45提供的亮度信息映射至運(yùn)動信息映射，生成拍攝物映射并提供給模糊判定部51。例如，拍攝物映射生成部46使用按每個信息映射預(yù)先求得的加權(quán)即信息加權(quán)Wb 將各信息映射進(jìn)行線性結(jié)合，進(jìn)而，對作為其結(jié)果而獲得的映射的像素值乘以預(yù)先求出的 加權(quán)即拍攝物加權(quán)Wc來進(jìn)行標(biāo)準(zhǔn)化并作為拍攝物映射。也就是說，若將現(xiàn)在要求解出的拍攝物映射上的要關(guān)注的位置(像素)設(shè)為關(guān)注 位置，則對與各信息映射的關(guān)注位置相同的位置(像素)的像素值乘以針對每個信息映射 的信息加權(quán)Wb，將乘以信息加權(quán)Wb后的像素值的總和設(shè)為關(guān)注位置的像素值。進(jìn)而，對這 樣求出的拍攝物映射的各位置的像素值乘以針對拍攝物映射預(yù)先求出的拍攝物加權(quán)Wc來 進(jìn)行標(biāo)準(zhǔn)化，作為最終的拍攝物映射。此外，更詳細(xì)而言，使用RG差分的顏色信息映射、BY差分的顏色信息映射作為顏 色信息映射，并使用0度、45度、90度、135度的各個方向的邊緣信息映射作為邊緣信息映 射，來生成拍攝物映射。另外，預(yù)先通過學(xué)習(xí)求得拍攝物加權(quán)Wc，并以使拍攝物映射的各像素的像素值成為從O到1之間的值的方式實施標(biāo)準(zhǔn)化。在步驟S17中，模糊判定部51使用來自拍攝物映射生成部46的拍攝物映射和被 提供的輸入圖像進(jìn)行模糊判定處理以檢測出模糊度，并將其模糊度提供給得分計算部54。 此外，此模糊判定處理的細(xì)節(jié)將在后敘述，在模糊判定處理中，使用拍攝物映射來檢測出輸 入圖像中的拍攝物區(qū)域的模糊情況。在步驟S18中，曝光判定部52進(jìn)行曝光判定處理，以檢測出輸入圖像整體上的曝光的適當(dāng)程度，并將其檢測結(jié)果提供給得分計算部54。例如，曝光判定部52使用被提供的 輸入圖像，來求解將橫軸設(shè)為R(紅)、G(綠)以及B(藍(lán))的各成分的值并將縱軸設(shè)為頻數(shù) (像素的出現(xiàn)頻率)的輸入圖像整體上的各成分的分布，并根據(jù)這些成分的分布來求解表 示曝光的適當(dāng)程度的值。例如根據(jù)在各成分的分布中的規(guī)定的橫軸的值上的各成分的頻數(shù) 與預(yù)先決定的頻數(shù)之間的差分決定此表示曝光的適當(dāng)程度的值。在步驟S19中，白平衡判定部53進(jìn)行白平衡判定處理，以檢測出輸入圖像整體上 的白平衡的適當(dāng)程度，并將其檢測結(jié)果提供給得分計算部54。例如，白平衡判定部53基于 被提供的輸入圖像來求解輸入圖像整體的平均亮度，并將根據(jù)該平均亮度而決定的值設(shè)為 表示白平衡的適當(dāng)程度的值。此外，還可以是從拍攝物映射生成部46向曝光判定部52以及白平衡判定部53提 供拍攝物映射，僅將根據(jù)拍攝物映射所確定的、輸入圖像上的拍攝物區(qū)域作為處理對象來 進(jìn)行曝光判定處理以及白平衡判定處理。在步驟S20中，得分計算部54基于分別從模糊判定部51、曝光判定部52、以及白 平衡判定部53提供的檢測結(jié)果來計算并輸出輸入圖像的得分。例如，得分計算部54對被提供的作為檢測結(jié)果的表示模糊度的值、表示曝光的適 當(dāng)程度的值以及表示白平衡的適當(dāng)程度的值，使用預(yù)先求出的加權(quán)進(jìn)行線性結(jié)合，并將作 為其結(jié)果而得到的值設(shè)為針對輸入圖像的得分。另外，還可以是，得分計算部54將表示輸入圖像是否為最佳照片的信息與所求出 的得分一起進(jìn)行輸出。在這種情況下，在所求出的得分的值大于等于預(yù)先決定的閾值時就 認(rèn)為輸入圖像是最佳照片，在得分的值低于閾值時則認(rèn)為輸入圖像是劣質(zhì)照片。這樣，若輸 出了針對輸入圖像的得分，則結(jié)束圖像評價處理。如以上那樣，圖像處理裝置11根據(jù)輸入圖像生成拍攝物映射，并使用拍攝物映射 來檢測輸入圖像中的拍攝物區(qū)域的模糊度。而且，圖像處理裝置11根據(jù)拍攝物的模糊度、 輸入圖像的曝光的適當(dāng)程度以及白平衡的適當(dāng)程度來進(jìn)行針對輸入圖像的評價。這樣，通過使用拍攝物映射來檢測輸入圖像中的拍攝物區(qū)域的模糊度，并基于其 檢測結(jié)果來求解針對輸入圖像的得分，就能夠更確切地評價輸入圖像上的拍攝物是何種程 度模糊不清、亦即清晰地拍下了拍攝物的清晰程度。從而，就能夠更確切地判定作為評價對 象的輸入圖像是否是被推定為值得用戶欣賞的圖像，也就是說是否是最佳照片，并能夠簡 單且確切地僅選擇評價較高的輸入圖像。具體而言，因在輸入圖像的得分中考慮了拍攝物的模糊度，故在輸入圖像上的拍 攝物區(qū)域被推定為較模糊不清的情況下，則不論輸入圖像的拍攝物以外的區(qū)域(背景)是 否模糊不清，輸入圖像的得分都較低。也就是說，如果輸入圖像中的拍攝物區(qū)域不模糊(如 果焦點(diǎn)對準(zhǔn)拍攝物)則輸入圖像的得分較高。從而，就能夠防止在焦點(diǎn)對準(zhǔn)輸入圖像的背景而拍攝物模糊不清的情況下，輸入圖像的得分較高而誤判定為是最佳照片的情況。如果使用以上那樣求出的得分，就能夠從多個輸入圖像之中僅僅簡單地挑選出被 認(rèn)為是最佳照片的輸入圖像。接著，參照圖9至圖13的流程圖，就分別與圖8的步驟Sll至步驟S15的處理相 對應(yīng)的處理進(jìn)行說明。首先，參照圖9的流程圖，就與圖8的步驟Sll的處理相對應(yīng)的亮度信息提取處理 進(jìn)行說明。在步驟S51中，亮度圖像生成部81使用被提供的輸入圖像生成亮度圖像，并提供 給塔式圖像生成部82。例如，亮度圖像生成部81對輸入圖像的像素R、G以及B的各成分 的值乘以按每個成分預(yù)先決定的系數(shù)，并將乘以系數(shù)后的各成分的值的和設(shè)為與輸入圖像 的像素處于相同位置的亮度圖像的像素的像素值。也就是說，求解由亮度成分(Y)以及色 差成分(Cb，Cr)所構(gòu)成的組分(component)信號的亮度成分。此外，也可以將像素R、G以 及B各成分的值的平均值設(shè)為亮度圖像的像素的像素值。
在步驟S52中，塔式圖像生成部82基于從亮度圖像生成部81提供的亮度圖像，生 成等級Ll至等級L8的各層次的塔式圖像，并提供給差分計算部83。在步驟S53中，差分計算部83使用從塔式圖像生成部82提供的塔式圖像生成差 分圖像并進(jìn)行標(biāo)準(zhǔn)化，提供給亮度信息映射生成部84。以使差分圖像的像素的像素值例如 成為0至255之間的值的方式進(jìn)行標(biāo)準(zhǔn)化。具體而言，差分計算部83求解各層次亮度的塔式圖像之中的等級L6和等級L3、等 級L7和等級L3、等級L7和等級L4、等級L8和等級L4、以及等級L8和等級L5的各層次的 組合的塔式圖像的差分。據(jù)此，獲得合計5個亮度差分圖像。例如，在生成等級L6和等級L3的組合的差分圖像的情況下，對等級L6的塔式圖 像實施向上轉(zhuǎn)換以配合等級L3的塔式圖像的大小。也就是說，向上轉(zhuǎn)換前的等級L6的塔 式圖像的一個像素的像素值成為與該像素相對應(yīng)的、向上轉(zhuǎn)換后的等級L6的塔式圖像的 相互鄰接的幾個像素的像素值。而且，求解等級L6的塔式圖像的像素的像素值和與該像素 處于相同位置的等級L3的塔式圖像的像素的像素值之間的差分，并將該差分設(shè)為差分圖 像的像素的像素值。生成這些差分圖像的處理等價于對亮度圖像實施采用了帶通濾波器的濾波處理 從亮度圖像中提取規(guī)定的頻率成分。這樣所獲得的差分圖像的像素的像素值表示各等級的 塔式圖像的亮度值的差、也就是表示輸入圖像中的規(guī)定的像素處的亮度和該像素周圍的平 均亮度的差。一般而言，在圖像中與周圍的亮度差較大的區(qū)域就是吸引觀看該圖像的人關(guān)注的 區(qū)域，所以該區(qū)域是拍攝物區(qū)域的可能性較高。因此，可以說在各差分圖像中像素值較大的 像素表示是拍攝物區(qū)域的可能性較高的區(qū)域。在步驟S54中，亮度信息映射生成部84基于從差分計算部83提供的差分圖像生 成亮度信息映射，并提供給拍攝物映射生成部46。若亮度信息映射被從亮度信息映射生成 部84提供給了拍攝物映射生成部46，就結(jié)束亮度信息提取處理，處理進(jìn)入圖8的步驟S12。例如，亮度信息映射生成部84利用預(yù)先求出的每個差分圖像的加權(quán)即差分加權(quán) Wa對被提供的5個差分圖像進(jìn)行加權(quán)相加運(yùn)算，求得一個圖像。亦即，對各差分圖像的處于相同位置的像素的像素值的每個乘以差分加權(quán)Wa，求得乘以差分加權(quán)Wa后的像素值的總 禾口。此外，在生成亮度信息映射時，進(jìn)行差分圖像的向上轉(zhuǎn)換以使各差分圖像成為相 同大小。這樣，亮度信息提取部41根據(jù)輸入圖像求得亮度圖像，并根據(jù)該亮度圖像生成亮 度信息映射。根據(jù)這樣獲得的亮度信息映射，就能夠在輸入圖像中簡單地檢測出亮度差較 大的區(qū)域、也就是看了輸入圖像一眼的觀察者易于關(guān)注的區(qū)域。接著，參照圖10的流程圖，就與圖8的步驟S12的處理相對應(yīng)的顏色信息提取處 理進(jìn)行說明。在步驟S81中，RG差分圖像生成部111使用被提供的輸入圖像生成RG差分圖像， 并提供給塔式圖像生成部113。在步驟S82中，BY差分圖像生成部112使用被提供的輸入圖像生成BY差分圖像， 并提供給塔式圖像生成部114。在步驟S83中，塔式圖像生成部113以及塔式圖像生成部114使用來自RG差分圖 像生成部111的RG差分圖像、以及來自BY差分圖像生成部112的BY差分圖像生成塔式圖像。例如，塔式圖像生成部113通過生成分辨率不同的多個RG差分圖像來生成等級Ll 至等級L8的各層次的塔式圖像，并提供給差分計算部115。同樣地，塔式圖像生成部114通 過生成分辨率不同的多個BY差分圖像來生成等級Ll至等級L8的各層次的塔式圖像，并提 供給差分計算部116。在步驟S84中，差分計算部115和差分計算部116基于從塔式圖像生成部113和 塔式圖像生成部114提供的塔式圖像生成差分圖像并進(jìn)行標(biāo)準(zhǔn)化，提供給顏色信息映射生 成部117和顏色信息映射生成部118。通過差分圖像的標(biāo)準(zhǔn)化，例如使像素的像素值成為0 至255之間的值。例如，差分計算部115求解各層次的RG差分的塔式圖像之中的等級L6和等級L3、 等級L7和等級L3、等級L7和等級L4、等級L8和等級L4、以及等級L8和等級L5的各層次 的組合的塔式圖像的差分。據(jù)此，獲得合計5個RG差分的差分圖像。同樣地，差分計算部116求解各層次的BY差分的塔式圖像之中的等級L6和等級 L3、等級L7和等級L3、等級L7和等級L4、等級L8和等級L4、以及等級L8和等級L5的各層 次的組合的塔式圖像的差分。據(jù)此，獲得合計5個BY差分的差分圖像。生成這些差分圖像的處理等價于對RG差分圖像或者BY差分圖像實施使用了帶通 濾波器的濾波處理從RG差分圖像或者BY差分圖像中提取出規(guī)定的頻率成分。這樣獲得的 差分圖像的像素的像素值表示各等級的塔式圖像的特定顏色成分的差、也就是表示輸入圖 像的像素中的特定顏色的成分和該像素周圍的平均的特定顏色的成分之間的差分。一般而言，在圖像中與周圍相比顏色顯眼的區(qū)域、也就是說特定顏色成分與周圍 的差分較大的區(qū)域就是吸引觀看該圖像的人關(guān)注的區(qū)域，所以該區(qū)域是拍攝物區(qū)域的可能 性較高。因此，可以說在各差分圖像中像素值較大的像素表示是拍攝物區(qū)域的可能性較高 的區(qū)域。在步驟S85中，顏色信息映射生成部117和顏色信息映射生成部118使用來自差分計算部115的差分圖像、和來自差分計算部116的差分圖像生成顏色信息映射，并提供給 拍攝物映射生成部46。例如，顏色信息映射生成部117利用預(yù)先求出的按每個差分圖像的差分加權(quán)Wa對 從差分計算部115提供的RG差分的差分圖像進(jìn)行加權(quán)相加運(yùn)算，作為一個RG差分的顏色
信息映射。同樣地，顏色信息映射生成部118利用預(yù)先求出的差分加權(quán)Wa對從差分計算部 116提供的BY差分的差分圖像進(jìn)行加權(quán)相加運(yùn)算，作為一個BY差分的顏色信息映射。此 夕卜，在生成顏色信息映射時，進(jìn)行差分圖像的向上轉(zhuǎn)換以使各差分圖像成為相同的大小。若顏色信息映射生成部117和顏色信息映射生成部118將這樣獲得的RG差分的 顏色信息映射、和BY差分的顏色信息映射提供給了拍攝物映射生成部46，就結(jié)束顏色信息 提取處理，處理進(jìn)入圖8的步驟S13。這樣，顏色信息提取部42根據(jù)輸入圖像求得特定顏色成分的差分的圖像，并根據(jù) 該圖像生成顏色信息映射。根據(jù)這樣獲得的顏色信息映射，就能夠在輸入圖像中簡單地檢 測出特定顏色成分的差較大的區(qū)域、也就是說看了輸入圖像一眼的觀察者易于關(guān)注的區(qū) 域。此外，雖然說明的是由顏色信息提取部42提取R(紅)成分和G(綠)成分的差分、 以及B(藍(lán))成分和Y(黃)成分之間的差分，作為從輸入圖像提取的顏色的信息，但也可以 提取色差成分Cr和色差成分Cb等。這里，色差成分Cr是R成分和亮度成分之間的差分， 色差成分Cb是B成分和亮度成分之間的差分。圖11是說明與圖8的步驟S13的處理相對應(yīng)的邊緣信息提取處理的流程圖。以 下，就這一邊緣信息提取處理進(jìn)行說明。在步驟Slll中，邊緣圖像生成部141至邊緣圖像生成部144對被提供的輸入圖像 實施采用了伽柏濾波器的濾波處理，生成將0度、45度、90度以及135度方向的邊緣強(qiáng)度設(shè) 為像素的像素值的邊緣圖像。而且，邊緣圖像生成部141至邊緣圖像生成部144將所生成 的邊緣圖像提供給塔式圖像生成部145至塔式圖像生成部148。在步驟S112中，塔式圖像生成部145至塔式圖像生成部148使用來自邊緣圖像生 成部141至邊緣圖像生成部144的邊緣圖像生成塔式圖像，并提供給差分計算部149至差 分計算部152。例如，塔式圖像生成部145通過生成分辨率不同的多個0度方向的邊緣圖像來生 成等級Ll至等級L8的各層次的塔式圖像，并提供給差分計算部149。同樣地，塔式圖像生 成部146至塔式圖像生成部148生成等級Ll至等級L8的各層次的塔式圖像并提供給差分 計算部150至差分計算部152。在步驟Sl 13中，差分計算部149至差分計算部152使用來自塔式圖像生成部145 至塔式圖像生成部148的塔式圖像生成差分圖像并進(jìn)行標(biāo)準(zhǔn)化，提供給邊緣信息映射生成 部153至邊緣信息映射生成部156。例如以使像素的像素值成為0至255之間的值的方式 進(jìn)行差分圖像的標(biāo)準(zhǔn)化。例如，差分計算部149求解從塔式圖像生成部145提供的各層次的0度方向的邊 緣塔式圖像之中的等級L6和等級L3、等級L7和等級L3、等級L7和等級L4、等級L8和等級 L4以及等級L8和等級L5的組合的塔式圖像的差分。據(jù)此，獲得合計5個邊緣差分圖像。
同樣地，差分計算部150至差分計算部152求解各層次的塔式圖像之中的等級L6 和等級L3、等級L7和等級L3、等級L7和等級L4、等級L8和等級L4以及等級L8和等級L5 的各層次的組合的塔式圖像的差分。據(jù)此，關(guān)于各方向的邊緣分別獲得合計5個差分圖像。生成這些差分圖像的處理等價于對邊緣圖像實施使用了帶通濾波器的濾波處理從邊緣圖像中提取規(guī)定的頻率成分。這樣獲得的差分圖像的像素的像素值表示各等級塔式 圖像的邊緣強(qiáng)度的差、也就是說表示輸入圖像的規(guī)定位置的邊緣強(qiáng)度和該位置周圍的平均 的邊緣強(qiáng)度之間的差。一般而言，在圖像中與周圍相比邊緣強(qiáng)度較強(qiáng)的區(qū)域就是吸引觀看該圖像的人關(guān) 注的區(qū)域，所以該區(qū)域是拍攝物區(qū)域的可能性較高。因此，可以說在各差分圖像中像素值較 大的像素表示是拍攝物區(qū)域的可能性較高的區(qū)域。在步驟Sl 14中，邊緣信息映射生成部153至邊緣信息映射生成部156使用來自差 分計算部149至差分計算部152的差分圖像生成各方向的邊緣信息映射，并提供給拍攝物 映射生成部46。例如，邊緣信息映射生成部153利用預(yù)先求出的差分加權(quán)Wa對從差分計算部149 提供的差分圖像進(jìn)行加權(quán)相加運(yùn)算并設(shè)為0度方向的邊緣信息映射。同樣地，邊緣信息映射生成部154利用差分加權(quán)Wa對來自差分計算部150的差分 圖像進(jìn)行加權(quán)相加運(yùn)算，邊緣信息映射生成部155利用差分加權(quán)Wa對來自差分計算部151 的差分圖像進(jìn)行加權(quán)相加運(yùn)算，邊緣信息映射生成部156利用差分加權(quán)Wa對來自差分計算 部152的差分圖像進(jìn)行加權(quán)相加運(yùn)算。據(jù)此，獲得45度、90度以及135度的各方向的邊緣 信息映射。此外，在生成邊緣信息映射時，進(jìn)行差分圖像的向上轉(zhuǎn)換以使各差分圖像成為相 同的大小。若邊緣信息映射生成部153至邊緣信息映射生成部156將這樣獲得的各方向合計 4個邊緣信息映射提供給了拍攝物映射生成部46，就結(jié)束邊緣信息提取處理，處理進(jìn)入圖8 的步驟S14。這樣，邊緣信息提取部43根據(jù)輸入圖像求解特定方向的邊緣差分圖像，并根據(jù)該 差分圖像生成邊緣信息映射。根據(jù)這樣獲得的每個方向的邊緣信息映射，就能夠在輸入圖 像中簡單地檢測出與周圍區(qū)域相比朝向特定方向的邊緣強(qiáng)度較大的區(qū)域、也就是說看了輸 入圖像一眼的觀察者易于關(guān)注的區(qū)域。此外，雖然說明的是在邊緣信息提取處理中，在邊緣提取上使用了伽柏濾波器，但 除此以外還可以采用索伯爾(Sobel)濾波器或羅伯特(Roberts)濾波器等邊緣提取濾波
ο另外，參照圖9至圖11所說明的從圖像中提取亮度、顏色、邊緣等信息的方法例 如被詳細(xì)地記載于"Laurent Itti, Christof Koch, andErnst Niebur, “ A Model of Saliency-Based Visual Attention forRapid Scene Analysis“ ”。下面，參照圖12的流程圖，對與圖8的步驟S14的處理相對應(yīng)的臉部信息提取處 理進(jìn)行說明。在步驟S141中，臉部檢測部181從被提供的輸入圖像中檢測人的臉部區(qū)域，并將 其檢測結(jié)果提供給臉部信息映射生成部182。例如，臉部檢測部181對輸入圖像實施使用了 伽柏濾波器的濾波處理，通過從輸入圖像中提取人的眼、口、鼻等特征性區(qū)域來檢測出輸入圖像中的臉部區(qū)域。在步驟S142中，臉部信息映射生成部182使用來自臉部檢測部181的檢測結(jié)果生 成臉部信息映射，并提供給拍攝物映射生成部46。例如，檢測出多個被推定為包含臉部的輸入圖像上的矩形區(qū)域(以下稱為候補(bǔ)區(qū)域)作為從輸入圖像檢測出的臉部檢測結(jié)果。這里，設(shè)，在輸入圖像上規(guī)定的位置附近檢測 出多個候補(bǔ)區(qū)域，這些候補(bǔ)區(qū)域的一部分有時相互重疊。亦即，例如在對于輸入圖像上的一 個臉部區(qū)域，獲得了包含該臉部的多個區(qū)域作為候補(bǔ)區(qū)域的情況下，這些候補(bǔ)區(qū)域的一部 分就會相互重疊。臉部信息映射生成部182對通過臉部檢測所獲得的候補(bǔ)區(qū)域，按每個候補(bǔ)區(qū)域生 成與輸入圖像大小相同的檢測圖像。對于此檢測圖像，將檢測圖像上的與作為處理對象的 候補(bǔ)區(qū)域相同的區(qū)域內(nèi)的像素的像素值設(shè)為比與候補(bǔ)區(qū)域不同的區(qū)域內(nèi)的像素的像素值 大的值。另外，對于檢測圖像上的像素的像素值，越是與被推定為包含人的臉部的可能性 較高的候補(bǔ)區(qū)域的像素相同位置的像素，像素值越大。臉部信息映射生成部182將這樣獲 得的檢測圖像加在一起，生成一個圖像并進(jìn)行標(biāo)準(zhǔn)化，作為臉部信息映射。從而，在臉部信 息映射上，對于輸入圖像上的多個候補(bǔ)區(qū)域的一部分重疊的區(qū)域，與此區(qū)域相同的區(qū)域的 像素的像素值較大，包含臉部的可能性高。此外，以使臉部信息映射的像素的像素值成為例 如0至255之間的值的方式進(jìn)行標(biāo)準(zhǔn)化。若生成了臉部信息映射，就結(jié)束臉部信息提取處理，處理進(jìn)入圖8的步驟S15。這樣，臉部信息提取部44從輸入圖像中檢測臉部，并根據(jù)其檢測結(jié)果生成臉部信 息映射。根據(jù)這樣獲得的臉部信息映射，就能夠在輸入圖像中簡單地檢測出作為拍攝物的 人的臉部區(qū)域。進(jìn)而，參照圖13的流程圖，就與圖8的步驟S15的處理相對應(yīng)的運(yùn)動信息提取處 理進(jìn)行說明。在步驟S171中，局部運(yùn)動矢量提取部211使用被提供的輸入圖像，通過梯度法等 來檢測輸入圖像各像素的局部運(yùn)動矢量，并提供給差分計算部213。在步驟S172中，全局運(yùn)動矢量提取部212使用被提供的輸入圖像來檢測全局運(yùn)動 矢量，并提供給差分計算部213。在步驟S173中，差分計算部213求解來自局部運(yùn)動矢量提取部211的局部運(yùn)動矢 量、和來自全局運(yùn)動矢量提取部212的全局運(yùn)動矢量之間的差分的絕對值生成運(yùn)動差分圖 像。而且，差分計算部213將所生成的運(yùn)動差分圖像提供給運(yùn)動信息映射生成部214。在步驟S174中，運(yùn)動信息映射生成部214將從差分計算部213提供的差分圖像進(jìn) 行標(biāo)準(zhǔn)化作為運(yùn)動信息映射，并提供給拍攝物映射生成部46。這里，以使各像素的像素值成 為例如0至255之間的值的方式進(jìn)行差分圖像的標(biāo)準(zhǔn)化。若生成了運(yùn)動信息映射，就結(jié)束 運(yùn)動信息提取處理，處理進(jìn)入圖8的步驟S16。這樣，運(yùn)動信息提取部45根據(jù)輸入圖像檢測運(yùn)動，并根據(jù)其檢測結(jié)果生成運(yùn)動信 息映射。根據(jù)這樣獲得的運(yùn)動信息映射，就能夠在輸入圖像中簡單地檢測出有運(yùn)動的物體 的區(qū)域。在輸入圖像中有運(yùn)動的物體的區(qū)域就是看了輸入圖像一眼的觀察者易于關(guān)注的區(qū) 域，作為拍攝物的可能性較高。
通過在以上所說明的亮度信息提取處理至運(yùn)動信息提取處理獲得各信息映射，并根據(jù)這些信息映射生成拍攝物映射。下面，參照圖14的流程圖，對與圖8的步驟S17的處理相對應(yīng)的模糊判定處理進(jìn) 行說明。在步驟S211中，邊緣映射生成部241使用被提供的輸入圖像和來自拍攝物映射生 成部46的拍攝物映射生成邊緣映射。具體而言，邊緣映射生成部241使用拍攝物映射從輸入圖像中提取拍攝物圖像。 亦即，將輸入圖像中的與像素值大于等于規(guī)定值的拍攝物映射的像素是相同像素的區(qū)域設(shè) 為輸入圖像上的拍攝物區(qū)域，將包含該區(qū)域的輸入圖像上的規(guī)定大小的區(qū)域設(shè)為拍攝物圖像。另外，邊緣映射生成部241將拍攝物圖像分割成2X2像素大小的塊，并根據(jù)下式 (1)至式(6)來計算出各塊內(nèi)的像素之間的像素值的差分的絕對值M^tk至絕對值Μ^βκ。數(shù)學(xué)公式1Mtl_tk = |a_b|... (1)Mtl_bl = |a_c I... (2)Mtl_be = a-d... (3)Mte_bl = I b-c...(4)Mte_be = I b-d...(5)MBL_BK=|c_d|...(6)此外，在式⑴至式(6)中，a、b、c、d分別表示拍攝物圖像的2X2像素大小的塊 內(nèi)的像素的像素值。例如，如圖15所示那樣，像素值a表示塊內(nèi)的圖中左上像素的像素值。 另外，像素值b表示圖中塊內(nèi)右上像素的像素值，像素值c表示塊內(nèi)左下像素的像素值，像 素值d表示塊內(nèi)右下像素的像素值。接著，邊緣映射生成部241根據(jù)下式(7)來計算絕對值M^tk至絕對值M^bk的平 均值MAre。此平均值Matc表示塊內(nèi)上下、左右以及斜向的邊緣強(qiáng)度的平均值。數(shù)學(xué)公式2
<formula>formula see original document page 19</formula>邊緣映射生成部241通過將計算出的平均值MAre按與拍攝物圖像的對應(yīng)塊相同的 順序進(jìn)行排列，來生成標(biāo)度SCl的邊緣映射。進(jìn)而，邊緣映射生成部241為了生成標(biāo)度SC2以及標(biāo)度SC3的邊緣映射，利用下式 (8)生成標(biāo)度SC2以及標(biāo)度SC3的平均化圖像。數(shù)學(xué)公式3<formula>formula see original document page 19</formula> 此外，在式⑶中，pi(x，y)表示標(biāo)度SCi(其中，1彡i彡3)的平均化圖像中的位 于坐標(biāo)(X，y)的像素的像素值。另外，Pi+1 (X，y)表示標(biāo)度SCi+1的平均化圖像中的位于坐 標(biāo)(x，y)的像素的像素值。此外，設(shè)標(biāo)度SCl的平均化圖像為拍攝物圖像。從而，標(biāo)度SC2 的平均化圖像就是以將拍攝物圖像分割成2X2像素大小的塊的各塊內(nèi)像素的像素值的平均值作為一個像素的像素值的圖像。另外，標(biāo)度SC3的平均化圖像就是以將標(biāo)度SC2的平 均化圖像分割成2X2像素大小的塊的各塊內(nèi)像素的像素值的平均值作為一個像素的像素 值的圖像。邊緣映射生成部241對標(biāo)度SC2以及標(biāo)度SC3的平均化圖像，分別使用式(1)至 式(7)進(jìn)行與對拍攝物圖像進(jìn)行的處理相同的處理，生成標(biāo)度SC2以及標(biāo)度SC3的邊緣映射。從而，標(biāo)度SCl至標(biāo)度SC3的邊緣映射就分別成為從輸入圖像中提取不同頻帶的 邊緣成分而獲得的圖像。此外，標(biāo)度SCl的邊緣映射的像素數(shù)為拍攝物圖像的1/4 (縱1/2 X 橫1/2)，標(biāo)度SC2的邊緣映射的像素數(shù)為拍攝物圖像的1/16 (縱1/4X橫1/4)，標(biāo)度SC3 的邊緣映射的像素數(shù)為拍攝物圖像的1/64(縱1/8X橫1/8)。邊緣映射生成部241將所生成的標(biāo)度SCl至標(biāo)度SC3的邊緣映射提供給動態(tài)范圍 檢測部242以及局部最大值生成部244。這樣，通過以不同大小的塊為單位生成不同標(biāo)度的 邊緣映射，就能夠抑制邊緣強(qiáng)度的波動。在步驟S212中，動態(tài)范圍檢測部242使用從邊緣映射生成部241提供的邊緣映射 來檢測拍攝物圖像的動態(tài)范圍，并將其檢測結(jié)果提供給運(yùn)算參數(shù)調(diào)整部243。具體而言，動態(tài)范圍檢測部242從標(biāo)度SCl至標(biāo)度SC3的邊緣映射之中檢測出像 素值的最大值和最小值，并設(shè)從檢測出的像素值的最大值中減去最小值而得到的值為拍攝 物圖像的邊緣強(qiáng)度的動態(tài)范圍。亦即，檢測出拍攝物圖像的邊緣強(qiáng)度的最大值與最小值的 差作為動態(tài)范圍。此外，除上述方法以外，例如還考慮按每個邊緣映射檢測出動態(tài)范圍，并采用檢測 出的動態(tài)范圍的最大值或平均值等作為實際使用的動態(tài)范圍。在步驟S213中，運(yùn)算參數(shù)調(diào)整部243根據(jù)從動態(tài)范圍檢測部242提供的動態(tài)范圍 設(shè)定運(yùn)算參數(shù)的初始值。亦即，運(yùn)算參數(shù)調(diào)整部243在動態(tài)范圍低于規(guī)定的閾值的情況下，將拍攝物圖像 設(shè)為低動態(tài)范圍的圖像，在動態(tài)范圍大于等于閾值的情況下，將拍攝物圖像設(shè)為高動態(tài)范 圍的圖像。而且，運(yùn)算參數(shù)調(diào)整部243在拍攝物圖像為低動態(tài)范圍的圖像時，將運(yùn)算參數(shù)設(shè) 定為低動態(tài)范圍的圖像用的初始值。另外，運(yùn)算參數(shù)調(diào)整部243在拍攝物圖像為高動態(tài)范 圍的圖像時，將運(yùn)算參數(shù)設(shè)定為高動態(tài)范圍的圖像用的初始值。這里，低動態(tài)范圍的圖像被推定為與高動態(tài)范圍的圖像相比較邊緣較少且所提取 出的邊緣點(diǎn)的量較少。因此，將低動態(tài)范圍的圖像用的邊緣基準(zhǔn)值的初始值設(shè)為比高動態(tài) 范圍的圖像用的邊緣基準(zhǔn)值的初始值小的值，以能夠提取出充分量的邊緣點(diǎn)而使得拍攝物 圖像的模糊度檢測精度在一定等級以上。另外，將低動態(tài)范圍的圖像用的提取基準(zhǔn)值的初 始值設(shè)為比高動態(tài)范圍的圖像用的提取基準(zhǔn)值的初始值小的值。運(yùn)算參數(shù)調(diào)整部243將根據(jù)動態(tài)范圍設(shè)定的邊緣基準(zhǔn)值提供給邊緣點(diǎn)提取部 245，并將邊緣基準(zhǔn)值以及提取基準(zhǔn)值提供給提取量判定部246。在步驟S214中，局部最大值生成部244使用從邊緣映射生成部241提供的邊緣映 射生成局部最大值，并提供給邊緣點(diǎn)提取部245以及邊緣分析部247。例如，局部最大值生成部244如圖16的左側(cè)所示那樣，將標(biāo)度SCl的邊緣映射分割成2X 2像素的塊。而且，局部最大值生成部244提取出邊緣映射的各塊的最大值，并將 提取出的最大值按與對應(yīng)塊相同的順序進(jìn)行排列，由此來生成標(biāo)度SCl的局部最大值LM1。 也就是說，各塊內(nèi)的像素的像素值的最大值被提取出來。另外，局部最大值生成部244如圖中中央所示那樣，將標(biāo)度SC2的邊緣映射分割成 4X 4像素的塊。而且，局部最大值生成部244提取出邊緣映射的各塊的最大值，并將提取出 的最大值按與對應(yīng)塊相同的順序進(jìn)行排列，由此來生成標(biāo)度SC2的局部最大值LM2。進(jìn)而，局部最大值生成部244如圖中右側(cè)所示那樣，將標(biāo)度SC3的邊緣映射分割成 8 X 8像素的塊。而且，局部最大值生成部244提取出邊緣映射的各塊的最大值，并將提取出 的最大值按與對應(yīng)塊相同的順序進(jìn)行排列，由此來生成標(biāo)度SC3的局部最大值LM3。
在步驟S215中，邊緣點(diǎn)提取部245使用從局部最大值生成部244提供的局部最大 值和從拍攝物映射生成部46提供的拍攝物映射，從拍攝物圖像的拍攝物區(qū)域中提取邊緣 點(diǎn)ο具體而言，邊緣點(diǎn)提取部245參照拍攝物映射，選擇拍攝物圖像中的拍攝物區(qū)域 內(nèi)的一個像素，作為關(guān)注像素。此外，將拍攝物圖像上的拍攝物區(qū)域設(shè)為由處于與像素值大 于等于規(guī)定值的拍攝物映射的像素相同的位置的、拍攝物圖像上的像素所構(gòu)成的區(qū)域。另外，邊緣點(diǎn)提取部245將所選擇的關(guān)注像素在拍攝物圖像上的xy坐標(biāo)系的坐標(biāo) 設(shè)為(X，y)，并利用下式(9)求解與關(guān)注像素相對應(yīng)的局部最大值LMl的像素的坐標(biāo)(XI， yl)。(xl，yl) = (x/4，y/4)…(9)此外，在式(9)中，將χ/4以及y/4的值的小數(shù)點(diǎn)以下舍去。由于由拍攝物圖像的4X4像素的塊生成局部最大值LMl的一個像素，故與拍攝物 圖像的關(guān)注像素相對應(yīng)的局部最大值LMl的像素的坐標(biāo)成為分別使關(guān)注像素的χ坐標(biāo)以及 y坐標(biāo)成為1/4后的值。同樣地，邊緣點(diǎn)提取部245利用下式(10)以及式(11)來求解與關(guān)注像素相對應(yīng) 的局部最大值LM2的像素的坐標(biāo)(x2，y2)、以及與關(guān)注像素相對應(yīng)的局部最大值LM3的像 素的坐標(biāo)(x3，y3)。(x2，y2) = (x/16，y/16)... (10)(x3, y3) = (x/64, y/64)…(11)此外，在式(10)以及式(11)中，將x/16、y/16、x/64以及y/64的值的小數(shù)點(diǎn)以下 舍去。進(jìn)而，在局部最大值LMl的坐標(biāo)(xl，yl)的像素的像素值大于等于邊緣基準(zhǔn)值的 情況下，邊緣點(diǎn)提取部245將關(guān)注像素作為局部最大值LMl中的邊緣點(diǎn)進(jìn)行提取。而且，邊 緣點(diǎn)提取部245將關(guān)注像素的坐標(biāo)(x，y)和局部最大值LMl的坐標(biāo)(xl，yl)的像素值對應(yīng) 起來進(jìn)行存儲。同樣地，在局部最大值LM2的坐標(biāo)(x2，y2)的像素的像素值大于等于邊緣基準(zhǔn)值 的情況下，邊緣點(diǎn)提取部245將關(guān)注像素作為局部最大值LM2中的邊緣點(diǎn)進(jìn)行提取，并將關(guān) 注像素的坐標(biāo)(χ，y)和局部最大值LM2的坐標(biāo)(x2，y2)的像素值對應(yīng)起來進(jìn)行存儲。另 夕卜，在局部最大值LM3的坐標(biāo)(x3，y3)的像素的像素值大于等于邊緣基準(zhǔn)值的情況下，邊緣 點(diǎn)提取部245將關(guān)注像素作為局部最大值LM3中的邊緣點(diǎn)進(jìn)行提取，并將關(guān)注像素的坐標(biāo)(X，y)和局部最大值LM3的坐標(biāo)(x3，y3)的像素值對應(yīng)起來進(jìn)行存儲。邊緣點(diǎn)提取部245反復(fù)進(jìn)行以上處理直到拍攝物圖像中的拍攝物區(qū)域內(nèi)的所有 像素被設(shè)為關(guān)注像素為止。據(jù)此，基于局部最大值LM1，提取出拍攝物圖像上的拍攝物區(qū)域內(nèi)的4X4像素塊 之中的、邊緣強(qiáng)度大于等于邊緣基準(zhǔn)值的塊中所包含的像素，作為邊緣點(diǎn)。同樣地，基于局部最大值LM2，提取出拍攝物圖像上的拍攝物區(qū)域內(nèi)的16X16像 素塊之中的、塊內(nèi)的邊緣強(qiáng)度大于等于邊緣基準(zhǔn)值的塊中所包含的像素，作為邊緣點(diǎn)。另 夕卜，基于局部最大值LM3，提取出拍攝物圖像上的拍攝物區(qū)域內(nèi)的64X64像素塊之中的、塊 內(nèi)的邊緣強(qiáng)度大于等于邊緣基準(zhǔn)值的塊中所包含的像素，作為邊緣點(diǎn)。從而，邊緣強(qiáng)度大于等于邊緣基準(zhǔn)值的拍攝物區(qū)域的4X4像素、16X 16像素或者 64X64像素的塊的至少一個中所包含的像素作為邊緣點(diǎn)被提取出來。邊緣點(diǎn)提取部245生成將基于局部最大值LMl所提取出的邊緣點(diǎn)的坐標(biāo)(x，y)和 與該邊緣點(diǎn)相對應(yīng)的局部最大值LMl的像素的像素值對應(yīng)起來的表即邊緣點(diǎn)表ETl。同樣地，邊緣點(diǎn)提取部245生成將基于局部最大值LM2所提取出的邊緣點(diǎn)的坐標(biāo) (X，y)和與該邊緣點(diǎn)相對應(yīng)的局部最大值LM2的像素的像素值對應(yīng)起來的邊緣點(diǎn)表ET2。 另外，邊緣點(diǎn)提取部245還生成將基于局部最大值LM3所提取出的邊緣點(diǎn)的坐標(biāo)(X，y)和 與該邊緣點(diǎn)相對應(yīng)的局部最大值LM3的像素的像素值對應(yīng)起來的邊緣點(diǎn)表ET3。而且，邊緣點(diǎn)提取部245將所生成的這些邊緣點(diǎn)表提供給提取量判定部246。在步驟S216中，提取量判定部246使用從邊緣點(diǎn)提取部245提供的邊緣點(diǎn)表來判 定邊緣點(diǎn)提取量是否適當(dāng)。例如，在所提取出的邊緣點(diǎn)的合計數(shù)、亦即邊緣點(diǎn)表ETl至邊緣 點(diǎn)表ET3的數(shù)據(jù)數(shù)的合計低于從運(yùn)算參數(shù)調(diào)整部243提供的提取基準(zhǔn)值的情況下，就判定 為邊緣點(diǎn)提取量不適當(dāng)。當(dāng)在步驟S216中判定為邊緣點(diǎn)提取量不適當(dāng)?shù)那闆r下，提取量判定部246將表示 邊緣點(diǎn)提取量不適當(dāng)?shù)男畔⑼ㄖo運(yùn)算參數(shù)調(diào)整部243，處理進(jìn)入步驟S217。在步驟S217中，運(yùn)算參數(shù)調(diào)整部243根據(jù)來自提取量判定部246的通知來調(diào)整運(yùn)
算參數(shù)。例如，為了提取出比當(dāng)前時間點(diǎn)多的邊緣點(diǎn)，運(yùn)算參數(shù)調(diào)整部243使邊緣基準(zhǔn)值 成為從當(dāng)前時間點(diǎn)已設(shè)定的值中相應(yīng)地減小規(guī)定的值后的值。運(yùn)算參數(shù)調(diào)整部243將經(jīng)過 調(diào)整的邊緣基準(zhǔn)值提供給邊緣點(diǎn)提取部245以及提取量判定部246。若調(diào)整了運(yùn)算參數(shù)，之后的處理就返回到步驟S215，并反復(fù)進(jìn)行上述處理直到判 定為邊緣點(diǎn)提取量適當(dāng)為止。另外，當(dāng)在步驟S216中判定為邊緣點(diǎn)提取量適當(dāng)?shù)那闆r下，提取量判定部246將 來自運(yùn)算參數(shù)調(diào)整部243的邊緣基準(zhǔn)值和邊緣點(diǎn)表提供給邊緣分析部247，處理進(jìn)入步驟 S218。通過以上處理，為了提高模糊度的檢測精度，對于低動態(tài)范圍的拍攝物圖像，也從 邊緣強(qiáng)度較弱的塊中提取邊緣點(diǎn)，以便能夠確保充分量的邊緣點(diǎn)而使得拍攝物的模糊度檢 測精度在一定等級以上。另一方面，對于高動態(tài)范圍的拍攝物圖像，則盡量從邊緣強(qiáng)度較強(qiáng) 的塊中提取邊緣點(diǎn)，以使得構(gòu)成較強(qiáng)邊緣的邊緣點(diǎn)被提取出來。在步驟S218中，邊緣分析部247使用從提取量判定部246提供的邊緣基準(zhǔn)值及邊緣點(diǎn)表、和從局部最大值生成部244提供的局部最大值進(jìn)行邊緣分析。具體地，邊緣分析部247基于邊緣點(diǎn)表ETl至邊緣點(diǎn)表ET3，將從拍攝物圖像中提 取出的邊緣點(diǎn)之中的一個設(shè)為關(guān)注像素。而且，邊緣分析部247將關(guān)注像素的xy坐標(biāo)系的 坐標(biāo)設(shè)為(χ，y)，并利用上述的式(9)至(11)來求解與關(guān)注像素相對應(yīng)的局部最大值LMl 至局部最大值LM3的像素的坐標(biāo)(xl，yl)至坐標(biāo)(x3，y3)。邊緣分析部247將以局部最大值LMl的坐標(biāo)(xl，yl)的像素作為左上角像素的 mXm像素(例如，4X4像素)的局部最大值LMl上的塊內(nèi)像素的像素值的最大值設(shè)定成 Local Maxl(Xl，yl)。另外，邊緣分析部247將以局部最 大值LM2的坐標(biāo)(X2，y2)的像素作為 左上角像素的nXn像素(例如，2X2像素)的塊內(nèi)像素值的最大值設(shè)定成Local Max2(x2, y2)，將局部最大值LM3的坐標(biāo)(x3，y3)的像素值設(shè)定成Local Max3(x3, y3)。此外，用于設(shè)定Local Maxl(xl，yl)的 mXm、以及用于設(shè)定 LocalMax2 (x2，y2)的 nXn參數(shù)是用于調(diào)整局部最大值LMl至局部最大值LM3的與一個像素相對應(yīng)的拍攝物圖像 的塊的大小的差的參數(shù)。邊緣分析部247 判定 Local Maxl (xl，yl)、Local Max2(x2，y2)以及 Local Max3(x3,y3)是否滿足以下條件式(12)。在 LocalMaxl (xl，yl)、Local Max2(x2,y2)以及 Local Max3(x3,y3)滿足條件式(12)的情況下，邊緣分析部247將變量Nedge的值遞增一。數(shù)學(xué)公式4Local maxl(xl，yl) >邊緣基準(zhǔn)值或Local max2(x2，y2) >邊緣基準(zhǔn)值...(12)或Local max3(x3，y3) >邊緣基準(zhǔn)值此外，滿足條件式(12)的邊緣點(diǎn)被推定為構(gòu)成圖17的A至圖17的D所示的邊緣 等、不論其構(gòu)造如何都具有一定以上強(qiáng)度的邊緣的邊緣點(diǎn)。這里，圖17的A所示的邊緣被設(shè)為陡峭的脈沖狀邊緣，圖17的B所示的邊緣被設(shè) 為斜率比圖17的A的邊緣緩的脈沖狀邊緣，圖17的C所示的邊緣被設(shè)為斜率大致垂直的 臺階狀邊緣。另外，圖17的D所示的邊緣被設(shè)為斜率比圖17的C的邊緣緩的臺階狀邊緣。在Local Maxl (xl, yl) ,Local Max2(x2,y2)以及 Local Max3 (x3，y3)滿足條件式 (12)的情況下，邊緣分析部247進(jìn)一步判定是否滿足以下的條件式(13)或者條件式(14)。 在 Local Maxl(xl,yl) ,Local Max2(x2，y2)以及 Local Max3(x3,y3)滿足條件式(13)或 者條件式(14)的情況下，邊緣分析部247將變量Nsmallblur的值遞增一。數(shù)學(xué)公式5Local maxl(xl, yl) < Local max2(x2, y2) < Local max3(x3, y3)…(13)Local max2(x2, y2) > Local maxl (xl, yl)和…(14)Local max2 (x2, y2) > Local max3 (x3, y3)此外，滿足條件式(12)、且滿足條件式(13)或者條件式(14)的邊緣點(diǎn)被推定為構(gòu) 成如下的邊緣的邊緣點(diǎn)，即雖然具有一定以上強(qiáng)度但強(qiáng)度與圖17的A或者圖17的C的邊緣相比較弱，具有圖17的B或者圖17的D的構(gòu)造的邊緣。進(jìn)而，在 Local Maxl(xl, yl)、Local Max2(x2, y2)以及 LocalMax3 (x3，y3)滿足 條件式(12)、且滿足條件式(13)或者條件式(14)的情況下，邊緣分析部247判定Local Maxl(xl,yl)是否滿足以下的條件式(15)。在Local Maxl(xl,yl)滿足條件式(15)的情 況下，邊緣分析部17將變量Nlargeblur的值遞增一。數(shù)學(xué)公式6Local maxl(xl，yl) <邊緣基準(zhǔn)值...(15)此外，滿足條件式(12)、且滿足條件式(13)或者條件式(14)、且滿足條件式(15) 的邊緣點(diǎn)被推定為構(gòu)成具有一定以上強(qiáng)度的圖17的B或者圖17的D的構(gòu)造的邊緣之中的、 產(chǎn)生模糊而失去清晰的邊緣的邊緣點(diǎn)。換言之，推定為在該邊緣點(diǎn)產(chǎn)生模糊。邊緣分析部247反復(fù)進(jìn)行以上處理直到從拍攝物圖像所提取出的所有邊緣點(diǎn)被 設(shè)為關(guān)注像素為止。據(jù)此，求得所提取出的邊緣點(diǎn)之中的、邊緣點(diǎn)的數(shù)量Nedge、邊緣點(diǎn)的數(shù) 量Nsmallblur以及邊緣點(diǎn)的數(shù)量Nlargeblur。這里，數(shù)量Nedge是滿足條件式(13)的邊緣點(diǎn)的數(shù)量，數(shù)量Nsmallblur是滿足條 件式(12)、且滿足條件式(13)或者條件式(14)的邊緣點(diǎn)的數(shù)量。另外，數(shù)量Nlargeblur 是滿足條件式(12)、且滿足條件式(13)或者條件式(14)、且滿足條件式(15)的邊緣點(diǎn)的數(shù)量。邊緣分析部247將計算出的數(shù)量Nsmallblur以及數(shù)量Nlargeblur提供給模糊度 檢測部248。在步驟S219中，模糊度檢測部248使用來自邊緣分析部247的數(shù)量Nsmallblur 以及數(shù)量Nlargeblur來計算下式(16)，以檢測出作為輸入圖像中的拍攝物的模糊情況的 指標(biāo)的模糊度BlurEstimation。數(shù)學(xué)公式7<formula>formula see original document page 24</formula> (16)亦即，模糊度BlurEstimation就是在被推定為構(gòu)成具有一定以上強(qiáng)度的圖17的 B或者圖17的D的構(gòu)造的邊緣的邊緣點(diǎn)之中，被推定為構(gòu)成發(fā)生模糊的邊緣的邊緣點(diǎn)所 占的比率。從而，模糊度BlurEstimation越大則推定為拍攝物的模糊情況越重，模糊度 BlurEstimation越小則推定為拍攝物的模糊情況越輕。模糊度檢測部248，若求出了模糊度BlurEstimation，就基于模糊度 BlurEstimation來求解拍攝物的模糊情況越輕則值越大的模糊度作為最終模糊度。而且， 模糊度檢測部248將所求出的最終模糊度提供給得分計算部54，結(jié)束模糊判定處理，處理 進(jìn)入圖8的步驟S18。這里，求解拍攝物的模糊情況越輕則值越大的那樣的模糊度作為最終模糊度是因 為拍攝物的模糊情況越輕則輸入圖像的得分越成為大的值的緣故。如以上那樣，模糊判定部51根據(jù)輸入圖像和拍攝物映射計算出表示輸入圖像上 的拍攝物區(qū)域的模糊情況的模糊度。在計算模糊度時，由于根據(jù)拍攝物圖像適當(dāng)?shù)乜刂铺?取邊緣點(diǎn)的條件以及邊緣點(diǎn)的提取量，所以能夠以較高精度檢測出拍攝物的模糊情況。另外，由于使用拍攝物映射檢測拍攝物區(qū)域的模糊情況，因此，對于肖像、風(fēng)景畫等，能夠不依賴于拍攝物而確切地檢測出拍攝物的模糊情況。而且，由于將模糊情況的檢測 對象僅設(shè)為拍攝物區(qū)域來進(jìn)行即可，所以與以往所進(jìn)行的利用小波變換來檢測拍攝物的模 糊情況的方法相比，能夠?qū)崿F(xiàn)1. 5倍左右的高速化。此外，雖然在以上說明的是通過生成拍攝物映射來確定輸入圖像上的拍攝物區(qū) 域，但是確定輸入圖像上的拍攝物區(qū)域的方法并不限于拍攝物映射，利用怎樣的方法都可 以。例如，既可以是將輸入圖像中的處于所謂黃金線上的物體作為拍攝物檢測出來，也可以 是將從輸入圖像檢測出的人的臉部設(shè)為拍攝物。另外，求解輸入圖像上的拍攝物區(qū)域的模糊度的處理也是利用怎樣的方法都可 以。例如，還可以利用小波變換來提取構(gòu)成輸入圖像的拍攝物區(qū)域內(nèi)的邊緣的邊緣點(diǎn)，并對 該邊緣點(diǎn)的類型進(jìn)行分析，由此來求解拍攝物的模糊度。這種利用小波變換來檢測拍攝物的模糊度的方法，例如被記載于“ Hanghang Tong, Mingjing Li, Hongjiang Zhang and Changshui Zhang, " Blur Detection for Digital Images Using Wavelet Transform“，，等。進(jìn)而，雖然說明的是將輸入圖像上的拍攝物區(qū)域作為處理對象來檢測拍攝物的模 糊度，但還可以在未從輸入圖像檢測出拍攝物的情況下，例如在拍攝物映射中沒有大于等 于規(guī)定值的像素的情況下，將輸入圖像整體作為處理對象來求解輸入圖像整體的模糊度。 這樣求出的輸入圖像的模糊度被提供給得分計算部54，用于輸入圖像的得分計算。[加權(quán)學(xué)習(xí)的概要]而且，圖像處理裝置11從輸入圖像中檢測出拍攝物，并考慮輸入圖像的拍攝物區(qū) 域的模糊程度來求解輸入圖像的得分。以往，作為從圖像中檢測出拍攝物的方法，已知有將圖像上的前景和背景進(jìn)行分 離的方法(例如，參照日本特開2003-16448號公報)。在此方法中，通過進(jìn)行將圖像分割成 多個塊并使用顏色和亮度將相似塊聯(lián)系起來的分割(segmentation)處理，來將圖像分離 成前景和背景。另外，作為從圖像中檢測出拍攝物的方法，還有將臉部或者膚色區(qū)域作為拍 攝物區(qū)域從圖像中檢測出的方法(例如，參照日本特開2004-72655號公報)。但是，利用這些技術(shù)從圖像中確切地檢測出拍攝物卻有困難。例如，在將圖像中的臉部或者膚色區(qū)域作為拍攝物區(qū)域的方法中，因只能檢測出 人的臉部或者人的皮膚作為拍攝物，故在拍攝物為動物或植物、建筑物等的情況下，無法從 圖像中檢測出這些拍攝物。另外，在將圖像分離成前景和背景的方法中，因根據(jù)各塊的顏色和亮度的相似性 來進(jìn)行前景和背景的分離，故被設(shè)為前景的區(qū)域也未必成為拍攝物區(qū)域。并且，因每個塊每 個塊地進(jìn)行分割(segmentation)，故可能無法正確地判定圖像上有無特征(texture)，有 時無法確切地檢測出拍攝物。相對于此，在圖像處理裝置11中，從輸入圖像提取被推定為拍攝物區(qū)域較多具有 的多個信息，并使用這些信息來生成拍攝物映射，由此就能夠更確切地從輸入圖像中檢測 出拍攝物區(qū)域。而且，在輸入圖像上越是被推定為看了輸入圖像一眼的觀察者較為關(guān)注的 區(qū)域，拍攝物映射的像素值就越大，所以并不限于拍攝物為人的情況，即便是動物或植物、 建筑物等一般物體也能夠檢測出來。通過從輸入圖像中提取亮度、顏色、邊緣、臉部、運(yùn)動等信息來生成這種拍攝物映射。亦即，將根據(jù)這些提取出的信息的塔式圖像所獲得的差分圖像利用差分加權(quán)Wa進(jìn)行加 權(quán)相加運(yùn)算，作為信息映射，將這些信息映射利用信息加權(quán)Wb進(jìn)行加權(quán)相加運(yùn)算。而且，進(jìn) 一步對作為其結(jié)果而獲得的圖像(映射)乘以拍攝物加權(quán)Wc，作為拍攝物映射。例如通過基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)來求解在生成拍攝物映射時所使用的這些差分加 權(quán)Wa、信息加權(quán)Wb以及拍攝物加權(quán)Wc。作為在這些加權(quán)的學(xué)習(xí)時使用的學(xué)習(xí)圖像，并不限 于人，如果利用包含一般的拍攝物的圖像，則通過學(xué)習(xí)獲得加權(quán)，并利用使用該加權(quán)生成的 拍攝物映射，就能夠更確切地從輸入圖像中檢測出一般的拍攝物。以下，對為了生成拍攝物映射而使用的差分加權(quán)Wa、信息加權(quán)Wb以及拍攝物加權(quán) Wc的學(xué)習(xí)進(jìn)行說明。首先，參照圖18以及圖19，對基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)的概要進(jìn)行說明。在學(xué)習(xí)時，如圖18所示使用被賦予了初始值的差分加權(quán)Wa、信息加權(quán)Wb以及拍攝 物加權(quán)Wc和包含拍攝物的學(xué)習(xí)圖像，生成拍攝物映射。具體而言，就是生成在拍攝物映射生成時從學(xué)習(xí)圖像提取出的每個信息的差分圖 像An(m)(其中，1彡n彡N，1彡m彡6)。這里，差分圖像An⑴至差分圖像An(6)就是從 學(xué)習(xí)圖像提取出的與一個信息有關(guān)的差分圖像。例如，差分圖像A1⑴至差分圖像A1 (6)被設(shè)為使用從學(xué)習(xí)圖像所獲得的亮度的 塔式圖像而生成的、亮度的差分圖像。另外，例如，差分圖像AN(1)至差分圖像AN(6)被設(shè) 為使用從學(xué)習(xí)圖像所獲得的0度方向邊緣的塔式圖像而生成的、0度方向的差分圖像。此外，雖然在圖18中對按從學(xué)習(xí)圖像提取的每個信息獲得6個差分圖像的例子進(jìn) 行了表示，但差分圖像的數(shù)量為多少都可以。若根據(jù)學(xué)習(xí)圖像獲得了每個信息的差分圖像An (m)，則根據(jù)這些差分圖像和按每 個差分圖像的差分加權(quán)Wa來生成信息映射。此外，以下將用于與差分圖像An (m)相乘的差 分加權(quán)Wa也稱為差分加權(quán)Wan (m)。例如，利用每個差分圖像的差分加權(quán)Wal⑴至差分加權(quán)Wal (6)對差分圖像A1⑴ 至差分圖像A1 (6)進(jìn)行加權(quán)相加運(yùn)算，作為信息映射Blin。進(jìn)而，對此信息映射Blin進(jìn)行基 于預(yù)先決定的函數(shù)f(x)的運(yùn)算，作為其結(jié)果而獲得信息映射Bl。ut。例如，函數(shù)f(x)被設(shè)為下式(17)所示的雙曲線余弦函數(shù)(雙曲線正切函數(shù))。f (x) = aXtanh(xXb)— (17)此外，在式(17)中，a以及b表示預(yù)先決定的常數(shù)，x表示圖像上的像素的像素值。 從而，在求解信息映射Bl。ut的情況下，x就是信息映射Blin的像素的像素值。亦即，將信息映射Blin的像素的像素值x代入式(17)而得到的值f (x)就是處于 與該像素相同的位置的信息映射Bl。ut的像素的像素值。這樣得到的信息映射Bl。ut相當(dāng)于 在圖像處理裝置11中生成的信息映射、例如亮度信息映射。此外，函數(shù)f(x)并不限于雙曲線余弦函數(shù)，利用怎樣的函數(shù)都可以。例如，作為理 想模型，將函數(shù)f(x)設(shè)為在x彡0時輸出值為“1”，在乂 < 0時輸出值為“-1”的Sigmoid 函數(shù)。若如以上那樣得到了 N個信息映射Bl。ut至信息映射BN。ut，則利用按每個信息映射 的信息加權(quán)Wb對這些信息映射Bn。ut (其中，1 < n彡N)進(jìn)行加權(quán)相加運(yùn)算，作為拍攝物映 射Cin。而且，對此拍攝物映射Cin進(jìn)行基于預(yù)先決定的函數(shù)f(x)的運(yùn)算，作為其結(jié)果得到拍攝物映射C。ut。進(jìn)而，對此拍攝物映射C。ut乘以拍攝物加權(quán)Wc進(jìn)行標(biāo)準(zhǔn)化，作為最終的拍 攝物映射。此外，更詳細(xì)而言，在生成拍攝物映射Cin時，還使用不用生成差分圖像而得到的 信息映射、例如臉部信息映射等信息映射來進(jìn)行加權(quán)相加運(yùn)算。另外，以下將用于與信息映 射Bn。ut相乘的信息加權(quán)Wb也稱為信息加權(quán)Wbn。將這樣在學(xué)習(xí)時生成拍攝物映射的處理稱為ForwardPropagatior^向前延伸)。 若生成了拍攝物映射，則接著如圖19所示那樣進(jìn)行被稱為Back Propagation(向后延伸) 的處理，更新差分加權(quán)Wa、信息加權(quán)Wb以及拍攝物加權(quán)Wc。在稱為Back Propagation的 處理中，使用所生成的拍攝物映射和對學(xué)習(xí)圖像預(yù)先準(zhǔn)備的、表示學(xué)習(xí)圖像上的拍攝物區(qū) 域的信息即圖像標(biāo)簽，來求解應(yīng)當(dāng)使各加權(quán)增減的值即加權(quán)的差分。這里，圖像標(biāo)簽是與學(xué)習(xí)圖像相同大小的圖像，就是位于與學(xué)習(xí)圖像上的拍攝物 區(qū)域的像素相同的位置的像素的像素值被設(shè)為1、位于與學(xué)習(xí)圖像上的無拍攝物區(qū)域的像 素相同的位置的像素的像素值被設(shè)為0的圖像。在Back Propagation中，首先求解拍攝物映射和圖像標(biāo)簽之間的差分，將作為其 結(jié)果而得到的圖像作為評價映射。而且，利用下式(18)根據(jù)評價映射和拍攝物映射Cin來 求解應(yīng)當(dāng)使拍攝物加權(quán)Wc變化的量即拍攝物加權(quán)差分AWc。Affc = n XCinX AC... (18)在式(18)中，n表示預(yù)先決定的常數(shù)即學(xué)習(xí)速度，Cin表示拍攝物映射Cin。此外， 更詳細(xì)而言，式(18)中的Cin被設(shè)為拍攝物映射Cin的一個像素的像素值，按每個像素求解 拍攝物加權(quán)差分AWc。另外，AC是拍攝物映射的差分，根據(jù)下式(19)來求解。AC = EVXf' (Cin)...(19)在式(19)中，EV表示評價映射，f’ (Cin)是將拍攝物映射Cin代入對函數(shù)f(x)進(jìn) 行微分而得到的函數(shù)中所獲得的值。對函數(shù)f(x)進(jìn)行微分而得到的函數(shù)f’ (x)具體而言 就是 “aXbXsech (xXb)2”。若這樣得到了拍攝物加權(quán)差分AWc，則將拍攝物加權(quán)差分AWc加在這之前的拍 攝物加權(quán)Wc上進(jìn)行更新，求解出新的拍攝物加權(quán)Wc。接著，利用下式(20)使用經(jīng)過更新的拍攝物加權(quán)Wc和在生成拍攝物映射時生成 的信息映射Bnin來求解應(yīng)當(dāng)使信息加權(quán)Wbn變化的量即信息加權(quán)差分△ Wbn。Affbn = n XBninX ABn...(20)在式(20)中，n表示預(yù)先決定的常數(shù)即學(xué)習(xí)速度，Bnin表示信息映射Bnin。此外， 更詳細(xì)而言，將式(20)中的Bnin設(shè)為信息映射Bnin的一個像素的像素值，按每個像素求解 信息加權(quán)差分AWbn。另外，ABn是信息映射的差分，利用下式(21)來求解。ABn = AC Xf' (Bnin) Xffc ...(21)在式(21)中，AC表示計算上述式(19)而得到的值，f，(Bnin)是將信息映射Bnin 代入對函數(shù)f(x)進(jìn)行微分而得到的函數(shù)中所獲得的值。另外，Wc是經(jīng)過更新的拍攝物加 權(quán)Wc。若這樣得到了針對信息映射信息加權(quán)差分A Wbn，則將信息加權(quán)差分AWbn 與信息映射Bnin的信息加權(quán)Wbn相加進(jìn)行更新，求解出新的信息加權(quán)Wbn。進(jìn)而，利用下式(22)使用經(jīng)過更新的信息加權(quán)Wbn和在生成拍攝物映射時生成的差分圖像An (m)來求解應(yīng)當(dāng)使差分加權(quán)Wa變化的量即差分加權(quán)的差分AWan(m)。A Wan (m) = n XAn(m) X A An (m)... (22)在式(22)中，n表示預(yù)先決定的常數(shù)即學(xué)習(xí)速度，An(m)表示差分圖像An(m)。此 外，更詳細(xì)而言，將式(22)中的An(m)設(shè)為差分圖像An (m)的一個像素的像素值，按每個像 素求解差分AWan(m)。另外，AAn(m)是差分圖像的差分，利用下式(23)來求解。A An (m) = ABnXf，(An(m)) Xffbn...(23)在式(23)中，ABn表示計算上述式(21)而得到的值，f’ (An(m))是將差分圖像 An(m)代入對函數(shù)f(x)進(jìn)行微分而得到的函數(shù)中所獲得的值。另外，Wbn是經(jīng)過更新的信 息加權(quán)Wbn。若這樣得到了針對差分圖像An(m)的差分加權(quán)的差分A Wan (m)，則將差分加權(quán)的 差分AWan(m)與差分圖像An (m)的差分加權(quán)Wan (m)相加進(jìn)行更新，求解出新的差分加權(quán) Wan(m)。而且，使用以上那樣被更新的差分加權(quán)Wa、信息加權(quán)Wb以及拍攝物加權(quán)Wc和學(xué)習(xí) 圖像反復(fù)進(jìn)行上述處理，得到最終的差分加權(quán)Wa、信息加權(quán)Wb以及拍攝物加權(quán)Wc。這樣，在基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，根據(jù)使用預(yù)先提供的加權(quán)而生成的拍攝物映射 和圖像標(biāo)簽生成評價映射，進(jìn)而根據(jù)評價映射通過反運(yùn)算來求解應(yīng)當(dāng)使各加權(quán)變化的變化 量即加權(quán)的差分。這里，因圖像標(biāo)簽是表示學(xué)習(xí)圖像上的拍攝物區(qū)域的信息，因此可以說是表示拍 攝物映射的正確解答的信息。因此，拍攝物映射和圖像標(biāo)簽之間的差分即評價映射就表示 理想的拍攝物映射和使用被提供的加權(quán)而生成的拍攝物映射之間的誤差，若使用評價映射 進(jìn)行反運(yùn)算就求得被提供的加權(quán)和理想的加權(quán)之間的誤差。而且，所求出的誤差就是應(yīng)當(dāng)使被提供的加權(quán)變化的變化量，如果將此變化量加 在加權(quán)上就求得當(dāng)前時間點(diǎn)的理想加權(quán)。若使用這樣新求出的加權(quán)生成拍攝物映射，就能 夠利用該拍攝物映射更確切地從圖像中檢測出拍攝物。在基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，作為加 權(quán)的變化量求解差分A Wan (m)、信息加權(quán)差分A Wbn以及拍攝物加權(quán)差分AWc，并將各加 權(quán)更新。[學(xué)習(xí)裝置的構(gòu)成]接著，對通過基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)來求解在以上說明的差分加權(quán)Wa、信息加權(quán)Wb 以及拍攝物加權(quán)Wc的學(xué)習(xí)裝置進(jìn)行說明。圖20是表示應(yīng)用了本發(fā)明的學(xué)習(xí)裝置的一實施方式的構(gòu)成例的圖。圖像數(shù)據(jù)庫302以及圖像標(biāo)簽數(shù)據(jù)庫303與學(xué)習(xí)裝置301連接。圖像數(shù)據(jù)庫302 記錄有學(xué)習(xí)圖像，圖像標(biāo)簽數(shù)據(jù)庫303記錄有與圖像數(shù)據(jù)庫302中記錄的學(xué)習(xí)圖像有關(guān)的 圖像標(biāo)簽。學(xué)習(xí)裝置301使用從圖像數(shù)據(jù)庫302以及圖像標(biāo)簽數(shù)據(jù)庫303所取得的學(xué)習(xí)圖 像以及圖像標(biāo)簽來進(jìn)行學(xué)習(xí)。學(xué)習(xí)裝置301由拍攝物提取部311以及加權(quán)計算部312構(gòu)成。拍攝物提取部311使用從圖像數(shù)據(jù)庫302取得的學(xué)習(xí)圖像和從加權(quán)計算部312提 供的差分加權(quán)Wa、信息加權(quán)Wb以及拍攝物加權(quán)Wc，根據(jù)學(xué)習(xí)圖像生成拍攝物映射并提供給 加權(quán)計算部312。加權(quán)計算部312使用從圖像標(biāo)簽數(shù)據(jù)庫303取得的圖像標(biāo)簽和從拍攝物 提取部311提供的拍攝物映射，來更新差分加權(quán)Wa、信息加權(quán)Wb以及拍攝物加權(quán)Wc并提供
28給拍攝物提取部311。例如，拍攝物提取部311如圖21所示那樣構(gòu)成。亦即，拍攝物提取部311由亮度 信息提取部341、顏色信息提取部342、邊緣信息提取部343、臉部信息提取部44、運(yùn)動信息 提取部45以及拍攝物映射生成部344所構(gòu)成。此外，在圖21中，對與圖1的情況相對應(yīng)的 部分附加同一標(biāo)記，適當(dāng)?shù)厥÷云湔f明。亮度信息提取部341使用來自圖像數(shù)據(jù)庫302的學(xué)習(xí)圖像和來自加權(quán)計算部312 的差分加權(quán)Wa生成亮度信息映射，并提供給拍攝物映射生成部344。顏色信息提取部342 使用來自圖像數(shù)據(jù)庫302的學(xué)習(xí)圖像和來自加權(quán)計算部312的差分加權(quán)Wa生成顏色信息 映射，并提供給拍攝物映射生成部344。另外，邊緣信息提取部343使用來自圖像數(shù)據(jù)庫302 的學(xué)習(xí)圖像和來自加權(quán)計算部312的差分加權(quán)Wa生成邊緣信息映射，并提供給拍攝物映射 生成部344。
臉部信息提取部44使用來自圖像數(shù)據(jù)庫302的學(xué)習(xí)圖像生成臉部信息映射，并提 供給拍攝物映射生成部344。運(yùn)動信息提取部45使用來自圖像數(shù)據(jù)庫302的學(xué)習(xí)圖像生成 運(yùn)動信息映射，并提供給拍攝物映射生成部344。另外，亮度信息提取部341至邊緣信息提 取部343將差分圖像提供給拍攝物映射生成部344。拍攝物映射生成部344使用來自亮度信息提取部341至運(yùn)動信息提取部45的亮 度信息映射至運(yùn)動信息映射、來自加權(quán)計算部312的信息加權(quán)Wb以及拍攝物加權(quán)Wc生成 拍攝物映射。另外，拍攝物映射生成部344將所生成的拍攝物映射和來自亮度信息提取部 341至運(yùn)動信息提取部45的各信息映射以及差分圖像提供給加權(quán)計算部312。更詳細(xì)而言，圖21的亮度信息提取部341至邊緣信息提取部343如圖22至圖24 所示那樣構(gòu)成。圖22是表示亮度信息提取部341的構(gòu)成例的圖。亮度信息提取部341由亮度圖像生成部371、塔式圖像生成部372、差分計算部373 以及亮度信息映射生成部374構(gòu)成。此外，因亮度圖像生成部371至差分計算部373的每 個與圖2的亮度圖像生成部81至差分計算部83的每個相同，故省略其說明。亮度信息映射生成部374使用來自加權(quán)計算部312的差分加權(quán)Wa，對來自差分計 算部373的差分圖像(相當(dāng)于差分圖像An(m))進(jìn)行加權(quán)相加運(yùn)算。而且，亮度信息映射生 成部374將通過加權(quán)相加運(yùn)算而得到的圖像(相當(dāng)于信息映射BnJ代入函數(shù)f(x)進(jìn)行運(yùn) 算，由此生成亮度信息映射(相當(dāng)于信息映射Bn。ut)并提供給拍攝物映射生成部344。圖23是表示圖21的顏色信息提取部342的構(gòu)成例的圖。顏色信息提取部342由RG差分圖像生成部401、BY差分圖像生成部402、塔式圖 像生成部403、塔式圖像生成部404、差分計算部405、差分計算部406、顏色信息映射生成部 407以及顏色信息映射生成部408構(gòu)成。此外，因RG差分圖像生成部401至差分計算部406 的每個與圖3的RG差分圖像生成部111至差分計算部116的每個相同，故省略其說明。顏色信息映射生成部407使用來自加權(quán)計算部312的差分加權(quán)Wa，對來自差分計 算部405的RG差分的差分圖像(相當(dāng)于差分圖像An (m))進(jìn)行加權(quán)相加運(yùn)算。而且，顏色 信息映射生成部407將通過加權(quán)相加運(yùn)算而得到的圖像(相當(dāng)于信息映射BnJ代入函數(shù) f(x)進(jìn)行運(yùn)算，由此生成RG差分的顏色信息映射(相當(dāng)于信息映射Bn。ut)。同樣地，顏色信息映射生成部408使用來自加權(quán)計算部312的差分加權(quán)Wa，對來自差分計算部406的BY差分的差分圖像進(jìn)行加權(quán)相加運(yùn)算，并將由此所獲得的圖像代入函 數(shù)f(x)進(jìn)行運(yùn)算，生成BY差分的顏色信息映射。顏色信息映射生成部407以及顏色信息 映射生成部408將所生成的RG差分的顏色信息映射以及BY差分的顏色信息映射提供給拍 攝物映射生成部344。圖24是表示圖21的邊緣信息提取部343的構(gòu)成例的圖。邊緣信息提取部343由邊緣圖像生成部441至邊緣圖像生成部444、塔式圖像生成 部445至塔式圖像生成部448、差分計算部449至差分計算部452、以及邊緣信息映射生成 部453至邊緣信息映射生成部456構(gòu)成。此外，因邊緣圖像生成部441至差分計算部452 的每個與圖4的邊緣圖像生成部141至差分計算部152的每個相同，故省略其說明。邊緣信息映射生成部453使用來自加權(quán)計算部312的差分加權(quán)Wa，對來自差分計 算部449的0度方向的差分圖像(相當(dāng)于差分圖像An(m))進(jìn)行加權(quán)相加運(yùn)算。而且，邊緣 信息映射生成部453將通過加權(quán)相加運(yùn)算而得到的圖像(相當(dāng)于信息映射BnJ代入函數(shù) f(x)進(jìn)行運(yùn)算，由此生成0度方向的邊緣信息映射(相當(dāng)于信息映射Bn。ut)。同樣地，邊緣信息映射生成部454至邊緣信息映射生成部456使用來自加權(quán)計算 部312的差分加權(quán)Wa，對從差分計算部450至差分計算部452提供的各方向的差分圖像進(jìn) 行加權(quán)相加運(yùn)算并進(jìn)行函數(shù)f(x)的運(yùn)算，生成各方向的邊緣信息映射。邊緣信息映射生成 部453至邊緣信息映射生成部456將所生成的各方向的邊緣信息映射提供給拍攝物映射生 成部344。另外，更詳細(xì)而言，圖20的加權(quán)計算部312如圖25所示那樣構(gòu)成。亦即，加權(quán)計 算部312由評價映射生成部481、加權(quán)差分計算部482至加權(quán)差分計算部484、以及加權(quán)更 新部485構(gòu)成。評價映射生成部481使用來自拍攝物映射生成部344的拍攝物映射、來自圖像標(biāo) 簽數(shù)據(jù)庫303的圖像標(biāo)簽生成評價映射，并提供給加權(quán)差分計算部482。加權(quán)差分計算部482使用來自評價映射生成部481的評價映射、來自拍攝物映射 生成部344的拍攝物映射Cin生成拍攝物加權(quán)差分Δ Wc，并提供給加權(quán)更新部485。另外， 加權(quán)差分計算部482將在計算拍攝物加權(quán)差分AWc時所求出的拍攝物映射的差分AC提 供給加權(quán)差分計算部483。加權(quán)差分計算部483使用來自加權(quán)差分計算部482的拍攝物映射的差分Δ C、來自 拍攝物映射生成部344的信息映射Bnin、以及來自加權(quán)更新部485的拍攝物加權(quán)Wc生成信 息加權(quán)差分Δ Wbn，并提供給加權(quán)更新部485。另外，加權(quán)差分計算部483將在計算信息加 權(quán)差分AWbn時所求出的信息映射的差分ΔBn提供給加權(quán)差分計算部484。加權(quán)差分計算部484使用來自加權(quán)差分計算部483的信息映射的差分ΔΒη、來自 拍攝物映射生成部344的差分圖像An (m)、以及來自加權(quán)更新部485的信息加權(quán)Wbn生成差 分加權(quán)的差分Δ Wan (m)，并提供給加權(quán)更新部485。加權(quán)更新部485使用來自加權(quán)差分計算部482至加權(quán)差分計算部484的拍攝物加 權(quán)差分Δ Wc、信息加權(quán)差分AWbn以及差分加權(quán)的差分Δ Wan (m)，對拍攝物加權(quán)Wc、信息加 權(quán)Wb以及差分加權(quán)Wa進(jìn)行更新。另外，加權(quán)更新部485將經(jīng)過更新的拍攝物加權(quán)以及信 息加權(quán)提供給拍攝物映射生成部344，并且將差分加權(quán)提供給亮度信息提取部341至邊緣 信息提取部343、或者將拍攝物加權(quán)、信息加權(quán)以及差分加權(quán)設(shè)為通過學(xué)習(xí)而得到的最終加權(quán)進(jìn)行輸出。[學(xué)習(xí)裝置的動作]接著，參照圖26的流程圖，來說明學(xué)習(xí)裝置301使用學(xué)習(xí)圖像以及圖像標(biāo)簽通過學(xué)習(xí)來求解拍攝物加權(quán)Wc、信息加權(quán)Wb以及差分加權(quán)Wa的處理即學(xué)習(xí)處理。在步驟S251中，亮度信息提取部341進(jìn)行亮度信息提取處理來生成亮度信息映 射，并將所生成的亮度信息映射以及差分圖像提供給拍攝物映射生成部344。此外，因亮度 信息提取處理與參照圖9所說明的亮度信息提取處理相同，故省略其說明。但是，在步驟S251中使用來自圖像數(shù)據(jù)庫302的學(xué)習(xí)圖像生成亮度圖像。另外， 在與圖9的步驟S54相對應(yīng)的處理中，亮度信息映射生成部374使用從加權(quán)更新部485提 供的差分加權(quán)Wa，對來自差分計算部373的差分圖像進(jìn)行加權(quán)相加運(yùn)算，生成亮度信息映 射。亦即，利用差分加權(quán)Wan(m)對作為差分圖像An(m)的亮度差分圖像進(jìn)行加權(quán)相 加運(yùn)算，并設(shè)為信息映射Bnin，進(jìn)而對信息映射Bnin進(jìn)行式(17)的運(yùn)算，生成作為信息映射 Bnout的亮度信息映射。在生成信息映射Bnin時，對亮度的各差分圖像An (m)的像素的像素值乘以按每個 差分圖像的差分加權(quán)Wan(m)，并將乘過差分加權(quán)的、處于相同位置的各差分圖像的像素的 像素值的總和設(shè)為信息映射Bnin的像素的像素值。另外，在式(17)的運(yùn)算中，將信息映射 Bnin的各像素的像素值χ代入式(17)而得到的值被設(shè)為作為信息映射Bn。ut的亮度信息映 射的像素的像素值。亮度信息映射生成部374將來自差分計算部373的差分圖像、所生成的亮度信息 映射以及作為信息映射Bnin的亮度信息映射提供給拍攝物映射生成部344。在步驟S252中，顏色信息提取部342進(jìn)行顏色信息提取處理以生成顏色信息映 射，并將所生成的顏色信息映射以及差分圖像提供給拍攝物映射生成部344。此外，因顏色 信息提取處理與參照圖10所說明的顏色信息提取處理相同，故省略其說明。但是，在步驟S252中使用來自圖像數(shù)據(jù)庫302的學(xué)習(xí)圖像生成RG差分圖像以及 BY差分圖像。另外，在與圖10的步驟S85相對應(yīng)的處理中，顏色信息映射生成部407和顏 色信息映射生成部408使用來自加權(quán)更新部485的差分加權(quán)Wa，對來自差分計算部405和 差分計算部406的差分圖像進(jìn)行加權(quán)相加運(yùn)算，生成顏色信息映射。亦即，利用差分加權(quán)Wan(m)對作為差分圖像An(m)的RG差分的差分圖像、或者 BY差分的差分圖像進(jìn)行加權(quán)相加運(yùn)算，并設(shè)為信息映射Bnin。進(jìn)而對信息映射Bnin進(jìn)行式 (17)的運(yùn)算，生成作為信息映射Bn。ut的RG差分的顏色信息映射或者BY差分的顏色信息映 射。顏色信息映射生成部407和顏色信息映射生成部408將來自差分計算部405和差 分計算部406的差分圖像、所生成的顏色信息映射以及作為信息映射Bnin的顏色信息映射 提供給拍攝物映射生成部344。在步驟S253中，邊緣信息提取部343進(jìn)行邊緣信息提取處理來生成邊緣信息映 射，并將所生成的邊緣信息映射以及差分圖像提供給拍攝物映射生成部344。此外，因邊緣 信息提取處理與參照圖11所說明的邊緣信息提取處理相同，故省略其說明。但是，在步驟S253中使用來自圖像數(shù)據(jù)庫302的學(xué)習(xí)圖像生成各方向的邊緣圖像。另外，在與圖11的步驟S114相對應(yīng)的處理中，邊緣信息映射生成部453至邊緣信息映 射生成部456使用來自加權(quán)更新部485的差分加權(quán)Wa，對來自差分計算部449至差分計算 部452的差分圖像進(jìn)行加權(quán)相加運(yùn)算，生成邊緣信息映射。亦即，按這些方向的每個利用差分加權(quán)Wan(m)對作為差分圖像An(m)的各方向的 差分圖像進(jìn)行加權(quán)相加運(yùn)算，并設(shè)為信息映射Bnin。進(jìn)而對信息映射Bnin進(jìn)行式(17)的運(yùn) 算，作為信息映射Bn。ut生成0度、45度、90度、135度的各方向的邊緣信息映射。
邊緣信息映射生成部453至邊緣信息映射生成部456將來自差分計算部449至差 分計算部452的差分圖像、所生成的各方向的邊緣信息映射以及作為信息映射Bnin的各方 向的邊緣信息映射提供給拍攝物映射生成部344。在步驟S254中，臉部信息提取部44使用來自圖像數(shù)據(jù)庫302的學(xué)習(xí)圖像進(jìn)行 臉部信息提取處理，生成作為信息映射Bn。ut的臉部信息映射并提供給拍攝物映射生成部 344。此外，因這一臉部信息提取處理與參照圖12所說明的臉部信息提取處理相同，故省略 其說明。在步驟S255中，運(yùn)動信息提取部45使用來自圖像數(shù)據(jù)庫302的學(xué)習(xí)圖像進(jìn)行 運(yùn)動信息提取處理，生成作為信息映射Bn。ut的運(yùn)動信息映射并提供給拍攝物映射生成部 344。此外，因這一運(yùn)動信息提取處理與參照圖13所說明的運(yùn)動信息提取處理相同，故省略 其說明。在步驟S256中，拍攝物映射生成部344使用來自亮度信息提取部341至運(yùn)動信息 提取部45的亮度信息映射至運(yùn)動信息映射、來自加權(quán)更新部485的信息加權(quán)Wb以及拍攝 物加權(quán)Wc生成拍攝物映射。亦即，拍攝物映射生成部344對作為信息映射Bn-的亮度信息映射至運(yùn)動信息映 射乘以按每個信息映射的信息加權(quán)Wbn進(jìn)行加權(quán)相加運(yùn)算生成拍攝物映射Cin。這里，將乘 了信息加權(quán)Wbn的、各信息映射的相同位置的像素的像素值的總和設(shè)為拍攝物映射Cin的像 素的像素值。另外，拍攝物映射生成部344，把將拍攝物映射Cin的各像素的像素值χ代入式 (17)而得到的值作為拍攝物映射C。ut的像素的像素值，進(jìn)而，對拍攝物映射C。ut的各像素的 像素值乘以拍攝物加權(quán)Wc進(jìn)行標(biāo)準(zhǔn)化，作為最終的拍攝物映射。拍攝物映射生成部344將所生成的最終的拍攝物映射提供給評價映射生成部 481，并且將拍攝物映射Cin提供給加權(quán)差分計算部482。另外，拍攝物映射生成部344將 來自亮度信息提取部341至運(yùn)動信息提取部45的各信息映射Bnin提供給加權(quán)差分計算部 483，將來自亮度信息提取部341至邊緣信息提取部343的各差分圖像提供給加權(quán)差分計算 部484。此外，在此情況下，作為信息映射Bn。ut所生成的臉部信息映射以及運(yùn)動信息映射就 作為信息映射Bnin被處理，并被提供給加權(quán)差分計算部483。在步驟S257中，評價映射生成部481通過求解來自拍攝物映射生成部344的拍攝 物映射和來自圖像標(biāo)簽數(shù)據(jù)庫303的圖像標(biāo)簽之間的差分，來生成評價映射。亦即，若將拍 攝物映射的規(guī)定像素設(shè)為關(guān)注像素，則求解關(guān)注像素的像素值和處于與關(guān)注像素相同的位 置的圖像標(biāo)簽的像素的像素值之間的差分，并將該差分設(shè)為與關(guān)注像素相同位置的評價映 射的像素的像素值。評價映射生成部481將所生成的評價映射提供給加權(quán)差分計算部482。在步驟S258中，加權(quán)更新部485對拍攝物加權(quán)Wc進(jìn)行更新。亦即，加權(quán)差分計算部482使用從評價映射生成部481提供的評價映射EV和來自拍攝物映射生成部344的拍 攝物映射Cin，計算上述式(18)以及式(19)，求解拍攝物加權(quán)差分AWc。加權(quán)差分計算部482將所求出的拍攝物加權(quán)差分AWc提供給加權(quán)更新部485，并 且將通過式(19)的計算所求出的拍攝物映射的差分Δ C提供給加權(quán)差分計算部483。而 且，加權(quán)更新部485將來自加權(quán)差分計算部482的拍攝物加權(quán)差分AWc與所保持的拍攝物 加權(quán)Wc相加，來更新拍攝物加權(quán)Wc。在步驟S259中，加權(quán)更新部485對信息加權(quán)Wbn進(jìn)行更新。亦即，加權(quán)差分計算 部483使用從加權(quán)差分計算部482提供的拍攝物映射的差分AC、來自拍攝物映射生成部 344的信息映射Bnin、以及來自加權(quán)更新部485的經(jīng)過更新的拍攝物加權(quán)Wc，計算上述的式 (20)以及式(21)，求解信息加權(quán)差分AWbn。按每個信息映射、也就是說對亮度信息映射、 RG差分的顏色信息映射、BY差分的顏色信息映射、0度方向至135度的各方向的邊緣信息 映射、臉部信息映射以及運(yùn)動信息映射的每個求解此信息加權(quán)差分AWbn。加權(quán)差分計算部483將所求出的信息加權(quán)差分Δ Wbn提供給加權(quán)更新部485，并且 將通過式(21)的計算所求出的信息映射的差分△ Bn提供給加權(quán)差分計算部484。而且，力口 權(quán)更新部485將來自加權(quán)差分計算部483的信息加權(quán)差分AWbn與所保持的信息加權(quán)Wbn 相加來更新信息加權(quán)Wbn。據(jù)此，亮度信息映射、RG差分的顏色信息映射、BY差分的顏色信息映射、0度方向 至135度的各方向的邊緣信息映射、臉部信息映射以及運(yùn)動信息映射各自的信息加權(quán)Wb被 更新。在步驟S260中，加權(quán)更新部485對差分加權(quán)Wa進(jìn)行更新。亦即，加權(quán)差分計算 部484使用從加權(quán)差分計算部483提供的信息映射的差分ΔΒη、來自拍攝物映射生成部 344的差分圖像An (m)、以及來自加權(quán)更新部485的經(jīng)過更新的信息加權(quán)Wbn，計算上述的式 (22)以及式(23)，求解差分加權(quán)的差分AWan (m)。對各信息映射按每個差分圖像求解此差 分加權(quán)的差分AWan(m)。例如，如上述那樣，因為根據(jù)5個亮度差分圖像求解亮度信息映 射，所以，對于亮度信息映射，按這些5個差分圖像的每個求解差分加權(quán)的差分AWan(m)。加權(quán)差分計算部484將所求出的差分AWan(m)提供給加權(quán)更新部485，加權(quán)更新 部485將來自加權(quán)差分計算部484的差分AWan(m)與所保持的差分加權(quán)Wan(m)相加來更 新差分加權(quán)Wan (m)。通過以上的處理，得到經(jīng)過更新的差分加權(quán)Wan (m)、信息加權(quán)Wbn以及拍攝物加 權(quán)Wc。在步驟S261中，加權(quán)計算部312判定是否結(jié)束對差分加權(quán)Wan (m)、信息加權(quán)Wbn 以及拍攝物加權(quán)Wc反復(fù)更新的處理。例如，最后當(dāng)在步驟S257中所求出的評價映射的像 素的像素值的最大值的絕對值小于等于預(yù)先決定的閾值、且在預(yù)先決定的次數(shù)以上進(jìn)行了 差分加權(quán)、信息加權(quán)以及拍攝物加權(quán)更新的情況下，判定為結(jié)束處理。亦即，在使用根據(jù)圖像生成的信息映射、所求出的差分加權(quán)Wan (m)、信息加權(quán)Wbn 以及拍攝物加權(quán)Wc，得到了以充分的精度從圖像中提取出拍攝物的拍攝物映射的情況下， 就判定為結(jié)束處理。當(dāng)在步驟S261中判定為不結(jié)束處理的情況下，加權(quán)更新部485將經(jīng)過更新的差分 加權(quán)Wan (m)提供給亮度信息提取部341至邊緣信息提取部343，并將信息加權(quán)Wbn以及拍攝物加權(quán)Wc提供給拍攝物映射生成部344。而且，之后，處理返回到步驟S251，反復(fù)進(jìn)行上 述處理。此外，在反復(fù)進(jìn)行的步驟S251至步驟S255的處理中，使用與在此之前所使用的學(xué) 習(xí)圖像相同的圖像生成各信息映射。因此，也可以在步驟S251至步驟S253的處理中，原封 不動地使用上次已使用過的差分圖像生成信息映射。另外，在步驟S254以及步驟S255的 處理中，也可以將上次已使用過的信息映射原封不動地設(shè)為所生成的信息映射。另一方面，當(dāng)在步驟S261中判定為結(jié)束處理的情況下，因已求出用于獲得以充分 的精度從圖像提取拍攝物的拍攝物映射的加權(quán)，故處理進(jìn)入步驟S262。在步驟S262中，加權(quán)更新部485將經(jīng)過更新的差分加權(quán)Wan (m)、信息加權(quán)Wbn以 及拍攝物加權(quán)Wc設(shè)為通過學(xué)習(xí)所求出的最終加權(quán)進(jìn)行輸出，結(jié)束學(xué)習(xí)處理。
這樣，學(xué)習(xí)裝置301使用包含一般的拍攝物的學(xué)習(xí)圖像進(jìn)行學(xué)習(xí)處理，生成為了 生成拍攝物映射而使用的加權(quán)。因此，若使用通過學(xué)習(xí)所獲得的加權(quán)來生成拍攝物映射，就 能夠利用該拍攝物映射更確切地從圖像中檢測出一般的拍攝物。另外，在使用從圖像中提取被推定為與其他區(qū)域相比拍攝物更多具有的信息而得 到的信息映射和加權(quán)生成拍攝物映射的情況下，通過基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)來生成加權(quán)，由 此能夠簡單地獲得加權(quán)。亦即，根據(jù)差分圖像生成信息映射并根據(jù)信息映射生成拍攝物映射的構(gòu)造，與神 經(jīng)網(wǎng)絡(luò)的模型很相似，通過將被稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法應(yīng)用于加權(quán)的學(xué)習(xí)中，就能夠以 簡單的處理來求解加權(quán)。另外，在基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，由于能夠通過并行處理來求解各 信息映射的加權(quán)和各差分圖像的加權(quán)，所以能夠更迅速地生成加權(quán)。此外，雖然說明的是在學(xué)習(xí)裝置301中，將最后被更新的差分加權(quán)Wan (m)、信息加 權(quán)Wbn以及拍攝物加權(quán)Wc作為最終的加權(quán)進(jìn)行輸出，但也可以將通過更新而求出的加權(quán)之 中的、評價最高的加權(quán)作為最終的加權(quán)進(jìn)行輸出。在這種情況下，每當(dāng)更新加權(quán)時，記錄該 加權(quán)和使用該加權(quán)所獲得的評價映射，并在對加權(quán)更新了規(guī)定次數(shù)以后，輸出所記錄的加 權(quán)之中的、根據(jù)評價映射的像素的像素值的絕對值所求得的評價值最高的加權(quán)。還可以將以上所說明的學(xué)習(xí)裝置301例如作為與上述的圖像處理裝置11 一起構(gòu) 成圖像評價系統(tǒng)的裝置而組裝于攝像裝置等中。在這種情況下，圖像評價系統(tǒng)例如如圖27所示那樣構(gòu)成。亦即，圖像評價系統(tǒng)由 圖像處理裝置11、學(xué)習(xí)裝置301、圖像數(shù)據(jù)庫302、圖像標(biāo)簽數(shù)據(jù)庫303、顯示部511以及操 作輸入接受部512所構(gòu)成。此外，在圖27中，對與圖1以及圖20的情況相對應(yīng)的部分附加 同一標(biāo)記，適當(dāng)省略其說明。在此圖像評價系統(tǒng)中，通過拍攝所獲得的輸入圖像、或者預(yù)先記錄在圖像數(shù)據(jù)庫 302中的圖像被設(shè)為學(xué)習(xí)圖像。例如，在圖像數(shù)據(jù)庫302中所記錄的圖像被用作學(xué)習(xí)圖像的情況下，學(xué)習(xí)裝置301 使用從圖像數(shù)據(jù)庫302取得的學(xué)習(xí)圖像和從圖像標(biāo)簽數(shù)據(jù)庫303取得的圖像標(biāo)簽來進(jìn)行學(xué) 習(xí)處理。而且，通過學(xué)習(xí)處理所獲得的差分加權(quán)Wan (m)、信息加權(quán)Wbn以及拍攝物加權(quán)Wc 被從學(xué)習(xí)裝置301提供到圖像處理裝置11。圖像處理裝置11使用從學(xué)習(xí)裝置301提供的 加權(quán)和所輸入的輸入圖像進(jìn)行參照圖8所說明的圖像評價處理，求解并輸出針對輸入圖像 的得分。
相對于此，在使用輸入圖像來進(jìn)行學(xué)習(xí)的情況下，輸入圖像被提供給顯示部511、 圖像處理裝置11以及學(xué)習(xí)裝置301。顯示部511例如由液晶顯示器等構(gòu)成，顯示所輸入的 輸入圖像。另外，在顯示部511上例如重疊了由觸摸面板等構(gòu)成的操作輸入接受部512，用戶 進(jìn)行針對操作輸入接受部512的操作，指定在顯示部511顯示的輸入圖像中的應(yīng)當(dāng)設(shè)為拍 攝物的區(qū)域。于是，操作輸入接受部512根據(jù)用戶的操作生成圖像標(biāo)簽并提供給學(xué)習(xí)裝置 301。例如，操作輸入接受部512將今后要生成的標(biāo)簽圖像中的、與輸入圖像上用戶指 定的區(qū)域相同的區(qū)域內(nèi)的像素的像素值設(shè)為1，將此以外的區(qū)域的像素的像素值設(shè)為0。亦 艮口，標(biāo)簽圖像中的、與輸入圖像上用戶未指定的區(qū)域相同的區(qū)域的像素的像素值被設(shè)為0。
學(xué)習(xí)裝置301將所輸入的輸入圖像作為學(xué)習(xí)圖像，并使用學(xué)習(xí)圖像和從操作輸入 接受部512提供的圖像標(biāo)簽進(jìn)行學(xué)習(xí)處理，生成差分加權(quán)Wan (m)、信息加權(quán)Wbn以及拍攝物 加權(quán)Wc。而且，學(xué)習(xí)裝置301將所生成的加權(quán)提供給圖像處理裝置11，圖像處理裝置11使 用來自學(xué)習(xí)裝置301的加權(quán)進(jìn)行圖像評價處理，求解并輸出針對輸入圖像的得分。從而，如果將這種圖像評價系統(tǒng)內(nèi)置于攝像裝置中，攝像裝置就能夠基于從圖像 處理裝置11輸出的得分，來顯示所拍攝的輸入圖像是否為最佳照片、針對輸入圖像的得分寸。此外，操作輸入接受部512并不限于觸摸面板，還可以由傳感器等構(gòu)成，該傳感器 用于利用紅外線來檢測看取景器的用戶的視線方向。在這種情況下，就對操作輸入接受部 512供給輸入圖像，將輸入圖像上的根據(jù)由傳感器檢測出的視線方向而確定的區(qū)域中所包 含的物體設(shè)為拍攝物，并生成圖像標(biāo)簽。另外，上述一系列的處理既能夠通過硬件來執(zhí)行，也能夠通過軟件來執(zhí)行。在通過 軟件來執(zhí)行一系列處理的情況下，將構(gòu)成該軟件的程序從程序記錄介質(zhì)安裝到組裝在專用 硬件上的計算機(jī)，或者可以通過安裝各種程序來執(zhí)行各種功能的、例如通用個人計算機(jī)等中。圖28是表示通過程序來執(zhí)行上述一系列處理的計算機(jī)的硬件的構(gòu)成例的框圖。在計算機(jī)中，CPU(Central Processing Unit)601、ROM (Read OnlyMemory) 602 禾口 RAM (Random Access Memory) 603通過總線604相互連接起來。在總線604上進(jìn)一步連接有輸入輸出接口 605。由鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成的輸 入部606、由顯示器、揚(yáng)聲器等構(gòu)成的輸出部607、由硬盤或非易失性存儲器等構(gòu)成的記錄 部608、由網(wǎng)絡(luò)接口等構(gòu)成的通信部609、驅(qū)動磁盤、光盤、光磁盤、或者半導(dǎo)體存儲器等移 動介質(zhì)611的驅(qū)動器610與輸入輸出接口 605連接。在如以上那樣構(gòu)成的計算機(jī)中，CPTOOl例如將記錄部608中所記錄的程序經(jīng)由輸 入輸出接口 605及總線604裝入RAM603中并執(zhí)行，由此來進(jìn)行上述一系列處理。將計算機(jī)(CPTOOl)執(zhí)行的程序例如記錄在由磁盤(包含軟盤)、光盤 (CD-ROM(Compact Disc-Read Only Memory) > DVD(Digital VersatileDisc) · )、jfeiH、 或者半導(dǎo)體存儲器等構(gòu)成的通用介質(zhì)即移動介質(zhì)611上，或者經(jīng)由局域網(wǎng)、因特網(wǎng)、數(shù)字衛(wèi) 星廣播之類的有線或者無線傳播介質(zhì)來提供。而且，可以通過將移動介質(zhì)611安裝到驅(qū)動器610上，經(jīng)由輸入輸出接口 605將程序安裝到記錄部608中。另外，還可以經(jīng)由有線或者無線傳輸介質(zhì)利用通信部609接收程 序并安裝到記錄部608中。除此以外還可以將程序預(yù)先安裝到R0M602或記錄部608中。此外，計算機(jī)執(zhí)行的程序既可以是按著在本說明書中說明的順序按時間序列進(jìn)行 處理的程序，也可以是并行地或者在進(jìn)行了調(diào)用等必要的定時進(jìn)行處理的程序。
此外，本發(fā)明的實施方式并不限定于上述的實施方式，在不脫離本發(fā)明要點(diǎn)的范 圍內(nèi)可以進(jìn)行各種變更。
權(quán)利要求
一種圖像處理裝置，其中，包括生成單元，基于輸入圖像生成用于確定上述輸入圖像上的拍攝物區(qū)域的拍攝物確定信息；和檢測單元，使用上述拍攝物確定信息以及上述輸入圖像，將上述輸入圖像中的包含上述拍攝物的區(qū)域作為處理對象來檢測上述拍攝物的模糊情況。
2.按照權(quán)利要求1所記載的圖像處理裝置，其中，上述生成單元包括信息映射生成單元，從上述輸入圖像中提取上述拍攝物區(qū)域具有的特征的特征量，并 生成表示上述輸入圖像的各區(qū)域的上述特征量的信息映射；和拍攝物確定信息生成單元，通過對多個表示相互不同的上述特征的上述特征量的上述 信息映射進(jìn)行加權(quán)相加運(yùn)算來生成上述拍攝物確定信息。
3.按照權(quán)利要求2所記載的圖像處理裝置，其中，上述檢測單元通過檢測出上述拍攝物區(qū)域內(nèi)的邊緣的強(qiáng)度來檢測出上述拍攝物的模 糊情況。
4.按照權(quán)利要求3所記載的圖像處理裝置，其中，上述信息映射生成單元從上述輸入圖像中提取上述特征量，并生成表示上述輸入圖像 的各區(qū)域的上述特征量的特征圖像，并且基于上述特征圖像生成分辨率互不相同的多個上 述特征圖像，并通過求解上述多個上述特征圖像的差分來生成上述信息映射。
5.一種圖像處理方法，是如下的圖像處理裝置的圖像處理方法，所述圖像處理裝置包括生成單元，基于輸入圖像生成用于確定上述輸入圖像上的拍攝物區(qū)域的拍攝物確定信 息；和檢測單元，使用上述拍攝物確定信息以及上述輸入圖像，將上述輸入圖像中的包含上 述拍攝物的區(qū)域作為處理對象來檢測上述拍攝物的模糊情況，所述圖像處理方法包括如下步驟上述生成單元根據(jù)上述輸入圖像生成上述拍攝物確定信息，上述檢測單元使用上述拍攝物確定信息以及上述輸入圖像來檢測上述拍攝物的模糊 情況。
6.一種程序，使計算機(jī)執(zhí)行包括如下步驟的處理基于輸入圖像生成用于確定上述輸入圖像上的拍攝物區(qū)域的拍攝物確定信息；使用上述拍攝物確定信息以及上述輸入圖像，將上述輸入圖像中的包含上述拍攝物的 區(qū)域作為處理對象來檢測上述拍攝物的模糊情況。
7.一種學(xué)習(xí)裝置，其中，通過基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)來求解為了生成拍攝物映射而使用的加權(quán)，所述拍攝物映射 用于確定圖像上的拍攝物區(qū)域，所述學(xué)習(xí)裝置具備信息映射生成單元，從包含上述拍攝物的、被用于上述學(xué)習(xí)的學(xué)習(xí)圖像中提取上述拍 攝物區(qū)域具有的特征的特征量，并生成表示上述學(xué)習(xí)圖像的各區(qū)域的上述特征量的信息映拍攝物映射生成單元，通過使用上述加權(quán)對多個表示互不相同的上述特征的上述特征 量的上述信息映射進(jìn)行加權(quán)相加運(yùn)算來生成上述拍攝物映射；加權(quán)變化量計算單元，使用上述拍攝物映射和預(yù)先求出的表示上述學(xué)習(xí)圖像中的上述 拍攝物區(qū)域的圖像標(biāo)簽，來計算應(yīng)當(dāng)使上述加權(quán)變化的變化量；和 更新單元，將上述變化量與上述加權(quán)相加來更新上述加權(quán)。
8.按照權(quán)利要求7所記載的學(xué)習(xí)裝置，其中，反復(fù)進(jìn)行如下的處理使用由上述更新單元更新過的上述加權(quán)和上述學(xué)習(xí)圖像來求解 新的上述變化量并更新上述加權(quán)。
9.一種學(xué)習(xí)方法，是如下學(xué)習(xí)裝置的學(xué)習(xí)方法，所述學(xué)習(xí)裝置通過基于神經(jīng)網(wǎng)絡(luò)的學(xué) 習(xí)來求解為了生成拍攝物映射而使用的加權(quán)，所述拍攝物映射用于確定圖像上的拍攝物區(qū) 域，所述學(xué)習(xí)裝置包括信息映射生成單元，從包含上述拍攝物的、被用于上述學(xué)習(xí)的學(xué)習(xí)圖像中提取上述拍 攝物區(qū)域具有的特征的特征量，并生成表示上述學(xué)習(xí)圖像的各區(qū)域的上述特征量的信息映 射；拍攝物映射生成單元，通過使用上述加權(quán)對多個表示互不相同的上述特征的上述特征 量的上述信息映射進(jìn)行加權(quán)相加運(yùn)算來生成上述拍攝物映射；加權(quán)變化量計算單元，使用上述拍攝物映射和預(yù)先求出的表示上述學(xué)習(xí)圖像中的上述 拍攝物區(qū)域的圖像標(biāo)簽，來計算應(yīng)當(dāng)使上述加權(quán)變化的變化量；和 更新單元，將上述變化量與上述加權(quán)相加來更新上述加權(quán)， 上述學(xué)習(xí)方法，包括如下步驟上述信息映射生成單元根據(jù)上述學(xué)習(xí)圖像生成上述信息映射， 上述拍攝物映射生成單元對上述信息映射進(jìn)行加權(quán)相加運(yùn)算來生成上述拍攝物映射， 上述加權(quán)變化量計算單元使用上述拍攝物映射以及上述圖像標(biāo)簽來計算上述變化量， 上述更新單元將上述變化量與上述加權(quán)相加來更新上述加權(quán)。
10.一種程序，其特征在于，是如下的學(xué)習(xí)方法通過基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)來求解為了 生成拍攝物映射而使用的加權(quán)，所述拍攝物映射用于確定圖像上的拍攝物區(qū)域，上述程序使計算機(jī)執(zhí)行包括如下步驟的處理從包含上述拍攝物的、被用于上述學(xué)習(xí)的學(xué)習(xí)圖像中提取上述拍攝物區(qū)域具有的特征 的特征量，并生成表示上述學(xué)習(xí)圖像的各區(qū)域的上述特征量的信息映射；通過使用上述加權(quán)對多個表示互不相同的上述特征的上述特征量的上述信息映射進(jìn) 行加權(quán)相加運(yùn)算來生成上述拍攝物映射；使用上述拍攝物映射和預(yù)先求出的表示上述學(xué)習(xí)圖像中的上述拍攝物區(qū)域的圖像標(biāo) 簽，來計算應(yīng)當(dāng)使上述加權(quán)變化的變化量，將上述變化量與上述加權(quán)相加來更新上述加權(quán)。
全文摘要
本發(fā)明涉及一種能夠確切地評價是否清晰地拍下了拍攝物的圖像處理裝置及方法、學(xué)習(xí)裝置及方法以及程序。拍攝物提取部(21)使用輸入圖像生成表示輸入圖像中的包含拍攝物的區(qū)域的拍攝物映射并提供給判定部(22)。判定部(22)使用輸入圖像和來自拍攝物提取部(21)的拍攝物映射來求解輸入圖像上的拍攝物區(qū)域的模糊情況，并基于該模糊情況來計算輸入圖像的得分。將此得分設(shè)為評價在輸入圖像中清晰地拍下了拍攝物的程度的指標(biāo)。本發(fā)明能夠應(yīng)用于攝像裝置。
文檔編號H04N5/232GK101828201SQ200980100743
公開日2010年9月8日 申請日期2009年8月26日 優(yōu)先權(quán)日2008年8月26日
發(fā)明者村山淳, 橫川昌俊, 相坂一樹 申請人:索尼公司