專利名稱：圖像處理設(shè)備和方法、圖像捕捉設(shè)備、以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和方法、圖像捕捉設(shè)備、以及程序，特別地，涉及使得即 使對于除人以外的對象也可以修剪出具有最佳構(gòu)圖的圖像的圖像處理設(shè)備和方法、圖像捕 捉設(shè)備、以及程序。
背景技術(shù)：
在用諸如數(shù)碼相機(jī)的圖像捕捉設(shè)備來拍攝對象時(shí)，進(jìn)行拍攝以取得喜歡的構(gòu)圖。 由于在拍攝時(shí)適當(dāng)?shù)卦O(shè)置構(gòu)圖需要技巧，所以通過拍攝得到的圖像并非總是具有期望的構(gòu) 圖。在這種情況下，存在對圖像執(zhí)行修整以取得期望的構(gòu)圖的技術(shù)。例如，提出了執(zhí)行修整而不引起人體或重要背景的損失(參見例如專利文獻(xiàn)1)。專利文獻(xiàn)1 日本未審查專利申請公開第2008-42800號

發(fā)明內(nèi)容
技術(shù)問題然而，根據(jù)專利文獻(xiàn)1的技術(shù)是基于對象中包括人的假設(shè)，恐怕對于包括除人以 外的對象的圖像無法實(shí)現(xiàn)最佳修整。本發(fā)明是鑒于以上情景做出的，并且使得即使對于除人以外的對象也可以修剪出 具有最佳構(gòu)圖的圖像。技術(shù)方案根據(jù)本發(fā)明第一方面的圖像處理設(shè)備包括設(shè)置裝置，用于基于輸入圖像中被關(guān) 注的顯著區(qū)域的數(shù)量、以及輸入圖像的場景，設(shè)置對應(yīng)于該輸入圖像的構(gòu)圖模式；以及確定 裝置，用于基于設(shè)置裝置所設(shè)置的構(gòu)圖模式，確定輸入圖像中對于要從輸入圖像按該構(gòu)圖 模式修剪出的圖像而言最佳的修剪區(qū)域。圖像處理設(shè)備可以進(jìn)一步包括修剪裝置，用于從輸入圖像修剪出確定裝置所確 定的修剪區(qū)域。確定裝置可以基于設(shè)置裝置所設(shè)置的構(gòu)圖模式，確定輸入圖像中對于要從輸入圖 像按該構(gòu)圖模式修剪出的圖像而言最佳的修剪區(qū)域的多個(gè)候選，圖像處理設(shè)備可以進(jìn)一步 包括顯示裝置，用于在輸入圖像上顯示修剪區(qū)域的多個(gè)候選；以及選擇裝置，用于選擇顯 示裝置所顯示的修剪區(qū)域的多個(gè)候選中的一個(gè)候選，并且修剪裝置可以從輸入圖像修剪出 選擇裝置所選擇的修剪區(qū)域。圖像處理設(shè)備可以進(jìn)一步包括提取裝置，用于提取輸入圖像中被關(guān)注的每個(gè)顯 著區(qū)域；以及甄別裝置，用于甄別輸入圖像的場景。確定裝置可以確定修剪區(qū)域，以使得包括輸入圖像中所有被關(guān)注的顯著區(qū)域的最 小矩形區(qū)域的中心位置靠近輸入圖像中修剪區(qū)域的中心。確定裝置可以確定修剪區(qū)域，以使得修剪區(qū)域變得更大，并且使得包括輸入圖像 中所有被關(guān)注的顯著區(qū)域的最小矩形區(qū)域與修剪區(qū)域之間的公共區(qū)域變得更大。
確定裝置可以確定修剪區(qū)域，以使得修剪區(qū)域不脫離輸入圖像。圖像處理設(shè)備可以進(jìn)一步包括判斷裝置，用于通過將輸入圖像的寬高比與預(yù)定 閾值相比較來判斷輸入圖像是否是全景圖像，并且如果判斷裝置判定輸入圖像是全景圖 像，則確定裝置可以基于設(shè)置裝置所設(shè)置的構(gòu)圖模式，確定輸入圖像中對于要從輸入圖像 按該構(gòu)圖模式修剪出的圖像而言最佳的修剪區(qū)域的多個(gè)候選。 圖像處理設(shè)備可以進(jìn)一步包括添加裝置，用于將表示確定裝置所確定的修剪區(qū) 域的信息添加到輸入圖像作為EXIF (Exchangeable Image File，可交換圖像文件)信息。輸入圖像中被關(guān)注的對象可以包括在每個(gè)顯著區(qū)域中，圖像處理設(shè)備可以進(jìn)一步 包括檢測裝置，用于檢測對象的朝向，并且確定裝置可以基于設(shè)置裝置所設(shè)置的構(gòu)圖模 式、以及檢測裝置所檢測出的對象的朝向，確定輸入圖像中對于要從輸入圖像按該構(gòu)圖模 式修剪出的圖像而言最佳的修剪區(qū)域。輸入圖像中被關(guān)注的對象可以包括在每個(gè)顯著區(qū)域中，圖像處理設(shè)備可以進(jìn)一步 包括運(yùn)動方向確定裝置，用于確定對象運(yùn)動的方向，并且確定裝置可以基于設(shè)置裝置所設(shè) 置的構(gòu)圖模式、以及運(yùn)動方向確定裝置所確定的對象運(yùn)動的方向，確定輸入圖像中對于要 從輸入圖像按該構(gòu)圖模式修剪出的圖像而言最佳的修剪區(qū)域。圖像處理設(shè)備可以進(jìn)一步包括總體運(yùn)動計(jì)算裝置，用于得出輸入圖像的總體運(yùn) 動；以及局部運(yùn)動計(jì)算裝置，用于得出每個(gè)顯著區(qū)域的運(yùn)動，并且運(yùn)動方向確定裝置可以基 于總體運(yùn)動計(jì)算裝置所得出的輸入圖像的總體運(yùn)動的朝向、以及局部運(yùn)動計(jì)算裝置所得出 的每個(gè)顯著區(qū)域的運(yùn)動的朝向，確定對象運(yùn)動的方向。根據(jù)本發(fā)明第一方面的圖像處理方法包括設(shè)置步驟，用于基于輸入圖像中被關(guān) 注的顯著區(qū)域的數(shù)量、以及輸入圖像的場景，設(shè)置對應(yīng)于輸入圖像的構(gòu)圖模式；以及確定步 驟，用于基于設(shè)置步驟中所設(shè)置的構(gòu)圖模式，確定輸入圖像中對于要從輸入圖像按該構(gòu)圖 模式修剪出的圖像而言最佳的修剪區(qū)域。根據(jù)本發(fā)明第一方面的程序使得計(jì)算機(jī)執(zhí)行包括如下步驟的處理設(shè)置步驟，用 于基于輸入圖像中被關(guān)注的顯著區(qū)域的數(shù)量、以及輸入圖像的場景，設(shè)置對應(yīng)于輸入圖像 的構(gòu)圖模式；以及確定步驟，用于基于設(shè)置步驟中所設(shè)置的構(gòu)圖模式，確定輸入圖像中對于 要從輸入圖像按該構(gòu)圖模式修剪出的圖像而言最佳的修剪區(qū)域。根據(jù)本發(fā)明第二方面的圖像捕捉設(shè)備包括圖像捕捉裝置，用于捕捉對象；獲取 裝置，用于獲取圖像捕捉裝置捕捉到的捕捉圖像的場景；設(shè)置裝置，用于基于包括捕捉圖像 中被關(guān)注對象的顯著區(qū)域的數(shù)量、以及獲取裝置所獲取的場景，設(shè)置對應(yīng)于捕捉圖像的構(gòu) 圖模式，以及確定裝置，用于基于設(shè)置裝置所設(shè)置的構(gòu)圖模式，確定捕捉圖像中對于要從捕 捉圖像按該構(gòu)圖模式修剪出的圖像而言最佳的修剪區(qū)域。在本發(fā)明的第一方面中，基于輸入圖像中被關(guān)注的顯著區(qū)域的數(shù)量、以及輸入圖 像的場景來設(shè)置對應(yīng)于輸入圖像的構(gòu)圖模式，并且基于所設(shè)置的構(gòu)圖模式確定輸入圖像中 對于要從輸入圖像按該構(gòu)圖模式修剪出的圖像而言最佳的修剪區(qū)域。在本發(fā)明的第二方面中，捕捉對象，獲取捕捉到的捕捉圖像的場景，基于包括捕捉 圖像中被關(guān)注對象的顯著區(qū)域的數(shù)量、以及所獲取的場景來設(shè)置對應(yīng)于捕捉圖像的構(gòu)圖模 式，并且基于所設(shè)置的構(gòu)圖模式確定捕捉圖像中對于要從捕捉圖像按該構(gòu)圖模式修剪出的 圖像而言最佳的修剪區(qū)域。
根據(jù)本發(fā)明的第一和第二方面，即使對于除人以外的對象，也可以修剪出具有最 佳構(gòu)圖的圖像。


[圖1]圖1是示出了應(yīng)用了本發(fā)明的圖像處理設(shè)備的實(shí)施例的功能配置實(shí)例的方 框圖。[圖2]圖2是示出了顯著區(qū)域提取部的功能配置實(shí)例的方框圖。[圖3]圖3是示出了圖1的圖像處理設(shè)備中的圖像修剪處理的流程圖。[圖4]圖4是示出了顯著區(qū)域的實(shí)例的圖。[圖5]圖5是示出了基于顯著區(qū)域的數(shù)量以及場景設(shè)置的構(gòu)圖模式的圖。[圖6]圖6是示出了構(gòu)圖模式設(shè)置部件設(shè)置的構(gòu)圖模式的實(shí)例的圖。
[圖7]圖7是示出了修剪區(qū)域確定處理的流程圖。[圖8]圖8是示出了能量函數(shù)E。的系數(shù)的圖。[圖9]圖9是示出了三分構(gòu)圖中的顯著區(qū)域的圖。[圖10]圖10是示出了九分構(gòu)圖的圖。[圖11]圖11是示出了能量函數(shù)Es的創(chuàng)建的圖。[圖12]圖12是示出了能量函數(shù)Ep的創(chuàng)建的圖。[圖13]圖13是示出了最佳修剪區(qū)域的實(shí)例的圖。[圖14]圖14是示出了最佳修剪區(qū)域的圖像的實(shí)例的圖。[圖15]圖15是示出了圖像處理設(shè)備的另一配置實(shí)例的方框圖。[圖16]圖16是示出了圖15的圖像處理設(shè)備中的圖像修剪處理的流程圖。[圖17]圖17是示出了根據(jù)物體的構(gòu)圖模式的實(shí)例的圖。[圖18]圖18是示出了圖像處理設(shè)備的又一配置實(shí)例的圖。[圖19]圖19是示出了圖18的圖像處理設(shè)備中的圖像修剪處理的流程圖。[圖20]圖20是示出了修剪區(qū)域候選確定處理的流程圖。[圖21]圖21是示出了修剪區(qū)域候選的顯示實(shí)例的圖。[圖22]圖22是示出了確認(rèn)屏幕的顯示實(shí)例的圖。[圖23]圖23是示出了圖像處理設(shè)備的另一配置實(shí)例的方框圖。[圖24]圖24是示出了圖23的圖像處理設(shè)備中的圖像修剪處理的流程圖。[圖25]圖25是示出了目標(biāo)函數(shù)E的系數(shù)的圖。[圖26]圖26是示出了在全景圖像中修剪出修剪區(qū)域候選的圖像的圖。[圖27]圖27是示出了圖像處理設(shè)備的又一配置實(shí)例的方框圖。[圖28]圖28是示出了圖像處理設(shè)備的又一配置實(shí)例的方框圖。[圖29]圖29是示出了圖28的圖像處理設(shè)備中的圖像修剪處理的流程圖。[圖30]圖30是示出了圖像處理設(shè)備的又一配置實(shí)例的方框圖。[圖31]圖31是示出了圖30的圖像處理設(shè)備中的圖像修剪處理的流程圖。[圖32]圖32是示出了應(yīng)用了本發(fā)明的圖像捕捉設(shè)備的實(shí)施例的功能配置實(shí)例的 方框圖。[圖33]圖33是示出了圖32的圖像捕捉設(shè)備中的圖像修剪處理的流程圖。
[圖34]圖34是示出了圖像處理設(shè)備的又一配置實(shí)例的方框圖。[圖35]圖35是示出了圖34的圖像處理設(shè)備中的圖像修剪處理的流程圖。[圖36]圖36是示出了朝向檢測處理的流程圖。[圖37]圖37是示出了圖34的圖像處理設(shè)備中的圖像修剪處理的流程圖。[圖38]圖38是示出了朝向信息的圖。[圖39]圖39是示出了三分構(gòu)圖的圖。[圖40]圖40是示出了朝向信息的圖。[圖41]圖41是示出了圖像處理設(shè)備的又一配置實(shí)例的方框圖。[圖42]圖42是示出了圖41的圖像處理設(shè)備中的圖像修剪處理的流程圖。[圖43]圖43是示出了運(yùn)動方向確定處理的流程圖。[圖44]圖44是示出了圖41的圖像處理設(shè)備中的圖像修剪處理的流程圖。[圖45]圖45是示出了運(yùn)動方向信息的圖。[圖46]圖46是示出了計(jì)算機(jī)的硬件配置實(shí)例的方框圖。
具體實(shí)施例方式在下文中，將參照附圖對本發(fā)明的實(shí)施例進(jìn)行描述。應(yīng)當(dāng)注意，將以如下次序給出 描述。1.第一實(shí)施例2.第二實(shí)施例3.第三實(shí)施例4.第四實(shí)施例5.第五實(shí)施例6.第六實(shí)施例7.第七實(shí)施例8.第八實(shí)施例9.第九實(shí)施例10.第十實(shí)施例<第一實(shí)施例>[圖像處理設(shè)備的配置實(shí)例]圖1示出了應(yīng)用了本發(fā)明的圖像處理設(shè)備的實(shí)施例的功能配置實(shí)例。圖1中的圖像處理設(shè)備11根據(jù)從諸如數(shù)碼相機(jī)的圖像捕捉設(shè)備輸入的輸入圖像 的顯著區(qū)域和場景來設(shè)置構(gòu)圖模式，并輸出最佳修剪區(qū)域中修剪出的圖像作為基于該構(gòu)圖 模式的輸出圖像。圖像處理設(shè)備11包括顯著區(qū)域提取部件31、場景甄別部件32、構(gòu)圖模式設(shè)置部件 33、構(gòu)圖分析部件34、以及圖像修剪部件35。輸入到圖像處理設(shè)備11的輸入圖像被提供給顯著區(qū)域提取部件31、場景甄別部 件32、以及圖像修剪部件35。顯著區(qū)域提取部件31提取輸入圖像中被關(guān)注的顯著區(qū)域，并將表示顯著區(qū)域的顯著區(qū)域信息提供給構(gòu)圖模式設(shè)置部件33。顯著區(qū)域是輸入圖像中包括(環(huán)繞)對象(物體)的矩形區(qū)域。針對輸入圖像中的對象數(shù)量設(shè)置和提取顯著區(qū)域。此外，顯著區(qū)域信息 是例如矩形區(qū)域頂點(diǎn)的位置等等。圖2示出了顯著區(qū)域提取部件31的功能配置實(shí)例。顯著區(qū)域提取部件31包括顯著性計(jì)算部件51、顯著矩形區(qū)域確定部件52、以及面 部矩形區(qū)域確定部件53。顯著性計(jì)算部件51得出關(guān)于輸入圖像的每個(gè)像素的特征量，并根據(jù)特征量計(jì)算 各個(gè)像素的顯著性。此處，特征量是圖像邊緣部分的尺寸、與附近像素的色調(diào)差、圖像預(yù)定 區(qū)域中的色彩分布、整個(gè)圖像的平均色與每個(gè)像素的色調(diào)之間的差異等等。此外，顯著性計(jì) 算部件51根據(jù)各像素的顯著性(特征量)生成對應(yīng)于單個(gè)輸入圖像的顯著性圖，并將顯著 性圖提供給顯著矩形區(qū)域確定部件52。顯著性計(jì)算部件51生成的顯著性圖可以說是表示 如下區(qū)域的信息該區(qū)域包括單個(gè)輸入圖像中被關(guān)注的對象。另外，顯著性計(jì)算部件51根據(jù)關(guān)于單個(gè)輸入圖像的每個(gè)像素所得出的特征量來 計(jì)算面部性(面部相似性)，從而生成對應(yīng)于單個(gè)輸入圖像的面部性圖，并將面部性圖提供 給面部矩形區(qū)域確定部件53。顯著性計(jì)算部件51生成的面部性圖可以說是表示如下區(qū)域 的信息該區(qū)域包括單個(gè)輸入圖像中被關(guān)注的面部。 顯著矩形區(qū)域確定部件52基于來自顯著性計(jì)算部件51的顯著性圖確定顯著矩形 區(qū)域，并將表示顯著矩形區(qū)域的顯著矩形區(qū)域信息提供給構(gòu)圖模式設(shè)置部件33。更具體地， 在顯著性圖中，顯著矩形區(qū)域確定部件52將顯著性高于預(yù)定閾值的像素(位置)設(shè)置為矩 形的中心，并將其附近的顯著性低于另一閾值的像素(位置)設(shè)置為矩形的端點(diǎn)(頂點(diǎn))， 從而確定顯著矩形區(qū)域。此外，如果確定了多個(gè)顯著矩形區(qū)域，則當(dāng)矩形的中心之間的距離小于預(yù)定距離 時(shí)，將包括所有這些區(qū)域的最小矩形區(qū)域設(shè)置為顯著矩形區(qū)域。面部矩形區(qū)域確定部件53基于來自顯著性計(jì)算部件51的面部性圖確定面部矩 形區(qū)域，并將表示面部矩形區(qū)域的面部矩形區(qū)域信息提供給構(gòu)圖模式設(shè)置部件33。更具體 地，在面部性圖中，面部矩形區(qū)域確定部件53將面部的鼻子的像素(位置)設(shè)置為矩形的 中心，并將其附近的面部性出現(xiàn)突然改變(降低)的像素(位置)設(shè)置為矩形的端點(diǎn)(頂 點(diǎn))，從而確定面部矩形區(qū)域。應(yīng)當(dāng)注意，顯著矩形區(qū)域確定部件52獲得的顯著矩形區(qū)域、以及面部矩形區(qū)域確 定部件53獲得的面部矩形區(qū)域統(tǒng)稱為顯著區(qū)域信息。回到圖1，場景甄別部件32對輸入圖像執(zhí)行頻率轉(zhuǎn)換以提取頻率信息，以頻率信 息作為特征量(矢量)來甄別輸入圖像的場景，并將作為甄別結(jié)果獲得的、表示場景的場景 信息提供給構(gòu)圖模式設(shè)置部件33。更具體地，場景甄別部件32通過使用用于學(xué)習(xí)以及例如 諸如SVM(支持向量機(jī))的機(jī)器學(xué)習(xí)的預(yù)設(shè)圖像來執(zhí)行場景甄別。在SVM中執(zhí)行兩類別甄別(一對一甄別)。例如，將類別判定為類別“海岸”和其 它類別、類別“鄉(xiāng)村景觀”和其它類別、類別“天空”和其它類別、類別“山”和其它類別等等， 并且將它們各自的分值進(jìn)行比較，其中使得具有最高分值的類別作為甄別的結(jié)果。應(yīng)當(dāng)注意，雖然場景甄別部件32采用SVM，但這并非限制性的。例如，可以采用使 用神經(jīng)網(wǎng)絡(luò)的模式識別、或者基于模式匹配的模式識別等。構(gòu)圖模式設(shè)置部件33基于來自場景甄別部件32的場景信息、以及來自顯著區(qū)域提取部件31的顯著區(qū)域信息的數(shù)量來設(shè)置對應(yīng)于輸入圖像的構(gòu)圖模式，并將構(gòu)圖模式提 供給構(gòu)圖分析部件34。構(gòu)圖模式是與場景、以及顯著區(qū)域(對象)的數(shù)量相關(guān)聯(lián)地預(yù)先確 定的。有關(guān)構(gòu)圖模式的詳細(xì)內(nèi)容將在后面參照圖5進(jìn)行描述?；趤碜詷?gòu)圖模式設(shè)置部件33的構(gòu)圖模式，構(gòu)圖分析部件34確定輸入圖像中對 于要按該構(gòu)圖模式修剪出的圖像而言最佳的修剪區(qū)域，并將最佳修剪區(qū)域提供給圖像修剪 部件35。構(gòu)圖分析部件34包括構(gòu)圖模型創(chuàng)建部件34a、安全模型創(chuàng)建部件34b、懲罰 (penalty)模型創(chuàng)建部件34c、目標(biāo)函數(shù)創(chuàng)建部件34d、以及優(yōu)化部件34e。構(gòu)圖模型創(chuàng)建部件34a基于來自構(gòu)圖模式設(shè)置部件33的構(gòu)圖模式創(chuàng)建表示修剪 區(qū)域的構(gòu)圖模型。構(gòu)圖模型以預(yù)定能量函數(shù)E。來表示。安全模型創(chuàng)建部件34b創(chuàng)建用于防止修剪區(qū)域變得太小的安全模型。安全模型以 預(yù)定能量函數(shù)Es來表示。懲罰模型創(chuàng)建部件34c創(chuàng)建用于估算修剪區(qū)域的脫離輸入圖像的區(qū)域面積的懲 罰模型。懲罰模型以預(yù)定能量函數(shù)Ep來表示。目標(biāo)函數(shù)創(chuàng)建部件34d根據(jù)表示構(gòu)圖模型的能量函數(shù)E。、表示安全模型的能量函 數(shù)Es、以及表示懲罰模型的能量函數(shù)Ep創(chuàng)建目標(biāo)函數(shù)E。優(yōu)化部件34e確定使目標(biāo)函數(shù)E最小化的修剪區(qū)域，并將修剪區(qū)域作為最佳修剪 區(qū)域提供給圖像修剪部件35。有關(guān)能量函數(shù)E。、Es和Ep、以及目標(biāo)函數(shù)E的詳細(xì)內(nèi)容將在后面進(jìn)行描述。圖像修剪部件35基于來自構(gòu)圖分析部件34的最佳修剪區(qū)域從所輸入的輸入圖像 修剪出最佳修剪區(qū)域的圖像，并輸出修剪出的圖像。[圖像處理設(shè)備中的圖像修剪處理]接下來，參照圖3中的流程圖，將對圖1的圖像處理設(shè)備11中的圖像修剪處理給 出描述。在步驟Sll中，顯著區(qū)域提取部件31生成對應(yīng)于輸入圖像的顯著性圖和面部性 圖。更具體地，顯著性計(jì)算部件51生成對應(yīng)于輸入圖像的顯著性圖，并將顯著性圖提供給 顯著矩形區(qū)域確定部件52，并且還生成對應(yīng)于輸入圖像的面部性圖，并將面部性圖提供給 面部矩形區(qū)域確定部件53。在步驟S12中，顯著區(qū)域提取部件31基于顯著性圖和面部性圖提取和確定輸入圖 像中被關(guān)注的顯著區(qū)域。更具體地，顯著矩形區(qū)域確定部件52基于來自顯著性計(jì)算部件51 的顯著性圖確定顯著矩形區(qū)域，并將表示顯著矩形區(qū)域的顯著矩形區(qū)域信息提供給構(gòu)圖模 式設(shè)置部件33。此外，面部矩形區(qū)域確定部件53基于來自顯著性計(jì)算部件51的面部性圖 確定面部矩形區(qū)域，并將表示面部矩形區(qū)域的面部矩形區(qū)域信息提供給構(gòu)圖模式設(shè)置部件 33。應(yīng)當(dāng)注意，雖然在步驟S12中顯著矩形區(qū)域和面部矩形區(qū)域均被確定成顯著區(qū)域，但面部矩形區(qū)域也可以被共同處理成顯著矩形區(qū)域。圖4中示出了以此方式確定的顯著區(qū)域的實(shí)例。在圖4中，輸入圖像P是在天空中飛的一只鳥(鶴)的圖像。如圖4中所示，根據(jù) 步驟S12中的處理，這只鳥被關(guān)注，并且確定單個(gè)顯著區(qū)域L以包括這只鳥。
回到圖3中的流程圖，在步驟S13中，場景甄別部件32對輸入圖像執(zhí)行頻率轉(zhuǎn)換 以提取頻率信息，以頻率信息作為特征量(矢量)來甄別輸入圖像的場景，并將作為甄別結(jié) 果的、表示場景的場景信息提供給構(gòu)圖模式設(shè)置部件33。在步驟S14中，構(gòu)圖模式設(shè)置部件33基于來自場景甄別部件32的場景信息、以及 來自顯著區(qū)域提取部件31的顯著區(qū)域信息的數(shù)量，設(shè)置對應(yīng)于輸入圖像的構(gòu)圖模式，并將 該構(gòu)圖模式提供給構(gòu)圖分析部件34。此處，參照圖5，將對基于場景、以及顯著區(qū)域(對象)的數(shù)量設(shè)置的構(gòu)圖模式給出 描述。在圖5中，各種構(gòu)圖模式均是與場景“海岸”、“鄉(xiāng)村景觀”、“天空”、“山”、“高速公 路”、“街道”、“城市”和“高層建筑物”中的每個(gè)場景、以及顯著區(qū)域(對象)的數(shù)量相關(guān)聯(lián) 地確定的。根據(jù)圖5，例如，當(dāng)場景為“海岸”的輸入圖像中顯著區(qū)域的數(shù)量為0時(shí)(S卩，當(dāng)只 存在海岸的景觀時(shí))，將水平構(gòu)圖設(shè)置為構(gòu)圖模式。當(dāng)顯著區(qū)域的數(shù)量為1時(shí)，將三分構(gòu)圖 和水平構(gòu)圖設(shè)置為構(gòu)圖模式。此外，當(dāng)顯著區(qū)域的數(shù)量為2至5時(shí)，將對比構(gòu)圖和水平構(gòu)圖 設(shè)置為構(gòu)圖模式，并且當(dāng)顯著區(qū)域的數(shù)量為6或更多時(shí)，將對比構(gòu)圖和水平構(gòu)圖設(shè)置為構(gòu) 圖模式。 此外，當(dāng)場景為“鄉(xiāng)村景觀”的輸入圖像中顯著區(qū)域的數(shù)量為0時(shí)(S卩，當(dāng)只存在 鄉(xiāng)村景觀時(shí))，將徑向構(gòu)圖設(shè)置為構(gòu)圖模式。當(dāng)顯著區(qū)域的數(shù)量為1時(shí)，將三分構(gòu)圖和徑向 構(gòu)圖設(shè)置為構(gòu)圖模式。此外，當(dāng)顯著區(qū)域的數(shù)量為2至5時(shí)，將對比構(gòu)圖和徑向構(gòu)圖設(shè)置為 構(gòu)圖模式，并且當(dāng)顯著區(qū)域的數(shù)量為6或更多時(shí)，將徑向構(gòu)圖和圖案構(gòu)圖設(shè)置為構(gòu)圖模式。同樣地，根據(jù)場景為“天空”的輸入圖像、場景為“山”的輸入圖像、場景為“高速公 路”的輸入圖像等中的顯著區(qū)域的數(shù)量來設(shè)置構(gòu)圖模式。應(yīng)當(dāng)注意，當(dāng)設(shè)置了兩個(gè)構(gòu)圖模式時(shí)，設(shè)置滿足這些構(gòu)圖中每個(gè)構(gòu)圖的構(gòu)圖模式。此外，參照圖5描述的與場景以及顯著區(qū)域的數(shù)量相關(guān)聯(lián)的構(gòu)圖模式可以提前設(shè) 置，或者可以由用戶適當(dāng)?shù)卦O(shè)置。此處，參照圖6，將對構(gòu)圖模式設(shè)置部件33設(shè)置的構(gòu)圖模式的實(shí)例給出描述。圖6中的構(gòu)圖A表示三分構(gòu)圖，其中對象放置在豎直線和水平線的交叉點(diǎn)上，從而 提供了良好均衡的圖像。圖6中的構(gòu)圖B表示對比構(gòu)圖，在這種構(gòu)圖中相似的對象或相同的對象并排布置。 在構(gòu)圖B中，通過將主要對象放置得大并將其它對象放置得小，突出了主要對象。圖6中的構(gòu)圖C表示對角線構(gòu)圖，在期望產(chǎn)生韻律感時(shí)使用這種構(gòu)圖。另外，構(gòu)圖 C是使得可以有效地利用狹窄區(qū)域的構(gòu)圖。圖6中的構(gòu)圖D表示徑向構(gòu)圖，在期望產(chǎn)生開闊或擴(kuò)張感時(shí)使用這種構(gòu)圖。對象 的實(shí)例包括樹枝和破云而出的日光。圖6中的構(gòu)圖E是水平構(gòu)圖，在期望給出橫向擴(kuò)張感時(shí)使用這種構(gòu)圖?？梢酝ㄟ^ 在豎直方向上移動水平線的位置來改變主題。圖6中的構(gòu)圖F是豎直構(gòu)圖，在期望強(qiáng)調(diào)圖像的豎直方向時(shí)使用這種構(gòu)圖。對象 的實(shí)例包括樹干和道路。圖6中的構(gòu)圖G是遠(yuǎn)景構(gòu)圖，在期望從沒影點(diǎn)(圖中對角線的交叉點(diǎn))產(chǎn)生擴(kuò)張感時(shí)使用這種構(gòu)圖。
圖6中的構(gòu)圖H是圖案構(gòu)圖，在這種構(gòu)圖中多個(gè)相似的對象有規(guī)則地放置，并且在 期望產(chǎn)生韻律感或一致感時(shí)使用這種構(gòu)圖。S卩，基于場景信息以及顯著區(qū)域的數(shù)量，構(gòu)圖模式設(shè)置部件33從圖6中所示的構(gòu) 圖模式之中設(shè)置圖5中與場景以及顯著區(qū)域的數(shù)量相關(guān)聯(lián)的構(gòu)圖模式。應(yīng)當(dāng)注意，構(gòu)圖模 式的種類不限于圖6中所示的八種，而是可以存在更多種模式。例如，對于圖4中所示的輸入圖像P，由于顯著區(qū)域的數(shù)量為1，并且場景是“天 空，，，所以構(gòu)圖模式設(shè)置部件33設(shè)置三分構(gòu)圖(構(gòu)圖A)，通過這種三分構(gòu)圖，這些內(nèi)容在圖 5中相關(guān)聯(lián)。應(yīng)當(dāng)注意，在以下描述中，假設(shè)在步驟S14中將三分構(gòu)圖設(shè)置為輸入圖像P的構(gòu)圖 模式?；氐綀D3中的流程圖，在步驟S15中，構(gòu)圖分析部件34基于來自構(gòu)圖模式設(shè)置部 件33的構(gòu)圖模式執(zhí)行修剪區(qū)域確定處理，并確定輸入圖像中對于要按該構(gòu)圖模式修剪出 的圖像而言最佳的修剪區(qū)域。[構(gòu)圖分析部件中的修剪區(qū)域確定處理]此處，參照圖7中的流程圖，將對圖3的流程圖中的步驟S15中的修剪區(qū)域確定處 理給出描述。在步驟S31中，構(gòu)圖分析部件34的構(gòu)圖模型創(chuàng)建部件34a基于來自構(gòu)圖模式設(shè)置 部件33的構(gòu)圖模式創(chuàng)建表示修剪區(qū)域的構(gòu)圖模型。換言之，構(gòu)圖模型創(chuàng)建部件34a得出關(guān) 于構(gòu)圖模型的能量函數(shù)E。。能量函數(shù)E。以下面的公式(1)給出。[公式1] 在公式(1)中，Sva表示顯著區(qū)域的面積，并且GDUm、Gllvn、以及Glffn以下面的公式 (2)給出。[公式2] 在公式⑵中，LDh、Ldv、以及Pd分別表示在輸入圖像中將水平方向分成三份的線 (水平三分線)、將豎直方向分成三份的線(豎直三分線)、以及水平三分線和豎直三分線的 交叉點(diǎn)(三分線交叉點(diǎn))，并且Pn表示顯著區(qū)域的中心位置。此外，d是修剪區(qū)域?qū)蔷€的 長度，其以下面的公式(3)給出。
[公式3]^m^irnf^rnmJmimf ··{3)因此，公式⑴中的GDUm、Gmvn、以及Glipn的值分別隨著顯著區(qū)域的中心位置靠近水 平三分線、豎直三分線、以及三分線交叉點(diǎn)而變得更大。此外，公式(1)中的系數(shù)α ta、α νη、以及α ρη分別是如下這種參數(shù)該參數(shù)根據(jù)下 面的公式(4)給出的顯著區(qū)域的寬高比“VA_aSpect_ration”，如圖8的從上至下的圖所示 而變化，假設(shè)顯著區(qū)域的寬度和高度分別為“Crop_width”和“Cr0p_height”。在圖8的從 上至下的圖中，水平軸表示寬高比“VA_aSpeCt_rati0n”，而豎直軸表示系數(shù)α ta、α vn、以及 α pn中每個(gè)系數(shù)的值。[公式4]VA_aspect_ration = VA_widthn/VA_heightn ··· (4)根據(jù)圖8頂部的圖，當(dāng)寬高比“VA_aSpeCt—ration”為0至r_min時(shí)，系數(shù)α ta變 成 1.0，并且當(dāng)寬高比“VA_aSpect_rati0n”大于r_midl時(shí)，系數(shù)Cihn變成0.0。此外，當(dāng)寬 高比 “VA_aspect_ration，，為 r_min 至 r_midl 時(shí)，系數(shù) α ta 隨著寬高比 VA_aspect_ration 增大而減小。即，在公式(1)中，系數(shù)Qhn在顯著區(qū)域被豎直伸長時(shí)變得有效。根據(jù)圖8中間的圖，當(dāng)寬高比VA_aSpeCt_ratiOn*0至r_mid2時(shí)，系數(shù)ανη變成 0. 0，并且當(dāng)寬高比VA_aspect_ration大于r_max時(shí)，系數(shù)α vn變成1.0。此外，當(dāng)寬高比 VA_aspect_ration 為 r_mid2 至 r_max 時(shí)，系數(shù) α νη 隨著寬高比 VA_aspect_ration 增大而 增大。即，在公式(1)中，系數(shù)α vn在顯著區(qū)域被水平伸長時(shí)變得有效。根據(jù)圖8底部的圖，當(dāng)寬高比VA_aspect_ration為0至r_min或者大于r_max時(shí)， 系數(shù)αρη變成0. 0，并且當(dāng)寬高比VA_aspect_ration*r_midl至r_mid2時(shí)，系數(shù)αρη變成 1.0。此夕卜，當(dāng)寬高比VA_aspect_ration*r_min至r_midl時(shí)，系數(shù)αρη隨著寬高比VA_ aspect_ration±曾大而增大，并且當(dāng)寬高比VA_aspect_r￡ition為r_mid2至r_max時(shí)，系數(shù) αρη隨寬高比VA_aSpeCt_ration增大而減小。S卩，在公式(1)中，系數(shù)Cipn在顯著區(qū)域形狀 接近于正方形時(shí)變得有效。根據(jù)以上內(nèi)容，公式(1)表示如果顯著區(qū)域分別被豎直伸長、水平伸長、或者形狀 接近于正方形，則能量函數(shù)E。的值隨著顯著區(qū)域靠近水平三分線、豎直三分線、以及三分線 交叉點(diǎn)而變得更大。例如，在圖9的實(shí)例中，由于顯著區(qū)域Rh被豎直伸長并接近水平三分線，顯著區(qū)域 Rv被水平伸長并接近豎直三分線，并且顯著區(qū)域Rp形狀接近于正方形并接近三分線交叉 點(diǎn)，所以能量函數(shù)E。變大。雖然以上描述關(guān)注于采用三分構(gòu)圖作為構(gòu)圖模式的情況，但例如，如圖10中所 示，還可以采用通過進(jìn)一步將三分構(gòu)圖中的單個(gè)劃分區(qū)域劃分成三份而獲得的構(gòu)圖(九分 構(gòu)圖)。根據(jù)九分構(gòu)圖，可以預(yù)見到的是，該構(gòu)圖提供較之三分構(gòu)圖而言的縱深。關(guān)于九分構(gòu)圖的能量函數(shù)E。以下面的公式(5)給出。[公式5] 在公式(5)中，GdUm、GdLvn,以及Gdpn以下面的公式(6)給出。[公式6] 在公式(6)中，Ldh, Ldv、以及Pd分別表示在九分構(gòu)圖中將水平方向分成九份的線 (水平九分線)、將豎直方向分成九份的線(豎直九分線)、以及水平九分線和豎直九分線的 交叉點(diǎn)(九分線交叉點(diǎn))。然而，應(yīng)當(dāng)注意，如圖10中所示，三分構(gòu)圖中心處所劃分區(qū)域內(nèi) 的、水平九分線hla、hlb與豎直九分線via、vlb之間的交叉點(diǎn)不包括在內(nèi)。此外，在公式(5)中，系數(shù)α &(1取0到1的值，并且是確定關(guān)于三分構(gòu)圖的能量函 數(shù)的值與關(guān)于九分構(gòu)圖的能量函數(shù)的值之間的比率的參數(shù)。例如，當(dāng)要應(yīng)用的構(gòu)圖模式只 是九分構(gòu)圖時(shí)，系數(shù)可以被設(shè)置為αΜ = 0。回到圖7中的流程圖，在步驟S32中，安全模型創(chuàng)建部件34b創(chuàng)建用于防止修剪區(qū) 域變得太小的安全模型。換言之，安全模型創(chuàng)建部件34b創(chuàng)建關(guān)于安全模型的能量函數(shù)Es。 能量函數(shù)Es以下面的公式(7)給出。[公式7] 此處，如圖11中所示，使輸入圖像內(nèi)包括所有顯著區(qū)域的最小矩形為完整顯著矩 形區(qū)域，其面積為Swa，并且中心位置為PWA。此外，使修剪區(qū)域的面積為Stop，并且中心位置 為P&。p。此外，使完整顯著矩形面積與修剪區(qū)域之間公共區(qū)域的面積為SWA&&。P。此時(shí)，公式(7)的能量函數(shù)Es的值隨著完整顯著矩形區(qū)域與修剪區(qū)域之間公共區(qū) 域的面積SWMtt。p變得更大而變得更大(公式(7)的第一項(xiàng))。此外，公式(7)的能量函數(shù)Es的值隨著修剪區(qū)域的中心位置Ptop與完整顯著矩形 區(qū)域的中心位置Pwa之間的距離變得更加接近而變得更大(公式(7)的第二項(xiàng))。在步驟S33中，懲罰模型創(chuàng)建部件34c創(chuàng)建用于估算修剪區(qū)域的脫離輸入圖像的 區(qū)域面積的懲罰模型。換言之，懲罰模型創(chuàng)建部件34c創(chuàng)建關(guān)于懲罰模型的能量函數(shù)Ep。能 量函數(shù)Ep以下面的公式(8)給出。[公式8]
Ep=SOVER/SCROP …(8)此處，如圖12中所示，使修剪區(qū)域的面積為Stojp，并且使脫離輸入圖像區(qū)域的修剪 區(qū)域的面積為Scjvct15此時(shí)，公式(8)的能量函數(shù)Ep的值隨著脫離輸入圖像區(qū)域的修剪區(qū)域的面積Sqvct 變得更大而變得更大。應(yīng)當(dāng)注意，為了減少計(jì)算量，當(dāng)修剪區(qū)域脫離輸入圖像區(qū)域時(shí)，可以 將能量函數(shù)總是設(shè)置為Ep = 1。在步驟S34中，目標(biāo)函數(shù)創(chuàng)建部件34d根據(jù)能量函數(shù)E。、Es、以及Ep創(chuàng)建以下面的 公式(9)給出的目標(biāo)函數(shù)E。[公式9]E=I/ (Ce XEc+Cs XEs) +CpXEp ... (9)在公式(9)中，系數(shù)Cc、Cs、以及Cp分別是關(guān)于能量函數(shù)E。、ES、以及Ep的調(diào)整函數(shù)。 公式(9)表示目標(biāo)函數(shù)E的值越小，所獲得的修剪區(qū)域變得越接近最佳修剪區(qū)域。在步驟S35中，優(yōu)化部件34e基于關(guān)于使目標(biāo)函數(shù)E最小化的修剪區(qū)域的位置信 息確定最佳修剪區(qū)域，并將最佳修剪區(qū)域提供給圖像修剪部件35。更具體地，優(yōu)化部件34e 通過使用粒子群優(yōu)化(PSO)來優(yōu)化目標(biāo)函數(shù)E。在粒子群優(yōu)化中，雖然多個(gè)變量隨機(jī)改變，但隨著變量中的一個(gè)變量靠近目標(biāo)最 佳值，其它變量也靠近最佳值，并且重復(fù)此處理以使得多個(gè)變量變成其各自的最佳值。S卩，通過取修剪區(qū)域的修剪開始位置(水平方向/豎直方向)、以及修剪區(qū)域的尺 寸(寬度/高度)作為變量，優(yōu)化部件34e通過粒子群優(yōu)化得出使目標(biāo)函數(shù)E最小化的位 置信息(修剪區(qū)域的開始位置和尺寸)。優(yōu)化部件34e基于所得出的位置信息確定最佳修 剪區(qū)域，并且處理返回步驟S15。應(yīng)當(dāng)注意，在修剪區(qū)域的寬高比固定的情況下，優(yōu)化部件34e可以將修剪區(qū)域的 修剪開始位置(水平方向和豎直方向)、以及修剪區(qū)域的尺寸(寬度)設(shè)置為變量。此外， 可以添加修剪區(qū)域的旋轉(zhuǎn)角度作為變量。圖13中示出了以此方式確定的最佳修剪區(qū)域的實(shí)例。如圖13中所示，在輸入圖像P中，以如下這種方式確定最佳修剪區(qū)域P。該方式使 得單只鳥被放置在三分構(gòu)圖中的三分線交叉點(diǎn)的位置處?；氐綀D3中的流程圖，在步驟S16中，圖像修剪部件35基于來自構(gòu)圖分析部件34 的最佳修剪區(qū)域，從所輸入的輸入圖像修剪出最佳修剪區(qū)域的圖像，并輸出修剪出的圖像。 例如，圖像修剪部件35基于來自構(gòu)圖分析部件34的最佳修剪區(qū)域，在如圖14中所示的三 分構(gòu)圖中修剪出最佳修剪區(qū)域P。的圖像。根據(jù)以上處理，可以基于與輸入圖像的場景、以及輸入圖像中顯著區(qū)域的數(shù)量相 關(guān)聯(lián)的構(gòu)圖模式確定修剪區(qū)域。由于顯著區(qū)域即使在對象并非人時(shí)也得以確定，所以即使 對于除人以外的對象也可以修剪出具有最佳構(gòu)圖的圖像。此外，由于構(gòu)圖模式是基于場景 以及顯著區(qū)域的數(shù)量設(shè)置的，所以無論輸入圖像的類別如何都可以修剪出具有最佳構(gòu)圖的 圖像。雖然以上描述關(guān)注于與場景以及顯著區(qū)域的數(shù)量相關(guān)聯(lián)地提前確定的構(gòu)圖模式 的配置，但還可以對輸入圖像執(zhí)行物體識別，并根據(jù)物體設(shè)置構(gòu)圖模式。
<2.第二實(shí)施例〉[圖像處理設(shè)備的配置實(shí)例]圖15示出了被配置成對輸入圖像執(zhí)行物體識別、并根據(jù)物體設(shè)置構(gòu)圖模式的圖 像處理設(shè)備的配置實(shí)例。應(yīng)當(dāng)注意，在圖15的圖像處理設(shè)備111中，功能與圖1的圖像處 理設(shè)備11中提供的那些部件一樣的部件以相同的名稱以及相同的附圖標(biāo)記來標(biāo)注，并適 當(dāng)?shù)芈匀チ似涿枋?。即，圖15中的圖像處理設(shè)備111與圖1中的圖像處理設(shè)備11的不同之處在于提 供了構(gòu)圖模式設(shè)置部件131來取代構(gòu)圖模式設(shè)置部件33。應(yīng)當(dāng)注意，在圖15中，場景甄別部件32甄別輸入圖像的場景，并將作為甄別結(jié)果 獲得的、表示場景的場景信息提供給構(gòu)圖模式設(shè)置部件131。構(gòu)圖模式設(shè)置部件131識別來自場景甄別部件32的輸入圖像中的物體。此外，構(gòu) 圖模式設(shè)置部件131基于來自場景甄別部件32的場景信息所表示的場景、以及識別出的物 體來設(shè)置對應(yīng)于輸入圖像的構(gòu)圖模式，并將構(gòu)圖模式提供給構(gòu)圖分析部件34。構(gòu)圖模式設(shè) 置部件131針對各個(gè)場景存儲提前確定了構(gòu)圖內(nèi)物體的比例和放置的構(gòu)圖模式，并通過從 所存儲的構(gòu)圖模式之中根據(jù)場景和物體選擇構(gòu)圖模式來設(shè)置構(gòu)圖模式?？梢砸允沟迷鰪?qiáng)構(gòu) 圖平衡的方式來設(shè)置構(gòu)圖內(nèi)物體的比例和放置。應(yīng)當(dāng)注意，具有針對各個(gè)場景提前確定的 構(gòu)圖內(nèi)物體的比例和放置的構(gòu)圖模式可以存儲在未示出的數(shù)據(jù)庫等中。[圖像處理設(shè)備中的圖像修剪處理]接下來，參照圖16中的流程圖，將對圖15的圖像處理設(shè)備111中的圖像修剪處理 給出描述。應(yīng)當(dāng)注意，由于圖16的流程圖中的步驟Slll至S113、S115、以及S116中的處 理與參照圖3中的流程圖描述的步驟Sll至S13、S15、以及S16中的處理一樣，所以略去了 其描述。即，在步驟S114中，構(gòu)圖模式設(shè)置部件131識別來自場景甄別部件32的輸入圖像 中的物體。此外，構(gòu)圖模式設(shè)置部件131基于來自場景甄別部件32的場景信息所表示的場 景、以及識別出的物體來設(shè)置對應(yīng)于輸入圖像的構(gòu)圖模式，并將構(gòu)圖模式提供給構(gòu)圖分析 部件34。此處，參照圖17，將對根據(jù)物體的構(gòu)圖模式的實(shí)例給出描述。在圖17所示的輸入圖像中，天空、巖石、草、以及人作為物體存在。在識別出圖17 所示的輸入圖像中的這些物體后，構(gòu)圖模式設(shè)置部件131從所存儲的構(gòu)圖模式之中選擇構(gòu) 圖內(nèi)天空、巖石、草、以及人的比例分別為30%、20%、40%、以及10%的構(gòu)圖模式。結(jié)果，最 終修剪出圖17中的輸入圖像上的框所表示的構(gòu)圖的圖像。根據(jù)以上處理，可以識別輸入圖像中的物體，并根據(jù)物體和場景設(shè)置構(gòu)圖模式。由 于構(gòu)圖模式所確定的構(gòu)圖內(nèi)的物體的比例和放置被設(shè)置成使得增強(qiáng)構(gòu)圖的平衡，所以可以 修剪出具有最佳構(gòu)圖的圖像。雖然以上描述關(guān)注于只確定了輸入圖像中的一個(gè)修剪區(qū)域的配置，但也可以確定 輸入圖像中的修剪區(qū)域的多個(gè)候選。<3.第三實(shí)施例〉[圖像處理設(shè)備的配置實(shí)例]圖18示出了被配置成用于確定輸入圖像中的修剪區(qū)域的多個(gè)候選的圖像處理設(shè)備的配置實(shí)例。應(yīng)當(dāng)注意，在圖18的圖像處理設(shè)備211中，功能與圖1的圖像處理設(shè)備11中提供的那些部件一樣的部件以相同的名稱以及相同的附圖標(biāo)記來標(biāo)注，并適當(dāng)?shù)芈匀チ?其描述。S卩，圖18中的圖像處理設(shè)備211與圖1中的圖像處理設(shè)備11的不同之處在于提 供了構(gòu)圖分析部件231來取代構(gòu)圖分析部件34，以及額外提供了顯示部件232和操作輸入 部件233。構(gòu)圖分析部件231基于來自構(gòu)圖模式設(shè)置部件33的構(gòu)圖模式，為要按該構(gòu)圖模式 修剪出的圖像確定輸入圖像中的最佳修剪區(qū)域的多個(gè)候選(修剪區(qū)域候選)，并將修剪區(qū) 域候選提供給顯示部件232。此外，基于來自操作輸入部件233的、表示選擇了修剪區(qū)域候 選之一的操作信號，構(gòu)圖分析部件231將所選擇的修剪區(qū)域提供給圖像修剪部件35構(gòu)圖分析部件231包括構(gòu)圖模型創(chuàng)建部件231a、安全模型創(chuàng)建部件231b、懲罰模 型創(chuàng)建部件231c、目標(biāo)函數(shù)創(chuàng)建部件231d、以及優(yōu)化部件231e。應(yīng)當(dāng)注意，由于構(gòu)圖模型創(chuàng) 建部件231a至目標(biāo)函數(shù)創(chuàng)建部件231d的功能與圖1中的構(gòu)圖模型創(chuàng)建部件34a至目標(biāo)函 數(shù)創(chuàng)建部件34d —樣，所以略去了其描述。優(yōu)化部件231e確定給出前η個(gè)最小目標(biāo)函數(shù)E的修剪區(qū)域，并將這些修剪區(qū)域作 為修剪區(qū)域候選提供給顯示部件232。顯示部件232被配置成其上堆疊有作為觸摸面板的操作輸入部件233的監(jiān)視器， 并在輸入圖像上顯示表示來自構(gòu)圖分析部件231的修剪區(qū)域候選的框或者顯示用于向用 戶指示操作的操作圖像。操作輸入部件233被配置成堆疊在顯示部件232的顯示表面上的觸摸面板，并將 根據(jù)用戶操作的操作信號提供給構(gòu)圖分析部件231。[圖像處理設(shè)備中的圖像修剪處理]接下來，參照圖19中的流程圖，將對圖18的圖像處理設(shè)備211中的圖像修剪處理 給出描述。應(yīng)當(dāng)注意，由于圖16的流程圖中的步驟S211至S114中的處理與參照圖3中的 流程圖描述的步驟Sll至S14中的處理一樣，所以略去了其描述。即，在步驟S215中，構(gòu)圖分析部件231執(zhí)行修剪區(qū)域候選確定處理，該處理基于來 自構(gòu)圖模式設(shè)置部件33的構(gòu)圖模式，為要按該構(gòu)圖模式修剪出的圖像確定輸入圖像中的 最佳修剪區(qū)域的多個(gè)候選。[構(gòu)圖分析部件中的修剪區(qū)域候選確定處理]此處，參照圖20中的流程圖，將對圖19的流程圖中的步驟S215的修剪區(qū)域候選 確定處理給出描述。應(yīng)當(dāng)注意，由于圖20的流程圖中的步驟S231至S234的處理與參照圖 7中的流程圖描述的步驟S31至S34中的處理一樣，所以略去了其描述。S卩，在步驟S235中，優(yōu)化部件231e確定給出前η個(gè)最小目標(biāo)函數(shù)E的修剪區(qū)域， 并將這些修剪區(qū)域作為修剪區(qū)域候選提供給顯示部件232。更具體地，例如，在通過使用粒子群優(yōu)化對目標(biāo)函數(shù)E執(zhí)行優(yōu)化后，優(yōu)化部件231e 保存此時(shí)的位置信息和本地最小值，并將具有較大變化的位置信息(按照目標(biāo)函數(shù)E的值 升序排列)的前η個(gè)集合提供給顯示部件232，并且處理返回到步驟S15。以此方式，構(gòu)圖分析部件231可以確定修剪區(qū)域候選?；氐綀D19中的流程圖，在步驟S216中，例如，顯示部件232以圖21中所示的方式在輸入圖像上顯示表示來自構(gòu)圖分析部件231的修剪區(qū)域候選的框。圖21中所示的顯示部件232顯示表示兩個(gè)修剪區(qū)域候選的框，并命名為“候選1” 和“候選2”，以用于標(biāo)識這些候選中的每個(gè)候選。用戶可以借助于作為堆疊在顯示部件232 上的觸摸面板的操作輸入部件233來選擇“候選1”或“候選2”所表示的修剪區(qū)域候選。在步驟S217中，構(gòu)圖分析部件231判斷是否選擇了修剪區(qū)域候選之一。S卩，構(gòu)圖 分析部件231判斷是否從操作輸入部件233提供了表示選擇了修剪區(qū)域候選之一的操作信 號。此時(shí)，當(dāng)用戶選擇了圖21中所示的“候選1”和“候選2”所表示的修剪區(qū)域候選 之一時(shí)，顯示如圖22中所示的包括詞語“此視角可以嗎？ ”、“是”、“否”的確認(rèn)屏幕。當(dāng)在 圖22中通過用戶在作為顯示部件232上的觸摸面板的操作輸入部件233上的操作而選擇 了 “是”時(shí)，表示選擇了修剪區(qū)域候選之一的操作信號被提供給構(gòu)圖分析部件231。如果在步驟S217中判定兩個(gè)修剪區(qū)域候選均未被選擇，則重復(fù)該處理直到提供 了來自操作輸入部件233的、表示選擇了修剪區(qū)域候選之一的操作信號。另一方面，如果在步驟S217中判定選擇了修剪區(qū)域候選之一，則構(gòu)圖分析部件 231基于來自操作輸入部件233的、表示選擇了修剪區(qū)域候選中之一的操作信號，將所選擇 的修剪區(qū)域提供給圖像修剪部件35。在步驟S218中，圖像修剪部件35基于來自構(gòu)圖分析部件231的修剪區(qū)域，從所輸 入的輸入圖像中修剪出所選擇的修剪區(qū)域的圖像。根據(jù)以上處理，由于可以顯示最佳修剪區(qū)域的多個(gè)候選以用于選擇，所以用戶可 以檢查修剪區(qū)域的候選并做出選擇。因此，可以修剪出具有匹配用戶喜好的最佳構(gòu)圖的圖像。雖然以上沒有提到輸入圖像的尺寸，但也可以輸入全景圖像作為輸入圖像。<4.第四實(shí)施例〉[圖像處理設(shè)備的配置實(shí)例]圖23示出了被配置成用于輸入全景圖像作為輸入圖像的圖像處理設(shè)備的配置實(shí) 例。應(yīng)當(dāng)注意，在圖23的圖像處理設(shè)備311中，功能與圖1的圖像處理設(shè)備11中提供的那 些部件一樣的部件以相同的名稱以及相同的附圖標(biāo)記來標(biāo)注，并適當(dāng)?shù)芈匀チ似涿枋?。S卩，圖23中的圖像處理設(shè)備311與圖1中的圖像處理設(shè)備11的不同之處在于額 外提供了全景甄別部件331，以及提供了構(gòu)圖分析部件332來取代構(gòu)圖分析部件34。全景甄別部件331甄別輸入圖像是否是全景圖像，并將甄別結(jié)果提供給構(gòu)圖分析 部件332。根據(jù)來自全景甄別部件331的甄別結(jié)果，基于來自構(gòu)圖模式設(shè)置部件33的構(gòu)圖模式，構(gòu)圖分析部件332為要按該構(gòu)圖模式修剪出的圖像確定輸入圖像中的修剪區(qū)域，并將 修剪區(qū)域提供給圖像修剪部件35。構(gòu)圖分析部件332包括構(gòu)圖模型創(chuàng)建部件332a、安全模型創(chuàng)建部件332b、懲罰模 型創(chuàng)建部件332c、目標(biāo)函數(shù)創(chuàng)建部件332d、以及優(yōu)化部件332e。應(yīng)當(dāng)注意，由于構(gòu)圖模型創(chuàng) 建部件332a、安全模型創(chuàng)建部件332b、以及懲罰模型創(chuàng)建部件332c的功能分別與圖1中的 構(gòu)圖模型創(chuàng)建部件34a、安全模型創(chuàng)建部件34b、以及懲罰模型創(chuàng)建部件34c —樣，所以略去 了其描述。
如果來自全景甄別部件331的甄別結(jié)果表示輸入圖像是全景圖像，則目標(biāo)函數(shù)創(chuàng) 建部件332d將目標(biāo)函數(shù)E中的能量函數(shù)Es項(xiàng)置零。如果來自全景甄別部件331的甄別結(jié)果表示輸入圖像不是全景圖像，則優(yōu)化部件 332e確定使目標(biāo)函數(shù)E最小化的修剪區(qū)域，并將該修剪區(qū)域作為最佳修剪區(qū)域提供給圖像 修剪部件35。此外，如果來自全景甄別部件331的甄別結(jié)果表示輸入圖像是全景圖像，則優(yōu) 化部件231e確定給出前η個(gè)最小目標(biāo)函數(shù)E的修剪區(qū)域，并將這些修剪區(qū)域作為修剪區(qū)域 候選提供給圖像修剪部件35。[圖像處理設(shè)備中的圖像修剪處理]接下來，參照圖24中的流程圖，將對圖23的圖像處理設(shè)備311中的圖像修剪處理 給出描述。應(yīng)當(dāng)注意，由于圖24的流程圖中的步驟S311至S314中的處理與參照圖3中的 流程圖描述的步驟Sll至S14中的處理一樣，所以略去了其描述。此外，由于圖24的流程 圖中的步驟S318和S319中的處理與參照圖3中的流程圖描述的步驟S15和S16中的處理 一樣，所以略去了其描述。S卩，在步驟S315中，全景甄別部件331甄別輸入圖像是否是全景圖像。更具體地， 使輸入圖像的寬度和高度分別為“ In_width”和“ In_height”，全景甄別部件331將下面的 公式(10)所表示的寬高比In_aspect_ratio與預(yù)定閾值In_aspect_ratio_th相比較。[公式10]
In_aspect_ratio=In_width/In_height...(10)
如果在步驟S315中甄別出輸入圖像是全景圖像，則全景甄別部件331將寬高 比In_aSpect_rati0連同用于表示輸入圖像是全景圖像的信息一起提供給構(gòu)圖分析部件 332，并且處理前往步驟S316。在步驟S316中，構(gòu)圖分析部件332基于來自全景甄別部件331的表示輸入圖像是 全景圖像的信息、以及寬高比Iruaspectjatio執(zhí)行修剪區(qū)域候選確定處理。應(yīng)當(dāng)注意，由于圖23中的圖像處理設(shè)備311所進(jìn)行的修剪區(qū)域候選確定處理與以 上參照圖20中的流程圖描述的圖18中的圖像處理設(shè)備211中的處理基本上一樣，所以略 去了其描述。然而應(yīng)當(dāng)注意，在步驟S234中，目標(biāo)函數(shù)創(chuàng)建部件332d將目標(biāo)函數(shù)E中的能量函 數(shù)Es項(xiàng)置零，其中步驟S234是圖20的流程圖中對應(yīng)于圖像處理設(shè)備311所進(jìn)行的修剪區(qū) 域候選確定處理的處理。更具體地，目標(biāo)函數(shù)創(chuàng)建部件332d根據(jù)圖25中所示的特性改變 公式(9)所表示的目標(biāo)函數(shù)E中的系數(shù)Cs的值。圖25示出了輸入圖像的寬高比Iruaspectjatio與目標(biāo)函數(shù)E中的系數(shù)Cs之間 的關(guān)系。根據(jù)圖 25，當(dāng)寬高比 In_aspect_ratio 大于預(yù)定閾值 In_aspect_ratio_th 時(shí)， 目標(biāo)函數(shù)E中的系數(shù)Cs的值變成0.0，并且當(dāng)寬高比In_aSpect_ratio小于預(yù)定閾值In_ aSpeCt_rati0_th時(shí)，目標(biāo)函數(shù)E中的系數(shù)Cs的值變成1.0。即，當(dāng)輸入圖像是全景圖像時(shí)， 在目標(biāo)函數(shù)E中，將關(guān)于用于防止修剪區(qū)域變得太小的安全模型的能量函數(shù)設(shè)置為0。相應(yīng)地，將修剪區(qū)域候選提供給圖像修剪部件35作為相對較小的修剪區(qū)域。回到圖24中的流程圖，在步驟S317中，基于來自構(gòu)圖分析部件332的修剪區(qū)域候選，圖像修剪部件35以如圖26中所示的方式從所輸入的輸入圖像(全景圖像)修剪出修 剪區(qū)域候選的圖像，并輸出修剪出的圖像。圖26示出了全景圖像中修剪區(qū)域候選的實(shí)例。在圖26中，在全景圖像(即輸入 圖像)上設(shè)置表示三個(gè)修剪區(qū)域候選(候選1至3)的框。回到圖24中的流程圖，如果甄別出輸入圖像不是全景圖像，則全景甄別部件331 將表示輸入圖像不是全景圖像的信息提供給構(gòu)圖分析部件332。然后，處理前往步驟S318， 并且確定最佳修剪區(qū)域。在步驟S319中，從輸入圖像修剪出最佳修剪區(qū)域的圖像。根據(jù)以上處理，當(dāng)輸入圖像是全景圖像時(shí)，可以確定多個(gè)小修剪區(qū)域候選。因此， 用戶可以從在全景圖像中修剪出的多個(gè)構(gòu)圖中選擇具有匹配用戶喜好的最佳構(gòu)圖的圖像。雖然以上描述關(guān)注于只輸出修剪區(qū)域圖像作為輸出圖像的配置，但也可以將輸入 圖像不做變化地連同修剪區(qū)域圖像一起輸出。<5.第五實(shí)施例> [圖像處理設(shè)備的配置實(shí)例]圖27示出了被配置成用于將輸入圖像不做變化地連同修剪區(qū)域圖像一起輸出的 圖像處理設(shè)備的配置實(shí)例。應(yīng)當(dāng)注意，在圖27的圖像處理設(shè)備411中，功能與圖1的圖像 處理設(shè)備11中提供的那些部件一樣的部件以相同的名稱以及相同的附圖標(biāo)記來標(biāo)注，并 適當(dāng)?shù)芈匀チ似涿枋觥卩，圖27中的圖像處理設(shè)備411與圖1中的圖像處理設(shè)備11的不同之處在于將 輸入圖像不做變化地連同修剪區(qū)域圖像一起輸出。根據(jù)以上配置，由于可以將輸入圖像不做變化地連同修剪區(qū)域圖像一起輸出，所 以當(dāng)這些圖像被輸出到顯示設(shè)備時(shí)，用戶可以將輸入圖像和修剪區(qū)域圖像彼此相比較。例 如，如果輸入圖像是用戶用圖像捕捉設(shè)備捕捉到的圖像，則用戶可以檢查用戶自身拍攝到 圖像的構(gòu)圖與修剪出的圖像的構(gòu)圖之間的差異。應(yīng)當(dāng)注意，由于圖27中的圖像處理設(shè)備411所進(jìn)行的修剪區(qū)域候選確定處理與參 照圖3中的流程圖描述的圖1中的圖像處理設(shè)備11中的處理基本上一樣，所以略去了其描 述。雖然以上描述關(guān)注于在所確定的修剪區(qū)域的基礎(chǔ)上從輸入圖像修剪出修剪區(qū)域 的圖像并將其輸出的配置，但也可以只輸出表示修剪區(qū)域的信息。<6.第六實(shí)施例〉[圖像處理設(shè)備的配置實(shí)例]圖28示出了被配置成用于只輸出表示修剪區(qū)域的信息連同修剪區(qū)域圖像的圖像 處理設(shè)備的配置實(shí)例。應(yīng)當(dāng)注意，在圖28的圖像處理設(shè)備511中，功能與圖1的圖像處理 設(shè)備11中提供的那些部件一樣的部件以相同的名稱以及相同的附圖標(biāo)記來標(biāo)注，并適當(dāng) 地略去了其描述。S卩，圖28中的圖像處理設(shè)備511與圖1中的圖像處理設(shè)備11的不同之處在于移 除了圖像修剪部件35，并將輸入圖像不做變化地輸出。應(yīng)當(dāng)注意，圖28中的構(gòu)圖分析部件34基于來自構(gòu)圖模式設(shè)置部件33的構(gòu)圖模 式，為要按該構(gòu)圖模式修剪出的圖像確定輸入圖像中的最佳修剪區(qū)域，并將表示最佳修剪 區(qū)域的信息輸出到外部設(shè)備等。
[圖像處理設(shè)備中的圖像修剪處理]接下來，參照圖29中的流程圖，將對圖28的圖像處理設(shè)備511中的圖像修剪處理 給出描述。應(yīng)當(dāng)注意，由于圖29的流程圖中的步驟S511至S515中的處理與參照圖3中的 流程圖描述的步驟Sll至S15中的處理一樣，所以略去了其描述。S卩，在步驟S516中，圖像處理設(shè)備511將輸入圖像不做變化地輸出，并且構(gòu)圖分析 部件34將表示輸入圖像中的所確定的最佳修剪區(qū)域的信息輸出到外部設(shè)備等。 根據(jù)以上處理，由于可以將表示圖像修剪區(qū)域的信息而非修剪區(qū)域的圖像連同輸 入圖像一起輸出，所以可以減小圖像處理設(shè)備511內(nèi)的未示出的幀存儲器的容量。雖然以上描述關(guān)注于分別輸出輸入圖像以及表示最佳修剪區(qū)域的信息的配置，但 也可以將輸入圖像以及表示最佳修剪區(qū)域的信息作為單條數(shù)據(jù)輸出。<7.第七實(shí)施例〉[圖像處理設(shè)備的配置實(shí)例]圖30示出了被配置成用于將輸入圖像以及表示最佳修剪區(qū)域的信息作為單條數(shù) 據(jù)輸出的圖像處理設(shè)備的配置實(shí)例。應(yīng)當(dāng)注意，在圖30的圖像處理設(shè)備611中，功能與圖1 的圖像處理設(shè)備11中提供的那些部件一樣的部件以相同的名稱以及相同的附圖標(biāo)記來標(biāo) 注，并適當(dāng)?shù)芈匀チ似涿枋?。S卩，圖30中的圖像處理設(shè)備611與圖1中的圖像處理設(shè)備11的不同之處在于提 供了添加部件631來取代圖像修剪部件35。應(yīng)當(dāng)注意，圖30中的構(gòu)圖分析部件34基于來自構(gòu)圖模式設(shè)置部件33的構(gòu)圖模 式，為要按該構(gòu)圖模式修剪出的圖像確定輸入圖像中的最佳修剪區(qū)域，并將表示該最佳修 剪區(qū)域的信息輸出到添加部件631。添加部件631將來自構(gòu)圖分析部件34的、表示最佳修剪區(qū)域的信息添加到所輸入 的輸入圖像作為EXIF信息，并輸出結(jié)果作為輸出圖像。[圖像處理設(shè)備中的圖像修剪處理]接下來，參照圖31中的流程圖，將對圖30的圖像處理設(shè)備611中的圖像修剪處理 給出描述。應(yīng)當(dāng)注意，由于圖31的流程圖中的步驟S611至S615中的處理與參照圖3中的 流程圖描述的步驟Sll至S15中的處理一樣，所以略去了其描述。S卩，在步驟S616中，添加部件631將來自構(gòu)圖分析部件34的、表示最佳修剪區(qū)域 的信息添加到所輸入的輸入圖像作為EXIF信息，并輸出結(jié)果作為輸出圖像。根據(jù)以上處理，由于可以將表示最佳修剪區(qū)域的信息作為EXIF信息添加到輸入 圖像并且將其輸出，所以不生成修剪區(qū)域的圖像，并且可以減小圖像處理設(shè)備611內(nèi)的未 示出的幀存儲器的容量。雖然以上描述關(guān)注于用圖像捕捉設(shè)備等捕捉到的圖像作為輸入圖像來輸出修剪 區(qū)域的圖像的圖像處理設(shè)備，但圖像捕捉設(shè)備也可以包括用于確定關(guān)于已捕捉到的捕捉圖 像的修剪區(qū)域的配置。<8.第八實(shí)施例>[圖像捕捉設(shè)備的配置實(shí)例]圖32示出了被配置成用于確定關(guān)于已捕捉到的捕捉圖像的修剪區(qū)域的圖像捕捉 設(shè)備的配置實(shí)例。應(yīng)當(dāng)注意，在圖32的圖像捕捉設(shè)備711中，功能與圖1的圖像處理設(shè)備11中提供的那些部件一樣的部件以相同的名稱以及相同的附圖標(biāo)記來標(biāo)注，并適當(dāng)?shù)芈匀?了其描述。即，圖32中的圖像捕捉設(shè)備711與圖1中的圖像處理設(shè)備11的不同之處在于額 外提供了圖像捕捉部件731、圖像處理部件732、以及顯示部件733。應(yīng)當(dāng)注意，圖32中的構(gòu)圖分析部件34基于來自構(gòu)圖模式設(shè)置部件33的構(gòu)圖模 式，為要按該構(gòu)圖模式修剪出的圖像確定輸入圖像中的最佳修剪區(qū)域，并將該最佳修剪區(qū) 域提供給圖像修剪部件35和顯示部件733。圖像捕捉部件731被配置成包括光學(xué)透鏡、成像裝置、以及A/D (模擬/數(shù)字)轉(zhuǎn) 換部件(均未示出)。在圖像捕捉部件731中，成像裝置接收入射在光學(xué)透鏡上的光并執(zhí)行 光電轉(zhuǎn)換從而捕捉對象，并且對所獲得的模擬圖像信號施加A/D轉(zhuǎn)換。圖像捕捉部件731 將作為A/D轉(zhuǎn)換結(jié)果獲得的數(shù)字圖像數(shù)據(jù)(捕捉圖像)提供給圖像處理部件732。圖像處理部件732對來自圖像捕捉部件731的捕捉圖像應(yīng)用諸如去噪的圖像處 理，并將所得圖像提供給顯著區(qū)域提取部件31、場景甄別部件32、圖像修剪部件35、以及顯 示部件733。顯示部件733在來自圖像處理部件732的捕捉圖像上顯示表示來自構(gòu)圖分析部件 34的最佳修剪區(qū)域的框、或者顯示圖像修剪部件35修剪出的最佳修剪區(qū)域的圖像。[圖像捕捉設(shè)備中的圖像修剪處理]接下來，參照圖33中的流程圖，將對圖32的圖像捕捉設(shè)備711中的圖像修剪處理 給出描述。應(yīng)當(dāng)注意，由于圖33的流程圖中的步驟S713至S717中的處理與參照圖3中的 流程圖描述的步驟Sll至S15中的處理一樣，所以略去了其描述。即，在步驟S711中，圖像捕捉部件731捕捉對象，并將所獲得的捕捉圖像提供給圖 像處理部件732。在步驟S712中，圖像處理部件732對來自圖像捕捉部件731的捕捉圖像應(yīng)用諸如 去噪的圖像處理，并將所得圖像提供給顯著區(qū)域提取部件31、場景甄別部件32、圖像修剪 部件35、以及顯示部件733。在步驟S718中，顯示部件733在來自圖像處理部件732的捕捉圖像上顯示表示來 自構(gòu)圖分析部件34的最佳修剪區(qū)域的框。此時(shí)，例如，當(dāng)用戶對未示出的操作輸入部件進(jìn) 行操作，并且將表示用于修剪出最佳修剪區(qū)域的圖像的指令的操作信號提供給圖像修剪部 件35時(shí)，處理前往步驟S719。在步驟S719中，圖像修剪部件35基于來自構(gòu)圖分析部件34的最佳修剪區(qū)域，從 來自圖像處理部件732的捕捉圖像修剪出最佳修剪區(qū)域的圖像。在步驟S720中，顯示部件733顯示圖像修剪部件35修剪出的最佳修剪區(qū)域的圖像。根據(jù)以上處理，可以基于與捕捉圖像的場景以及捕捉圖像中的顯著區(qū)域的數(shù)量相 關(guān)聯(lián)的構(gòu)圖模式來確定修剪區(qū)域。由于顯著區(qū)域在即使對象并非人時(shí)也得以確定，所以即 使對于除人以外的對象也可以修剪出具有最佳構(gòu)圖的圖像。此外，由于構(gòu)圖模式是基于場 景以及顯著區(qū)域的數(shù)量設(shè)置的，所以無論捕捉圖像的類別如何都可以修剪出具有最佳構(gòu)圖 的圖像。雖然以上描述關(guān)注于無論顯著區(qū)域中所包括的對象朝向哪個(gè)方向都可以確定最佳修剪區(qū)域的配置，但也可以根據(jù)對象的朝向確定最佳修剪區(qū)域。<9.第九實(shí)施例>
[圖像處理設(shè)備的配置實(shí)例]圖34示出了被配置成用于根據(jù)對象的朝向確定最佳修剪區(qū)域的圖像處理設(shè)備的 配置實(shí)例。應(yīng)當(dāng)注意，在圖34的圖像處理設(shè)備811中，功能與圖1的圖像處理設(shè)備11中提 供的那些部件一樣的部件以相同的名稱以及相同的附圖標(biāo)記來標(biāo)注，并適當(dāng)?shù)芈匀チ似涿?述。S卩，圖34中的圖像處理設(shè)備811與圖1中的圖像處理設(shè)備11的不同之處在于額 外提供了朝向檢測部件831，以及提供了構(gòu)圖分析部件832來取代構(gòu)圖分析部件34。應(yīng)當(dāng)注意，在圖34中，顯著區(qū)域提取部件31提取輸入圖像中被關(guān)注的顯著區(qū)域， 并將表示顯著區(qū)域的顯著區(qū)域信息提供給構(gòu)圖模式設(shè)置部件33和朝向檢測部件831。此 夕卜，場景甄別部件32甄別輸入圖像的場景，將作為甄別結(jié)果獲得的、表示場景的場景信息 連同輸入圖像一起提供給構(gòu)圖模式設(shè)置部件131，并且還將場景信息提供給朝向檢測部件 831。朝向檢測部件831檢測來自顯著區(qū)域提取部件31的顯著區(qū)域信息所表示的顯著 區(qū)域中所包括的對象的朝向，并將表示朝向的朝向信息提供給構(gòu)圖分析部件832?；趤碜詷?gòu)圖模式設(shè)置部件33的構(gòu)圖模式、以及來自朝向檢測部件831的朝向信 息，構(gòu)圖分析部件832為要按該構(gòu)圖模式修剪出的圖像確定輸入圖像中的最佳修剪區(qū)域， 并將該最佳修剪區(qū)域提供給圖像修剪部件35。構(gòu)圖分析部件832包括構(gòu)圖模型創(chuàng)建部件832a、安全模型創(chuàng)建部件832b、懲罰模 型創(chuàng)建部件832c、目標(biāo)函數(shù)創(chuàng)建部件832d、以及優(yōu)化部件832e。應(yīng)當(dāng)注意，由于構(gòu)圖模型創(chuàng) 建部件832a至目標(biāo)函數(shù)創(chuàng)建部件832d的功能分別與圖1中的構(gòu)圖模型創(chuàng)建部件34a至目 標(biāo)函數(shù)創(chuàng)建部件34d —樣，所以略去了其描述。優(yōu)化部件832e基于來自朝向檢測部件831的朝向信息確定使目標(biāo)函數(shù)E最小化 的修剪區(qū)域，并將該修剪區(qū)域作為最佳修剪區(qū)域提供給圖像修剪部件35。[圖像處理設(shè)備中的圖像修剪處理]接下來，參照圖35中的流程圖，將對圖34的圖像處理設(shè)備811中的圖像修剪處理 給出描述。應(yīng)當(dāng)注意，由于圖35的流程圖中的步驟S811至S814、以及S817中的處理與參 照圖3中的流程圖描述的步驟Sll至S14、以及S16中的處理一樣，所以略去了其描述。此 夕卜，在參照圖35中的流程圖描述的圖像修剪處理中，假設(shè)對象的數(shù)量(即，顯著區(qū)域的數(shù) 量)為1。即，在步驟S815中，朝向檢測部件831在輸入圖像中執(zhí)行朝向檢測處理，以檢測來 自顯著區(qū)域提取部件31的顯著區(qū)域信息所表示的顯著區(qū)域中所包括的對象的朝向。[朝向檢測部件中的朝向檢測處理]此處，參照圖36中的流程圖，將對圖35的流程圖中的步驟S815的朝向檢測處理 給出描述。在步驟S821中，朝向檢測部件831判斷來自顯著區(qū)域提取部件31的顯著區(qū)域信 息所表示的顯著區(qū)域是否是面部矩形區(qū)域。如果在步驟S821中判定顯著區(qū)域是面部矩形區(qū)域，即，如果來自顯著區(qū)域提取部件31的顯著區(qū)域信息是面部矩形區(qū)域信息，則處理前往步驟S822。在步驟S822中，朝向檢測部件831在輸入圖像中檢測面部矩形區(qū)域信息所表示 的面部矩形區(qū)域中所包括的面部的朝向，并將表示該朝向的朝向信息提供給構(gòu)圖分析部件 832。
更具體地，例如，在通過預(yù)先學(xué)習(xí)作為學(xué)習(xí)樣本的、朝向各個(gè)方向的面部圖像而形 成的樹狀結(jié)構(gòu)中，朝向檢測部件831從樹狀結(jié)構(gòu)最上游的節(jié)點(diǎn)向末端節(jié)點(diǎn)對面部矩形區(qū)域 中所包括的面部的圖像重復(fù)進(jìn)行甄別，從而識別出(檢測出)面部的朝向。例如，朝向檢測 部件831預(yù)先學(xué)習(xí)朝向九個(gè)方向(前方、上方、下方、左方、右方、右上方、右下方、左上方、以 及左下方)的面部圖像，并從九個(gè)方向之中選擇面部矩形區(qū)域中所包括的面部的朝向。應(yīng)當(dāng)注意，朝向檢測部件831當(dāng)然可以不僅通過上述技術(shù)也可以通過其他技術(shù)來 檢測面部的朝向。另一方面，如果在步驟S821中判定顯著區(qū)域不是面部矩形區(qū)域，即，如果來自顯 著區(qū)域提取部件31的顯著區(qū)域信息是面部矩形區(qū)域信息，則處理前往步驟S823。在步驟S823中，基于來自場景甄別部件32的場景信息，朝向檢測部件831在輸入 圖像中檢測顯著矩形區(qū)域信息所表示的顯著矩形區(qū)域中所包括的對象的朝向，并將表示朝 向的朝向信息提供給構(gòu)圖分析部件832。更具體地，朝向檢測部件831針對各個(gè)場景存儲包括如下這種圖像的模板在該 圖像中，場景中可以存在的物體朝向九個(gè)方向(前方、上方、下方、左方、右方、右上方、右下 方、左上方、以及左下方)；從根據(jù)來自場景甄別部件32的場景信息所表示的場景的模板之 中，檢索與顯著矩形區(qū)域中所包括的對象對應(yīng)的物體的模板；并基于所檢索的模板執(zhí)行模 板匹配，從而識別出(檢測出)顯著矩形區(qū)域中所包括的對象的朝向。例如，如果來自場景甄別部件32的場景信息所表示的場景是“草地”，并且顯著矩 形區(qū)域中所包括的對象是“花”，則朝向檢測部件831從針對“草地”的模板中檢索“花”的 模板，并基于該模板執(zhí)行模板匹配，從而識別出作為對象的“花”的朝向。應(yīng)當(dāng)注意，朝向檢測部件831當(dāng)然可以不僅通過上述技術(shù)也可以通過其他技術(shù)來 檢測對象的朝向。此外，在上文中，朝向檢測部件831通過從對應(yīng)于場景信息的模板之中使用對應(yīng) 于對象的物體的模板來識別對象及其朝向。然而，例如，朝向檢測部件831還可以通過使用 用于識別目標(biāo)物體的識別器，基于輸入圖像中的特征量來判斷輸入圖像中是否存在目標(biāo)物 體，從而識別出對象及其朝向，其中該目標(biāo)對象是通過基于特征量執(zhí)行統(tǒng)計(jì)學(xué)習(xí)處理而生 成的。以上述方式，朝向檢測部件831在輸入圖像中檢測顯著區(qū)域中所包括的對象的朝向。回到圖35中的流程圖，在步驟S816中，構(gòu)圖分析部件832基于來自構(gòu)圖模式設(shè)置 部件33的構(gòu)圖模式、以及來自朝向檢測部件831的朝向信息執(zhí)行修剪區(qū)域確定處理，并為 要接該構(gòu)圖模式修剪出的圖像確定輸入圖像中的最佳修剪區(qū)域。[構(gòu)圖分析部件中的修剪區(qū)域確定處理]此處，參照圖37中的流程圖，將對圖35的流程圖中的步驟S816中的修剪區(qū)域確 定處理給出描述。
應(yīng)當(dāng)注意，由于圖37的流程圖中的步驟S831至S834中的處理與參照圖7中的流 程圖描述的步驟S31至S34中的處理一樣，所以略去了其描述。即，在步驟S835中，優(yōu)化部件832e基于關(guān)于使目標(biāo)函數(shù)E最小化的修剪區(qū)域的位 置信息、以及來自朝向檢測部件831的朝向信息確定最佳修剪區(qū)域，并將最佳修剪區(qū)域提 供給圖像修剪部件35。如果顯著區(qū)域中所包括的對象是面部，則例如，將圖38中所示的朝向信息Dltl至 D18中的一條從朝向檢測部件831提供給優(yōu)化部件832e。在圖38中，當(dāng)面朝該圖時(shí)，示出 了分別朝向前方、上方、右上方、右方、右下方、下方、左下方、左方、以及左上方的面部Dltl至 D18，其中每個(gè)面部對應(yīng)于表示面部朝向方向的朝向信息。即，朝向信息Dltl表示面部在輸入 圖像中朝向前方，朝向信息D11表示面部朝向上方，并且朝向信息D12表示面部朝向右上方。 同樣地，朝向信息D13表示面部朝向右方，并且朝向信息D14表示面部朝向右下方。此外，朝 向信息D15表示面部朝向下方，朝向信息D16表示面部朝向左下方，朝向信息D17表示面部朝 向左方，并且朝向信息D18表示面部朝向左上方。此處，假設(shè)將三分構(gòu)圖設(shè)置為構(gòu)圖模式，則優(yōu)化部件832e根據(jù)朝向信息Dltl至D18 確定對象(面部)在三分構(gòu)圖中的放置，得出關(guān)于使目標(biāo)函數(shù)E最小化的修剪區(qū)域的位置 信息，并基于該位置信息確定最佳修剪區(qū)域。更具體地，例如，當(dāng)朝向信息是朝向信息D13和D14中的一個(gè)時(shí)，S卩，當(dāng)面部朝向右方 或右下方時(shí)，優(yōu)化部件832e確定面部在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉 點(diǎn)Ptl上。此外，當(dāng)朝向信息是朝向信息D16和D17中的一個(gè)時(shí)，即，當(dāng)面部朝向左下方或左方 時(shí)，優(yōu)化部件832e確定面部在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)P1上。 此外，當(dāng)朝向信息是朝向信息D12時(shí)，S卩，當(dāng)面部朝向右上方時(shí)，優(yōu)化部件832e確定面部在圖 39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)P2上。此外，當(dāng)朝向信息是朝向信息D18 時(shí)，即，當(dāng)面部朝向左上方時(shí)，優(yōu)化部件832e確定面部在圖39中所示的三分構(gòu)圖中的放置 為在三分線交叉點(diǎn)P3上。應(yīng)當(dāng)注意，當(dāng)朝向信息是朝向信息Dltl和D15中的一個(gè)時(shí)，即，當(dāng)面部朝向前方或下 方時(shí)，優(yōu)化部件832e確定面部在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)P。和 P1中的一個(gè)上。此外，當(dāng)朝向信息是朝向信息D11時(shí)，S卩，當(dāng)面部朝向上方時(shí)，優(yōu)化部件832e 確定面部在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)P2和P3中的一個(gè)上。以此 方式，在針對朝向信息選擇了兩種或更多種面部放置時(shí)，將放置確定為給出較小目標(biāo)函數(shù)E 的一種放置。此處，存在較少用作用于將面部放置在圖39中的三分線交叉點(diǎn)Ptl至P3之中下側(cè) 的三分線交叉點(diǎn)P2和P3上的條件的朝向信息的原因在于當(dāng)對象是整個(gè)人時(shí)，面部在構(gòu)圖 中自然被朝上側(cè)放置。然而，每個(gè)朝向信息與三分線交叉點(diǎn)之間的對應(yīng)關(guān)系可以任意改變。以上述方式，優(yōu)化部件832e根據(jù)面部的朝向確定面部在三分構(gòu)圖中的放置。特別 地，優(yōu)化部件832e以如下這種方式確定面部的放置該方式使得面部所朝向的一側(cè)的空間 在三分構(gòu)圖中變大。因此，位于作為對象的人的面部(視線)前面的物體或景觀可以包括 在修剪區(qū)域中，從而使得可以修剪出具有給出較大擴(kuò)張感的最佳構(gòu)圖的圖像。此外，如果顯著區(qū)域中所包括的對象是花，則例如，將圖40中所示的朝向信息 D2q 至D28中的一條從朝向檢測部件831提供給優(yōu)化部件832e。在圖40中，當(dāng)面朝該圖時(shí)，示出了分別朝向前方、上方、右上方、右方、右下方、下方、左下方、左方、以及左上方的花D2tl至 D28，其中每個(gè)花對應(yīng)于表示花朝向方向的朝向信息。即，朝向信息D2tl表示花在輸入圖像中 朝向前方，朝向信息D21表示花朝向上方，并且朝向信息D22表示花朝向右上方。同樣地，朝 向信息D23表示花朝向右方，并且朝向信息D24表示花朝向右下方。此外，朝向信息D25表示 花朝向下方，朝向信息D26表示花朝向左下方，朝向信息D27表示花朝向左方，并且朝向信息 D28表示花朝向左上方。然后，假設(shè)將三分構(gòu)圖設(shè)置為構(gòu)圖模式，則優(yōu)化部件832e根據(jù)朝向信息D2tl至D28 確定對象(花)在三分構(gòu)圖中的放置，得出關(guān)于使目標(biāo)函數(shù)E最小化的修剪區(qū)域的位置信 息，并基于該位置信息確定最佳修剪區(qū)域。更具體地，例如，當(dāng)朝向信息是朝向信息D24時(shí)，即，當(dāng)花朝向右下方時(shí)，優(yōu)化部件 832e確定花在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)P。上。此外，當(dāng)朝向信 息是朝向信息D26時(shí)，即，當(dāng)花朝向左下方時(shí)，優(yōu)化部件832e確定花在圖39中所示的三分構(gòu) 圖中的放置為在三分線交叉點(diǎn)P1上。此外，當(dāng)朝向信息是朝向信息D22和D23中的一個(gè)時(shí)， 艮口，當(dāng)花朝向右上方或右方時(shí)，優(yōu)化部件832e確定花在圖39中所示的三分構(gòu)圖中的放置為 在三分線交叉點(diǎn)P2上。此外，當(dāng)朝向信息是朝向信息D27和D28中的一個(gè)時(shí)，即，當(dāng)花朝向左 方或左上方時(shí)，優(yōu)化部件832e確定花在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉 占P 卜
；^ 廠 3 I ■ ο應(yīng)當(dāng)注意，當(dāng)朝向信息是朝向信息D25時(shí)，S卩，當(dāng)花朝向下方時(shí)，優(yōu)化部件832e確定 花在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)Ptl和P1中的一個(gè)上。此外，當(dāng)朝 向信息是朝向信息D2tl和D21中的一個(gè)時(shí)，即，當(dāng)花朝向前方或上方時(shí)，優(yōu)化部件832e確定花 在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)P2和P3中的一個(gè)上。以此方式，在 針對朝向信息選擇了兩種或更多種花放置時(shí)，將放置確定為給出較小目標(biāo)函數(shù)E的一種放 置。此處，存在較少用作用于將花放置在圖39中的三分線交叉點(diǎn)Ptl至P3之中上側(cè)的 三分線交叉點(diǎn)Pc^PP1上的條件的朝向信息的原因在于花在構(gòu)圖中自然被朝下側(cè)放置。然 而，每個(gè)朝向信息與其上要放置花的三分線交叉點(diǎn)之間的對應(yīng)關(guān)系可以任意改變。以上述方式，優(yōu)化部件832e根據(jù)花的朝向確定花在三分構(gòu)圖中的放置。特別地， 優(yōu)化部件832e以如下這種方式確定花的放置該方式使得花所朝向的一側(cè)的空間在三分 構(gòu)圖中變大。因此，位于作為對象的花的前面的物體或景觀可以包括在修剪區(qū)域中，從而使 得可以修剪出具有給出較大擴(kuò)張感的最佳構(gòu)圖的圖像。雖然以上描述關(guān)注于根據(jù)對象的朝向確定最佳修剪區(qū)域的配置，但也可以根據(jù)對 象的運(yùn)動確定最佳修剪區(qū)域。<10.第十實(shí)施例>[圖像處理設(shè)備的配置實(shí)例]圖41示出了被配置成用于根據(jù)對象的運(yùn)動確定最佳修剪區(qū)域的圖像處理設(shè)備的 配置實(shí)例。應(yīng)當(dāng)注意，在圖41的圖像處理設(shè)備861中，功能與圖1的圖像處理設(shè)備11中提 供的那些部件一樣的部件以相同的名稱以及相同的附圖標(biāo)記來標(biāo)注，并適當(dāng)?shù)芈匀チ似涿?述。S卩，圖41中的圖像處理設(shè)備861與圖1中的圖像處理設(shè)備11的不同之處在于額外提供了幀緩沖器881、GMV(全局運(yùn)動矢量)計(jì)算部件882、LMV(局部運(yùn)動矢量)計(jì)算部件 883、以及運(yùn)動方向確定部件884，以及提供了構(gòu)圖分析部件885來取代構(gòu)圖分析部件34。應(yīng)當(dāng)注意，在圖41中，顯著區(qū)域提取部件31提取輸入圖像中被關(guān)注的顯著區(qū)域， 并將表示顯著區(qū)域的顯著區(qū)域信息提供給構(gòu)圖模式設(shè)置部件33和LMV計(jì)算部件883。幀緩沖器881保存相當(dāng)于輸入圖像的一幀，并將輸入圖像提供給GMV計(jì)算部件882 和LMV計(jì)算部件883。GMV計(jì)算部件882根據(jù)輸入圖像、以及來自幀緩沖器881的緊挨的前一幀的輸入圖 像(在下文中，稱為“前一幀輸入圖像”)計(jì)算表示圖像總體運(yùn)動的GMV，并將GMV提供給運(yùn) 動方向確定部件884。
LMV計(jì)算部件883根據(jù)輸入圖像以及來自幀緩沖器881的前一幀輸入圖像，計(jì)算表 示來自顯著區(qū)域提取部件31的顯著區(qū)域信息所表示的顯著區(qū)域中的局部運(yùn)動的LMV，并將 LMV提供給運(yùn)動方向確定部件884。 運(yùn)動方向確定部件884基于來自GMV計(jì)算部件882的GMV以及來自LMV計(jì)算部件 883的LMV，確定顯著區(qū)域中所包括對象的運(yùn)動的方向(運(yùn)動方向)，并將表示運(yùn)動方向的運(yùn) 動方向信息提供給構(gòu)圖分析部件885。基于來自構(gòu)圖模式設(shè)置部件33的構(gòu)圖模式、以及來自運(yùn)動方向確定部件884的運(yùn) 動方向信息，構(gòu)圖分析部件885為要按該構(gòu)圖模式修剪出的圖像確定輸入圖像中的最佳修 剪區(qū)域，并將該最佳修剪區(qū)域提供給圖像修剪部件35。構(gòu)圖分析部件885包括構(gòu)圖模型創(chuàng)建部件885a、安全模型創(chuàng)建部件885b、懲罰模 型創(chuàng)建部件885c、目標(biāo)函數(shù)創(chuàng)建部件885d、以及優(yōu)化部件885e。應(yīng)當(dāng)注意，由于構(gòu)圖模型創(chuàng) 建部件885a至目標(biāo)函數(shù)創(chuàng)建部件885d的功能分別與圖1中的構(gòu)圖模型創(chuàng)建部件34a至目 標(biāo)函數(shù)創(chuàng)建部件34d —樣，所以略去了其描述。優(yōu)化部件885e基于來自運(yùn)動方向確定部件884的運(yùn)動方向信息，確定使目標(biāo)函數(shù) E最小化的修剪區(qū)域，并將該修剪區(qū)域作為最佳修剪區(qū)域提供給圖像修剪部件35。[圖像處理設(shè)備中的圖像修剪處理]接下來，參照圖42中的流程圖，將對圖41的圖像處理設(shè)備861中的圖像修剪處理 給出描述。應(yīng)當(dāng)注意，由于圖42的流程圖中的步驟S861至S864、以及S867中的處理與參 照圖3中的流程圖描述的步驟Sll至S14、以及S16中的處理一樣，所以略去了其描述。此 夕卜，在參照圖42中的流程圖描述的圖像修剪處理中，假設(shè)對象的數(shù)量(即，顯著區(qū)域的數(shù) 量)為1。即，在步驟S865中，運(yùn)動方向確定部件884執(zhí)行運(yùn)動方向確定處理，以確定來自顯 著區(qū)域提取部件31的顯著區(qū)域信息所表示的顯著區(qū)域中所包括的對象在輸入圖像中的運(yùn) 動方向。[運(yùn)動方向確定部件中的運(yùn)動方向確定處理]此處，參照圖43中的流程圖，將對圖42的流程圖中的步驟S865的運(yùn)動方向確定 處理給出描述。在步驟S871中，GMV計(jì)算部件882根據(jù)輸入圖像、以及來自幀緩沖器881的前一 幀輸入圖像計(jì)算GMV，并將GMV提供給運(yùn)動方向確定部件884。在步驟S872中，LMV計(jì)算部件883根據(jù)輸入圖像以及來自幀緩沖器881的前一幀輸入圖像，計(jì)算來自顯著區(qū)域提取部件31的顯著區(qū)域信息所表示的顯著區(qū)域的LMV，并將 LMV提供給運(yùn)動方向確定部件884。在步驟S873中，運(yùn)動方向確定部件884判斷LMV是否為0或基本上為0。 如果在步驟S873中判定LMV不是0或不是基本上為0，S卩，如果顯著區(qū)域中所包括 的對象有足夠的運(yùn)動，則處理前往步驟S874，并且運(yùn)動方向確定部件884將LMV的朝向確定 為運(yùn)動方向，并將表示運(yùn)動方向的運(yùn)動方向信息提供給構(gòu)圖分析部件885。另一方面，如果在步驟S873中判定LMV為0或基本上為0，即，如果顯著區(qū)域中所 包括的對象完全或基本上沒有運(yùn)動，則處理前往步驟S875，并且運(yùn)動方向確定部件884判 斷GMV是否為0或基本上為0。如果在步驟S875中判定GMV不是0或不是基本上為0，S卩，如果圖像總體上有足夠 的運(yùn)動，則處理前往步驟S876，并且運(yùn)動方向確定部件884將與GMV的朝向相反的朝向確定 為對象的運(yùn)動方向，并將表示運(yùn)動方向的運(yùn)動方向信息提供給構(gòu)圖分析部件885。步驟S875中的狀態(tài)代表如下這種狀態(tài)在該狀態(tài)中，雖然輸入圖像總體上有運(yùn) 動，但顯著區(qū)域中所包括的對象沒有運(yùn)動，例如，背景移動但對象維持靜止的狀態(tài)。在此情 況下，對象相對于背景在與背景的運(yùn)動朝向相反的朝向上移動。即，相對而言，與GMV的朝 向相反的朝向是對象的運(yùn)動方向。另一方面，如果在步驟S875中判定GMV為0或基本上為0，S卩，如果圖像總體上完 全或基本上沒有運(yùn)動，則處理前往步驟S877，并且運(yùn)動方向確定部件884確定不存在運(yùn)動 方向，并將表示不存在運(yùn)動方向的運(yùn)動方向信息提供給構(gòu)圖分析部件885。以上述方式，運(yùn)動方向確定部件884確定顯著區(qū)域中所包括的對象在輸入圖像中 的運(yùn)動方向。應(yīng)當(dāng)注意，在以上處理中，運(yùn)動方向確定部件884將運(yùn)動方向確定為例如以下 九種中的一種無、上方、下方、左方、右方、右上方、右下方、左上方、以及左下方?；氐綀D42中的流程圖，在步驟S866中，構(gòu)圖分析部件885基于來自構(gòu)圖模式設(shè)置 部件33的構(gòu)圖模式、以及來自運(yùn)動方向確定部件884的運(yùn)動方向信息執(zhí)行修剪區(qū)域確定處 理，并為要按該構(gòu)圖模式修剪出的圖像確定輸入圖像中的最佳修剪區(qū)域。[構(gòu)圖分析部件中的修剪區(qū)域確定處理]此處，參照圖44中的流程圖，將對圖42的流程圖中的步驟S866中的修剪區(qū)域確 定處理給出描述。應(yīng)當(dāng)注意，由于圖44的流程圖中的步驟S881至S884中的處理與參照圖7中的流 程圖描述的步驟S31至S34中的處理一樣，所以略去了其描述。即，在步驟S885中，優(yōu)化部件885e基于關(guān)于使目標(biāo)函數(shù)E最小化的修剪區(qū)域的位 置信息、以及來自運(yùn)動方向確定部件884的運(yùn)動方向信息確定最佳修剪區(qū)域，并將該最佳 修剪區(qū)域提供給圖像修剪部件35。更具體地，例如，將圖45中所示的運(yùn)動方向信息D3tl至D38中的一條從運(yùn)動方向確 定部件884提供給優(yōu)化部件885e。在圖45中，示出了表示上方、右上方、右方、右下方、下 方、左下方、左方、以及左上方的運(yùn)動的箭頭，這些箭頭包括分別對應(yīng)于運(yùn)動方向信息D3tl至 D38的起始點(diǎn)。即，運(yùn)動方向信息D3tl表示輸入圖像中不存在對象的運(yùn)動方向，運(yùn)動方向信息 D31表示運(yùn)動方向?yàn)樯戏?并且運(yùn)動方向信息D32表示運(yùn)動方向?yàn)橛疑戏健Ｍ瑯拥?，運(yùn)動方向 信息D33表示運(yùn)動方向?yàn)橛曳?，并且運(yùn)動方向信息D34表示運(yùn)動方向?yàn)橛蚁路?。此外，運(yùn)動方向信息D35表示運(yùn)動方向?yàn)橄路?運(yùn)動方向信息D36表示運(yùn)動方向?yàn)樽笙路?運(yùn)動方向信息 D37表示運(yùn)動方向?yàn)樽蠓剑⑶疫\(yùn)動方向信息D38表示運(yùn)動方向?yàn)樽笊戏健?
此處，假設(shè)將三分構(gòu)圖(圖39)設(shè)置為構(gòu)圖模式，則優(yōu)化部件885e根據(jù)運(yùn)動方向 信息D3tl至D38確定對象在三分構(gòu)圖中的放置，得出關(guān)于使目標(biāo)函數(shù)E最小化的修剪區(qū)域的 位置信息，并基于該位置信息確定最佳修剪區(qū)域。更具體地，例如，當(dāng)運(yùn)動方向信息是運(yùn)動方向信息D34時(shí)，S卩，當(dāng)對象的運(yùn)動方向?yàn)?右下方時(shí)，優(yōu)化部件885e確定對象在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn) P0上。此外，當(dāng)運(yùn)動方向信息是運(yùn)動方向信息D36時(shí)，即，當(dāng)對象的運(yùn)動方向?yàn)樽笙路綍r(shí)，優(yōu) 化部件885e確定對象在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)P1上。此外， 當(dāng)運(yùn)動方向信息是運(yùn)動方向信息D32中的一個(gè)時(shí)，S卩，當(dāng)對象的運(yùn)動方向?yàn)橛疑戏綍r(shí)，優(yōu)化 部件885e確定對象在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)P2上。此外，當(dāng) 運(yùn)動方向信息是運(yùn)動方向信息D38時(shí)，即，當(dāng)對象的運(yùn)動方向?yàn)樽笊戏綍r(shí)，優(yōu)化部件885e確 定對象在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)P3上。應(yīng)當(dāng)注意，當(dāng)運(yùn)動方向信息是運(yùn)動方向信息D31時(shí)，即，當(dāng)對象的運(yùn)動方向?yàn)樯戏?時(shí)，優(yōu)化部件885e確定對象在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)P2和P3 中的一個(gè)上。此外，當(dāng)運(yùn)動方向信息是運(yùn)動方向信息D33時(shí)，即，當(dāng)對象的運(yùn)動方向?yàn)橛曳?時(shí)，優(yōu)化部件885e確定對象在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)Ptl和P2 中的一個(gè)上。此外，當(dāng)運(yùn)動方向信息是運(yùn)動方向信息D35時(shí)，即，當(dāng)對象的運(yùn)動方向?yàn)橄路?時(shí)，優(yōu)化部件885e確定對象在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)Ptl和P1 中的一個(gè)上。此外，當(dāng)運(yùn)動方向信息是運(yùn)動方向信息D37時(shí)，即，當(dāng)對象的運(yùn)動方向?yàn)樽蠓?時(shí)，優(yōu)化部件885e確定對象在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)P1和P3 中的一個(gè)上。此夕卜，當(dāng)運(yùn)動方向信息是運(yùn)動方向信息D3tl時(shí)，即，當(dāng)不存在對象的運(yùn)動方向時(shí)，優(yōu) 化部件885e確定對象在圖39中所示的三分構(gòu)圖中的放置為在三分線交叉點(diǎn)中的一 個(gè)上。即，當(dāng)對象中沒有運(yùn)動時(shí)，對象在三分構(gòu)圖中的放置可以為任意一個(gè)三分線交叉點(diǎn)。以此方式，在針對運(yùn)動方向信息選擇了兩種或更多種對象放置時(shí)，將放置確定為 給出較小目標(biāo)函數(shù)E的一種放置。以上述方式，優(yōu)化部件885e根據(jù)對象的運(yùn)動方向確定對象在三分構(gòu)圖中的放置。 特別地，優(yōu)化部件885e以如下這種方式確定對象的放置該方式使得對象朝之移動的方向 上的空間在三分構(gòu)圖中變大。因此，位于對象移動方向前面的物體或景觀可以包括在修剪 區(qū)域中，從而使得可以修剪出具有給出較大擴(kuò)張感的最佳構(gòu)圖的圖像。應(yīng)當(dāng)注意，雖然以上描述關(guān)注于對象在三分構(gòu)圖(圖39)中的放置，但不僅可以在 三分構(gòu)圖中也可以在諸如圖6中所示的對比構(gòu)圖(構(gòu)圖B)和圖案構(gòu)圖(構(gòu)圖H)的其它構(gòu) 圖中根據(jù)對象的朝向或運(yùn)動來放置對象。此外，雖然以上描述是基于對象的數(shù)量(即，顯著區(qū)域的數(shù)量)為1的假設(shè)，但即 使在對象的數(shù)量為兩個(gè)或更多個(gè)時(shí)，也可以根據(jù)它們各自的朝向或運(yùn)動方向來放置這兩個(gè) 或更多個(gè)對象。上述系列處理可以通過硬件執(zhí)行也可以通過軟件執(zhí)行。如果要通過軟件執(zhí)行該系 列處理，則將構(gòu)成該軟件的程序從程序記錄介質(zhì)安裝到嵌入在專用硬件中的計(jì)算機(jī)中，或者安裝到例如在安裝了各種程序時(shí)可以執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)等中。圖46是示出了執(zhí)行上述系列處理的計(jì)算機(jī)的硬件配置實(shí)例的方框圖。在計(jì)算機(jī)中，CPU (中央處理單元)901、ROM (只讀存儲器)902、以及RAM (隨機(jī)存取 存儲器)903經(jīng)由總線904彼此相連?？偩€904進(jìn)一步與輸入/輸出接口 905相連。輸入/輸出接口 905與如下相連 由鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成的輸入部件906，由顯示器、揚(yáng)聲器等構(gòu)成的輸出部件907，由 硬盤、非易失性存儲器等構(gòu)成的存儲部件908，由網(wǎng)絡(luò)接口等構(gòu)成的通信部件909，以及用 于驅(qū)動諸如磁盤、光盤、磁光盤、或者半導(dǎo)體存儲器的可拆除介質(zhì)911的驅(qū)動器910。在如上所述配置的計(jì)算機(jī)中，例如，上述系列處理通過如下方式執(zhí)行CPU 901經(jīng) 由輸入/輸出接口 905和總線904將存儲部件908中存儲的程序加載到RAM 903中，并執(zhí) 行程序。計(jì)算機(jī)(CPU 901)執(zhí)行的程序通過如下方式提供通過記錄在可拆除介質(zhì)911上， 可拆除介質(zhì)911是由例如磁盤(包括軟盤)、光盤(諸如CD-ROM(壓縮盤-只讀存儲器)或 DVD(數(shù)字多功能盤))、磁光盤、或者半導(dǎo)體存儲器等構(gòu)成的封裝介質(zhì)；或者經(jīng)由諸如局域 網(wǎng)、因特網(wǎng)、或者數(shù)字衛(wèi)星廣播的有線或無線傳輸介質(zhì)。然后，可以通過在驅(qū)動器910中裝配可拆除介質(zhì)911而經(jīng)由輸入/輸出接口 905 將程序安裝到存儲部件908中。此外，程序可以經(jīng)由有線或無線傳輸介質(zhì)被通信部件909 接收，并被安裝到存儲部件908中?？商孢x地，可以將程序預(yù)先安裝到ROM 902或存儲部件 908 中。應(yīng)當(dāng)注意，計(jì)算機(jī)執(zhí)行的程序可以是如下這種程序其中，按本說明書中所描述的 次序以時(shí)間序列方式執(zhí)行處理處理；或者可以是如下這種程序其中，在必要的時(shí)刻(諸如 被調(diào)用時(shí))執(zhí)行處理。此外，本發(fā)明的實(shí)施例不限于上述實(shí)施例，并且在不脫離本發(fā)明范圍的情況下可 以進(jìn)行各種修改。附圖標(biāo)記說明 11圖像處理設(shè)備，31顯著區(qū)域提取部件，32場景甄別部件，33構(gòu)圖模式設(shè)置部件， 34構(gòu)圖分析部件，34a構(gòu)圖模型創(chuàng)建部件，34b安全模型創(chuàng)建部件，34c懲罰模型創(chuàng)建部件， 34d目標(biāo)函數(shù)創(chuàng)建部件，34e優(yōu)化部件，35圖像修剪部件，51顯著性計(jì)算部件，52顯著矩形 區(qū)域確定部件，53面部矩形區(qū)域確定部件，111圖像處理設(shè)備，131構(gòu)圖模式設(shè)置部件，211 圖像處理設(shè)備，231構(gòu)圖分析部件，231a構(gòu)圖模型創(chuàng)建部件，231b安全模型創(chuàng)建部件，231c 懲罰模型創(chuàng)建部件，231d目標(biāo)函數(shù)創(chuàng)建部件，231e優(yōu)化部件，232顯示部件，233操作輸入 部件，311圖像處理設(shè)備，331全景甄別部件，332構(gòu)圖分析部件，332a構(gòu)圖模型創(chuàng)建部件， 332b安全模型創(chuàng)建部件，332c懲罰模型創(chuàng)建部件，332d目標(biāo)函數(shù)創(chuàng)建部件，332e優(yōu)化部件， 631添加部件，711圖像捕捉設(shè)備，811圖像處理設(shè)備，831朝向檢測部件，832構(gòu)圖分析部件， 832e優(yōu)化部件，861圖像處理設(shè)備，881幀緩沖器，882GMV計(jì)算部件，883LMV計(jì)算部件，884 運(yùn)動方向確定部件，885構(gòu)圖分析部件，885e優(yōu)化部件。
權(quán)利要求
一種圖像處理設(shè)備，包括設(shè)置裝置，用于基于輸入圖像中被關(guān)注的顯著區(qū)域的數(shù)量、以及所述輸入圖像的場景，設(shè)置對應(yīng)于所述輸入圖像的構(gòu)圖模式；以及確定裝置，用于基于所述設(shè)置裝置所設(shè)置的構(gòu)圖模式，確定所述輸入圖像中對于要從所述輸入圖像按所述構(gòu)圖模式修剪出的圖像而言最佳的修剪區(qū)域。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，進(jìn)一步包括修剪裝置，用于從所述輸入圖像 修剪出所述確定裝置所確定的修剪區(qū)域。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中所述確定裝置基于所述設(shè)置裝置所設(shè)置的構(gòu)圖模式，確定所述輸入圖像中對于要從所 述輸入圖像按所述構(gòu)圖模式修剪出的圖像而言最佳的修剪區(qū)域的多個(gè)候選；并且所述圖像處理設(shè)備進(jìn)一步包括顯示裝置，用于在所述輸入圖像上顯示所述修剪區(qū)域的多個(gè)候選，以及選擇裝置，用于選擇所述顯示裝置所顯示的所述修剪區(qū)域的多個(gè)候選中的一個(gè)候選；并且所述修剪裝置從所述輸入圖像修剪出所述選擇裝置所選擇的修剪區(qū)域。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，進(jìn)一步包括提取裝置，用于提取所述輸入圖像中被關(guān)注的顯著區(qū)域中的每個(gè)顯著區(qū)域；以及甄別裝置，用于甄別所述輸入圖像的場景。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述確定裝置確定所述修剪區(qū)域，以使 得包括所述輸入圖像中所有被關(guān)注的顯著區(qū)域的最小矩形區(qū)域的中心位置靠近所述輸入 圖像中的修剪區(qū)域的中心。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中，所述確定裝置確定所述修剪區(qū)域，以使 得所述修剪區(qū)域變得更大，并且使得包括所述輸入圖像中的所有被關(guān)注的顯著區(qū)域的所述 最小矩形區(qū)域與所述修剪區(qū)域之間的公共區(qū)域變得更大。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述確定裝置確定所述修剪區(qū)域，以使 得所述修剪區(qū)域不脫離所述輸入圖像。
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，進(jìn)一步包括判斷裝置，用于通過將所述輸入圖像的寬高比與預(yù)定閾值相比較來判斷所述輸入圖像 是否是全景圖像，其中，如果所述判斷裝置判定所述輸入圖像是全景圖像，則所述確定裝置基于所述設(shè) 置裝置所設(shè)置的構(gòu)圖模式，確定所述輸入圖像中對于要從所述輸入圖像按所述構(gòu)圖模式修 剪出的圖像而言最佳的修剪區(qū)域的多個(gè)候選。
9.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，進(jìn)一步包括添加裝置，用于將表示所述確定裝置所確定的修剪區(qū)域的信息添加到所述輸入圖像作 為EXIF信息。
10.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述輸入圖像中被關(guān)注的對象包括在所述顯著區(qū)域中的每個(gè)顯著區(qū)域中；所述圖像處理設(shè)備進(jìn)一步包括檢測裝置，用于檢測所述對象的朝向；并且所述確定裝置基于所述設(shè)置裝置所設(shè)置的構(gòu)圖模式、以及所述檢測裝置所檢測出的對象的朝向，確定所述輸入圖像中對于要從所述輸入圖像按所述構(gòu)圖模式修剪出的圖像而言 最佳的修剪區(qū)域。
11.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中所述輸入圖像中被關(guān)注的對象包括在所述顯著區(qū)域中的每個(gè)顯著區(qū)域中；所述圖像處理設(shè)備進(jìn)一步包括運(yùn)動方向確定裝置，用于確定所述對象的運(yùn)動方向；并且 所述確定裝置基于所述設(shè)置裝置所設(shè)置的構(gòu)圖模式、以及所述運(yùn)動方向確定裝置所確 定的對象運(yùn)動的方向，確定所述輸入圖像中對于要從所述輸入圖像按所述構(gòu)圖模式修剪出 的圖像而言最佳的修剪區(qū)域。
12.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，進(jìn)一步包括 總體運(yùn)動計(jì)算裝置，用于得出所述輸入圖像的總體運(yùn)動；以及局部運(yùn)動計(jì)算裝置，用于得出所述顯著區(qū)域中的每個(gè)顯著區(qū)域的運(yùn)動， 其中，所述運(yùn)動方向確定裝置基于所述總體運(yùn)動計(jì)算裝置所得出的輸入圖像的總體運(yùn) 動的朝向、以及所述局部運(yùn)動計(jì)算裝置所得出的所述顯著區(qū)域中的每個(gè)顯著區(qū)域的運(yùn)動的 朝向，確定所述對象運(yùn)動的方向。
13.一種圖像處理方法，包括設(shè)置步驟，用于基于輸入圖像中被關(guān)注的顯著區(qū)域的數(shù)量、以及所述輸入圖像的場景， 設(shè)置對應(yīng)于所述輸入圖像的構(gòu)圖模式；以及確定步驟，用于基于在所述設(shè)置步驟中所設(shè)置的構(gòu)圖模式，確定所述輸入圖像中對于 要從所述輸入圖像按所述構(gòu)圖模式修剪出的圖像而言最佳的修剪區(qū)域。
14.一種程序，用于使得計(jì)算機(jī)執(zhí)行包括如下內(nèi)容的處理設(shè)置步驟，用于基于輸入圖像中被關(guān)注的顯著區(qū)域的數(shù)量、以及所述輸入圖像的場景， 設(shè)置對應(yīng)于所述輸入圖像的構(gòu)圖模式；以及確定步驟，用于基于在所述設(shè)置步驟中所設(shè)置的構(gòu)圖模式，確定所述輸入圖像中對于 要從所述輸入圖像按所述構(gòu)圖模式修剪出的圖像而言最佳的修剪區(qū)域。
15.一種圖像捕捉設(shè)備，包括 圖像捕捉裝置，用于捕捉對象；獲取裝置，用于獲取所述圖像捕捉裝置捕捉到的捕捉圖像的場景； 設(shè)置裝置，用于基于包括所述捕捉圖像中被關(guān)注對象的顯著區(qū)域的數(shù)量、以及所述獲 取裝置所獲取的場景，設(shè)置對應(yīng)于所述捕捉圖像的構(gòu)圖模式；以及確定裝置，用于基于所述設(shè)置裝置所設(shè)置的構(gòu)圖模式，確定所述捕捉圖像中對于要從 所述捕捉圖像按所述構(gòu)圖模式修剪出的圖像而言最佳的修剪區(qū)域。
全文摘要
本發(fā)明涉及使得即使對于除人以外的對象也可以修剪出具有最佳構(gòu)圖的圖像的圖像處理設(shè)備和方法、圖像捕捉設(shè)備、以及程序。構(gòu)圖模式設(shè)置部件(33)基于輸入圖像中被關(guān)注的顯著區(qū)域的數(shù)量、以及輸入圖像的場景來設(shè)置對應(yīng)于輸入圖像的構(gòu)圖模式?；跇?gòu)圖模式設(shè)置部件(33)所設(shè)置的構(gòu)圖模式，構(gòu)圖分析部件(34)確定輸入圖像中對于要從輸入圖像按該構(gòu)圖模式修剪出的圖像而言最佳的修剪區(qū)域。本發(fā)明可應(yīng)用于例如用于對捕捉圖像的構(gòu)圖進(jìn)行調(diào)整的圖像處理設(shè)備。
文檔編號H04N1/387GK101843093SQ20098010085
公開日2010年9月22日 申請日期2009年9月8日 優(yōu)先權(quán)日2008年9月8日
發(fā)明者中村雄介, 五味信一郎, 增野智經(jīng), 鈴木優(yōu) 申請人:索尼公司