專利名稱：圖像處理設(shè)備、圖像處理方法、程序以及成像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本公開內(nèi)容涉及一種圖像處理設(shè)備、圖像處理方法、程序以及成像設(shè)備，并且更特別地，涉及一種能夠進(jìn)一步改進(jìn)用戶的攝影技術(shù)的圖像處理設(shè)備、圖像處理方法、程序以及成像設(shè)備。
背景技術(shù)：
過去，提出了一種能夠評價(jià)通過諸如數(shù)字?jǐn)z像機(jī)的成像設(shè)備捕獲的圖像的技術(shù)。例如，提出了如下一種系統(tǒng)其通過將所捕獲的圖像與經(jīng)由網(wǎng)絡(luò)存儲在服務(wù)器中的樣本圖像進(jìn)行比較來評價(jià)所捕獲的圖像(例如，參見日本未審查專利申請公布第 2002-197456 號)。然而，在該技術(shù)中，由于需要建立到網(wǎng)絡(luò)的連接，因此對成像設(shè)備的使用環(huán)境存在限制。另外，由于需要準(zhǔn)備大量樣本圖像以執(zhí)行更寬的評價(jià)，因此系統(tǒng)或設(shè)備的大小會增加。因此，不易利用單個(gè)成像設(shè)備來實(shí)現(xiàn)評價(jià)。因此，提出了如下數(shù)字?jǐn)z像機(jī)其能夠利用單個(gè)成像設(shè)備評價(jià)圖像，并且當(dāng)主要對象位于圖像數(shù)據(jù)中的黃金分割矩形內(nèi)時(shí)，給出高評價(jià)得分(例如，參見日本未審查專利申請公布第2003-298882號)。

發(fā)明內(nèi)容
然而，通過日本未審查專利申請公布第2003-298882號中公開的技術(shù)所評價(jià)的圖像的構(gòu)圖僅是所謂的太陽旗(sun-shaped circle)構(gòu)圖。太陽旗構(gòu)圖是強(qiáng)調(diào)對象的存在的穩(wěn)定構(gòu)圖，但是可能會易于變得單調(diào)和無趣。在日本未審查專利申請公布第2003498882 號公開的技術(shù)中，僅考慮了太陽旗構(gòu)圖。因此，用戶可能會因評價(jià)而厭煩。另外，由于不評價(jià)其他構(gòu)圖，因此攝影技術(shù)不會得到改進(jìn)。期望提供一種能夠進(jìn)一步改進(jìn)用戶的攝影技術(shù)的圖像處理設(shè)備、圖像處理方法、 程序以及成像設(shè)備。因此，公開了一種用于評價(jià)輸入圖像的質(zhì)量的設(shè)備。該設(shè)備可包括構(gòu)圖模式選擇單元，其被配置成基于輸入圖像的屬性而選擇構(gòu)圖模式。該設(shè)備還可包括構(gòu)圖評價(jià)單元，其被配置成基于構(gòu)圖模式和屬性而評價(jià)輸入圖像。另外，該設(shè)備可包括評價(jià)結(jié)果輸出單元，其被配置成將評價(jià)的結(jié)果的表示和輸入圖像輸出到顯示器。還公開了一種用于評價(jià)輸入圖像的質(zhì)量的方法。處理器可執(zhí)行用以使設(shè)備執(zhí)行該方法的程序。該程序可存儲在計(jì)算機(jī)可讀存儲介質(zhì)上。該方法可包括基于輸入圖像的屬性而選擇構(gòu)圖模式。另外，該方法可包括基于構(gòu)圖模式和屬性而評價(jià)輸入圖像。該方法還可包括將評價(jià)的結(jié)果的表示和輸入圖像輸出到顯示器。另外，公開了一種成像設(shè)備。該成像設(shè)備可包括成像單元，其被配置成捕獲圖像。 該成像設(shè)備還可包括圖像處理單元，其被配置成對所捕獲的圖像進(jìn)行處理。另外，該成像設(shè)備可包括構(gòu)圖模式選擇單元，其被配置成基于處理后的圖像的屬性而選擇構(gòu)圖模式。該成像設(shè)備還可包括構(gòu)圖評價(jià)單元，其被配置成基于構(gòu)圖模式和屬性而評價(jià)處理后的圖像。另外，該成像設(shè)備可包括顯示器。該成像設(shè)備還可包括評價(jià)結(jié)果輸出單元，其被配置成將評價(jià)的結(jié)果的表示和處理后的圖像輸出到顯示器。還公開了一種用于捕獲并評價(jià)圖像的質(zhì)量的方法。該方法可包括捕獲圖像和對所捕獲的圖像進(jìn)行處理。該方法還可包括基于處理后的圖像的屬性而選擇構(gòu)圖模式。另外， 該方法可包括基于構(gòu)圖模式和屬性而評價(jià)處理后的圖像。該方法還可包括將評價(jià)的結(jié)果的表示和處理后的圖像輸出到顯示器。


圖1是示出根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備的示例性功能配置的框圖。圖2是示出攝影狀況識別單元的示例性功能配置(即，軟件模塊、硬件模塊、或者軟件模塊與硬件模塊的組合)的框圖。圖3是示出關(guān)注區(qū)域提取單元(即，對象區(qū)域確定單元)的示例性功能配置的框圖。圖4是示出顏色信息比較單元的示例性功能配置的框圖。圖5是示出構(gòu)圖評價(jià)單元的示例性功能配置的框圖。圖6是示出圖1中的圖像處理設(shè)備的圖像評價(jià)處理的流程圖。圖7是示出攝影狀況識別處理的流程圖。圖8是示出顏色信息比較處理的流程圖。圖9是示出輸入圖像和區(qū)域圖像的顏色信息的圖。圖10是示出基于關(guān)注區(qū)域的數(shù)量和場景而設(shè)置的構(gòu)圖模式的圖。圖11是示出構(gòu)圖評價(jià)處理的流程圖。圖12是示出布局評價(jià)處理的流程圖。圖13是示出在布局評價(jià)處理中所使用的系數(shù)的圖。圖14是示出根據(jù)主要對象區(qū)域的形狀的評價(jià)函數(shù)的值的圖。圖15是示出根據(jù)主要對象區(qū)域的大小而確定的權(quán)重系數(shù)的圖。圖16是示出顯著性評價(jià)處理的流程圖。圖17是示出顏色評價(jià)處理的流程圖。圖18是示出根據(jù)形狀相似性而確定的權(quán)重系數(shù)的圖。圖19是示出根據(jù)顏色相似性而確定的權(quán)重系數(shù)的圖。圖20是示出輸出圖像的示例的圖。圖21是示出布局評價(jià)處理的流程圖。圖22是示出對比構(gòu)圖的圖。圖23是示出對比構(gòu)圖的圖。圖M是示出顯著性評價(jià)處理的流程圖。
圖25是示出布局評價(jià)處理的流程圖。圖沈是示出對角線構(gòu)圖的圖。圖27是示出根據(jù)本發(fā)明實(shí)施例的成像設(shè)備的示例性功能配置的框圖。圖觀是示出圖27中的成像設(shè)備的圖像評價(jià)處理的流程圖。圖四是示出成像設(shè)備的顯示單元的示例性顯示的圖。圖30是示出成像設(shè)備的顯示單元的另一示例性顯示的圖。圖31是示出計(jì)算機(jī)的示例性硬件配置的框圖。
具體實(shí)施例方式在下文中，將參照附圖描述本發(fā)明的實(shí)施例。將按以下順序進(jìn)行實(shí)施例的描述。1.第一實(shí)施例(將輸入圖像評價(jià)為3分構(gòu)圖(3-division composition)的圖像的示例)2.第二實(shí)施例(將輸入圖像評價(jià)為對比構(gòu)圖的圖像的示例)3.第三實(shí)施例(將輸入圖像評價(jià)為對角線構(gòu)圖的圖像的示例)4.第四實(shí)施例(應(yīng)用于成像設(shè)備的示例)1.第一實(shí)施例圖像處理設(shè)備的示例性配置圖1是示出根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備的示例性功能配置的圖。圖1中的圖像處理設(shè)備11根據(jù)從諸如數(shù)字照相機(jī)的成像設(shè)備輸入的輸入圖像的攝影狀況而選擇構(gòu)圖模式，并且通過基于攝影狀況和構(gòu)圖模式評價(jià)輸入圖像的構(gòu)圖來評價(jià)輸入圖像。圖像處理設(shè)備11包括攝影狀況識別單元21、構(gòu)圖模式選擇單元22、構(gòu)圖評價(jià)單元 23以及評價(jià)結(jié)果輸出單元M。輸入到圖像處理設(shè)備11的輸入圖像被提供到攝影狀況識別單元21和評價(jià)結(jié)果輸出單元24。攝影狀況識別單元21從輸入圖像識別當(dāng)拍攝(捕獲)輸入圖像時(shí)獲得的攝影狀況，并且將表示攝影狀況的攝影狀況信息(即，輸入圖像的一個(gè)或多個(gè)屬性)提供到構(gòu)圖模式選擇單元22、構(gòu)圖評價(jià)單元23以及評價(jià)結(jié)果輸出單元M。攝影狀況是通過輸入圖像中的對象或場景以及顏色來確定和識別的。攝影狀況識別單元的示例性功能配置圖2是示出攝影狀況識別單元21的示例性功能配置的圖。攝影狀況識別單元21包括關(guān)注區(qū)域提取單元31、場景確定單元32以及顏色信息比較單元33。關(guān)注區(qū)域提取單元31提取輸入圖像中所關(guān)注的關(guān)注區(qū)域(S卩，對象區(qū)域)，并且將表示關(guān)注區(qū)域的關(guān)注區(qū)域信息提供到構(gòu)圖模式選擇單元22。關(guān)注區(qū)域是包含(包圍)輸入圖像中的對象(物體)的矩形區(qū)域，并且關(guān)注區(qū)域是根據(jù)輸入圖像中的對象數(shù)量而設(shè)置和提取的。假設(shè)關(guān)注區(qū)域信息例如是矩形區(qū)域的頂點(diǎn)的位置。關(guān)注區(qū)域提取單元的示例性功能配置圖3是示出關(guān)注區(qū)域提取單元31的示例性功能配置的圖。
關(guān)注區(qū)域提取單元31包括關(guān)注度計(jì)算單元51、矩形關(guān)注區(qū)域確定單元52以及矩形面部區(qū)域確定單元53。關(guān)注度計(jì)算單元51計(jì)算輸入圖像的每個(gè)像素的特征，并且根據(jù)該特征計(jì)算每個(gè)像素的關(guān)注度。這里，特征是圖像的邊緣成分的大小、像素的色調(diào)與鄰近像素的色調(diào)之間的差、圖像的預(yù)定區(qū)域中的顏色分布、整個(gè)圖像的平均顏色和每個(gè)像素的色調(diào)之間的差等。關(guān)注度計(jì)算單元51根據(jù)每個(gè)像素的關(guān)注度(特征)生成與一個(gè)輸入圖像對應(yīng)的關(guān)注度圖，并且將該關(guān)注度圖提供到矩形關(guān)注區(qū)域確定單元52。換言之，關(guān)注度計(jì)算單元51所生成的關(guān)注度圖是表示包括一個(gè)輸入圖像中要關(guān)注的對象的區(qū)域的信息。關(guān)注度計(jì)算單元51根據(jù)針對輸入圖像的每個(gè)像素計(jì)算出的特征而計(jì)算面部相像度(面部相似度)，生成與一個(gè)輸入圖像對應(yīng)的面部相像度圖，并且將該面部相像度圖提供到矩形面部區(qū)域確定單元53。換言之，關(guān)注度計(jì)算單元51所生成的面部相像度圖是表示包括一個(gè)輸入圖像中要關(guān)注的面部的區(qū)域的信息。矩形關(guān)注區(qū)域確定單元52基于來自關(guān)注度計(jì)算單元51的關(guān)注度圖而確定矩形關(guān)注區(qū)域，并且將表示該矩形關(guān)注區(qū)域的矩形關(guān)注區(qū)域信息提供到構(gòu)圖模式選擇單元22和構(gòu)圖評價(jià)單元23。更具體地，矩形關(guān)注區(qū)域確定單元52通過基于關(guān)注度圖將關(guān)注度高于預(yù)定閾值的像素(位置)設(shè)置為矩形的中心點(diǎn)、并且將在中心位置附近關(guān)注度低于另一閾值的像素(位置)設(shè)置為矩形的端點(diǎn)(頂點(diǎn))，來確定矩形區(qū)域。當(dāng)在確定了多個(gè)矩形關(guān)注區(qū)域的情況下，矩形的中心點(diǎn)之間的預(yù)定距離小于預(yù)定距離時(shí)，將包括矩形的中心點(diǎn)的最小矩形區(qū)域設(shè)置為矩形關(guān)注區(qū)域。矩形面部區(qū)域確定單元53基于來自關(guān)注度計(jì)算單元51的面部相像度圖而確定矩形面部區(qū)域，并且將表示該矩形面部區(qū)域的矩形面部區(qū)域信息提供到構(gòu)圖模式選擇單元22 和構(gòu)圖評價(jià)單元23。更具體地，矩形面部區(qū)域確定單元53通過將面部的鼻子的像素(位置)設(shè)置為矩形的中心點(diǎn)、并且將在中心位置附近面部相像度急劇變化(降低)的像素(位置)設(shè)置為矩形的端點(diǎn)(頂點(diǎn))，來確定矩形面部區(qū)域。從矩形關(guān)注區(qū)域確定單元52獲得的矩形關(guān)注區(qū)域信息和從矩形面部區(qū)域確定單元53獲得的矩形面部區(qū)域信息共同被稱為關(guān)注區(qū)域信息。返回參照圖2，場景確定單元32通過對輸入圖像進(jìn)行頻率轉(zhuǎn)換來提取頻率信息， 使用頻率信息作為特征(向量)來確定輸入圖像的場景，并且將表示通過確定結(jié)果而獲得的場景的場景信息提供到顏色信息比較單元33、構(gòu)圖模式選擇單元22以及評價(jià)結(jié)果輸出單元對。更具體地，場景確定單元32使用預(yù)先設(shè)置的學(xué)習(xí)圖像和諸如SVM(支持向量機(jī)) 的機(jī)器學(xué)習(xí)來確定場景。在SVM中，執(zhí)行2-類別確定(一對一確定)。例如，確定了 “海岸”類別和其他類別、“田園風(fēng)景”類別和其他類別、“天空”類別和其他類別、“山”類別和其他類別等。然后， 對各個(gè)得分相互進(jìn)行比較，并且獲得具有最高得分的類別作為確定結(jié)果。場景確定單元32使用SVM，但是本發(fā)明不限于此。例如，可使用利用神經(jīng)網(wǎng)絡(luò)的模式識別或利用模式匹配的模式識別。顏色信息比較單元33將關(guān)于準(zhǔn)備的區(qū)域圖像的顏色的信息(顏色信息)與關(guān)于輸入圖像的顏色信息進(jìn)行比較，并且計(jì)算區(qū)域圖像與輸入圖像之間的相似性，其中，該準(zhǔn)備的區(qū)域圖像是與由來自場景確定單元32的場景信息表示的場景相對應(yīng)地預(yù)先準(zhǔn)備的。區(qū)
7域圖像是由在預(yù)定場景圖像中獲得的顏色的顏色區(qū)域(顏色區(qū)域)構(gòu)成的圖像。針對由場景信息表示的每個(gè)場景準(zhǔn)備多個(gè)區(qū)域圖像。顏色信息比較單元的示例性功能配置圖4是示出顏色信息比較單元33的示例性功能配置的圖。顏色信息比較單元33包括縮放單元71、區(qū)域分割單元72、區(qū)域圖像DB(數(shù)據(jù)庫)73、區(qū)域圖像選擇單元74以及相似性計(jì)算單元75?？s放單元71對輸入圖像執(zhí)行縮放處理，并且將處理后的輸入圖像提供到區(qū)域分割單元72。這里，縮放處理指的是將輸入圖像的大小改變成與區(qū)域圖像的大小相同的大小的處理。區(qū)域分割單元72將從縮放單元71提供的輸入圖像分割成具有同一顏色或相似顏色的顏色區(qū)域，并且將該顏色區(qū)域提供到相似性計(jì)算單元75。區(qū)域圖像DB 73針對由場景信息表示的每個(gè)場景存儲多個(gè)區(qū)域圖像。存儲在區(qū)域圖像DB 73中的區(qū)域圖像被統(tǒng)一成具有預(yù)定大小，并且在必要時(shí)由區(qū)域圖像選擇單元74讀取。區(qū)域圖像選擇單元74基于來自場景確定單元32的場景信息，從區(qū)域圖像DB 73 讀取由場景信息表示的場景的區(qū)域圖像，并且將該區(qū)域圖像提供到相似性計(jì)算單元75。相似性計(jì)算單元75將來自區(qū)域分割單元72的輸入圖像與來自區(qū)域圖像選擇單元 74的區(qū)域圖像進(jìn)行比較，并且確定顏色布局與輸入圖像最相似的區(qū)域圖像。具體地，相似性計(jì)算單元75計(jì)算來自區(qū)域圖像選擇單元74的區(qū)域圖像的顏色區(qū)域與輸入圖像的顏色區(qū)域之間的相似性，并且確定區(qū)域圖像當(dāng)中具有最高相似性的區(qū)域圖像(在下文中，稱為參考區(qū)域圖像)。相似性計(jì)算單元75將輸入圖像與參考區(qū)域圖像之間的相似性提供到構(gòu)圖評價(jià)單元23，并且還將參考區(qū)域圖像提供到評價(jià)結(jié)果輸出單元M。如下信息被稱為攝影狀況信息其包括關(guān)注區(qū)域提取單元31所獲得的關(guān)注區(qū)域信息、場景確定單元32所獲得的場景信息、以及參考區(qū)域圖像和顏色信息比較單元33所獲得的相似性中的至少一個(gè)。返回參照圖1，構(gòu)圖模式選擇單元22基于由來自攝影狀況識別單元21的攝影狀況信息表示的攝影狀況，選擇要應(yīng)用于輸入圖像的構(gòu)圖模式。具體地，構(gòu)圖模式選擇單元22 基于來自關(guān)注區(qū)域提取單元31的關(guān)注區(qū)域信息的數(shù)量和來自場景確定單元32的場景信息中的至少一個(gè)，選擇與輸入圖像對應(yīng)的構(gòu)圖模式，并且將該構(gòu)圖模式提供到構(gòu)圖評價(jià)單元 23和評價(jià)結(jié)果輸出單元M。構(gòu)圖模式是與關(guān)注區(qū)域(對象)的數(shù)量和場景相對應(yīng)地預(yù)先確定的。以下將參照圖10詳細(xì)描述構(gòu)圖模式。構(gòu)圖評價(jià)單元23基于來自攝影狀況識別單元21的攝影狀況信息和來自構(gòu)圖模式選擇單元22的構(gòu)圖模式，評價(jià)輸入到圖像處理設(shè)備11的輸入圖像的構(gòu)圖，并且將通過對評價(jià)結(jié)果進(jìn)行量化而計(jì)算出的得分提供到評價(jià)結(jié)果輸出單元對。構(gòu)圖評價(jià)單元的示例性功能配置圖5是示出構(gòu)圖評價(jià)單元23的示例性功能配置的圖。構(gòu)圖評價(jià)單元23包括布局評價(jià)單元111、顯著性評價(jià)單元112、顏色評價(jià)單元113 以及得分計(jì)算單元114?；趤碜詷?gòu)圖模式選擇單元22的構(gòu)圖模式和由來自關(guān)注區(qū)域提取單元31 (參見圖2)的關(guān)注區(qū)域信息表示的關(guān)注區(qū)域的位置和大小(即，關(guān)于關(guān)注區(qū)域的信息)，布局評價(jià)單元111評價(jià)當(dāng)該構(gòu)圖模式應(yīng)用于輸入圖像時(shí)的關(guān)注區(qū)域的布局(即，布局質(zhì)量)。布局評價(jià)單元111將作為評價(jià)結(jié)果的布局元素提供到得分計(jì)算單元114。顯著性評價(jià)單元112基于由來自關(guān)注區(qū)域提取單元31 (參見圖2、的關(guān)注區(qū)域信息表示的關(guān)注區(qū)域的關(guān)注度(或面部相像度)(即，關(guān)于關(guān)注區(qū)域的信息)，評價(jià)輸入圖像中的關(guān)注區(qū)域的顯著性，并且將作為評價(jià)結(jié)果的顯著性元素提供到得分計(jì)算單元114?；趤碜灶伾畔⒈容^單元33(參見圖2、的相似性(輸入圖像與參考區(qū)域圖像之間的相似性)，顏色評價(jià)單元113評價(jià)輸入圖像的顏色(顏色信息)適合場景確定單元 32所確定的場景的程度(即，顏色評價(jià)單元113評價(jià)輸入圖像的顏色質(zhì)量)。顏色評價(jià)單元113將作為評價(jià)結(jié)果的顏色元素提供到得分計(jì)算單元114。得分計(jì)算單元114通過對來自布局評價(jià)單元111的布局元素、來自顯著性評價(jià)單元112的顯著性元素以及來自顏色評價(jià)單元113的顏色元素進(jìn)行加權(quán)及相加，計(jì)算輸入圖像的構(gòu)圖的評價(jià)結(jié)果作為得分，并且將評價(jià)結(jié)果提供到評價(jià)結(jié)果輸出單元對。以下將詳細(xì)描述布局元素、顯著性元素以及顏色元素。返回參照圖1，評價(jià)結(jié)果輸出單元M將來自構(gòu)圖評價(jià)單元23的得分(S卩，評價(jià)的結(jié)果)、來自攝影狀況識別單元21的攝影狀況信息(場景信息和參考區(qū)域圖像)以及來自構(gòu)圖模式選擇單元22的構(gòu)圖模式連同輸入圖像一起輸出到顯示設(shè)備等(未示出)。圖像處理設(shè)備的圖像評價(jià)處理接下來，將參照圖6的流程圖描述圖1中的圖像處理設(shè)備11的圖像評價(jià)處理。在步驟Sll中，攝影狀況識別單元21執(zhí)行攝影狀況識別處理，以從輸入圖像識別拍攝輸入圖像的攝影狀況。然后，攝影狀況識別單元21將表示攝影狀況的攝影狀況信息提供到構(gòu)圖模式選擇單元22、構(gòu)圖評價(jià)單元23以及評價(jià)結(jié)果輸出單元M。攝影狀況識別單元的攝影狀況識別處理在下文中，將參照圖7的流程圖描述圖6的流程圖中的步驟Sll的攝影狀況識別處理。在步驟S31中，關(guān)注區(qū)域提取單元31生成與輸入圖像對應(yīng)的關(guān)注度圖和面部相像度圖。更具體地，關(guān)注度計(jì)算單元51生成與輸入圖像對應(yīng)的關(guān)注度圖，并且將該關(guān)注度圖提供到矩形關(guān)注區(qū)域確定單元52。另外，關(guān)注度計(jì)算單元51生成與輸入圖像對應(yīng)的面部相像度圖，并且將該面部相像度圖提供到矩形面部區(qū)域確定單元53。在步驟S32中，關(guān)注區(qū)域提取單元31基于關(guān)注度圖和面部相像度圖，提取并確定輸入圖像中所關(guān)注的關(guān)注區(qū)域。更具體地，矩形關(guān)注區(qū)域確定單元52基于來自關(guān)注度計(jì)算單元51的關(guān)注度圖而確定矩形關(guān)注區(qū)域，并且將表示該矩形關(guān)注區(qū)域的矩形關(guān)注區(qū)域信息提供到構(gòu)圖模式選擇單元22和構(gòu)圖評價(jià)單元23。矩形面部區(qū)域確定單元53基于來自關(guān)注度計(jì)算單元51的面部相像度圖而確定矩形面部區(qū)域，并且將表示該矩形面部區(qū)域的矩形面部區(qū)域信息提供到構(gòu)圖模式選擇單元22和構(gòu)圖評價(jià)單元23。在步驟S32中，將矩形關(guān)注區(qū)域和矩形面部區(qū)域確定為關(guān)注區(qū)域。然而，可將矩形面部區(qū)域共同處理為矩形關(guān)注區(qū)域。在步驟S33中，場景確定單元32通過對輸入圖像進(jìn)行頻率轉(zhuǎn)換來提取頻率信息， 使用該頻率信息作為特征(向量)來確定輸入圖像的場景，并且將表示作為確定結(jié)果而獲得的場景的場景信息提供到顏色信息比較單元33、構(gòu)圖模式選擇單元22以及評價(jià)結(jié)果輸出單元24。在步驟S34中，顏色信息比較單元33對輸入圖像執(zhí)行顏色信息比較處理，以將與由來自場景確定單元32的場景信息表示的場景對應(yīng)的區(qū)域圖像的顏色信息與輸入圖像的顏色信息進(jìn)行比較，并且計(jì)算區(qū)域圖像與輸入圖像之間的相似性。顏色信息比較單元的顏色信息比較處理在下文中，將參照圖8的流程圖描述圖7的流程圖中的步驟S34的顏色信息比較處理。在步驟S51中，縮放單元71對輸入圖像執(zhí)行縮放處理，以將輸入圖像的大小改變成與存儲在區(qū)域圖像DB 73中的區(qū)域圖像的大小相同的大小，并且將結(jié)果提供到區(qū)域分割單元72。在步驟S52中，區(qū)域分割單元72將經(jīng)過縮放單元71的縮放處理的輸入圖像分割成具有同一顏色或相似顏色的顏色區(qū)域，并且將顏色區(qū)域提供到相似性計(jì)算單元75。 根據(jù)使用在“Mean Shift :A Robust Approachtoward Feature Space Analysis, Dorin Comaniciu et al. ,IEEETransactions on Pattern Analysis and Machine Intelligence, vol.25，no.5，2003”中公開的平均移動算法的方法，執(zhí)行根據(jù)圖像顏色的區(qū)域分割。當(dāng)然， 可根據(jù)其它方法來實(shí)現(xiàn)根據(jù)顏色的區(qū)域分割。在步驟S53中，區(qū)域圖像選擇單元74基于來自場景確定單元32的場景信息，讀取由來自區(qū)域圖像DB 73的場景信息表示的場景的區(qū)域圖像，并且將該區(qū)域圖像提供到相似性計(jì)算單元75。在步驟S54中，相似性計(jì)算單元75將來自區(qū)域分割單元72的輸入圖像與來自區(qū)域圖像選擇單元74的區(qū)域圖像進(jìn)行比較，并且計(jì)算作為輸入圖像與區(qū)域圖像之間的相似性之一的形狀相似性。形狀相似性表示輸入圖像的顏色區(qū)域的形狀與對應(yīng)于場景信息的區(qū)域圖像的顏色區(qū)域的形狀之間的相似度。例如，當(dāng)輸入通過對晴天日落時(shí)的地平線進(jìn)行拍攝而獲得的圖像作為輸入圖像時(shí)，如圖9的左側(cè)所示，區(qū)域分割單元72將輸入圖像Ii分割成與日落時(shí)變成橙色的天空對應(yīng)的顏色區(qū)域Ril和與由于日落的影響而變成棕色的海對應(yīng)的顏色區(qū)域氏2。在圖9的輸入圖像Ii中，地平線(顏色區(qū)域Ril與顏色區(qū)域氏2之間的邊界)被定位成使得將輸入圖像Ii 基本上均等地分割為上部和下部。當(dāng)將輸入圖像Ii輸入到圖像處理設(shè)備11中時(shí)，如參照圖9所述的那樣，場景確定單元32將表示“?！钡膱鼍靶畔⑻峁┑絽^(qū)域圖像選擇單元74。區(qū)域圖像選擇單元74從區(qū)域圖像DB 73讀取場景是“海”的多個(gè)區(qū)域圖像。所讀取的區(qū)域圖像是例如如圖9的右側(cè)所示的、具有所謂的水平線構(gòu)圖的區(qū)域圖像L。區(qū)域圖像L包括顏色區(qū)域&和顏色區(qū)域 Rj2O顏色區(qū)域&與顏色區(qū)域&之間的邊界位于與下側(cè)相距區(qū)域圖像的1/3的位置處。在圖9的示例中，即使當(dāng)場景是“?！钡膱D像具有相同構(gòu)圖時(shí)，圖像也不僅包括具有日落場景的圖像(諸如，輸入圖像Ii),而且包括具有由藍(lán)天和海形成的日光帶的圖像。因此，多個(gè)區(qū)域圖像Ij是根據(jù)顏色區(qū)域Rj1和顏色區(qū)域&的顏色的組合而準(zhǔn)備的。在該情況下，在步驟SM中，相似性計(jì)算單元75計(jì)算輸入圖像Ii的顏色區(qū)域Ril和顏色區(qū)域I^2的形狀與區(qū)域圖像Ij的顏色區(qū)域Rj1和顏色區(qū)域&的形狀之間的相似性(形狀相似性)。具體地，例如，通過在 “Similarity for Composition-Based Similar Image Retrieval, ΥΑΜΑΜ0Τ0 Atsushi, et al. , Journal of Information Processing Society, Database, vol. 48 (SIG_14 (T0D_35)), pp 82 to 90，2007” 中公開的相似性計(jì)算方法，計(jì)算以下表達(dá)式(1)表示的形狀相似性SimJIi，ip，其中，在該相似性計(jì)算方法中，將區(qū)域的大小與Jaccard系數(shù)相加。
[表達(dá)式1]
權(quán)利要求
1.一種用于評價(jià)輸入圖像的質(zhì)量的設(shè)備，包括構(gòu)圖模式選擇單元，其被配置成基于所述輸入圖像的屬性而選擇構(gòu)圖模式；構(gòu)圖評價(jià)單元，其被配置成基于所述構(gòu)圖模式和所述屬性而評價(jià)所述輸入圖像；以及評價(jià)結(jié)果輸出單元，其被配置成將所述評價(jià)的結(jié)果的表示和所述輸入圖像輸出到顯示
2.根據(jù)權(quán)利要求1所述的設(shè)備，包括對象區(qū)域確定單元，所述對象區(qū)域確定單元被配置成確定所述輸入圖像中包含所述輸入圖像的對象的至少一個(gè)區(qū)域。
3.根據(jù)權(quán)利要求2所述的設(shè)備，其中所述至少一個(gè)區(qū)域是對象區(qū)域；并且所述對象區(qū)域確定單元被配置成確定所述輸入圖像中的所述對象區(qū)域的位置。
4.根據(jù)權(quán)利要求3所述的設(shè)備，其中，所述對象區(qū)域確定單元被配置成確定所述輸入圖像中的所述對象區(qū)域的大小。
5.根據(jù)權(quán)利要求4所述的設(shè)備，其中，所述輸入圖像的所述屬性包括所述輸入圖像中的所述對象區(qū)域的大小或位置中的至少一個(gè)。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中，所述構(gòu)圖評價(jià)單元被配置成評價(jià)所述輸入圖像的布局質(zhì)量。
7.根據(jù)權(quán)利要求2所述的設(shè)備，其中，所述輸入圖像的所述屬性包括所述對象區(qū)域確定單元所確定的所述輸入圖像的區(qū)域的數(shù)量。
8.根據(jù)權(quán)利要求2所述的設(shè)備，其中所述至少一個(gè)區(qū)域是對象區(qū)域；所述輸入圖像的所述屬性包括所述對象區(qū)域的顯著性；并且所述構(gòu)圖評價(jià)單元被配置成評價(jià)所述對象區(qū)域的所述顯著性。
9.根據(jù)權(quán)利要求2所述的設(shè)備，包括相似性計(jì)算單元，所述相似性計(jì)算單元被配置成計(jì)算所述輸入圖像與參考圖像之間的相似性，其中，所述輸入圖像的所述屬性包括所述相似性；以及關(guān)于所述至少一個(gè)區(qū)域的信息。
10.根據(jù)權(quán)利要求2所述的設(shè)備，其中，所述至少一個(gè)區(qū)域是包圍所述對象的矩形對象區(qū)域。
11.根據(jù)權(quán)利要求1所述的設(shè)備，包括場景確定單元，所述場景確定單元被配置成確定所述輸入圖像的場景。
12.根據(jù)權(quán)利要求11所述的設(shè)備，其中，所述輸入圖像的所述屬性包括所述輸入圖像的所述場景。
13.根據(jù)權(quán)利要求1所述的設(shè)備，包括相似性計(jì)算單元，所述相似性計(jì)算單元被配置成計(jì)算所述輸入圖像與參考圖像之間的相似性。
14.根據(jù)權(quán)利要求13所述的設(shè)備，包括區(qū)域分割單元，所述區(qū)域分割單元被配置成將所述輸入圖像分割成包括同一顏色或相似顏色的顏色區(qū)域。
15.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述相似性是所述輸入圖像的顏色區(qū)域的形狀與所述參考圖像的顏色區(qū)域的形狀之間的相似性。
16.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述相似性是所述輸入圖像的顏色與所述參考圖像的顏色之間的相似性。
17.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述輸入圖像的所述屬性包括所述相似性。
18.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述構(gòu)圖評價(jià)單元被配置成評價(jià)所述輸入圖像的顏色質(zhì)量。
19.一種用于評價(jià)輸入圖像的質(zhì)量的方法，包括 基于所述輸入圖像的屬性，選擇構(gòu)圖模式；基于所述構(gòu)圖模式和所述屬性，評價(jià)所述輸入圖像；以及將所述評價(jià)的結(jié)果的表示和所述輸入圖像輸出到顯示器。
20.一種存儲程序的非暫時(shí)、計(jì)算機(jī)可讀存儲介質(zhì)，所述程序當(dāng)由處理器執(zhí)行時(shí)，使得設(shè)備執(zhí)行用于評價(jià)輸入圖像的質(zhì)量的方法，所述方法包括基于所述輸入圖像的屬性，選擇構(gòu)圖模式； 基于所述構(gòu)圖模式和所述屬性，評價(jià)所述輸入圖像；以及將所述評價(jià)的結(jié)果的表示和所述輸入圖像輸出到顯示器。
21.—種成像設(shè)備，包括成像單元，其被配置成捕獲圖像；圖像處理單元，其被配置成對所捕獲的圖像進(jìn)行處理；構(gòu)圖模式選擇單元，其被配置成基于處理后的圖像的屬性，選擇構(gòu)圖模式；構(gòu)圖評價(jià)單元，其被配置成基于所述構(gòu)圖模式和所述屬性，評價(jià)所述處理后的圖像；顯示器；以及評價(jià)結(jié)果輸出單元，其被配置成將所述評價(jià)的結(jié)果的表示和所述處理后的圖像輸出到所述顯示器。
22.一種用于捕獲并評價(jià)圖像的質(zhì)量的方法，包括 捕獲所述圖像；對所捕獲的圖像進(jìn)行處理；基于處理后的圖像的屬性，選擇構(gòu)圖模式；基于所述構(gòu)圖模式和所述屬性，評價(jià)所述處理后的圖像；以及將所述評價(jià)的結(jié)果的表示和所述處理后的圖像輸出到顯示器。
全文摘要
本發(fā)明公開了一種圖像處理設(shè)備、圖像處理方法、程序以及成像設(shè)備，其中該設(shè)備用于評價(jià)輸入圖像的質(zhì)量。該設(shè)備可包括構(gòu)圖模式選擇單元，其被配置成基于輸入圖像的屬性而選擇構(gòu)圖模式。該設(shè)備還可包括構(gòu)圖評價(jià)單元，其被配置成基于構(gòu)圖模式和屬性而評價(jià)輸入圖像。另外，該設(shè)備可包括評價(jià)結(jié)果輸出單元，其被配置成將評價(jià)結(jié)果的表示和輸入圖像輸出到顯示器。
文檔編號H04N5/232GK102196177SQ20111005788
公開日2011年9月21日 申請日期2011年3月4日 優(yōu)先權(quán)日2010年3月12日
發(fā)明者中村雄介, 五味信一郎 申請人:索尼公司