專利名稱：圖像管理裝置、圖像管理方法、程序、記錄介質(zhì)、集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)圖像和圖像中包含的對(duì)象物進(jìn)行排序的技術(shù)。
背景技術(shù)：
近年來(lái)，隨著數(shù)碼相機(jī)的普及，用戶逐漸保有大量的圖像。但是，隨著保有的圖像的張數(shù)增多，選出對(duì)用戶來(lái)說(shuō)重要的圖像越來(lái)越困難。因此，為了能夠高效地檢索用戶所期望的圖像，需要將對(duì)用戶來(lái)說(shuō)重要的圖像按順序排列、即排序(ranking )。通過(guò)對(duì)圖像進(jìn)行排序并顯示，能夠?qū)τ脩暨M(jìn)行支援，以簡(jiǎn)單地選出所需的圖像。 作為與排序有關(guān)的技術(shù)，已知如下的技術(shù)基于Web網(wǎng)站的頁(yè)面間的鏈接，決定各頁(yè)面的重要度(參照專利文獻(xiàn)I、非專利文獻(xiàn)I)。在先技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)I :特開(kāi)2007-183825號(hào)公報(bào)非專利文獻(xiàn)非專利文獻(xiàn)I :“Exploiting the Block Structure of the Web for ComputingPageRank，，D. Kamvar, H. Haveliwala, D. Manning, H. Golub, 2003 年發(fā)明的概要發(fā)明所要解決的課題然而，作為實(shí)現(xiàn)使拍攝有對(duì)用戶來(lái)說(shuō)重要的人物的圖像成為重要的照片的排序的方法，發(fā)明人們研究了以下的方法將圖像和圖像中拍攝的人物(對(duì)象物的一種)以鏈接構(gòu)造連結(jié)，基于該鏈接構(gòu)造，計(jì)算圖像的重要度及人物的重要度。在該方法中，生成表示圖像的圖像節(jié)點(diǎn)(node)和表示人物的人物節(jié)點(diǎn)，在圖像中拍攝有特定的人物的情況下，在這些圖像節(jié)點(diǎn)和人物節(jié)點(diǎn)間設(shè)置雙方向的鏈接。在此，節(jié)點(diǎn)間的鏈接指的是，將該鏈接源節(jié)點(diǎn)的重要度通過(guò)鏈接向鏈接目標(biāo)節(jié)點(diǎn)傳播。此外，從多個(gè)節(jié)點(diǎn)設(shè)置有鏈接的節(jié)點(diǎn)的重要度是將從各個(gè)鏈接傳播來(lái)的所有重要度相加而得到的重要度。此外，從重要度較高的節(jié)點(diǎn)設(shè)置有鏈接的節(jié)點(diǎn)的重要度變高。因此，從大量圖像節(jié)點(diǎn)設(shè)置有鏈接的人物節(jié)點(diǎn)的重要度變高。即，在大量的圖像中被拍攝的人物的重要度變高。此外，從重要度較高的人物節(jié)點(diǎn)設(shè)置有鏈接的圖像節(jié)點(diǎn)的重要度變高。即，拍攝有重要度較高的人物的圖像的重要度變高。通過(guò)這樣構(gòu)成鏈接構(gòu)造，并使各自的重要度傳播，拍攝有在大量的圖像中被拍攝的人物的圖像的重要度變高。此外，在該方法中，為了具體地計(jì)算重要度，基于所有圖像節(jié)點(diǎn)及人物節(jié)點(diǎn)和節(jié)點(diǎn)間的鏈接構(gòu)造，制作概率轉(zhuǎn)移矩陣，并求出該矩陣的固有矢量，從而計(jì)算圖像的重要度。固有矢量表示由各節(jié)點(diǎn)持續(xù)傳播重要度時(shí)的收斂值。
但是，在該方法中，隨著作為重要度的計(jì)算對(duì)象的圖像和人物的數(shù)量變多，矩陣運(yùn)算所牽涉的資源的負(fù)荷變得過(guò)大。S卩，上述概率轉(zhuǎn)移矩陣是將圖像節(jié)點(diǎn)及人物節(jié)點(diǎn)的數(shù)量相加而得到的數(shù)量作為行及列而的矩陣。因此，如果圖像的數(shù)量很龐大，則概率轉(zhuǎn)移矩陣也變得巨大。舉出一例進(jìn)行說(shuō)明，圖像的數(shù)量為100萬(wàn)、人物的數(shù)量為1000的情況下，概率轉(zhuǎn)移矩陣約成為(100萬(wàn)+ 1000)行X (100萬(wàn)+ 1000)列。尤其是，在用戶設(shè)備等中，難以將這樣的巨大矩陣展開(kāi)到存儲(chǔ)器上并進(jìn)行運(yùn)算。該問(wèn)題不僅是使用矩陣運(yùn)算的方法，在基于各個(gè)要素間的關(guān)聯(lián)性來(lái)進(jìn)行計(jì)算的方法中也可能廣泛產(chǎn)生。另外，在專利文獻(xiàn)I和非專利文獻(xiàn)I中，預(yù)先將鏈接構(gòu)造歸納為多個(gè)組，首先求出組間的重要度，接下來(lái)計(jì)算組內(nèi)的重要度，從而能夠減輕運(yùn)算所需要的負(fù)荷。
但是，在這些現(xiàn)有的技術(shù)中，重要度的計(jì)算對(duì)象為Web網(wǎng)站，對(duì)于計(jì)算對(duì)象為圖像及圖像中拍攝的對(duì)象物的情況，并沒(méi)有任何記載。

發(fā)明內(nèi)容
本發(fā)明是在這樣的背景下做出的，其目的在干，在減輕資源的負(fù)荷的基礎(chǔ)上，計(jì)算圖像及該圖像中拍攝的對(duì)象物的重要度。解決課題所采用的手段為了解決上述課題，本發(fā)明的圖像管理裝置基于重要度對(duì)多個(gè)圖像進(jìn)行排序，其特征在于，具備圖像取得部，取得多個(gè)圖像；檢測(cè)部，在取得的各圖像中，檢測(cè)該圖像所包含的對(duì)象物；提取部，提取檢測(cè)到的各所述對(duì)象物的圖像特征量；聚類部，基于各對(duì)象物的圖像特征量，將檢測(cè)到的各對(duì)象物分類到多個(gè)群集中的某ー個(gè)群集；塊生成部，劃分由所述圖像取得部取得的多個(gè)圖像，生成多個(gè)塊；塊內(nèi)重要度計(jì)算部，在各塊中，基于該塊內(nèi)的圖像與該圖像所包含的對(duì)象物所屬的群集的關(guān)聯(lián)性，計(jì)算該群集的塊內(nèi)重要度；群集重要度計(jì)算部，通過(guò)對(duì)計(jì)算出的各塊內(nèi)的各群集的塊內(nèi)重要度進(jìn)行累積，計(jì)算所述多個(gè)圖像內(nèi)的各群集的重要度；以及圖像重要度計(jì)算部，基于計(jì)算出的群集重要度，計(jì)算各圖像的重要度。發(fā)明效果根據(jù)本發(fā)明的圖像管理裝置，按各塊計(jì)算群集的重要度，該塊與取得的圖像的張數(shù)相比，由較少的張數(shù)構(gòu)成，所以能夠有助于減輕資源負(fù)荷。在此，也可以是，所述塊生成部通過(guò)劃分所述多個(gè)圖像，對(duì)各圖像賦予用于識(shí)別劃分出的塊的塊ID，并且具備塊信息存儲(chǔ)部，存儲(chǔ)對(duì)各圖像賦予的塊ID，在所述圖像取得部新取得了圖像的情況下，所述塊生成部以該取得的新的圖像為對(duì)象進(jìn)行所述劃分，但不將所述塊信息存儲(chǔ)部中存儲(chǔ)有塊ID的圖像作為對(duì)象來(lái)進(jìn)行所述劃分。根據(jù)該構(gòu)成，對(duì)于在塊信息存儲(chǔ)部中存儲(chǔ)有塊ID的圖像、即已劃分的圖像，不作為新的劃分的對(duì)象。因此，能夠減少新的劃分所導(dǎo)致的由塊內(nèi)重要度計(jì)算部進(jìn)行的群集的塊內(nèi)重要度的再計(jì)算。在此，也可以是，所述塊生成部通過(guò)劃分所述多個(gè)圖像，對(duì)各圖像賦予用于識(shí)別劃分出的塊的塊ID，并且具備塊信息存儲(chǔ)部，存儲(chǔ)對(duì)各圖像賦予的塊ID，在所述圖像取得部新取得了圖像的情況下，所述塊生成部將所述塊信息存儲(chǔ)部中存儲(chǔ)有塊ID的圖像的一部分和該取得的新的圖像雙方作為對(duì)象，進(jìn)行所述劃分。由此，例如根據(jù)圖像管理裝置的計(jì)算處理性能，有助于靈活地使塊的劃分最優(yōu)化。在此，也可以是，具備圖表生成部，在各塊中，制作表示構(gòu)成該塊的各個(gè)圖像的圖像節(jié)點(diǎn)、分別表示所述圖像所包含的對(duì)象物所屬的群集的群集節(jié)點(diǎn)、表示所述圖像的背景的I個(gè)背景節(jié)點(diǎn)，設(shè)定制作的節(jié)點(diǎn)間的鏈接的值，生成由制作的節(jié)點(diǎn)和設(shè)定的鏈接的值構(gòu)成的圖表，所述塊內(nèi)重要度計(jì)算部基于生成的圖表，計(jì)算各節(jié)點(diǎn)所示的圖像及群集的塊內(nèi)重要度。此外，也可以是，所述塊內(nèi)重要度計(jì)算部基于由所述圖表生成部生成的圖表信息，生成概率轉(zhuǎn)移矩陣，并求出該概率轉(zhuǎn)移矩陣的固有矢量，由此計(jì)算各塊內(nèi)的圖像的重要度及群集的塊內(nèi)重要度。
此外，也可以是，所述圖表生成部制作偽節(jié)點(diǎn)并使該偽節(jié)點(diǎn)包含在所述圖表中，將該偽節(jié)點(diǎn)與所述圖像節(jié)點(diǎn)之間、該偽節(jié)點(diǎn)與群集節(jié)點(diǎn)之間、以及該偽節(jié)點(diǎn)與所述背景節(jié)點(diǎn)之間的鏈接的值設(shè)定為零。此外，也可以是，所述塊內(nèi)重要度計(jì)算部基于表示隨機(jī)游走(random walk)的矩陣，對(duì)生成的概率轉(zhuǎn)移矩陣進(jìn)行修正，對(duì)修正后的概率轉(zhuǎn)移矩陣求出固有矢量。此外，也可以是，所述群集重要度計(jì)算部在各塊中，用塊內(nèi)的群集的塊內(nèi)重要度減去塊內(nèi)的偽節(jié)點(diǎn)的塊內(nèi)重要度，從而對(duì)該群集的塊內(nèi)重要度進(jìn)行校正。在此，可以考慮為在各塊內(nèi)的群集的塊內(nèi)重要度上追加了一定的重要度，該追加的量作為偽節(jié)點(diǎn)的塊內(nèi)重要度來(lái)表示。因此，在各塊中，通過(guò)用群集的塊內(nèi)重要度減去偽節(jié)點(diǎn)的塊內(nèi)重要度，能夠計(jì)算實(shí)質(zhì)的群集的塊內(nèi)重要度。尤其是，能夠防止由于劃分的方法不同而群集的重要度變化。此外，也可以是，具備重要度正規(guī)化部，基于各個(gè)塊內(nèi)的偽節(jié)點(diǎn)的塊內(nèi)重要度的值，對(duì)由所述群集重要度計(jì)算部計(jì)算的各塊內(nèi)的各群集的塊內(nèi)重要度進(jìn)行正規(guī)化，所述群集重要度計(jì)算部基于正規(guī)化后的群集的塊內(nèi)重要度，計(jì)算所述多個(gè)圖像內(nèi)的群集的重要度。由此，能夠防止多個(gè)圖像內(nèi)的群集的重要度由于劃分的方法不同而變化。此外，也可以是，所述群集重要度計(jì)算部通過(guò)將計(jì)算出的各塊內(nèi)的群集的塊內(nèi)重要度相加，計(jì)算所述多個(gè)圖像內(nèi)的群集的重要度。此外，也可以是，還具備重要度正規(guī)化部，根據(jù)塊內(nèi)所包含的圖像數(shù)及群集數(shù)，對(duì)由所述群集重要度計(jì)算部計(jì)算出的各塊內(nèi)的群集的重要度進(jìn)行正規(guī)化，所述群集重要度計(jì)算部將正規(guī)化后的群集的重要度相加。根據(jù)構(gòu)成，例如即使在塊內(nèi)所包含的圖像數(shù)和群集數(shù)在塊間不一致的情況下，也能夠在塊間對(duì)實(shí)質(zhì)的群集的塊內(nèi)重要度進(jìn)行調(diào)整。此外，也可以是，所述聚類部從外部裝置取得在該外部裝置中分類的群集的特征量，并對(duì)取得的特征量和分類后的各群集的特征量進(jìn)行比較，從而確定所取得的特征量與分類后的各群集中的哪個(gè)群集對(duì)應(yīng)，所述群集重要度計(jì)算部從所述外部裝置取得所確定的群集的重要度，用于所述累積。
此外，也可以是，所述塊生成部基于表示能夠用于生成塊的資源的資源信息，決定應(yīng)該生成的各塊的大小，并以各塊成為所決定的大小的方式生成所述多個(gè)塊。此外，也可以是，所述資源信息表示能夠利用的存儲(chǔ)器大小。此外，本發(fā)明的圖像管理方法基于重要度對(duì)多個(gè)圖像進(jìn)行排序，其特征在于，包括以下步驟圖像取得步驟，取得多個(gè)圖像；檢測(cè)步驟，在取得的各圖像中，檢測(cè)該圖像所包含的對(duì)象物；提取步驟，提取檢測(cè)到的各所述對(duì)象物的圖像特征量；聚類步驟，基于各對(duì)象物的圖像特征量，將檢測(cè)到的各對(duì)象物分類到多個(gè)群集中的某ー個(gè)群集；塊生成步驟，劃分由所述圖像取得步驟取得的多個(gè)圖像，生成多個(gè)塊；塊內(nèi)重要度計(jì)算步驟，在各塊中，基于構(gòu)成該塊的圖像與該圖像所包含的對(duì)象物所屬的群集的關(guān)聯(lián)性，計(jì)算該群集的塊內(nèi)重要度；群集重要度計(jì)算步驟，通過(guò)對(duì)計(jì)算出的各塊內(nèi)的各群集的塊內(nèi)重要度進(jìn)行累積，計(jì)算所述多個(gè)圖像內(nèi)的各群集的重要度；以及圖像重要度計(jì)算步驟，基于計(jì)算出的群集重要度，計(jì)算各圖像的重要度。
此外，本發(fā)明的程序使計(jì)算機(jī)執(zhí)行包含圖像管理步驟的處理，其特征在于，所述圖像管理步驟包括圖像取得步驟，取得多個(gè)圖像；檢測(cè)步驟，在取得的各圖像中，檢測(cè)該圖像所包含的對(duì)象物；提取步驟，提取檢測(cè)到的各所述對(duì)象物的圖像特征量；聚類步驟，基于各對(duì)象物的圖像特征量，將檢測(cè)到的各對(duì)象物分類到多個(gè)群集中的某ー個(gè)群集；塊生成步驟，劃分由所述圖像取得步驟取得的多個(gè)圖像，生成多個(gè)塊；塊內(nèi)重要度計(jì)算步驟，在各塊中，基于構(gòu)成該塊的圖像與該圖像所包含的對(duì)象物所屬的群集的關(guān)聯(lián)性，計(jì)算該群集的塊內(nèi)重要度；群集重要度計(jì)算步驟，通過(guò)對(duì)計(jì)算出的各塊內(nèi)的群集的塊內(nèi)重要度進(jìn)行累積，計(jì)算所述多個(gè)圖像內(nèi)的群集的重要度；以及圖像重要度計(jì)算步驟，基于計(jì)算出的群集重要度，計(jì)算各圖像的重要度。此外,本發(fā)明的記錄介質(zhì)是記錄有上述程序的記錄介質(zhì)。此外，本發(fā)明的集成電路基于重要度對(duì)多個(gè)圖像進(jìn)行排序，其特征在于，具備圖像取得部，取得多個(gè)圖像；檢測(cè)部，在取得的各圖像中，檢測(cè)該圖像所包含的對(duì)象物；提取部，提取檢測(cè)到的各所述對(duì)象物的圖像特征量；聚類部，基于各對(duì)象物的圖像特征量，將檢測(cè)到的各對(duì)象物分類到多個(gè)群集中的某ー個(gè)群集；塊生成部，劃分由所述圖像取得部取得的多個(gè)圖像，生成多個(gè)塊；塊內(nèi)重要度計(jì)算部，在各塊中，基于構(gòu)成該塊的圖像與該圖像所包含的對(duì)象物所屬的群集的關(guān)聯(lián)性，計(jì)算該群集的塊內(nèi)重要度；群集重要度計(jì)算部，通過(guò)對(duì)計(jì)算出的各塊內(nèi)的群集的塊內(nèi)重要度進(jìn)行累積，計(jì)算所述多個(gè)圖像內(nèi)的群集的重要度；以及圖像重要度計(jì)算部，基于計(jì)算出的群集重要度，計(jì)算各圖像的重要度。


圖I是實(shí)施方式I中的圖像管理裝置100的功能框圖。圖2是表示基于從攝像裝置130取得的圖像，將排序顯示在顯示裝置140上為止的處理的流程的流程圖。圖3是表示從圖像取得到聚類為止的處理的詳細(xì)情況的流程圖。圖4是表示從攝像裝置130取得的圖像組和圖像組所包含的對(duì)象物的一例的圖。圖5是表不對(duì)象物信息500的一例的圖。圖6是詳細(xì)表示塊ID賦予的處理的流程圖。
圖7是表不塊信息的一例的圖。圖8是詳細(xì)表示塊的圖表信息生成的處理的流程圖。圖9A是表不塊I的圖表信息900的一例的圖。圖9B是表不塊I的圖表信息901的一例的圖。圖10是詳細(xì)表示塊內(nèi)的重要度計(jì)算的處理的流程圖。圖11是表示概率轉(zhuǎn)移矩陣Ml 100的一例的圖。圖12是表示隨機(jī)游走矩陣X1200的一例的圖。圖13是表不固有矢量1300的一例的圖。圖14是表示概率矢量化后的固有矢量1400的一例的圖。圖15是表示塊內(nèi)重要度信息1500的一例的圖。圖16是詳細(xì)表示群集重要度計(jì)算的處理的流程圖。圖17是表示以節(jié)點(diǎn)數(shù)將塊內(nèi)重要度信息1501正規(guī)化的狀況的圖。圖18是表示在塊內(nèi)重要度信息1701中，用群集的重要度減去偽節(jié)點(diǎn)的重要度的狀況的圖。圖19是表示塊的劃分方法相同的情況下的鏈接構(gòu)造和該塊內(nèi)的塊內(nèi)重要度的圖。圖20是表示塊的劃分方法不同的情況下的鏈接構(gòu)造和該塊內(nèi)的塊內(nèi)重要度的圖。圖21是表示群集重要度信息2100的一例的圖。圖22是詳細(xì)表示圖像重要度計(jì)算的處理的流程圖。圖23是表示圖像重要度信息2300的一例的圖。圖24是表示圖像排序信息的一例的圖。圖25是表示實(shí)施方式2中的塊ID賦予的處理的流程圖。圖26是表示實(shí)施方式3中的群集重要度計(jì)算的處理的流程圖。圖27是表示以偽節(jié)點(diǎn)的重要度正規(guī)化后的塊內(nèi)重要度的一例。圖28是說(shuō)明將塊I 3內(nèi)的群集I的塊內(nèi)重要度相加、而求出所有圖像內(nèi)的群集I的重要度的方法的圖。圖29是說(shuō)明根據(jù)群集重要度求出圖像的重要度的方法的圖。圖30是說(shuō)明根據(jù)新取得的圖像制作新的塊的方法的圖。圖31是說(shuō)明將新取得的圖像和已取得的圖像混合而制作新的塊的方法的圖。圖32是說(shuō)明將塊I 3中的群集I的塊內(nèi)重要度相加、而求出所有圖像內(nèi)的群集I的重要度的方法的圖。圖33是說(shuō)明根據(jù)群集重要度求出圖像的重要度的方法的圖。圖34是表示實(shí)施方式4中的處理的示意的圖。圖35是表示處理的示意的圖。圖36是表示處理的示意的圖。
具體實(shí)施例方式(實(shí)施方式I)
以下，參照

實(shí)施方式I的圖像管理裝置100及圖像管理裝置100的控制方法。圖I是包含實(shí)施方式I中的圖像管理裝置100及與其相關(guān)裝置的連接的框圖。
圖像管理裝置100與攝像裝置130及顯示裝置140連接。攝像裝置130是能夠?qū)D像進(jìn)行攝像、并且儲(chǔ)存攝像的圖像的裝置。這里所稱的圖像，例如可以是照片等靜止圖像，也可以是運(yùn)動(dòng)圖像。攝像裝置130例如由數(shù)碼相機(jī)構(gòu)成。另外，圖像管理裝置100和攝像裝置130例如經(jīng)由USB (Universal Serial Bus)線纜連接。顯示裝置140例如由數(shù)字電視機(jī)構(gòu)成，顯示從圖像管理裝置100輸出的圖像等影像。顯示裝置 140 例如經(jīng)由 HDMI (High-Definition Multimedia Interface)線纜與圖像管理裝置100連接。接著，使用圖I說(shuō)明圖像管理裝置100的內(nèi)部構(gòu)成。如圖I所示，圖像管理裝置100由圖像取得部101、對(duì)象物檢測(cè)部102、對(duì)象物特征量提取部130、聚類部104、塊生成部105、圖表生成部106、存儲(chǔ)部107、評(píng)價(jià)部114及顯示控制部120構(gòu)成。圖像取得部101取得攝像裝置130所儲(chǔ)存的圖像，并對(duì)取得的圖像分別賦予固有的圖像ID。圖像取得部101例如由軟件構(gòu)成，該軟件對(duì)用于插入U(xiǎn)SB線纜的USB端ロ及USB驅(qū)動(dòng)器等接ロ進(jìn)行控制。對(duì)象物檢測(cè)部102從圖像取得部101取得的圖像中檢測(cè)拍攝有對(duì)象物的區(qū)域(圖像中的坐標(biāo)),對(duì)檢測(cè)到的對(duì)象物分別賦予固有的對(duì)象物ID。這里所稱的對(duì)象物，例如可以舉出人物的面部或一般物體(汽車、房子、食物等)等，但是在以后的說(shuō)明中，作為對(duì)象物而以人物的面部為例進(jìn)行說(shuō)明。此外，對(duì)象物檢測(cè)部102計(jì)算與圖像的尺寸相對(duì)的對(duì)象物的大小(以后記為“占有度，，)。對(duì)象物特征量提取部103提取由對(duì)象物檢測(cè)部102從圖像檢測(cè)到的面部的圖像特征量。圖像特征量表示關(guān)于圖像中的多個(gè)像素的像素值的分布的特征。例如，圖像特征量是以表示圖像的特征的多個(gè)數(shù)值為成分的矢量。圖像的特征有使用Gabor濾波器得到的圖像數(shù)據(jù)的像素值的分布的周期性或方向性等，在人物的面部的圖像特征量的情況下，能夠根據(jù)像素值的分布的周期性和方向性等，將識(shí)別為眼睛的2點(diǎn)間的距離、或識(shí)別為鼻子的點(diǎn)與識(shí)別為嘴的點(diǎn)之間的距離等的量作為成分。聚類部104基于由對(duì)象物特征量提取部103提取的面部的圖像特征量，將類似的面部彼此分類為同一群集。S卩，對(duì)于由聚類部104分類為同一群集的面部，賦予同一群集ID。根據(jù)聚類的結(jié)果，能夠確認(rèn)同一群集的面部圖像具有類似的圖像特征量。作為聚類方法，例如可以使用K-Means 法。另外，由對(duì)象物特征量提取部103和聚類部104進(jìn)行的詳細(xì)的方法可以利用一般的面部識(shí)別技術(shù)等，所以簡(jiǎn)化了上述的說(shuō)明。塊生成部105在取得的圖像中，僅提取拍攝有面部的圖像，并將提取的圖像劃分為若干個(gè)塊。對(duì)該劃分的方法不做特別限定，但是在本實(shí)施方式中，以使各塊所包含的圖像數(shù)盡量相等的方式進(jìn)行。進(jìn)行劃分后，塊生成部105對(duì)提取的圖像分別賦予用于識(shí)別劃分出的塊的塊ID。圖表生成部106具有如下的功能對(duì)于由塊生成部105生成的每個(gè)塊，進(jìn)行下面Cl) (3)的處理。(I)節(jié)點(diǎn)的制作首先，圖表生成部106生成表示某塊所包含的圖像的圖像節(jié)點(diǎn)、表示該圖像所包 含的人物的群集的群集節(jié)點(diǎn)、表示圖像的背景的I個(gè)背景節(jié)點(diǎn)、以及偽節(jié)點(diǎn)。(2)節(jié)點(diǎn)間的鏈接的值的設(shè)定接著，圖表生成部106設(shè)定制作的節(jié)點(diǎn)間的鏈接的值。該鏈接用于傳播節(jié)點(diǎn)的重要度。具體地說(shuō)，鏈接源的節(jié)點(diǎn)的重要度與鏈接的值相乘所得到的值成為鏈接目標(biāo)的節(jié)點(diǎn)的重要度。例如，設(shè)某節(jié)點(diǎn)A的重要度為1，從節(jié)點(diǎn)A向節(jié)點(diǎn)B設(shè)置有鏈接，該鏈接的值為O. I。這時(shí)，節(jié)點(diǎn)B的重要度成為1X0. 1=0. I。此外，與多個(gè)節(jié)點(diǎn)存在鏈接的情況下，將這些值相加而得到的值成為重要度。該設(shè)定的詳細(xì)情況在后面敘述。(3)生成由節(jié)點(diǎn)和鏈接的值構(gòu)成的圖表圖表生成部106生成表現(xiàn)制作的節(jié)點(diǎn)和設(shè)定的鏈接的值的圖表。存儲(chǔ)部107由對(duì)象物信息存儲(chǔ)部108、塊信息存儲(chǔ)部109、圖表信息存儲(chǔ)部110、±夾內(nèi)重要度存儲(chǔ)部111、圖像重要度存儲(chǔ)部112、以及群集重要度存儲(chǔ)部113的子功能塊構(gòu)成。存儲(chǔ)部107例如可以由RAM (Random Access Memory)構(gòu)成。各存儲(chǔ)部108 113所保存的信息的詳細(xì)情況在后面敘述。評(píng)價(jià)部114由概率轉(zhuǎn)移矩陣生成部115、塊內(nèi)重要度計(jì)算部116、重要度正規(guī)化部117、群集重要度計(jì)算部118、以及圖像重要度計(jì)算部119的子功能塊構(gòu)成。概率轉(zhuǎn)移矩陣生成部115基于由圖表生成部生成的圖表信息，生成概率轉(zhuǎn)移矩陣。塊內(nèi)重要度計(jì)算部116通過(guò)求出概率轉(zhuǎn)移矩陣的固有矢量，求出構(gòu)成概率轉(zhuǎn)移矩陣的圖像和群集的各節(jié)點(diǎn)的塊內(nèi)重要度。另外，固有矢量的計(jì)算方法可以采用冪乘法等一般的方法。重要度正規(guī)化部117為了使最終的重要度不會(huì)由于塊的劃分方法不同而變化，具有對(duì)塊間的重要度進(jìn)行調(diào)整的功能。具體地說(shuō)，例如基于該塊所包含的節(jié)點(diǎn)數(shù)來(lái)對(duì)塊內(nèi)重要度進(jìn)行正規(guī)化。群集重要度計(jì)算部118通過(guò)對(duì)由重要度正規(guī)化部117正規(guī)化后的各群集的塊內(nèi)重要度進(jìn)行累積，計(jì)算由圖像取得部101取得的圖像內(nèi)的各群集的重要度。另外，該累積的方法有乘法、加法、以及它們的組合等各種方法，但是在本實(shí)施方式中作為加法來(lái)進(jìn)行說(shuō)明。圖像重要度計(jì)算部119基于由群集重要度計(jì)算部118計(jì)算出的每個(gè)群集的重要度，計(jì)算圖像的重要度。例如，對(duì)于包含有群集I的圖像1，基于群集I的重要度來(lái)計(jì)算圖像I的重要度。顯示控制部120具有經(jīng)由HDMI輸出端子等輸出接ロ使顯示裝置140執(zhí)行各種顯示的功能。使用圖2的流程圖來(lái)說(shuō)明圖像管理裝置100所進(jìn)行的動(dòng)作的概要。圖2的流程圖表示如下的動(dòng)作根據(jù)從攝像裝置130輸入的圖像組，制作圖像排序，并將結(jié)果顯示在顯示裝置140上。如圖2所示，圖像管理裝置100首先對(duì)取得的圖像所包含的對(duì)象物進(jìn)行檢測(cè)，將特征量類似的對(duì)象物作為ー個(gè)群集(S201)。然后，將取得的圖像組分割為各為一定數(shù)量的塊，并分別賦予塊ID(S202)。然后，生成表示鏈接構(gòu)造的圖表信息，該鏈接構(gòu)造由塊所包含的圖 像和該圖像所包含的群集構(gòu)成(S203)。然后，在各塊中計(jì)算圖像及群集的重要度(S204)。然后，基于對(duì)各塊求出的塊內(nèi)群集重要度，計(jì)算群集重要度(S205)。然后，基于群集重要度，計(jì)算圖像重要度(S206)。最后，按照?qǐng)D像的重要度順序?qū)D像進(jìn)行排序(S207)，按照上述的順序進(jìn)行處理。這些各步驟的詳細(xì)動(dòng)作在下面說(shuō)明。圖3是表示圖2中的S201的從圖像取得到聚類為止的詳細(xì)情況的流程圖。圖像取得部101取得儲(chǔ)存在攝像裝置130中的圖像組(S301)。在此，圖像取得部101對(duì)各圖像以能夠唯一識(shí)別的方式賦予圖像ID。另外，以下將在步驟S301中取得的圖像稱為“取得圖像”。接著，對(duì)象物檢測(cè)部102對(duì)取得圖像所包含的對(duì)象物進(jìn)行檢測(cè)(S302)。圖4表示取得圖像組和該圖像中拍攝的對(duì)象物的例子。在此，設(shè)對(duì)象物為人物的面部，對(duì)各對(duì)象物賦予唯一的對(duì)象物ID。例如，在圖像I中檢測(cè)到了對(duì)象物I (對(duì)象物ID=I)的對(duì)象物。在圖像2中檢測(cè)到了對(duì)象物2及3的對(duì)象物。在圖像3中檢測(cè)到了對(duì)象物4的對(duì)象物。作為檢測(cè)對(duì)象物的方法，例如有使用與規(guī)定的面部區(qū)域的剪切有關(guān)的學(xué)習(xí)詞典、來(lái)將面部區(qū)域切出的方法。對(duì)象物的檢測(cè)結(jié)束后，對(duì)象物檢測(cè)部102求出檢測(cè)到的對(duì)象物的占有度(S303)。該占有度表不對(duì)象物占圖像整體的大小。例如，在圖4的圖像I的情況下,拍攝有對(duì)象物I。此外，如果設(shè)圖像I的圖像尺寸為600 X 400、對(duì)象物I的面部的大小為200 X 120，則對(duì)象物I的占有度成為(200X120) + ￠00 X 400) =10%。同樣地求出圖像中拍攝的所有對(duì)象物的占有度。對(duì)象物特征量提取部103提取由對(duì)象物檢測(cè)部102檢測(cè)到的對(duì)象物的圖像特征量(S304)。然后，在聚類部104中，基于由對(duì)象物特征量提取部103提取的對(duì)象物的圖像特征量來(lái)進(jìn)行聚類(S305)。該聚類的方法如上所述，例如有基于圖像特征量而使用K-means法的方法。在圖4的例中，由于在圖像I中出現(xiàn)的對(duì)象物I和在圖像2中出現(xiàn)的對(duì)象物2這兩者的圖像特征量類似，所以聚類部104對(duì)這些對(duì)象物1、2賦予相同的群集I這樣的群集ID0在圖5中示出了表示圖2的一系列處理的結(jié)果的對(duì)象物信息500。如圖5所示，對(duì)象物信息500是將對(duì)象物ID、群集ID、圖像ID及占有度的信息建立關(guān)聯(lián)而得到的。該對(duì)象物信息500存儲(chǔ)在存儲(chǔ)部107中的對(duì)象物信息存儲(chǔ)部108中。這樣，從圖像取得到聚類為止的處理結(jié)束后(圖2 :S201)，轉(zhuǎn)移到對(duì)取得的每個(gè)圖像賦予塊ID的處理(S202)。圖6的流程表示其詳細(xì)情況。在此，進(jìn)行將取得的圖像分割為多個(gè)塊的操作。由此，在以后的處理中實(shí)現(xiàn)了對(duì)象物的重要度的計(jì)算所需的存儲(chǔ)器等資源的減少。首先，在塊生成部105中，在基于對(duì)象物信息500 (參照?qǐng)D5)提取所取得的圖像中包含有對(duì)象物的圖像，并計(jì)算其圖像數(shù)(S601)。例如，在圖4的例中，圖像組所包含的圖像為10張，其中，不包含對(duì)象物的圖像為 圖像6和圖像10這2張。這種情況下，包含有對(duì)象物的圖像數(shù)為10-2=8張。這樣，包含有對(duì)象物的圖像數(shù)能夠通過(guò)從取得的圖像數(shù)減去不包含對(duì)象物的圖像數(shù)來(lái)計(jì)算。接著，塊生成部105將包含有對(duì)象物的圖像劃分為多個(gè)塊(S602)，并對(duì)劃分的塊賦予塊ID (S603)。該步驟S602 S603的處理為，例如首先規(guī)定每I個(gè)塊的圖像數(shù)的上限數(shù)，將圖像ID按升序排列，并按升序分配塊ID，直到成為上限數(shù)。例如設(shè)上限數(shù)為3張，對(duì)于圖4那樣的包含有對(duì)象物的8張圖像，對(duì)圖像I 3賦予塊I、對(duì)圖像4、5、7賦予塊2、對(duì)圖像8、9賦予塊3這樣的塊ID。表示這樣對(duì)各圖像賦予了塊ID的結(jié)果的塊信息700在圖7中示出。該塊信息700存儲(chǔ)在存儲(chǔ)部107中的塊信息存儲(chǔ)部109中。另外，在圖7中，對(duì)圖像6、10未賦予塊ID，這是因?yàn)樵趦蓤D像中不包含對(duì)象物。這樣的塊ID賦予的處理結(jié)束后(圖2 :S202)，轉(zhuǎn)移到生成塊的圖表信息的處理(S203)。圖8的流程表示其詳細(xì)情況。圖表信息是在作為后續(xù)處理的S204中，為了計(jì)算塊內(nèi)的重要度而需要的信息，該圖表信息包含節(jié)點(diǎn)和節(jié)點(diǎn)間的鏈接的值。作為該節(jié)點(diǎn)，包含與每個(gè)圖像ID對(duì)應(yīng)的圖像節(jié)點(diǎn)和與每個(gè)群集ID對(duì)應(yīng)的群集節(jié)點(diǎn)。此外，特別是在某圖像中拍攝有某對(duì)象物的情況下，從該圖像的圖像節(jié)點(diǎn)向表示該對(duì)象物所屬的群集的群集節(jié)點(diǎn)，設(shè)定有與圖像中的對(duì)象物的占有度對(duì)應(yīng)的鏈接的值。相反，從群集節(jié)點(diǎn)向圖像節(jié)點(diǎn)的鏈接返回一定的鏈接的值。由此，重要度從各個(gè)節(jié)點(diǎn)與鏈接的值相對(duì)應(yīng)地傳播。首先，在圖表生成部106中，從取得圖像提取特定的塊ID的圖像(S801)。接著，圖表生成部106提取與根據(jù)對(duì)象物信息500提取的圖像ID對(duì)應(yīng)的信息(S802)。說(shuō)明步驟S801、S802的例子，在S801中提取塊I的圖像I 3后，在S802中根據(jù)對(duì)象物信息500 (參照?qǐng)D5)，提取與圖像I 3對(duì)應(yīng)的對(duì)象物ID、群集ID及占有度。接著，圖表生成部106基于提取的對(duì)象物信息的信息，生成圖表構(gòu)造(S803)，并將生成的圖表構(gòu)造存儲(chǔ)到存儲(chǔ)部107的圖表信息存儲(chǔ)部110中。
該生成的步驟由(I)節(jié)點(diǎn)制作、(2)制作的節(jié)點(diǎn)間的鏈接值的設(shè)定這2個(gè)階段的處理構(gòu)成。以下依次進(jìn)行說(shuō)明。<節(jié)點(diǎn)制作>首先，生成表示該塊所包含的圖像的圖像節(jié)點(diǎn)和表示對(duì)該圖像所包含的對(duì)象物賦予的群集的人物節(jié)點(diǎn)。此外，還生成背景節(jié)點(diǎn)和偽節(jié)點(diǎn)。背景節(jié)點(diǎn)是表示圖像所包含的背景的重要度的節(jié)點(diǎn)。具體地說(shuō)，在圖像中，將未檢測(cè)到對(duì)象物的區(qū)域全部作為背景。偽節(jié)點(diǎn)用于將每個(gè)塊的群集的重要度校正為適當(dāng)?shù)闹怠Ｔ敿?xì)情況在后面敘述。く鏈接值的設(shè)定〉
從圖像節(jié)點(diǎn)向人物節(jié)點(diǎn)，根據(jù)占有度而設(shè)置有鏈接，但是背景節(jié)點(diǎn)也同樣地，根據(jù)圖像所包含的背景的占有度而設(shè)置有鏈接。另外，背景的占有度是從圖像整體減去全部對(duì)象物的占有度而得到的值。例如，對(duì)于圖像2，從圖像整體(100%)減去對(duì)象物2的占有度(12%)和對(duì)象物3的占有度(6%)而得到的值82% (=100-12-6)成為背景的占有度。然后，按照以下(I) (6)的規(guī)則，設(shè)定各節(jié)點(diǎn)間的鏈接的值。(I)將從圖像節(jié)點(diǎn)向群集節(jié)點(diǎn)的鏈接的值設(shè)為圖像所包含的對(duì)象物所屬的群集的
占有度。(2)將從群集節(jié)點(diǎn)向圖像節(jié)點(diǎn)的鏈接的值設(shè)為任意的固定值(例如O. 01)。(3)將從圖像節(jié)點(diǎn)向背景節(jié)點(diǎn)的鏈接的值設(shè)為從I減去從圖像節(jié)點(diǎn)向群集節(jié)點(diǎn)的鏈接的值的總和而得到的值。(4)將從群集節(jié)點(diǎn)向背景節(jié)點(diǎn)的鏈接的值設(shè)為從I減去從群集節(jié)點(diǎn)向圖像節(jié)點(diǎn)的鏈接的值的總和而得到的值。(5)從背景節(jié)點(diǎn)向除了偽節(jié)點(diǎn)以外的節(jié)點(diǎn)的鏈接的值被均等地分配。(6)向偽節(jié)點(diǎn)的鏈接及從偽節(jié)點(diǎn)發(fā)出的鏈接不存在(將鏈接的值設(shè)定為零)。圖9A表示塊I的圖表信息900。圖表信息900包含7個(gè)節(jié)點(diǎn)和在節(jié)點(diǎn)間設(shè)定的鏈接的值而構(gòu)成。7個(gè)節(jié)點(diǎn)由表示群集1、2的2個(gè)群集節(jié)點(diǎn)、表示圖像I 3的3個(gè)圖像節(jié)點(diǎn)、背景節(jié)點(diǎn)、以及偽節(jié)點(diǎn)而構(gòu)成。鏈接的值的設(shè)定按照上述⑴ (6)的規(guī)則來(lái)設(shè)定。例如說(shuō)明圖像I與群集I之間的鏈接，從圖像I向群集I的鏈接的值是圖像I中的對(duì)象物I的占有度，即10%或O. I。這樣的鏈接的值是表示重要度以何種程度傳播的指標(biāo)。具體地說(shuō)，能夠作為(鏈接源的重要度)X (鏈接的值)=(鏈接目標(biāo)的重要度)來(lái)利用。相對(duì)于此，從群集I向圖像I的鏈接成為固定值O. 01。此外，屬于群集I的對(duì)象物在圖像2中也包含，所以在群集I與圖像2的節(jié)點(diǎn)間也設(shè)定有鏈接。這樣，能夠設(shè)定圖像與群集的節(jié)點(diǎn)間的鏈接。接下來(lái)說(shuō)明背景節(jié)點(diǎn)。例如，從圖像I的節(jié)點(diǎn)向背景節(jié)點(diǎn)的鏈接的值是從I減去從圖像I向所有群集節(jié)點(diǎn)的鏈接的值的總和O. I而得到的值。即，成為1-0. 1=0. 9。此外，從群集I的節(jié)點(diǎn)向背景節(jié)點(diǎn)的鏈接的值也同樣，是從I減去從群集I的節(jié)點(diǎn)向圖像節(jié)點(diǎn)的鏈接的值的總和O. 01*1而得到的值。即成為1-0. 01*2=0. 98。此外，從背景節(jié)點(diǎn)向偽節(jié)點(diǎn)的鏈接的值，除去偽節(jié)點(diǎn)而均等地分配。除去偽節(jié)點(diǎn)后的全部節(jié)點(diǎn)數(shù)為3(圖像節(jié)點(diǎn)數(shù))+ 2 (群集節(jié)點(diǎn)數(shù))+ I (背景節(jié)點(diǎn)數(shù))=6個(gè)，所以向各節(jié)點(diǎn)的值成為1/6。這是因?yàn)?，從背景?jié)點(diǎn)向背景節(jié)點(diǎn)的鏈接的值也包含在內(nèi)。最后，不制作向偽節(jié)點(diǎn)的鏈接及從偽節(jié)點(diǎn)發(fā)出的鏈接。這樣，對(duì)每個(gè)塊設(shè)定圖像節(jié)點(diǎn)、群集節(jié)點(diǎn)、背景節(jié)點(diǎn)及偽節(jié)點(diǎn)的鏈接構(gòu)造。另外，在圖表信息900中，除了圖9A那樣的具有從背景節(jié)點(diǎn)向除了偽節(jié)點(diǎn)以外的全部節(jié)點(diǎn)(圖像節(jié)點(diǎn)、人物節(jié)點(diǎn)、背景節(jié)點(diǎn))的鏈接的形式，也可以是僅向圖像返回鏈接的形式。這種情況的圖表信息901的例子在圖9B中示出。在圖9B的例子中，與圖9A不同，不存在從背景節(jié)點(diǎn)向人物節(jié)點(diǎn)的鏈接及從背景節(jié)點(diǎn)向自身的節(jié)點(diǎn)的鏈接，僅存在從背景節(jié)點(diǎn) 向圖像節(jié)點(diǎn)的鏈接。此外，向圖像節(jié)點(diǎn)的鏈接的加權(quán)方法是對(duì)各圖像節(jié)點(diǎn)均等地分配。具體地說(shuō)，由于圖像節(jié)點(diǎn)數(shù)為3，所以鏈接的權(quán)重分別成為1/3。以下用于說(shuō)明的圖表イ目息是以圖9A的圖表イ目息900為例來(lái)說(shuō)明的，但是也可以取代于此，而使用圖9B的圖表信息901。接著，圖表生成部106確認(rèn)是否在所有塊中生成了圖表構(gòu)造(S804)。如果生成了所有塊的圖表構(gòu)造則結(jié)束，否則生成剰余的塊的圖表構(gòu)造。圖10表示塊中的各圖像及各群集的的重要度計(jì)算的詳細(xì)情況。說(shuō)明圖10的處理的概要，在此，基于由圖表生成部106生成的鏈接信息，生成概率轉(zhuǎn)移矩陣。在此，概率轉(zhuǎn)移矩陣是表示各節(jié)點(diǎn)間的鏈接關(guān)系及鏈接的值的矩陣。并且，通過(guò)求出該概率轉(zhuǎn)移矩陣的該矩陣的固有矢量，計(jì)算塊內(nèi)的各圖像及各群集的重要度。各節(jié)點(diǎn)的重要度隨著各種節(jié)點(diǎn)間的鏈接關(guān)系而變動(dòng)，但是最后收斂為一定的值。固有矢量表示各節(jié)點(diǎn)的重要度的傳播所收斂到的值。進(jìn)入圖10的處理的詳細(xì)說(shuō)明。首先，在評(píng)價(jià)部114的概率轉(zhuǎn)移矩陣生成部115中，從取得圖像提取特定的塊(S1001)。例如，在上述的例子中，提取塊I。接著，基于提取的塊I的圖表信息900，生成概率轉(zhuǎn)移矩陣M (S1002)。概率轉(zhuǎn)移矩陣的求出方法為，將各節(jié)點(diǎn)間的鏈接的值指定為矩陣的要素。例如，生成塊I中的概率轉(zhuǎn)移矩陣M的情況下，使用通過(guò)圖9A生成的圖表信息900。圖11表示基于該圖表信息900導(dǎo)出的概率轉(zhuǎn)移矩陣M1100。對(duì)矩陣中的行及列分配所有節(jié)點(diǎn)。在此，按照?qǐng)D像節(jié)點(diǎn)、群集節(jié)點(diǎn)、偽節(jié)點(diǎn)及背景節(jié)點(diǎn)的順序排列。然后，將各節(jié)點(diǎn)間的鏈接的值的信息作為該矩陣的各要素代入。例如，從圖像I的節(jié)點(diǎn)向群集I的節(jié)點(diǎn)的鏈接的值為0.1。因此，第4行第I列的要素成為O. I。此外，從圖像I的節(jié)點(diǎn)向背景節(jié)點(diǎn)的鏈接的值為O. 9。因此，第7行第I列的要素成為O. 9。此外，從圖像I向圖像1、2、3、或群集2、進(jìn)而偽節(jié)點(diǎn)的鏈接不存在，所以各個(gè)要素成為O。這樣，通過(guò)代入矩陣中的所有要素，生成概率轉(zhuǎn)移矩陣Ml 100。接著，概率轉(zhuǎn)移矩陣生成部115制作隨機(jī)游走矩陣X(S1003)。該矩陣X用于表示將自節(jié)點(diǎn)和其他節(jié)點(diǎn)分別以相等的概率轉(zhuǎn)移。在本方法中，通過(guò)求出概率轉(zhuǎn)移矩陣的固有矢量，計(jì)算圖像和群集的重要度。但是，不具備與圖像及群集的鏈接的偽節(jié)點(diǎn)不傳播得分，所以無(wú)法求出其值。S卩，隨機(jī)游走矩陣用于求出偽節(jié)點(diǎn)的得分。
隨機(jī)游走矩陣X對(duì)全部節(jié)點(diǎn)數(shù)均等地分配鏈接的值，并將該均等地分配的值作為矩陣的各要素。例如，圖12表示塊I中的隨機(jī)游走矩陣X1200。矩陣的行和列的排列方式與圖11相同。這時(shí)，包含偽節(jié)點(diǎn)在內(nèi)的節(jié)點(diǎn)數(shù)為7個(gè)。因此，隨機(jī)游走矩陣X1200的全部要素成為1/7。接著，概率轉(zhuǎn)移矩陣生成部115制作概率轉(zhuǎn)移矩陣M’(S1004)。具體地說(shuō)，基于概率轉(zhuǎn)移矩陣MllOO和隨機(jī)游走矩陣Xl200，根據(jù)下式來(lái)決定。M，= CtM十(l_ct)X· · ·(式 I)在此，α例如是O. 85這樣的固定值。接著，塊內(nèi)重要度計(jì)算部116計(jì)算概率轉(zhuǎn)移矩陣Μ’的固有矢量(S1005)。作為矩陣的固有矢量的求出方法，例如有使用冪乘法的方法。在此，固有矢量有時(shí)能夠取到多個(gè)，但是在此成為計(jì)算的對(duì)象的矢量?jī)H限于固有值的絕對(duì)值與I對(duì)應(yīng)的固有矢量。
圖13表示根據(jù)概率轉(zhuǎn)移矩陣Μ’求出的固有矢量1300。但是，圖13所示的值不是實(shí)際計(jì)算出的值，而是例示用的假設(shè)的數(shù)字，所以需要注意。接著，塊內(nèi)重要度計(jì)算部116對(duì)通過(guò)S1005求出的固有矢量1300進(jìn)行概率矢量化(Siooe)0概率矢量化是指，以使各要素的和成為I的方式進(jìn)行正規(guī)化。概率矢量化之前的固有矢量的范數(shù)為I。但是，重要度表示在某時(shí)刻存在于各節(jié)點(diǎn)的概率。因此，需要進(jìn)行固有矢量的概率矢量化。具體地說(shuō)，各要素基于下式求出。[數(shù)I]
ηXi1=XiX^Xr..(式 2)
J在此，右邊的X 固有矢量1300中的第i個(gè)要素。此外，左邊的X ノ是概率矢量化后的固有矢量中的第i個(gè)要素。例如，在圖13的固有矢量的情況下，概率矢量化后的固有矢量的第 I 個(gè)要素成為 O. 3X (O. 3+0. 4+0. 1+0. 22+0. 15+0. 01+0. 8)=0. 152。同樣地，圖14表不求出的概率矢量化后的固有矢量1400。接著，塊內(nèi)重要度計(jì)算部116決定塊內(nèi)的各節(jié)點(diǎn)的重要度(S1007)。在此，概率矢量化后的固有矢量1400的各要素與原來(lái)的概率轉(zhuǎn)移矩陣MllOO的各節(jié)點(diǎn)對(duì)應(yīng)。例如，概率轉(zhuǎn)移矩陣MllOO中的第I行的節(jié)點(diǎn)成為圖像I。這種情況下，圖像I的塊I內(nèi)的重要度成為概率矢量化后的固有矢量1400的第I行的要素、即O. 152。圖15表示各節(jié)點(diǎn)的塊內(nèi)重要度信息1500。塊內(nèi)重要度表示在某塊中計(jì)算出的局部(本塊)的重要度。該塊內(nèi)重要度信息1500包含塊I 3的各塊內(nèi)重要度1501 1503，存儲(chǔ)在存儲(chǔ)部107中的塊內(nèi)重要度信息存儲(chǔ)部111中。在包含有最后取得的圖像的所有塊中，確認(rèn)是否計(jì)算完成了重要度(S1008)。已計(jì)算所有塊內(nèi)的重要度的情況下(S1008 :是)，處理在這里結(jié)束。與此相對(duì)，還有未計(jì)算的塊的情況下(S1008 :否)，在該步驟S1001中提取未計(jì)算重要度的特定的塊，從S1002開(kāi)始進(jìn)行同樣的處理。圖16是表示圖2中的S205的群集重要度的計(jì)算的詳細(xì)情況的流程圖。群集重要度是用于評(píng)價(jià)群集的好壞的指標(biāo)。群集的對(duì)象物在越多的圖像中較大地被拍攝，則該群集的重要度被計(jì)算得越高。
群集重要度基于對(duì)各塊求出的群集的重要度來(lái)求出。在群集重要度計(jì)算部118中，提取存儲(chǔ)在塊內(nèi)重要度信息存儲(chǔ)部中的I個(gè)塊的塊內(nèi)重要度1500 (S1601)。接著，在重要度正規(guī)化部117中，將提取的塊內(nèi)重要度以該塊所包含的節(jié)點(diǎn)數(shù)進(jìn)行正規(guī)化(S1602)。在此，進(jìn)行該處理的目的在于，使具有同一鏈接構(gòu)造的節(jié)點(diǎn)的塊內(nèi)重要度無(wú)論包含在哪個(gè)塊中都成為同一重要度。即使是具有同一鏈接構(gòu)造的節(jié)點(diǎn)，由于S1006的概率矢量化的影響，塊所包含的節(jié)點(diǎn)數(shù)越多，則重要度存在變小的趨勢(shì)。這是因?yàn)?，概率矢量化是以塊內(nèi)的各節(jié)點(diǎn)的重要度全部相加而成為I的方式進(jìn)行的。在此，為了排除該影響而進(jìn)行該處理。具體地說(shuō)，將塊內(nèi)重要度的各要素與該塊的全部節(jié)點(diǎn)數(shù)相乗。圖17表示計(jì)算的例子。塊I的全部節(jié)點(diǎn)數(shù)為7個(gè)(圖像1、2、3、群集1、2、偽、背景)。因此，將塊I內(nèi)的各節(jié)點(diǎn)的塊內(nèi)重要度乘以7。例如，以圖像I的節(jié)點(diǎn)數(shù)進(jìn)行正規(guī)化后的值成為O. 152X7=1. 064。重要度正規(guī)化部117同樣地對(duì)其他塊也進(jìn)行塊內(nèi)重要度的正規(guī)化?；诠?jié)點(diǎn)數(shù)的正規(guī)化結(jié)束后，重要度正規(guī)化部117從群集節(jié)點(diǎn)的塊內(nèi)重要度減去 偽節(jié)點(diǎn)的塊內(nèi)重要度(S1603)。使用圖18進(jìn)行說(shuō)明。如圖18所示，在正規(guī)化的塊內(nèi)重要度1701中，群集I的塊內(nèi)重要度為O. 777。此夕卜，偽節(jié)點(diǎn)的塊內(nèi)重要度為O. 035。因此，O. 777-0. 035 = O. 742。同樣地，在所有群集節(jié)點(diǎn)中減去偽節(jié)點(diǎn)的塊內(nèi)重要度，求出塊內(nèi)重要度1801。參照?qǐng)D19、圖20說(shuō)明需要S1603的處理的理由。例如，如圖19所示，假設(shè)存在具備同樣的鏈接構(gòu)造的群集A和群集B。在此，為便于說(shuō)明，設(shè)鏈接的值全部相同。這時(shí)，群集A和群集B的塊內(nèi)重要度原本相同，為O. 71。即，包含有被分類到某群集中的對(duì)象物的圖像數(shù)及其在圖像內(nèi)的占有度在2個(gè)群集中相同的情況下，它們的群集的重要度相同。但是，如圖20所示，有時(shí)塊的劃分方法不相同。在此，不計(jì)算偽節(jié)點(diǎn)的得分。這時(shí)的群集的重要度的求出方法在后面詳細(xì)說(shuō)明，將各塊所包含的塊內(nèi)重要度相カロ。例如，由于群集A僅包含在塊I中，所以群集A的群集重要度成為塊I的塊內(nèi)重要度、即O. 72。此外，由于在塊1、2、3及4中包含有群集B，所以群集B的群集重要度成為將各自的塊內(nèi)重要度相加而得到的值。S卩，成為O. 56+0. 65X3=2. 51。從結(jié)果可知，由于塊的劃分方法不同，群集A和群集B的群集重要度不同。其原因在于，與鏈接構(gòu)造無(wú)關(guān)地對(duì)節(jié)點(diǎn)賦予了重要度。S卩，塊2 4各自的群集B的重要度O. 65這ー值，是追加了一定的重要度之后的值。該一定的重要度作為偽節(jié)點(diǎn)所具備的重要度來(lái)表示。因此，在求出不具有向其他節(jié)點(diǎn)的連接及來(lái)自其他節(jié)點(diǎn)的鏈接的偽節(jié)點(diǎn)的重要度之后，將該值從各節(jié)點(diǎn)的塊內(nèi)重要度減去，從而在鏈接構(gòu)造相同的情況下，能夠不取決于塊的劃分方法，而實(shí)現(xiàn)群集重要度相同的結(jié)果。例如，在圖20的情況下，群集A的群集重要度成為O. 72-0. 51=0. 21。此外，群集B的群集重要度成為(O. 56-0. 51) + (0. 65-0. 563) X 3=0. 21。塊內(nèi)重要度計(jì)算部116在S1603中求出的值成為該群集的塊內(nèi)重要度。并且，群集重要度計(jì)算部118將與每個(gè)群集對(duì)應(yīng)地存儲(chǔ)的群集重要度和求出的群集的塊內(nèi)重要度相加(S1604)。
最后，評(píng)價(jià)部115確認(rèn)是否對(duì)所有塊計(jì)算完了重要度(S1605)。已計(jì)算所有塊內(nèi)的重要度的情況下(S1605:是)，輸出與每個(gè)群集對(duì)應(yīng)地存儲(chǔ)的群集重要度，并存儲(chǔ)到群集重要度信息存儲(chǔ)部113中(S1606)。相對(duì)于此，還存在未計(jì)算的塊的情況下(S1605 :否)，在該塊中從S1601開(kāi)始進(jìn)行同樣的處理。如此求出的群集重要度信息2100在圖21中示出。在各塊中，通過(guò)重復(fù)步驟S1604，某群集的重要度成為將各塊內(nèi)的塊內(nèi)重要度相加的大小。使用圖28說(shuō)明其中的一例。如果設(shè)塊I 3內(nèi)的群集I的塊內(nèi)重要度分別為O. 742、0、0，則O. 742 + O + O = O. 742成為所取得的所有圖像內(nèi)的群集I的重要度。另外，圖21的群集重要度信息2100存儲(chǔ)在存儲(chǔ)部107的群集重要度信息存儲(chǔ)部 113 中。圖22是表示圖2中的S206的圖像重要度的計(jì)算的詳細(xì)情況的流程圖。圖像重要度是評(píng)價(jià)圖像的好壞的指標(biāo)。在較多地包含重要度較高的群集的情況下，圖像的重要度被計(jì)算得較高。圖像重要度基于群集重要度信息2100和圖表信息來(lái)求出。圖像重要度計(jì)算部119從群集重要度信息存儲(chǔ)部提取群集重要度信息2100 (S2201)。然后，圖像重要度計(jì)算部119提取各塊的圖表信息(S2202)。接著，圖像重要度計(jì)算部119基于圖表信息的從群集向圖像的鏈接的值，計(jì)算圖像重要度(S2203)。具體地說(shuō)，將群集的重要度與從群集向圖像的鏈接的值相乘而得到的值成為圖像的重要度。此外，從多個(gè)群集設(shè)置有鏈接的情況下，采用將這些值相加而得到的值。以圖9A的塊I的圖表信息和圖21的群集重要度信息2100為例進(jìn)行說(shuō)明，在塊I中包含有圖像I 3。因此，能夠根據(jù)塊I的圖表信息來(lái)計(jì)算圖像I 33的圖像重要度。具體地說(shuō)，圖像I的圖像重要度成為將群集I的群集重要度O. 772與從群集I向圖像I的鏈接的值O. 01相乘而得到的值、gp O. 772X0.01=0. 00772 (參照?qǐng)D29 (a))。同樣地，圖像2的重要度基于群集I和群集2的群集重要度，成為O. 772X0. 01+0. 527X0. 01=0. 01299 (參照?qǐng)D 29 (b))。接著，圖像重要度計(jì)算部119確認(rèn)是否對(duì)所有塊計(jì)算了圖像重要度(S2204)。已計(jì)算了所有塊內(nèi)的重要度的情況下(S2204:是)，處理在這里結(jié)束。與此相對(duì)，還有未計(jì)算的圖像的情況下(S2204 :否)，將該S2202的處理對(duì)象作為包含未計(jì)算重要度的圖像的塊，重復(fù)同樣的處理。這樣求出的圖像重要度信息2300的例子在圖23中示出。該值基于所有塊的圖表信息而求出。該圖像重要度信息2300存儲(chǔ)在存儲(chǔ)部107的圖像重要度信息存儲(chǔ)部112中。按照S207的圖像重要度順序?qū)D像進(jìn)行排序的結(jié)果在圖24中示出。由此，用戶能夠知道圖像的順序。將該結(jié)果通過(guò)顯示控制部120輸出至顯示裝置140。如以上說(shuō)明，實(shí)施方式I的圖像管理裝置100將從取得的圖像所包含的對(duì)象物生成的群集與圖像的關(guān)系做成圖表，并計(jì)算圖像重要度。此外，為了減小了計(jì)算所需的矩陣的尺寸，按照多個(gè)塊的每ー個(gè)，對(duì)取得的圖像計(jì)算重要度。由此，能夠減輕圖像重要度的計(jì)算的處理負(fù)荷。S卩，在圖4的例子中，包含有對(duì)象物的圖像為8張，群集的種類為6種，所以將偽節(jié)點(diǎn)和背景節(jié)點(diǎn)的各I個(gè)加入后，成為18+6+1+1=26，需要將26行26列的概率轉(zhuǎn)移矩陣作為運(yùn)算的對(duì)象。與此相對(duì)，通過(guò)將8張圖像劃分為塊I 3，塊I成為7行7列的概率轉(zhuǎn)移矩陣MllOO (參照?qǐng)D11)，塊2、3也成為相同行數(shù)列數(shù)左右的概率轉(zhuǎn)移矩陣。這樣，能夠?qū)⑿袛?shù)列數(shù)更少的概率轉(zhuǎn)移矩陣作為運(yùn)算的對(duì)象，尤其能夠大幅減輕與固有矢量的計(jì)算有關(guān)的處理負(fù)荷。此外，設(shè)想圖像的張數(shù)很龐大的情況，例如設(shè)圖像的張數(shù)為100萬(wàn)張，該圖像所包含的群集為100種。這種情況的概率轉(zhuǎn)移矩陣成為(100萬(wàn)+1000) X (100萬(wàn)+1000)以上，如果設(shè)存儲(chǔ)矩陣的各要素所需的比特?cái)?shù)為4byte，則成為4X1012byte(N^j4TB)，需要大容量的存儲(chǔ)器。但是，設(shè)塊所包含的圖像為I萬(wàn)的情況下，概率轉(zhuǎn)移矩陣為(I萬(wàn)+1000)X(1萬(wàn)+1000)左右即可，所以在只有有限的存儲(chǔ)器的環(huán)境下，也能夠計(jì)算圖像重要度。 (實(shí)施方式2)在實(shí)施方式2中，說(shuō)明不僅對(duì)取得的圖像，還包含已經(jīng)儲(chǔ)存的圖像在內(nèi)地生成塊的方法。另外，在作為實(shí)施方式I中的處理流程的圖2的流程圖中，僅S202的塊ID賦予的部分不同。其以外的部分與實(shí)施方式I相同，所以在此省略說(shuō)明。圖25表示圖2中的S202的塊ID賦予的詳細(xì)情況。在此，除了取得的圖像以外，基于已經(jīng)儲(chǔ)存的圖像，進(jìn)行分割為多個(gè)塊的操作。由此，在以后的處理中能夠減少對(duì)象物的重要度的計(jì)算所需的存儲(chǔ)器。首先，在塊生成部105中，基于對(duì)象物信息500，在取得的圖像中提取包含有對(duì)象物的圖像，并計(jì)算其圖像數(shù)(S2501)。接著，在已儲(chǔ)存的圖像中追加所取得的圖像(S2502)。接著，將包含有對(duì)象物的圖像分割為多個(gè)塊(S2503)。這時(shí)，即使已經(jīng)對(duì)已儲(chǔ)存的圖像賦予了塊ID，也再次重新分割為塊。以后的處理與實(shí)施方式I的S602和S603相同，所以省略。在此，步驟S2503中的塊的劃分方法有如下3種。(劃分方法I)將已儲(chǔ)存的全部圖像及取得圖像作為塊劃分的對(duì)象而劃分。例如，設(shè)已經(jīng)儲(chǔ)存了圖像I 8，并塊劃分為塊I (圖像I 3)、塊2 (圖像4 6)、塊3(圖像7 8)。這時(shí)，如果新取得了圖像9 圖像16，則將所有圖像、即圖像I 16作為對(duì)象而重新進(jìn)行塊劃分。(劃分方法2)僅將新取得的取得圖像作為塊劃分的對(duì)象，已儲(chǔ)存的圖像不作為塊劃分的對(duì)象。例如,如圖30所示，設(shè)已經(jīng)儲(chǔ)存有圖像I 300，并且已經(jīng)進(jìn)行了塊劃分。這時(shí),如果新取得了圖像301 308，則僅將圖像301 圖像308作為塊劃分的對(duì)象。(劃分方法3)劃分方法3是將劃分方法1、2折衷的方法。例如，如圖31所示，設(shè)已經(jīng)儲(chǔ)存有圖像I 299，并且已經(jīng)進(jìn)行了塊劃分。這時(shí)，如果新取得了圖像300 303，則將相對(duì)于上限張數(shù)3張具有余量的塊100的圖像298 299和圖像300 圖像303作為塊劃分的對(duì)象。上述的劃分方法I 3并不一定是最好的，各有優(yōu)缺點(diǎn)，可以根據(jù)狀況而適當(dāng)?shù)夭捎谩?br> S卩，劃分方法I重新進(jìn)行塊劃分，所以伴隨與此，各塊的矩陣運(yùn)算増加，但是尤其有以下優(yōu)點(diǎn)根據(jù)新取得的圖像的張數(shù)和對(duì)象物的有無(wú)等，容易靈活地將塊劃分最優(yōu)化。具體地說(shuō)，新取得圖像的張數(shù)比已儲(chǔ)存的圖像的張數(shù)多、并且需要増大塊劃分的單位的情況下(例如從10張I塊變更為100張I塊等)，劃分方法I是有效的。相對(duì)于此，在劃分方法2中，如圖30所示，對(duì)于已儲(chǔ)存的圖像的塊I 100，塊內(nèi)的群集重要度及圖像重要度的值不變化，所以不用進(jìn)行矩陣運(yùn)算。因此，僅將新的塊101 103作為矩陣運(yùn)算的對(duì)象即可，所以有助于運(yùn)算量的削減。(實(shí)施方式3)在實(shí)施方式3中，說(shuō)明如下方法在實(shí)施方式I中的群集重要度的計(jì)算中，不使用節(jié)點(diǎn)數(shù)，而使用偽節(jié)點(diǎn)的重要度來(lái)進(jìn)行各塊的塊內(nèi)重要度的正規(guī)化。 圖26表示圖2中的S205的群集重要度的計(jì)算的詳細(xì)情況。另外，在作為實(shí)施方式I中的處理流程的圖16的流程圖中，在S1602中以節(jié)點(diǎn)數(shù)進(jìn)行正規(guī)化，僅這一部分不同。其以外的部分與實(shí)施方式I相同，所以在此省略說(shuō)明。群集重要度計(jì)算部118以偽節(jié)點(diǎn)的重要度對(duì)各塊的塊內(nèi)重要度進(jìn)行正規(guī)化(S2602)。具體地說(shuō)，將使各塊內(nèi)重要度所包含的偽節(jié)點(diǎn)的得分為I的值與所有重要度相乘。圖27表示其中的一例。例如，設(shè)塊I的塊內(nèi)重要度如圖所示。這時(shí)，偽節(jié)點(diǎn)的重要度為0.005。在此，為了使偽節(jié)點(diǎn)的重要度成為1，對(duì)所有節(jié)點(diǎn)的塊內(nèi)重要度乘以1/0.005=200。由于圖像I的塊內(nèi)重要度為O. 152，所以成為O. 152X200=30.4。同樣地，對(duì)其他節(jié)點(diǎn)的塊內(nèi)重要度也進(jìn)行正規(guī)化。如以上說(shuō)明，實(shí)施方式3的圖像管理裝置100能夠使用與實(shí)施方式I不同的正規(guī)化的方法，來(lái)計(jì)算圖像的重要度。(實(shí)施方式4)在實(shí)施方式4中，在計(jì)算某群集的重要度時(shí)，除了塊內(nèi)重要度的累積之外，還對(duì)在外部裝置中已計(jì)算并且與上述群集對(duì)應(yīng)的重要度進(jìn)行累積，從而能夠?qū)崿F(xiàn)更合適的重要度計(jì)算。以下將在外部裝置中計(jì)算的群集的重要度稱為“外部重要度”。圖34所示的圖像管理裝置3400具備與圖像管理裝置100同樣的功能。即，具備對(duì)象物特征量提取部103那樣的從圖像提取面部的功能、聚類部104那樣的基于提取的面部進(jìn)行聚類的功能、群集重要度計(jì)算部118那樣的計(jì)算各群集的重要度的功能等。圖像管理裝置100與圖像管理裝置3400之間能夠通過(guò)線路(有線或無(wú)線)進(jìn)行各種信息的交換。使用圖35、圖36說(shuō)明本實(shí)施方式的處理的流程。首先，圖像管理裝置100的聚類部104從圖像管理裝置3400取得特征量(S3501)。接著，聚類部104對(duì)聚類后的各群集的特征量與取得的特征量進(jìn)行比較(S3502)。在圖35的例中，取得群集al的特征量，并將取得的特征量與群集I 3各自的特征量進(jìn)行比較。然后，聚類部104確定取得的特征量與聚類后的各群集中的哪個(gè)群集對(duì)應(yīng)(S3503)。該確定的方法，例如可以使用確定特征值的類似度最高者的方法、或根據(jù)特征值的類似度是否超過(guò)閾值來(lái)確定的方法。接著，聚類部104制作表示通過(guò)特征量的比較而確定的群集ID的對(duì)應(yīng)關(guān)系的對(duì)應(yīng)表。例如，在圖中的對(duì)應(yīng)表中，示出了圖像管理裝置100中的群集I與圖像管理裝置3400中的群集al對(duì)應(yīng)。通過(guò)這樣的對(duì)應(yīng)表，在圖像管理裝置100和圖像管理裝置3400的兩裝置之間共用群集的ID。這樣共用了群集的ID之后，在圖像管理裝置100中計(jì)算群集的重要度時(shí)，群集重要度計(jì)算部118從圖像管理裝置3400取得ID所對(duì)應(yīng)的群集的外部重要度(S3505)。例如，在圖像管理裝置100中計(jì)算群集I的重要度時(shí)，參照上述對(duì)應(yīng)表，從圖像管理裝置3400取得與群集I對(duì)應(yīng)的群集al的外部重要度。然后，如圖36所示，群集重要度計(jì)算部118計(jì)算群集I的重要度時(shí)，群集重要度計(jì)算部118除了塊I 3內(nèi)的群集I的塊內(nèi)重要度之外，還將所取得的外部裝置(圖像管理裝 置3400)中的群集al (與群集I對(duì)應(yīng))的外部重要度用于累積，計(jì)算群集I的重要度。另外，在圖像管理裝置3400中，也可以與圖像管理裝置100同樣,將圖像劃分為多個(gè)塊，通過(guò)將塊內(nèi)重要度相加，求出群集的重要度。此外，也可以是，不僅與圖像管理裝置100、3400協(xié)作，還與基于云的服務(wù)器協(xié)作，使該服務(wù)器分擔(dān)處理。另外，在本實(shí)施方式中，在圖像管理裝置100中制作ID的對(duì)應(yīng)表，但是也可以采用與圖像管理裝置100的ID相應(yīng)地重寫(xiě)圖像管理裝置3400的ID的方法(例如將群集al重寫(xiě)為群集I)。此外，圖像管理裝置100與圖像管理裝置3400之間的、面部識(shí)別的算法大幅不同的情況下等，有時(shí)難以使用對(duì)特征量進(jìn)行比較的方法。這種情況下，也可以取代特征量，而取得屬于群集的圖像。(實(shí)施方式5)在上述各實(shí)施方式中，說(shuō)明了劃分多個(gè)圖像而生成塊的例子，但是若細(xì)小地進(jìn)行塊劃分，則重要度的傳播被阻斷的可能性變高，所以優(yōu)選為各個(gè)塊的大小盡量大。但是，若塊的大小過(guò)大，則與矩陣運(yùn)算有關(guān)的資源的負(fù)荷變得過(guò)大。在此，實(shí)施方式5能夠?qū)K的大小設(shè)為與裝置的資源相適應(yīng)的大小。作為資源的例子，可以舉出存儲(chǔ)器大小。即，根據(jù)能夠用于重要度計(jì)算的存儲(chǔ)器大小，來(lái)變更塊生成部105所生成的塊分別包含的圖像數(shù)。例如，能夠用于重要度計(jì)算的存儲(chǔ)器大小為2MB的情況下，將每I塊的圖像數(shù)設(shè)為I萬(wàn)，存儲(chǔ)器大小為IMB的情況下，將每I塊的圖像數(shù)設(shè)為5千。其他情況下，也可以根據(jù)存儲(chǔ)器大小來(lái)設(shè)定每I塊的圖像數(shù)的范圍(下限值和上限值)。此外，不限于存儲(chǔ)器大小，作為資源的例，可以舉出CPU的時(shí)鐘頻率、CPU使用率等。此外，存儲(chǔ)部107為HDD的情況下，也可以利用每I分鐘的轉(zhuǎn)數(shù)(轉(zhuǎn)速)和緩存器大小
坐寸ο此外，也可以基于上面舉出的項(xiàng)目(存儲(chǔ)器大小、CPU的時(shí)鐘頻率、CPU使用率、HDD的轉(zhuǎn)速、HDD的緩存器大小)，計(jì)算作為重要度計(jì)算處理能力的指標(biāo)的數(shù)值，基于該數(shù)值來(lái)設(shè)定塊所分別包含的圖像數(shù)。< 補(bǔ)充 >
以上說(shuō)明了本發(fā)明的實(shí)施方式，但是本發(fā)明不限于上述內(nèi)容，在為了達(dá)成本發(fā)明的目的和與其關(guān)聯(lián)或附隨的目的的各種形態(tài)下也能夠?qū)嵤缈梢允且韵滦螒B(tài)。(I)關(guān)于根據(jù)群集的塊內(nèi)重要度求出群集的重要度的方法對(duì)使用圖28簡(jiǎn)單說(shuō)明的求出重要度的方法進(jìn)行補(bǔ)充。某群集包含在多個(gè)塊內(nèi)的情況下，計(jì)算出的塊內(nèi)重要度為多個(gè)。這種情況下，通過(guò)將多個(gè)塊重要度累積，能夠計(jì)算最終的群集的重要度。例如，如圖32所示，對(duì)于包含在塊2及塊3的雙方中的群集3的重要度，能夠?qū)⑷杭?在塊I 3內(nèi)的塊內(nèi)重要度a、b、c相加，并將得到的a + b + c作為最終的群集的重要度來(lái)計(jì)算。(2)關(guān)于圖像重要度的計(jì)算方法 在圖29中，計(jì)算圖像的重要度的情況下，將該圖像所包含的群集的重要度與從群集向圖像的鏈接的固定值O. 01相乘，但不限于此。例如，想要將圖像中拍攝的人物的占有度的大小反映到圖像的重要度中的情況下，如圖33所示，也可以通過(guò)將圖像所包含的群集的重要度與該圖像中的群集的占有度相乘來(lái)求出。由此，能夠?qū)⑤^大地拍攝有群集I的人物的圖像Y設(shè)為比圖像X更高的重要度。(3)關(guān)于聚類在實(shí)施方式中，作為聚類部104所進(jìn)行的聚類的方法，列舉了作為非階層性的方法的k-means法,但是不限于此,也可以使用沃德法(Ward’ smethod)等階層性的方法。(4)關(guān)于對(duì)象物在各實(shí)施方式中，作為對(duì)象物而列舉了人的面部，但是不限于人，也可以將狗(圖
4:圖像10)或貓等動(dòng)物的面部作為對(duì)象物，并作為圖像特征量的提取對(duì)象。此外，作為圖像中拍攝的對(duì)象物，不限于面部，也可以是汽車(圖4:圖像6)、植物、建筑物等各種物體等。(5)關(guān)于背景的節(jié)點(diǎn)在實(shí)施方式2中，說(shuō)明了將全部圖像的背景作為I個(gè)背景節(jié)點(diǎn)來(lái)進(jìn)行圖表生成的例子，但是不限于此，也可以制作多個(gè)背景的節(jié)點(diǎn)，或制作不具有背景的節(jié)點(diǎn)的圖表。(6)關(guān)于圖像特征量在各實(shí)施方式中，作為圖像特征量的一例而列舉了占有度，但是不限于此。例如，除了占有度之外，也可以將人物的笑臉的程度、面部的朝向的程度、或人物的對(duì)焦的程度作為權(quán)重。作為笑臉的程度，可以想到笑臉的程度越大則將圖像設(shè)為越高的圖像重要度。此外，面部的朝向的程度的情況下，可以采用越朝向正面則圖像重要度越高的計(jì)算式。人物的對(duì)焦的程度的情況下，例如人物的對(duì)焦越清楚(銳利)則越高地評(píng)價(jià)，對(duì)焦越模糊則越低地評(píng)價(jià)。此外，也可以完全不使用占有度，而基于笑臉的程度、面部的朝向的程度、人物的對(duì)焦的程度等，計(jì)算各對(duì)象物的重要度?？傊?，只要是表示對(duì)象物被拍攝到各圖像中的特征的值即可，不限于占有度、笑臉的程度、面部的朝向的程度等，可以使用各種各樣的值。
(7)關(guān)于取得圖像的對(duì)象在各實(shí)施方式中，說(shuō)明了從攝像裝置130取得圖像，但是取得的對(duì)象不限于此。例如，也可以從便攜終端等外部設(shè)備取得圖像。作為設(shè)備彼此的連接的形態(tài)，可以是有線(LAN線纜、USB線纜等)或無(wú)線(紅外線或Bluetooth等)等各種形態(tài)。此外，也可以經(jīng)由快閃存儲(chǔ)器、壓縮閃存器(注冊(cè)商標(biāo))、記憶棒、SD存儲(chǔ)卡、多媒體卡、CD-R/RW、DVD土R/RW、DVD-RAM、HD-DVD、BD (Blu-ray Disc)等可拆裝記錄介質(zhì)的驅(qū)動(dòng)器來(lái)取得。(8)集成電路各實(shí)施方式的圖像評(píng)價(jià)裝置典型地可以作為集成電路、即LSI(Large ScaleIntegration)來(lái)實(shí)現(xiàn)?？梢詫⒏麟娐穯为?dú)I芯片化，也可以包含全部電路或一部分的 電路地I芯片化。在此記載為L(zhǎng)SI，但是根據(jù)集成度的不同，有時(shí)也稱為IC(IntegratedCircuit)、系統(tǒng)LSI、超級(jí)LSI、特級(jí)LSI。此外，集成電路化的方法不限于LSI，也可以通過(guò)專用電路或通用處理器來(lái)實(shí)現(xiàn)。也可以利用在LSI制造后可編程的FPGA(Field ProgrammableGate Array)、能夠?qū)SI內(nèi)部的電路單元的連接和設(shè)定再構(gòu)成的可重組處理器。此外，通過(guò)半導(dǎo)體技術(shù)的進(jìn)步或派生的其他技術(shù)，如果出現(xiàn)了替換LSI的集成電路化的技木，當(dāng)然可以使用該技術(shù)進(jìn)行功能塊的集成化。生物技術(shù)的應(yīng)用等也存在可能性。(9)程序可以將由程序代碼構(gòu)成的控制程序記錄在記錄介質(zhì)中，或經(jīng)由各種通信路流通并頒布，該程序代碼用于使計(jì)算機(jī)等各種設(shè)備的處理器及與該處理器連接的各種電路執(zhí)行各實(shí)施方式所示的圖像的重要度計(jì)算的處理。這樣的記錄介質(zhì)有快閃存儲(chǔ)器、壓縮閃存器(注冊(cè)商標(biāo))、記憶棒、SD存儲(chǔ)卡、多媒體卡、CD-R/RW、DVD土R/RW、DVD-RAM、HD-DVD、BD (Blu-ray Disc)等。流通并頒布的控制程序通過(guò)保存在可由處理器讀取的存儲(chǔ)器等中來(lái)供利用，通過(guò)由該處理器執(zhí)行該控制程序來(lái)實(shí)現(xiàn)實(shí)施方式所示的各種功能。エ業(yè)實(shí)用性本發(fā)明的圖像管理裝置能夠應(yīng)用于儲(chǔ)存靜止圖像或運(yùn)動(dòng)圖像的裝置、數(shù)碼相機(jī)、帶照相機(jī)的便攜電話或攝影機(jī)等攝像裝置、以及PC (Personal Computer)等。標(biāo)記說(shuō)明100圖像管理裝置101圖像取得部102對(duì)象物檢測(cè)部103對(duì)象物特征量提取部104聚類部105塊生成部106圖表生成部107存儲(chǔ)部108對(duì)象物信息存儲(chǔ)部109塊信息存儲(chǔ)部110圖表信息存儲(chǔ)部
111塊內(nèi)重要度存儲(chǔ)部112圖像重要度存儲(chǔ)部113群集重要度存儲(chǔ)部114評(píng)價(jià)部115概率轉(zhuǎn)移矩陣生成部116塊內(nèi)重要度計(jì)算部117重要度正規(guī)化部118群集重要度計(jì)算部 119圖像重要度計(jì)算部120顯示控制部130攝像裝置140顯示裝置400圖像組500對(duì)象物信息700塊信息900塊I的圖表信息901塊I的圖表信息1100概率轉(zhuǎn)移矩陣M1200隨機(jī)游走矩陣X1300固有矢量1400概率矢量化后的固有矢量1500塊內(nèi)重要度信息1501塊I內(nèi)的塊內(nèi)重要度信息1701塊I內(nèi)的塊內(nèi)重要度(正規(guī)化后)1801減去偽節(jié)點(diǎn)的重要度之后的群集的塊內(nèi)重要度2100群集重要度信息2300圖像重要度信息2400圖像排序2700以偽節(jié)點(diǎn)的重要度進(jìn)行正規(guī)化后的塊內(nèi)重要度3400圖像管理裝置(外部裝置)
權(quán)利要求
1.一種圖像管理裝置，基于重要度對(duì)多個(gè)圖像進(jìn)行排序，其特征在于，具備 圖像取得部，取得多個(gè)圖像； 檢測(cè)部，在取得的各圖像中，檢測(cè)該圖像所包含的對(duì)象物； 提取部，提取檢測(cè)到的各所述對(duì)象物的圖像特征量； 聚類部，基于各對(duì)象物的圖像特征量，將檢測(cè)到的各對(duì)象物分類到多個(gè)群集中的某一個(gè)群集； 塊生成部，劃分由所述圖像取得部取得的多個(gè)圖像，生成多個(gè)塊； 塊內(nèi)重要度計(jì)算部，在各塊中，基于該塊內(nèi)的圖像與該塊內(nèi)的圖像所包含的對(duì)象物所屬的群集之間的關(guān)聯(lián)性，計(jì)算該塊內(nèi)的圖像所包含的對(duì)象物所屬的群集的塊內(nèi)重要度；群集重要度計(jì)算部，通過(guò)對(duì)計(jì)算出的各塊內(nèi)的各群集的塊內(nèi)重要度進(jìn)行累積，計(jì)算所述多個(gè)圖像內(nèi)的各群集的重要度；以及 圖像重要度計(jì)算部，基于計(jì)算出的群集重要度，計(jì)算各圖像的重要度。
2.如權(quán)利要求I所述的圖像管理裝置，其特征在于， 所述塊生成部通過(guò)劃分所述多個(gè)圖像，對(duì)各圖像賦予塊ID，該塊ID用于識(shí)別劃分出的塊，該圖像管理裝置還具備塊信息存儲(chǔ)部，該塊信息存儲(chǔ)部存儲(chǔ)對(duì)各圖像賦予的塊ID，在所述圖像取得部新取得了圖像的情況下，所述塊生成部以該取得的新的圖像為對(duì)象進(jìn)行所述劃分，但不將所述塊信息存儲(chǔ)部中存儲(chǔ)有塊ID的圖像作為對(duì)象來(lái)進(jìn)行所述劃分。
3.如權(quán)利要求I所述的圖像管理裝置，其特征在于， 所述塊生成部通過(guò)劃分所述多個(gè)圖像，對(duì)各圖像賦予塊ID，該塊ID用于識(shí)別劃分出的塊， 該圖像管理裝置還具備塊信息存儲(chǔ)部，該塊信息存儲(chǔ)部存儲(chǔ)對(duì)各圖像賦予的塊ID，在所述圖像取得部新取得了圖像的情況下，所述塊生成部將所述塊信息存儲(chǔ)部中存儲(chǔ)有塊ID的圖像的一部分和該取得的新的圖像雙方作為對(duì)象來(lái)進(jìn)行所述劃分。
4.如權(quán)利要求I所述的圖像管理裝置，其特征在于，具備 圖表生成部，在各塊中，制作表示構(gòu)成該塊的各個(gè)圖像的圖像節(jié)點(diǎn)、分別表示所述圖像所包含的對(duì)象物所屬的群集的群集節(jié)點(diǎn)、以及表示所述圖像的背景的I個(gè)背景節(jié)點(diǎn)，設(shè)定所制作的節(jié)點(diǎn)間的鏈接的值，生成由制作的節(jié)點(diǎn)和設(shè)定的鏈接的值構(gòu)成的圖表； 所述塊內(nèi)重要度計(jì)算部基于生成的圖表，計(jì)算各節(jié)點(diǎn)所示的圖像及群集的塊內(nèi)重要度。
5.如權(quán)利要求4所述的圖像管理裝置，其特征在于， 所述塊內(nèi)重要度計(jì)算部基于由所述圖表生成部生成的圖表信息，生成概率轉(zhuǎn)移矩陣，求出該概率轉(zhuǎn)移矩陣的固有矢量，由此計(jì)算各塊內(nèi)的圖像的重要度及群集的塊內(nèi)重要度。
6.如權(quán)利要求5所述的圖像管理裝置，其特征在于， 所述圖表生成部制作偽節(jié)點(diǎn)并使該偽節(jié)點(diǎn)包含在所述圖表中，將該偽節(jié)點(diǎn)與所述圖像節(jié)點(diǎn)之間、該偽節(jié)點(diǎn)與群集節(jié)點(diǎn)之間、以及該偽節(jié)點(diǎn)與所述背景節(jié)點(diǎn)之間的鏈接的值設(shè)定為零。
7.如權(quán)利要求6所述的圖像管理裝置，其特征在于， 所述塊內(nèi)重要度計(jì)算部基于表示隨機(jī)游走的矩陣，對(duì)生成的概率轉(zhuǎn)移矩陣進(jìn)行修正，對(duì)修正后的概率轉(zhuǎn)移矩陣求出固有矢量。
8.如權(quán)利要求7所述的圖像管理裝置，其特征在于， 所述群集重要度計(jì)算部在各塊中，用塊內(nèi)的群集的塊內(nèi)重要度減去塊內(nèi)的偽節(jié)點(diǎn)的塊內(nèi)重要度，從而對(duì)該群集的塊內(nèi)重要度進(jìn)行校正。
9.如權(quán)利要求7所述的圖像管理裝置，其特征在于，具備 重要度正規(guī)化部，基于各個(gè)塊內(nèi)的偽節(jié)點(diǎn)的塊內(nèi)重要度的值，對(duì)由所述群集重要度計(jì)算部計(jì)算的各塊內(nèi)的各群集的塊內(nèi)重要度進(jìn)行正規(guī)化， 所述群集重要度計(jì)算部基于正規(guī)化后的群集的塊內(nèi)重要度，計(jì)算所述多個(gè)圖像內(nèi)的群集的重要度。
10.如權(quán)利要求I所述的圖像管理裝置，其特征在于， 所述群集重要度計(jì)算部通過(guò)將計(jì)算出的各塊內(nèi)的群集的塊內(nèi)重要度相加，計(jì)算所述多個(gè)圖像內(nèi)的群集的重要度。
11.如權(quán)利要求10所述的圖像管理裝置，其特征在于，還具備 重要度正規(guī)化部，根據(jù)塊內(nèi)所包含的圖像數(shù)及群集數(shù)，對(duì)由所述群集重要度計(jì)算部計(jì)算出的各塊內(nèi)的群集的重要度進(jìn)行正規(guī)化； 所述群集重要度計(jì)算部將正規(guī)化后的群集的重要度相加。
12.如權(quán)利要求I所述的圖像管理裝置，其特征在于， 所述聚類部從外部裝置取得在該外部裝置中被分類的群集的特征量，并對(duì)取得的特征量和分類后的各群集的特征量進(jìn)行比較，從而確定所取得的特征量與分類后的各群集中的哪個(gè)群集對(duì)應(yīng)， 所述群集重要度計(jì)算部從所述外部裝置取得所確定的群集的重要度，并用于所述累積。
13.如權(quán)利要求I所述的圖像管理裝置，其特征在于， 所述塊生成部基于表示能夠用于生成塊的資源的資源信息，決定應(yīng)該生成的各塊的大小，并以各塊成為所決定的大小的方式生成所述多個(gè)塊。
14.如權(quán)利要求13所述的圖像管理裝置，其特征在于， 所述資源信息表示能夠利用的存儲(chǔ)器大小。
15.一種圖像管理方法，基于重要度對(duì)多個(gè)圖像進(jìn)行排序，其特征在于，包括 圖像取得步驟，取得多個(gè)圖像； 檢測(cè)步驟，在取得的各圖像中，檢測(cè)該圖像所包含的對(duì)象物； 提取步驟，提取檢測(cè)到的各所述對(duì)象物的圖像特征量； 聚類步驟，基于各對(duì)象物的圖像特征量，將檢測(cè)到的各對(duì)象物分類到多個(gè)群集中的某一個(gè)群集； 塊生成步驟，劃分由所述圖像取得步驟取得的多個(gè)圖像，生成多個(gè)塊； 塊內(nèi)重要度計(jì)算步驟，在各塊中，基于構(gòu)成該塊的圖像與構(gòu)成該塊的圖像所包含的對(duì)象物所屬的群集之間的關(guān)聯(lián)性，計(jì)算構(gòu)成該塊的圖像所包含的對(duì)象物所屬的群集的塊內(nèi)重要度； 群集重要度計(jì)算步驟，通過(guò)對(duì)計(jì)算出的各塊內(nèi)的各群集的塊內(nèi)重要度進(jìn)行累積，計(jì)算所述多個(gè)圖像內(nèi)的各群集的重要度；以及圖像重要度計(jì)算步驟，基于計(jì)算出的群集重要度，計(jì)算各圖像的重要度。
16.一種程序，使計(jì)算機(jī)執(zhí)行包含圖像管理步驟的處理，其特征在于，所述圖像管理步驟包括以下各步驟 圖像取得步驟，取得多個(gè)圖像； 檢測(cè)步驟，在取得的各圖像中，檢測(cè)該圖像所包含的對(duì)象物； 提取步驟，提取檢測(cè)到的各所述對(duì)象物的圖像特征量； 聚類步驟，基于各對(duì)象物的圖像特征量，將檢測(cè)到的各對(duì)象物分類到多個(gè)群集中的某一個(gè)群集； 塊生成步驟，劃分由所述圖像取得步驟取得的多個(gè)圖像，生成多個(gè)塊； 塊內(nèi)重要度計(jì)算步驟，在各塊中，基于構(gòu)成該塊的圖像與構(gòu)成該塊的圖像所包含的對(duì)象物所屬的群集之間的關(guān)聯(lián)性，計(jì)算構(gòu)成該塊的圖像所包含的對(duì)象物所屬的群集的塊內(nèi)重要度； 群集重要度計(jì)算步驟，通過(guò)對(duì)計(jì)算出的各塊內(nèi)的群集的塊內(nèi)重要度進(jìn)行累積，計(jì)算所述多個(gè)圖像內(nèi)的群集的重要度；以及 圖像重要度計(jì)算步驟，基于計(jì)算出的群集重要度，計(jì)算各圖像的重要度。
17.—種記錄介質(zhì)，記錄有使計(jì)算機(jī)執(zhí)行包含圖像管理步驟的處理的程序，其特征在于，所述圖像管理步驟包括以下各步驟 圖像取得步驟，取得多個(gè)圖像； 檢測(cè)步驟，在取得的各圖像中，檢測(cè)該圖像所包含的對(duì)象物； 提取步驟，提取檢測(cè)到的各所述對(duì)象物的圖像特征量； 聚類步驟，基于各對(duì)象物的圖像特征量，將檢測(cè)到的各對(duì)象物分類到多個(gè)群集中的某一個(gè)群集； 塊生成步驟，劃分由所述圖像取得步驟取得的多個(gè)圖像，生成多個(gè)塊； 塊內(nèi)重要度計(jì)算步驟，在各塊中，基于構(gòu)成該塊的圖像與構(gòu)成該塊的圖像所包含的對(duì)象物所屬的群集之間的關(guān)聯(lián)性，計(jì)算構(gòu)成該塊的圖像所包含的對(duì)象物所屬的群集的塊內(nèi)重要度； 群集重要度計(jì)算步驟，通過(guò)對(duì)計(jì)算出的各塊內(nèi)的群集的塊內(nèi)重要度進(jìn)行累積，計(jì)算所述多個(gè)圖像內(nèi)的群集的重要度；以及 圖像重要度計(jì)算步驟，基于計(jì)算出的群集重要度，計(jì)算各圖像的重要度。
18.一種集成電路，基于重要度對(duì)多個(gè)圖像進(jìn)行排序，其特征在于，具備 圖像取得部，取得多個(gè)圖像； 檢測(cè)部，在取得的各圖像中，檢測(cè)該圖像所包含的對(duì)象物； 提取部，提取檢測(cè)到的各所述對(duì)象物的圖像特征量； 聚類部，基于各對(duì)象物的圖像特征量，將檢測(cè)到的各對(duì)象物分類到多個(gè)群集中的某一個(gè)群集； 塊生成部，劃分由所述圖像取得部取得的多個(gè)圖像，生成多個(gè)塊； 塊內(nèi)重要度計(jì)算部，在各塊中，基于構(gòu)成該塊的圖像與構(gòu)成該塊的圖像所包含的對(duì)象物所屬的群集之間的關(guān)聯(lián)性，計(jì)算構(gòu)成該塊的圖像所包含的對(duì)象物所屬的群集的塊內(nèi)重要度；群集重要度計(jì)算部，通過(guò)對(duì)計(jì)算出的各塊內(nèi)的群集的塊內(nèi)重要度進(jìn)行累積，計(jì)算所述多個(gè)圖像內(nèi)的群集的重要度；以及 圖像重要度計(jì)算部，基于計(jì)算出的群集重要度，計(jì)算各圖像的重要度。
全文摘要
在圖像管理裝置中，取得圖像并進(jìn)行聚類后(S201)，對(duì)各圖像進(jìn)行劃分而生成塊(S202)。接著，按生成的每個(gè)塊計(jì)算該群集的塊內(nèi)重要度(S204)，并將計(jì)算出的群集的塊內(nèi)重要度累積，從而計(jì)算群集的重要度(S205)，基于計(jì)算出的群集的重要度，計(jì)算圖像的重要度(S206)。
文檔編號(hào)G06F17/30GK102822822SQ20118001617
公開(kāi)日2012年12月12日 申請(qǐng)日期2011年11月16日 優(yōu)先權(quán)日2011年1月26日
發(fā)明者前田和彥 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社