專利名稱：圖像數(shù)據(jù)處理裝置、方法、程序及集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算用于將圖像分類的圖像特征信息的圖像數(shù)據(jù)處理裝置。
背景技術(shù)：
數(shù)字靜像攝像機(jī)和帶攝像機(jī)功能·的移動(dòng)電話機(jī)等數(shù)字圖像攝影設(shè)備已經(jīng)得到普及，也能夠低廉地提供用于記錄所拍攝的圖像的硬盤等記錄介質(zhì)。
通常，數(shù)字圖像攝影設(shè)備等的用戶(下面簡(jiǎn)稱為用戶)將所拍攝的各個(gè)圖像存儲(chǔ)在大容量的硬盤等記錄介質(zhì)中。
在所存儲(chǔ)的圖像數(shù)量量大時(shí)，很難從所存儲(chǔ)的圖像中找到目標(biāo)的圖像，因而基于使用戶容易進(jìn)行圖像的檢索的目的，將各個(gè)圖像分類為幾個(gè)類別。例如，可以考慮將在運(yùn)動(dòng)會(huì)中拍攝的圖像分類為運(yùn)動(dòng)會(huì)這一類別的情況等。
作為將圖像分類的技術(shù)，例如公知有如專利文獻(xiàn)I記載的技術(shù)，根據(jù)所存儲(chǔ)的各個(gè)圖像計(jì)算該圖像的特征即圖像特征信息，使用計(jì)算出的圖像特征信息將各個(gè)圖像分類為各個(gè)類別，還公知有如專利文獻(xiàn)2記載的技術(shù)，使用被攝入到圖像中的人臉的數(shù)量和大小將該圖像分類。
現(xiàn)有技術(shù)文獻(xiàn)
專利文獻(xiàn)
專利文獻(xiàn)I :日本專利第4232774號(hào)公報(bào)
專利文獻(xiàn)2 :日本專利第4315344號(hào)公報(bào)發(fā)明概要
發(fā)明要解決的問(wèn)題
可是，用戶拍攝圖像的機(jī)會(huì)往往是在例如海水浴場(chǎng)或滑雪旅行這種活動(dòng)中，并且用戶在欣賞圖像時(shí)，往往也是以在某次活動(dòng)中拍攝的圖像組為單位來(lái)欣賞圖像。
因此，期望將屬于在一次活動(dòng)中拍攝的圖像組的圖像分類為同一個(gè)類另IJ。
但是，當(dāng)在從在互不相同的活動(dòng)中拍攝的圖像中抽取的圖像特征信息中存在彼此相似的圖像特征信息的情況下，很難將這些圖像的各個(gè)圖像分類為本來(lái)應(yīng)該分類的類別。
作為示例來(lái)說(shuō)明如下情況，過(guò)去的圖像數(shù)據(jù)處理裝置在根據(jù)圖像中大量包含的主要顏色(例如黑色、藍(lán)色、綠色、白色等)計(jì)算圖像特征信息的情況下，在海水浴場(chǎng)中拍攝的圖像組A的圖像和在滑雪旅行中拍攝的圖像組B的圖像成為分類圖像。
在于海水浴場(chǎng)中拍攝的圖像中往往攝入了大量的大海的藍(lán)色和沙灘的白色，在于滑雪旅行中拍攝的圖像中往往攝入了大量的天空的藍(lán)色和雪的白色。因此，由該圖像數(shù)據(jù)處理裝置計(jì)算出的在海水浴場(chǎng)中拍攝的圖像的圖像特征信息、和在滑雪旅行中拍攝的圖像的圖像特征信息成為彼此相似的圖像特征信息。
在這種情況下，在根據(jù)由該過(guò)去的圖像數(shù)據(jù)處理裝置計(jì)算出的圖像特征信息將圖像分類時(shí)，很難將在海水浴場(chǎng)中拍攝的圖像組A的圖像和在滑雪旅行中拍攝的圖像組B的圖像分類為彼此不同的類別。發(fā)明內(nèi)容
本發(fā)明正是鑒于上述問(wèn)題而提出的，其目的在于，提供一種計(jì)算用于將圖像分類的圖像特征信息的圖像數(shù)據(jù)處理裝置，在使用由該圖像數(shù)據(jù)處理裝置計(jì)算出的圖像特征信息將圖像分類的情況下，相比過(guò)去能夠提高將在一次活動(dòng)中拍攝的圖像組的各個(gè)圖像分類為相同的類別的分類精度。
用于解決問(wèn)題的手段
為了解決上述問(wèn)題，本發(fā)明的圖像數(shù)據(jù)處理裝置計(jì)算用于將圖像分類的圖像特征信息，其特征在于，該圖像數(shù)據(jù)處理裝置具有人臉確定部，確定一張圖像中所包含的人臉的區(qū)域；以及圖像特征計(jì)算部，利用根據(jù)一張圖像的至少一部分像素計(jì)算出的圖像特征量，計(jì)算該圖像中的圖像特征信息，所述圖像特征計(jì)算部以如下方式進(jìn)行所述圖像特征信息的·計(jì)算，使根據(jù)由所述人臉確定部確定出的人臉的區(qū)域周圍的一定區(qū)域中所包含的像素計(jì)算出的圖像特征量，比根據(jù)不包含在該一定區(qū)域中的像素計(jì)算出的圖像特征量更多地體現(xiàn)在所述圖像特征信息中。
發(fā)明效果
通常，圖像的攝影者在某次活動(dòng)中拍攝包括人的人臉的圖像時(shí)，具有以在此人的人臉的周圍的區(qū)域中表現(xiàn)出該活動(dòng)的特點(diǎn)的方式進(jìn)行拍攝的傾向。例如，在海水浴場(chǎng)中，攝影者具有以在人的人臉的周圍的區(qū)域中大量表現(xiàn)大海的藍(lán)色的方式來(lái)拍攝圖像的傾向，而在滑雪旅行中則具有以在人的人臉的周圍的區(qū)域中大量表現(xiàn)雪的白色的方式來(lái)拍攝圖像的傾向。
具有上述結(jié)構(gòu)的本發(fā)明的圖像數(shù)據(jù)處理裝置在抽取圖像特征信息時(shí)，使相比根據(jù)具有不易表現(xiàn)出活動(dòng)的特點(diǎn)的傾向的距離人的人臉較遠(yuǎn)的區(qū)域的像素計(jì)算出的圖像特征量，更多地體現(xiàn)出根據(jù)具有容易表現(xiàn)出活動(dòng)的特點(diǎn)的傾向的人的人臉周圍的區(qū)域的像素計(jì)算出的圖像特征量。由此，與過(guò)去的圖像數(shù)據(jù)處理裝置相比，本圖像數(shù)據(jù)處理裝置能夠計(jì)算出更多地體現(xiàn)出活動(dòng)的特點(diǎn)的圖像特征信息。
因此，該圖像數(shù)據(jù)處理裝置相比過(guò)去能夠提高使用由該圖像數(shù)據(jù)處理裝置計(jì)算出的圖像特征信息將圖像分類時(shí)的分類精度。


圖I是表示圖像數(shù)據(jù)處理裝置100的硬件結(jié)構(gòu)的硬件框圖。
圖2是表示圖像數(shù)據(jù)處理裝置100的功能結(jié)構(gòu)的功能框圖。
圖3是表示圖像存儲(chǔ)部231的目錄構(gòu)造的目錄構(gòu)造圖。
圖4是從視覺(jué)上表示各種區(qū)域的示意圖。
圖5是從視覺(jué)上表示特殊狀況下的人周圍區(qū)域的示意圖。
圖6是圖像特征信息的數(shù)據(jù)構(gòu)造圖。
圖7是圖像家人場(chǎng)景信息的數(shù)據(jù)構(gòu)造圖。
圖8是圖像集家人場(chǎng)景信息的數(shù)據(jù)構(gòu)造圖。
圖9是事件特征信息的數(shù)據(jù)構(gòu)造圖。
圖10是圖像特征信息生成處理的流程圖。
圖11是圖像家人場(chǎng)景信息生成處理的流程圖。
圖12是圖像集家人場(chǎng)景信息生成處理的流程圖。
圖13是圖像集分類處理的流程圖。
圖14是表示在家庭成員參加的活動(dòng)中拍攝的圖像組的圖。
圖15是過(guò)去的圖像數(shù)據(jù)處理裝置生成的圖像集場(chǎng)景信息的數(shù)據(jù)構(gòu)造圖。
圖16是表示兩張圖像的圖。
圖17是表示圖像數(shù)據(jù)處理裝置1700的功能結(jié)構(gòu)的功能框圖?！?br> 圖18是表示圖像存儲(chǔ)部1731的目錄構(gòu)造的目錄構(gòu)造圖。
圖19是事件特征信息的數(shù)據(jù)構(gòu)造圖。
圖20是變形圖像特征信息生成處理的流程圖。
圖21是圖像分類處理的流程圖。
圖22是表示圖像數(shù)據(jù)處理裝置2200的功能結(jié)構(gòu)的功能框圖。
圖23是表示圖像數(shù)據(jù)處理裝置2300的功能結(jié)構(gòu)的功能框圖。
具體實(shí)施方式
<實(shí)施方式1>
下面，作為本發(fā)明的圖像數(shù)據(jù)處理裝置的一個(gè)實(shí)施方式來(lái)說(shuō)明這樣的圖像數(shù)據(jù)處理裝置100，該圖像數(shù)據(jù)處理裝置100計(jì)算表示被攝入到圖像中的人物的周圍的像素的特征的人周圍特征量，根據(jù)計(jì)算出的人周圍特征量，按照由與一次活動(dòng)即事件相關(guān)聯(lián)地拍攝的多張圖像構(gòu)成的圖像集單位，將圖像分類為彼此不同的預(yù)先設(shè)定的多個(gè)門類事件中的某一個(gè)門類事件。
其中，圖像集是指由用戶指定的多張圖像構(gòu)成的圖像的集合，例如在2009年冬季去北海道旅行的事件中拍攝的圖像的集合，例如在2010年夏季去沖繩旅行的事件中拍攝的圖像的集合等。另外，門類事件是指作為圖像集的門類的類別，例如作為與滑雪相關(guān)的圖像集的門類的類別，例如作為與海水浴場(chǎng)相關(guān)的圖像集的門類的類別等。
〈結(jié)構(gòu)〉
〈圖像數(shù)據(jù)處理裝置100的硬件結(jié)構(gòu)〉
圖I是表示圖像數(shù)據(jù)處理裝置100的主要硬件結(jié)構(gòu)的硬件框圖。
圖像數(shù)據(jù)處理裝置100由系統(tǒng)LSI (Large Scale Integrated Circuit :大規(guī)模集成電路)110、硬盤裝置130、外部記錄介質(zhì)讀取寫入裝置140、USB控制裝置150、輸出裝置160、輸入裝置170、通信裝置180構(gòu)成，其具有將數(shù)字照片即圖像存儲(chǔ)為以JPEG(JointPhotographic Experts Group :運(yùn)動(dòng)圖像專家組)方式進(jìn)行編碼得到的數(shù)據(jù)，并將存儲(chǔ)的圖像分類的功能。
并且，圖像數(shù)據(jù)處理裝置100具有如下功能通過(guò)可插拔的USB線纜195與以數(shù)字?jǐn)z像機(jī)192為代表的記錄圖像的設(shè)備連接，通過(guò)監(jiān)視器線纜196與用于顯示圖像的顯示器193連接，還與網(wǎng)絡(luò)194連接，并與受理來(lái)自用戶的操作命令的遙控器197進(jìn)行無(wú)線通信，向以SD存儲(chǔ)卡191等為代表的外部記錄介質(zhì)進(jìn)行數(shù)據(jù)的讀出和寫入。
系統(tǒng)LSI 110是將以下部件集成于一個(gè)集成電路中的LSI包括CPU10UR0M 10全文摘要
通常，圖像的攝影者在某次活動(dòng)中拍攝包括人的人臉的圖像時(shí)，具有以在此人的人臉的周圍的區(qū)域中表現(xiàn)出該活動(dòng)的特點(diǎn)的方式進(jìn)行拍攝的傾向。本發(fā)明的圖像數(shù)據(jù)處理裝置在抽取圖像特征信息時(shí)，使相比根據(jù)具有不易表現(xiàn)出活動(dòng)的特點(diǎn)的傾向的距離人的人臉較遠(yuǎn)的區(qū)域的像素計(jì)算出的圖像特征量，更多地體現(xiàn)出根據(jù)具有容易表現(xiàn)出活動(dòng)的特點(diǎn)的傾向的人的人臉周圍的區(qū)域的像素計(jì)算出的圖像特征量。由此，與過(guò)去的圖像數(shù)據(jù)處理裝置相比，該圖像數(shù)據(jù)處理裝置能夠計(jì)算出更多地體現(xiàn)出活動(dòng)的特點(diǎn)的圖像特征信息。因此，該圖像數(shù)據(jù)處理裝置相比過(guò)去能夠提高使用由該圖像數(shù)據(jù)處理裝置計(jì)算出的圖像特征信息將圖像分類時(shí)的分類精度。
文檔編號(hào)G06T7/00GK102893304SQ20128000101
公開(kāi)日2013年1月23日 申請(qǐng)日期2012年1月24日 優(yōu)先權(quán)日2011年1月28日
發(fā)明者山口晃一郎 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社