專利名稱：電子相框及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電子相框及其控制方法。
背景技術(shù)：
通過(guò)數(shù)字照相機(jī)所拍攝的照片為數(shù)字形式的圖像文件(下面稱為電子照片或者 簡(jiǎn)稱為照片)，因此具有沒(méi)必要一定打印輸出到紙上，而能夠作為圖像在任何喜歡的時(shí)候 進(jìn)行顯示(放映在個(gè)人計(jì)算機(jī)的顯示器上)的優(yōu)點(diǎn)，但是無(wú)法否認(rèn)，對(duì)于對(duì)個(gè)人計(jì)算機(jī)不 熟悉的人來(lái)說(shuō)使用起來(lái)比較困難。因此，使用被稱為電子相框(Digital Photo Frame DPF)的便利的顯示裝置。
DPF僅通過(guò)設(shè)置從數(shù)字相機(jī)中取出的記錄介質(zhì)，就能夠自動(dòng)地顯示在該介質(zhì)中記錄的電 子照片，即使對(duì)個(gè)人計(jì)算機(jī)不熟悉的人也能夠熟練地使用。但是另一方面，DPF只不過(guò)是將所設(shè)置的記錄介質(zhì)內(nèi)的電子照片按順序或者隨 機(jī)地讀出，然后進(jìn)行顯示的裝置，因此具有顯示不符合欣賞者的喜好的照片的缺點(diǎn)。在日本特開(kāi)2008-165009號(hào)公報(bào)及日本特開(kāi)2009-171176號(hào)公報(bào)中公開(kāi)了涉及帶 有照相機(jī)的DPF的技術(shù)。在日本特開(kāi)2008-165009號(hào)公報(bào)中，根據(jù)觀看(識(shí)別)顯示中 的照片的次數(shù)或其時(shí)間長(zhǎng)度來(lái)決定顯示照片的優(yōu)先順序，另外，在日本特開(kāi)2009-171176 公報(bào)中，針對(duì)每個(gè)登錄者顯示該登錄者喜歡的照片。但是，在日本特開(kāi)2008-165009號(hào)公報(bào)的技術(shù)中，至少要根據(jù)過(guò)去所決定的優(yōu) 先順序來(lái)顯示照片，因此有可能顯示與欣賞者當(dāng)前的心情不符的照片，例如有這樣的 缺點(diǎn)當(dāng)心情愉快時(shí)，如果顯示有悲傷內(nèi)容的照片，則會(huì)導(dǎo)致情緒低落。在日本特開(kāi) 2009-171176號(hào)公報(bào)的技術(shù)中，需要針對(duì)每個(gè)登錄者事先選擇喜歡的照片，因此有費(fèi)事而 麻煩的缺點(diǎn)。另一方面，如果將范圍擴(kuò)大到DPF以外來(lái)對(duì)現(xiàn)有技術(shù)進(jìn)行調(diào)查的話，例如有以 下這樣的技術(shù)。例如，在美國(guó)專利第7636456號(hào)公報(bào)中記載了如下技術(shù)在能夠針對(duì)觀看廣告 圖像的每個(gè)人顯示最佳的廣告圖像的顯示裝置中，通過(guò)照相機(jī)拍攝正在觀看廣告圖像的 人的面部表情，當(dāng)該表情表示“厭倦”時(shí)，播放預(yù)定的影像來(lái)喚回注意力。另外，在日本特開(kāi)2006-251271號(hào)公報(bào)中記載了如下技術(shù)在將歌手的聲音(歌 聲)和模仿人物的動(dòng)畫(huà)圖像發(fā)送給聽(tīng)眾側(cè)的卡拉OK系統(tǒng)中，通過(guò)照相機(jī)拍攝歌手的表 情，并將該表情反映到動(dòng)畫(huà)圖像中。另外，在日本特開(kāi)2008-118527號(hào)公報(bào)中記載了如下技術(shù)拍攝相當(dāng)于使用者 的視野的圖像并保存，同時(shí)檢測(cè)在該保存時(shí)刻該使用者的生物體信息(脈搏，心博、心 電等)，并與所述圖像關(guān)聯(lián)起來(lái)進(jìn)行保存，然后，當(dāng)所述使用者要閱覽圖像時(shí)，再次檢測(cè)該使用者的生物體信息，將已關(guān)聯(lián)了與該生物體信息相同的生物體信息的圖像取出，并 進(jìn)行顯示。但是，上述技術(shù)存在如下問(wèn)題。(1)美國(guó)專利第7636456號(hào)公報(bào)當(dāng)正在觀看圖像的人的表情表示“厭倦”時(shí)，只不過(guò)播放預(yù)定的影像。即只不 過(guò)是在喚回注意力上下功夫而已。(2)日本特開(kāi)2006-251271號(hào)公報(bào)只不過(guò)是將歌手的表情反映到動(dòng)畫(huà)圖像中而已。(3)日本特開(kāi)2008-118527號(hào)公報(bào)根據(jù)生物體信息進(jìn)行了圖像的選擇性顯示，但是該生物體信息為脈搏、心博、 心電等，而不是要觀看圖像的人的表情。因此，如果考慮對(duì)DPF應(yīng)用這些技術(shù)，則畢竟(2)是卡拉OK的動(dòng)畫(huà)技術(shù)，因此 不適用于DPF。另外，關(guān)于(1)，應(yīng)該如何選擇能夠喚回注意力的影像并不明確(在該文獻(xiàn)中， 厭倦時(shí)播放動(dòng)作/冒險(xiǎn)電影的影像，但是未必說(shuō)一定如此。當(dāng)然有對(duì)這類(lèi)影像不感興趣 的人)。另外，關(guān)于(3)，存在如下問(wèn)題需要用于檢測(cè)脈搏、心博、心電等生物體信 息的大規(guī)模裝置，成本高又不實(shí)用。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供一種電子相框及其控制方法，其通過(guò)不費(fèi)事且簡(jiǎn) 單的結(jié)構(gòu)，能夠顯示與當(dāng)前感情相符合的照片。即，本發(fā)明涉及一種電子相框，其具備能夠依次顯示至少兩枚以上的電子照片 的顯示部，該電子相框中具備表情判別單元，其對(duì)正在觀看在所述顯示部上顯示的電 子照片的人物的面部表情進(jìn)行判別；以及關(guān)聯(lián)存儲(chǔ)單元，其將與通過(guò)所述表情判別單元 所判別的面部表情相關(guān)的信息和顯示中的電子照片關(guān)聯(lián)起來(lái)進(jìn)行存儲(chǔ)。另外，本發(fā)明涉及另外一種電子相框，其具備能夠依次顯示至少兩枚以上的電 子照片的顯示部，該電子相框中具備表情判別單元，其當(dāng)要在所述顯示部上顯示所 述兩枚以上的電子照片的某一枚時(shí)，判別正在將視線朝向該顯示部方向的人物的面部表 情；關(guān)聯(lián)判別單元，其判別符合與通過(guò)所述表情判別單元所判別的面部表情相關(guān)的信息 的信息，是否已與現(xiàn)在要顯示的電子照片關(guān)聯(lián)起來(lái)；以及顯示允許單元，其在所述關(guān)聯(lián) 判別單元的判別結(jié)果為肯定時(shí)，允許向所述顯示部顯示電子照片。另一方面，本發(fā)明涉及一種電子相框的控制方法，該電子相框具備能夠依次顯 示至少兩枚以上的電子照片的顯示部，該電子相框的控制方法中包含表情判別步驟， 其對(duì)正在觀看在所述顯示部上所顯示的電子照片的人物的面部表情進(jìn)行判別；以及關(guān)聯(lián) 存儲(chǔ)步驟，其將與通過(guò)所述表情判別步驟所判別的面部表情相關(guān)的信息與顯示中的電子 照片關(guān)聯(lián)起來(lái)進(jìn)行存儲(chǔ)。另外，本發(fā)明涉及另外一種電子相框的控制方法，該電子相框具備能夠依次顯 示至少兩枚以上的電子照片的顯示部，該電子相框的控制方法中包含表情判別步驟，其當(dāng)要在所述顯示部上顯示所述兩枚以上的電子照片中的某一枚時(shí)，對(duì)正在將視線朝向 該顯示部方向的人物的面部表情進(jìn)行判別；關(guān)聯(lián)判別步驟，其判別符合與通過(guò)所述表情 判別步驟所判別的面部表情相關(guān)的信息的信息，是否已與現(xiàn)在要顯示的電子照片關(guān)聯(lián)起 來(lái)；以及顯示允許步驟，其當(dāng)所述關(guān)聯(lián)判別步驟的判別結(jié)果為肯定時(shí)，允許向所述顯示 部顯示電子照片。根據(jù)本發(fā)明，能夠提供一種電子相框及其控制方法，其通過(guò)不費(fèi)事且簡(jiǎn)單的結(jié) 構(gòu)，能夠顯示與當(dāng)前感情相符合的照片。


圖1是實(shí)施方式的電子相框(DPF)的外觀圖。圖2是DPFl的內(nèi)部框圖。圖3是在附加功能中使用的照片列表的概念結(jié)構(gòu)圖。圖4是表示通過(guò)控制部19的CPU20執(zhí)行的控制程序的圖。圖5是表示分類(lèi)處理(圖4的步驟S6)的圖。圖6是分類(lèi)的概念圖。圖7是根據(jù)類(lèi)別分類(lèi)進(jìn)行的選擇性顯示的概念圖。圖8是表示實(shí)施方式的照片列表27的改良構(gòu)造和欣賞者登錄數(shù)據(jù)表的構(gòu)造的 圖。圖9是表示實(shí)施方式的主流程(參照?qǐng)D4)的改良例的圖。圖10是實(shí)施方式的分類(lèi)處理(參照?qǐng)D5)的改良例的圖。
具體實(shí)施例方式下面參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。圖IA及B是實(shí)施方式的電子相框(DPF)的外觀圖。在該圖中，DPFl具備 顯示部2，其使用液晶面板、或者EL面板、或者等離子面板，或者電子紙等顯示信息重 寫(xiě)型的顯示裝置；圍繞在該顯示部2的周?chē)?，適當(dāng)設(shè)計(jì)的邊框3;設(shè)置在邊框3的背面的 電子電路收容箱4;以及安裝在該電子電路收容箱4的背面的可倒式支架5，并且具備安 裝在邊框3的前面一側(cè)的任意位置(圖中顯示部2的上方)的照相機(jī)6。在此，將照相機(jī)6的攝影角度α設(shè)定為能夠拍攝欣賞顯示在DPFl的顯示部2上 的照片的人物(以下稱為欣賞者7)的臉的適當(dāng)值，另外，關(guān)于照相機(jī)6的焦點(diǎn)距離，也 與到欣賞者7的距離相配合地進(jìn)行適當(dāng)?shù)脑O(shè)定。在電子電路收容箱4的側(cè)面設(shè)置有操作部12，其包含各種開(kāi)關(guān)類(lèi)，如電源開(kāi) 關(guān)8或菜單開(kāi)關(guān)9、上箭頭開(kāi)關(guān)10及下箭頭開(kāi)關(guān)11等；介質(zhì)插槽13，其用于插入卡式存 儲(chǔ)裝置(CF卡、SD卡等)或者裝卸式硬盤(pán)或者磁盤(pán)等記錄介質(zhì)；以及電源連接器14，當(dāng) 使用該DPFl時(shí)，將AC適配器15的AC插頭16插入未圖示的墻壁插座，然后將AC適 配器15的電源插頭17插入到電子電路收容箱4的側(cè)面的電源連接器14中，然后將電源 開(kāi)關(guān)8打開(kāi)。圖2是DPFl的內(nèi)部框圖。在該圖中，電源部18接受來(lái)自AC適配器15的DC 電源供給，產(chǎn)生該DPFl的工作所需的各種電源。
控制部19由CPU(中央處理器)20、RAM (易失性高速存儲(chǔ)器)21、ROM (非 易失性存儲(chǔ)器)22、PROM(可重寫(xiě)型非易失性存儲(chǔ)器)23以及其它的周邊電路構(gòu)成，即 由所謂的微型計(jì)算機(jī)(或者簡(jiǎn)稱為計(jì)算機(jī))構(gòu)成，將事先寫(xiě)入到ROM22的控制程序(參 照后述的圖4)、適當(dāng)?shù)貙?xiě)入到PROM23中的可變數(shù)據(jù)(參照后述的圖3)讀入到RAM21 中，由CPU20來(lái)執(zhí)行該控制程序，由此實(shí)現(xiàn)作為電子相框所需的功能。具體來(lái)講，控制部19檢查介質(zhì)I/F部24的介質(zhì)插槽13中是否插入了記錄介質(zhì) 25，如果插入了記錄介質(zhì)25，則將存儲(chǔ)在該記錄介質(zhì)25中的圖像文件(下面為了方便， 稱為“照片”)讀出并顯示在顯示部2上。另一方面，當(dāng)未插入記錄介質(zhì)25時(shí)，實(shí)現(xiàn)將在作為內(nèi)部存儲(chǔ)器的存儲(chǔ)部26中存 儲(chǔ)的照片(出廠時(shí)所存儲(chǔ)的樣本照片或者事先從記錄介質(zhì)25轉(zhuǎn)移并改變了的照片)讀出 并顯示在顯示部2上這樣的作為電子相框的基本功能。另外，本實(shí)施方式，如后面詳細(xì)說(shuō)明那樣，與開(kāi)頭所說(shuō)明的現(xiàn)有技術(shù)不同的 是當(dāng)在顯示部2上顯示照片時(shí)，并不是簡(jiǎn)單地將多枚照片按順序或者隨機(jī)地進(jìn)行顯 示，而是實(shí)現(xiàn)了根據(jù)通過(guò)照相機(jī)6所拍攝的欣賞者的表情，選擇適當(dāng)?shù)恼掌瑏?lái)顯示的特 有功能(下面稱為附加功能)。圖3是在附加功能中使用的照片列表的概念結(jié)構(gòu)圖。該照片列表27保存在控制 部19的PROM23中，根據(jù)需要對(duì)內(nèi)容進(jìn)行更新(重寫(xiě))。照片列表27由與照片的保存枚數(shù)相當(dāng)?shù)亩鄠€(gè)記錄構(gòu)成，各記錄由用于存儲(chǔ)各照 片的識(shí)別號(hào)(一般是文件名，但是在此為了方便，是三位數(shù)列)的序號(hào)字段27a、和用于 存儲(chǔ)各照片的類(lèi)別信息的類(lèi)別字段27b構(gòu)成。所謂類(lèi)別信息，是表示當(dāng)欣賞者看到各照片時(shí)露出了怎樣的表情的信息，在此 為了方便，設(shè)為“大笑”、“中笑”、“無(wú)表情”。但是，這些類(lèi)別(大笑、中笑、無(wú)表情)只不過(guò)是一個(gè)例子。如上所述，只要 是“表示當(dāng)欣賞者看到各照片時(shí)露出了怎樣的表情的信息”即可。例如，可以追加“微 笑”，或者也可以追加“憤怒表情”、“哭泣表情”、“悲傷表情”等其它表情。另外，關(guān)于這些其它表情，也可以細(xì)分為“大”、“中”、“小”等?；蛘甙?含上述的笑容在內(nèi)，也可以不用“大”、“中”、“小”等階段性的表現(xiàn)來(lái)表示表情的 程度，而用數(shù)值來(lái)表示。例如，可以把最大設(shè)為100，把最小設(shè)為0，兩者之間用從99 到1的范圍來(lái)表示等?；蛘呖梢杂?表示無(wú)表情，用加號(hào)(+)來(lái)表現(xiàn)笑容，用減號(hào)(-) 來(lái)表現(xiàn)憤怒表情或哭泣表情。圖4是表示通過(guò)控制部19的CPU20執(zhí)行的控制程序(下面稱為主流程)的圖。在該圖中，如果DPFl的電源開(kāi)關(guān)8打開(kāi)，則首先把照片選擇用的計(jì)數(shù)器變量i 設(shè)定為初始值“1”(步驟Si)，然后判斷在卡槽13中是否插入了記錄介質(zhì)25(步驟S2)。然后，如果未插入記錄介質(zhì)25，則讀出在存儲(chǔ)部26中存儲(chǔ)的第i枚照片(步驟 S3)，如果插入了記錄介質(zhì)25，則讀出在記錄介質(zhì)25中存儲(chǔ)的第i枚照片(步驟S4)。接下來(lái)，參照PROM23的照片列表27，判斷該第i枚照片是否為已被分類(lèi)的照 片(步驟S5)，如果還沒(méi)有被分類(lèi)，則執(zhí)行下面詳細(xì)說(shuō)明的“分類(lèi)處理”(步驟S6)，另 一方面，如果已經(jīng)被分類(lèi)，接下來(lái)則啟動(dòng)照相機(jī)6，取得其攝影圖像，判斷該圖像中是否 拍到了欣賞者7的臉(步驟S7)。
然后，如果沒(méi)有拍到欣賞者7的臉，則直接將第i枚照片輸出到顯示部2，進(jìn)行 顯示(步驟S9)，但是，如果拍到了欣賞者7的臉，則判別該欣賞者7的面部表情(具體來(lái) 講，判別是笑容、還是笑容以外的憤怒表情、哭泣表情或者悲傷表情，還是無(wú)表情等)， 并判斷第i枚照片的類(lèi)別是否是符合該判別結(jié)果的類(lèi)別(步驟S8)。例如，當(dāng)假設(shè)第i枚照片的序號(hào)為“001”時(shí)，如果根據(jù)照片列表27，該序號(hào) “001”的照片的類(lèi)別為“大笑”，因此，此時(shí)如果照相機(jī)6的攝影圖像中的欣賞者7的
表情與其相同(大笑)，則步驟S8的判斷結(jié)果為“是”，如果為其它的表情，則步驟S8 的判斷結(jié)果為“否”。當(dāng)步驟S8的判斷結(jié)果為“是”時(shí)，即第i枚照片的類(lèi)別為與照相機(jī)6所拍攝的 欣賞者7的面部表情相符合的類(lèi)別時(shí)，將該第i枚照片輸出到顯示部2來(lái)進(jìn)行顯示(步驟 S9)，并將計(jì)數(shù)器變量i加1(步驟S10)，然后判斷是否i>imax(imax為照片的總數(shù))(步 驟 S11)。然后，如果i>irmx，則為了進(jìn)行照片的循環(huán)顯示，返回到步驟Si，如果不是i > imax,則為了對(duì)下一枚照片(新的第i枚照片)進(jìn)行同樣的處理，返回到步驟S2。另外，在欣賞者7的表判別斷中，例如能夠使用通過(guò)多枚的面部圖像的模板 (template)與所檢測(cè)到的面部圖像的匹配來(lái)評(píng)價(jià)表情的公知方法?；蛘?，可以使用被稱為“費(fèi)希爾(Fisher)線性判別分析”的公知方法。該方法 事先準(zhǔn)備大量分別具有兩個(gè)表情的面部的樣本圖像，根據(jù)這些樣本圖像的數(shù)據(jù)，考慮兩 個(gè)表情間的兩類(lèi)(Classs)問(wèn)題，進(jìn)行線性判別分析(LDA Linear Discriminate Analysis)， 由此，事先形成用于良好地判別這兩個(gè)表情的判別軸，在進(jìn)行表情評(píng)價(jià)時(shí)，通過(guò)求出所 輸入的面部圖像的數(shù)據(jù)與判別軸的內(nèi)積，計(jì)算表情評(píng)價(jià)值。另外，在欣賞者7的臉部檢 測(cè)中也可以使用公知方法。例如可以使用如下公知方法等學(xué)習(xí)面部圖像中的兩個(gè)像素間的亮度差，作為 特征量事先保存起來(lái)，然后，對(duì)輸入圖像依次應(yīng)用具有恒定大小的窗口，根據(jù)特征量來(lái) 推測(cè)窗口中的圖像中是否包含臉，并輸出臉部檢測(cè)的推測(cè)值。在該方法中，依次縮小輸入圖像來(lái)進(jìn)行同樣的處理，由此能夠使用恒定大小的 窗口進(jìn)行臉部檢測(cè)的推測(cè)，能夠根據(jù)通過(guò)這些動(dòng)作所獲得的推測(cè)值，最終判別臉部存在 的區(qū)域。圖5是表示分類(lèi)處理(圖4的步驟S6)的圖。在該圖中，在分類(lèi)處理中，首先 將第i枚照片輸出到顯示部2并進(jìn)行顯示(步驟S21)，并且在該顯示狀態(tài)下啟動(dòng)照相機(jī) 6，取得其攝影圖像，判斷在該圖像中是否拍到了欣賞者7的臉(步驟S22)。然后，如果沒(méi)有拍到欣賞者7的臉，則直接跳出流程，返回到圖4的主流程(前 進(jìn)到步驟S10)，但是如果拍到了欣賞者7的臉，則對(duì)該欣賞者7的面部表情進(jìn)行判別(具 體來(lái)講，判別是笑容、笑容以外的憤怒表情或者哭泣表情或悲傷表情，還是無(wú)表情)(步 馬聚S23)ο然后，將與該判別結(jié)果對(duì)應(yīng)的類(lèi)別信息寫(xiě)入到照片列表27的第i枚照片的類(lèi)別 字段27b(步驟S24)，跳出流程，返回到圖4的主流程(前進(jìn)到步驟S10)。如此，根據(jù)圖4的主流程(以及圖5的分類(lèi)處理)，能夠從存儲(chǔ)部26或者記錄介 質(zhì)25依次讀入照片，在未對(duì)這些照片進(jìn)行分類(lèi)時(shí)，執(zhí)行圖5的分類(lèi)處理，進(jìn)行與正在觀看該照片的人物(欣賞者7)的面部表情對(duì)應(yīng)的分類(lèi)。另外，當(dāng)要對(duì)如此分類(lèi)后的照片進(jìn)行顯示時(shí)，能夠僅將與該時(shí)刻的欣賞者7的 面部表情相符合的類(lèi)別的照片取出，有選擇地進(jìn)行顯示。圖6及圖7是本實(shí)施方式的作用概念圖，圖6是分類(lèi)的概念圖，圖7是根據(jù)類(lèi)別 分類(lèi)有選擇地進(jìn)行顯示的概念圖。如圖6所示，當(dāng)觀看了序號(hào)“001”的照片的欣賞者7的表情為最大的笑容時(shí)， 在照片列表27的序號(hào)“001”的類(lèi)別字段27b中寫(xiě)入“大笑”，同樣，當(dāng)觀看了序號(hào)
“002”的照片的欣賞者7的表情為中等程度的笑容時(shí)，在照片列表27的序號(hào)“002”的 類(lèi)別字段27b中寫(xiě)入“中笑”。另外，當(dāng)觀看了序號(hào)“003”的照片的欣賞者7的表情 為無(wú)表情時(shí)，在照片列表27的序號(hào)“003”的類(lèi)別字段27b中寫(xiě)入“無(wú)表情”。然后，當(dāng)要欣賞這些分類(lèi)后的照片時(shí)，如果此時(shí)欣賞者7的表情為最大的笑 容，則僅將存儲(chǔ)部26或者記錄介質(zhì)25中存儲(chǔ)的照片中的、類(lèi)別為“大笑”的照片顯示 到顯示部2上(圖7A)。另外，如果此時(shí)欣賞者7的表情為中等程度的笑容，則僅將存儲(chǔ)部26或者記錄 介質(zhì)25中存儲(chǔ)的照片中的、類(lèi)別為“中笑”的照片顯示到顯示部2上(圖7B)?；蛘撸绻藭r(shí)欣賞者7的表情為無(wú)表情，則僅將存儲(chǔ)部26或者記錄介質(zhì)25中 存儲(chǔ)的照片中的、類(lèi)別為“無(wú)表情”的照片顯示到顯示部2上(圖7C)。如此，在本實(shí)施方式中，能夠選擇與欣賞者7當(dāng)前的感情(實(shí)際上為面部表情) 相符合的照片進(jìn)行顯示，因此能夠克服在開(kāi)頭所說(shuō)明的專利文獻(xiàn)1的缺點(diǎn)。并且，當(dāng) 顯示未分類(lèi)的照片時(shí)，自動(dòng)進(jìn)行用于區(qū)別感情的分類(lèi)作業(yè)，因此，不需要人為的費(fèi)事操 作，也能夠克服在開(kāi)頭所說(shuō)明的專利文獻(xiàn)2的缺點(diǎn)。而且，在欣賞者7的當(dāng)前感情和所顯示的照片之間，具有類(lèi)別的一致這樣的一 定相關(guān)性，因此，與開(kāi)頭所說(shuō)明的專利文獻(xiàn)3那樣，播放不確定是否能夠喚回感到厭倦 的人的注意力的影像相比，很明顯能夠吸引欣賞者7的注意力，另外，不需要用于檢測(cè) 脈搏、心博、心電、肌肉電...等等生物體信息的大規(guī)模的裝置。如上所述，根據(jù)本實(shí)施方式，能夠不費(fèi)事且通過(guò)簡(jiǎn)單的結(jié)構(gòu)實(shí)現(xiàn)能夠顯示與當(dāng) 前感情相符合的照片的電子相框(DPF)。另外，上述的實(shí)施方式只不過(guò)是表示發(fā)明的實(shí)施方式的一個(gè)例子。能夠在發(fā)明 的技術(shù)思想范圍內(nèi)考慮各種變形例或拓展例。例如，可以對(duì)實(shí)施方式進(jìn)行改良，以便能夠區(qū)別每個(gè)欣賞者7。圖8是表示實(shí)施方式的照片列表27的改良構(gòu)造和欣賞者登錄數(shù)據(jù)表的構(gòu)造的 圖。在該圖中，圖8A所示的照片列表127是對(duì)實(shí)施方式的照片列表27進(jìn)行改良后的 表，不同之處在于設(shè)置了每個(gè)欣賞者7的類(lèi)別字段。S卩，該照片列表127具備用于存儲(chǔ)各照片的識(shí)別號(hào)的序號(hào)字段127a和每個(gè)欣賞 者7的類(lèi)別字段127b，另外，將每個(gè)欣賞者7的類(lèi)別字段127b細(xì)分為多個(gè)子類(lèi)別字段 127c、 127d、 127e、.…。在此，在圖示的例子中，為了方便而細(xì)分為三個(gè)子類(lèi)別字段127c、127d、 127e,并且將子類(lèi)別字段127c設(shè)為“欣賞者A”用、子類(lèi)別字段127d設(shè)為“欣賞者B”用、子類(lèi)別字段127e設(shè)為“欣賞者C”用。另一方面，欣賞者登錄數(shù)據(jù)表128是用于事先登錄欣賞者A、B、C、...的臉部 數(shù)據(jù)的表，該欣賞者登錄數(shù)據(jù)表128具有ID字段128a，其用于存儲(chǔ)欣賞者ID;以及欣 賞者臉部數(shù)據(jù)字段128b，其用于存儲(chǔ)欣賞者A、B、C、...的各自的臉部數(shù)據(jù)(通過(guò)照相 機(jī)6所拍攝的臉部照片或者表示臉部的特征的數(shù)據(jù))。圖9及圖10是表示實(shí)施方式的主流程(參照?qǐng)D4)的改良例和分類(lèi)處理(參照?qǐng)D 5)的改良例的圖。首先，如圖9的由虛線包圍的部分所示，在實(shí)施方式的主流程的步驟S7的后面 追加了新的步驟S31，并且將主流程的步驟S8進(jìn)行部分變更，作為步驟S8a。即進(jìn)行了如下改良在步驟S31中判斷通過(guò)照相機(jī)6正在拍攝的欣賞者7是否 為欣賞者登錄數(shù)據(jù)表128中已經(jīng)登錄的欣賞者7 (即欣賞者A、B、C、...中的某一個(gè))， 如果為未登錄的欣賞者7，則直接顯示照片，如果為已經(jīng)登錄的欣賞者7，則前進(jìn)到步驟 S8a,參照照片列表127，判斷是否是與該欣賞者7的臉部表情相符合的類(lèi)別的照片。另外，如圖10的由虛線包圍的部分所示，在實(shí)施方式的分類(lèi)處理的步驟S22的 后面追加了新的步驟S32，并且將相同處理的步驟S23和步驟S24進(jìn)行了部分變更，分別 將其作為步驟S23a和步驟S24a。即進(jìn)行了如下改良在步驟S32中判斷通過(guò)照相機(jī)6正在拍攝的欣賞者7是否 是在欣賞者登錄數(shù)據(jù)表128中已經(jīng)登錄的欣賞者7 (即，欣賞者A、B、C、...中的某一 個(gè))，如果是未登錄的欣賞者7，則直接返回到主流程，另一方面，如果是已經(jīng)登錄的欣 賞者7，則在步驟S23a中確定該欣賞者7的面部表情，然后，在步驟S24a中，將照片分 類(lèi)為與該欣賞者7的臉部表情相符合的類(lèi)別。通過(guò)進(jìn)行上述改良，能夠使用與欣賞者A、B、C、...的每一個(gè)所對(duì)應(yīng)的類(lèi)別來(lái) 進(jìn)行照片的選擇顯示，能夠獲得與針對(duì)個(gè)人的照片的不同的感性所對(duì)應(yīng)的極其細(xì)致的照 片的顯示選擇特性。因此，例如將家庭或者工作單位等的組成成員分別作為欣賞者A、B、C、...事 先進(jìn)行登錄，并且，如果針對(duì)這些每個(gè)人對(duì)照片進(jìn)行了分類(lèi)，則當(dāng)該組成成員的某一個(gè) 人來(lái)到DPFl前面時(shí)(想要欣賞照片時(shí))，能夠選擇顯示與該欣賞者此時(shí)的感情相符合的 照片，普遍來(lái)講，能夠做成更具有實(shí)用性的產(chǎn)品。另外，在上述說(shuō)明中表示了對(duì)電子相框(DPF)的應(yīng)用，但是，這只不過(guò)是一個(gè) 例子。只要是能夠顯示電子照片(數(shù)字形式的圖像文件)的電子設(shè)備，什么設(shè)備都可以， 例如可以是具備圖像再生用的顯示器的數(shù)字照相機(jī)或者數(shù)字?jǐn)z像機(jī)、圖像存儲(chǔ)裝置、游 戲機(jī)、個(gè)人計(jì)算機(jī)、或者便攜式電話以及其它的圖像顯示裝置。另外，在實(shí)施方式中，對(duì)照片進(jìn)行選擇顯示時(shí)的顯示順序，既可以是順序顯 示，也可以是隨機(jī)顯示。當(dāng)進(jìn)行順序顯示時(shí)，只要將照片選擇用的計(jì)數(shù)器變量i的值與照片列表27的記 錄號(hào)進(jìn)行一一對(duì)應(yīng)即可。即，將i = l作為第一記錄、i = 2作為第二記錄、…、i = n作 為第η記錄即可。每當(dāng)對(duì)i的值進(jìn)行更新時(shí)，能夠從照片列表27的第一個(gè)記錄開(kāi)始“順 序”地將照片讀出。當(dāng)進(jìn)行隨機(jī)顯示時(shí)，只要對(duì)計(jì)數(shù)器變量i的值進(jìn)行不規(guī)則更新即可。例如，如果使i = l、i = 5、i = 3、...等，則能夠如照片列表27中的第1記錄、第5記錄、第3 記錄、...那樣“不規(guī)則”(即隨機(jī))地將照片讀出。另外，在實(shí)施方式中，關(guān)于執(zhí)行照片的分類(lèi)處理(參照?qǐng)D5)的條件，是該照片 還沒(méi)有進(jìn)行分類(lèi)的情況，但是并不限于此。例如，也可以在進(jìn)行分類(lèi)后，對(duì)經(jīng)過(guò)了一定 期間后的照片再次執(zhí)行分類(lèi)處理(參照?qǐng)D5)。這是因?yàn)?，?duì)照片所懷有的感情并不是一 成不變的，會(huì)隨著各人的身體狀況、生活環(huán)境、或者季節(jié)等有微妙或者明顯的變化。另外，在實(shí)施方式的所述改良例(能夠?qū)π蕾p者進(jìn)行個(gè)別區(qū)別)中，當(dāng)未登錄者 成為欣賞者時(shí)，無(wú)視類(lèi)別地直接對(duì)照片進(jìn)行顯示(圖9的步驟S31的“否”一步驟S9)， 但是并不限于此，也可以考慮類(lèi)別地進(jìn)行變更。如果將人物X作為未登錄的欣賞者，將人物a、b、C、...作為已經(jīng)登錄的欣賞者 (即照片列表127中已經(jīng)登錄的欣賞者A、B、C、...),則此時(shí)，照片列表127中存儲(chǔ)的 類(lèi)別為與人物a、b、c、...的表情相符合的類(lèi)別，與人物X完全無(wú)關(guān)。但是，雖然不能說(shuō)對(duì)所有的人來(lái)講對(duì)照片所懷有的感情相同，但是，在大多數(shù) 情況下，具有某種程度的一般性也是事實(shí)(例如，觀看了令人快樂(lè)的內(nèi)容的照片的大多 數(shù)人同樣會(huì)懷有快樂(lè)的感情)。因此，人物a、b、c、...(即，已經(jīng)登錄的欣賞者A、B、C、…)的全部成員或
者其中的大多數(shù)共同懷有的感情，也大體符合其他人物X，基于這樣的考慮，即使在未 登錄者(人物X)成為欣賞者時(shí)，使用已經(jīng)登錄的類(lèi)別對(duì)照片進(jìn)行選擇顯示也無(wú)關(guān)緊要。當(dāng)然，這樣做并不能說(shuō)完美，但是能夠選擇顯示與未登錄者(人物X)的面部表 情“大體”相符合的類(lèi)別的照片，因此，與無(wú)視類(lèi)別的情形相比，在能夠提高顯示的照 片的統(tǒng)一感方面，能夠成為優(yōu)選的方式。另外，在實(shí)施方式中，對(duì)作為內(nèi)部存儲(chǔ)器的存儲(chǔ)部26或者裝卸式的記錄介質(zhì)25 中保存的電子照片進(jìn)行顯示，但是除此之外，例如可以對(duì)在LAN或WAN等網(wǎng)絡(luò)上保存 的電子照片、或者通過(guò)紅外線或藍(lán)牙等近距離通信所傳送的電子照片進(jìn)行顯示。另外，在實(shí)施方式中，對(duì)與欣賞者的面部表情一致的類(lèi)別的照片進(jìn)行顯示，但 是，例如當(dāng)欣賞者的表情為“悲傷的表情”時(shí)，為了排遣悲傷，可以顯示該欣賞者為
“笑容”時(shí)的照片。另外，在實(shí)施方式中，根據(jù)通過(guò)設(shè)置在電子相框前面的照相機(jī)部所拍攝的圖 像，對(duì)正在觀看該電子相框的顯示部上所顯示的電子照片的人物進(jìn)行了判斷，但是，即 使電子相框中沒(méi)有裝備照相機(jī)部，也可以根據(jù)從外部輸入的信息，對(duì)正在觀看該電子相 框的顯示部上所顯示的電子照片的人物的存在或者個(gè)人進(jìn)行判斷。另外，也可以不根據(jù)照相機(jī)部所拍攝的圖像，而根據(jù)通過(guò)麥克風(fēng)部所輸入的聲 音等來(lái)判斷人物的存在或者個(gè)人。另外，也可以不僅在通過(guò)照相機(jī)部所拍攝的圖像中檢測(cè)人物的臉，也根據(jù)所檢 測(cè)到的人物的臉部圖像檢測(cè)視線方向，僅當(dāng)視線方向朝向電子相框的方向時(shí)，判斷為正 在觀看在該電子相框的顯示部上所顯示的電子照片。另外，在實(shí)施方式中，在確定了要在電子相框的顯示部上顯示的電子照片后， 根據(jù)面部表情來(lái)決定是否對(duì)該電子照片進(jìn)行顯示，但是，也可以根據(jù)正在觀看電子照片 的人物的面部表情，從多枚電子照片中選擇要顯示的電子照片。
權(quán)利要求
1.一種電子相框，其具備能夠依次顯示至少兩枚以上的電子照片的顯示部，該電子 相框的特征在于，具備表情判別單元，其對(duì)正在觀看在所述顯示部上顯示的電子照片的人物的面部表情進(jìn) 行判別；以及關(guān)聯(lián)存儲(chǔ)單元，其將與通過(guò)所述表情判別單元所判別的面部表情相關(guān)的信息和顯示 中的電子照片關(guān)聯(lián)起來(lái)進(jìn)行存儲(chǔ)。
2.根據(jù)權(quán)利要求1所述的電子相框，其特征在于，還具備顯示控制單元，其當(dāng)對(duì)在所述關(guān)聯(lián)存儲(chǔ)單元中存儲(chǔ)的電子照片進(jìn)行顯示 時(shí)，將與各電子照片相關(guān)聯(lián)地存儲(chǔ)的與面部表情相關(guān)的信息、和通過(guò)所述表情判別單元 所判別的人物的面部表情進(jìn)行比較，根據(jù)其比較結(jié)果，對(duì)在所述關(guān)聯(lián)存儲(chǔ)單元中存儲(chǔ)的 各電子照片的顯示進(jìn)行控制。
3.根據(jù)權(quán)利要求2所述的電子相框，其特征在于，所述顯示控制單元包含關(guān)聯(lián)判別單元，其當(dāng)要在所述顯示部上顯示所述兩枚以上的電子照片中的某一枚 時(shí)，判別符合與通過(guò)所述表情判別單元所判別的面部表情相關(guān)的信息的信息，是否已與 現(xiàn)在要顯示的電子照片關(guān)聯(lián)起來(lái)；以及顯示允許單元，其在所述關(guān)聯(lián)判別單元的判別結(jié)果為肯定時(shí)，允許向所述顯示部顯 示電子照片。
4.根據(jù)權(quán)利要求2所述的電子相框，其特征在于，所述顯示控制單元根據(jù)通過(guò)所述表情判別單元所判別的人物的面部表情，從在所述 關(guān)聯(lián)存儲(chǔ)單元中存儲(chǔ)的多枚電子照片中選擇要在所述顯示部上顯示的電子圖像。
5.根據(jù)權(quán)利要求1所述的電子相框，其特征在于，當(dāng)在所述顯示部上顯示電子照片時(shí)，所述表情判別單元將視線朝向該顯示部方向的 人物確定為正在觀看在該顯示部上所顯示的電子照片的人物。
6.根據(jù)權(quán)利要求1所述的電子相框，其特征在于，還具備攝像單元，其拍攝被拍攝體來(lái)取得圖像，當(dāng)在所述顯示部上顯示電子照片時(shí)，所述表情判別單元將在通過(guò)所述攝像單元所取 得的圖像內(nèi)檢測(cè)出的人物確定為正在觀看在所述顯示部上所顯示的電子照片的人物，通 過(guò)基于該圖像的圖像識(shí)別處理，判別該人物的表情。
7.根據(jù)權(quán)利要求1所述的電子相框，其特征在于，還具備人物確定信息保持單元，其保持與人物的臉相關(guān)的信息；以及人物確定單元，其根據(jù)在所述人物確定信息保持單元中保持的信息，確定正在觀看 在所述顯示部上所顯示的電子照片的人物，所述關(guān)聯(lián)存儲(chǔ)單元，將與通過(guò)所述表情判別單元所判別的面部表情相關(guān)的信息，作 為與通過(guò)所述人物確定單元所確定的人物相關(guān)的信息，與顯示中的電子照片關(guān)聯(lián)起來(lái)進(jìn) 行存儲(chǔ)。
8.根據(jù)權(quán)利要求3所述的電子相框，其特征在于，所述人物確定信息保持單元，將與可能觀看所述電子照片的人物的臉相關(guān)的信息任 意地進(jìn)行登錄，并進(jìn)行保持。
9.根據(jù)權(quán)利要求1所述的電子相框，其特征在于， 還具有人物確定單元，其當(dāng)要在所述顯示部上顯示所述兩枚以上的電子照片中的某一枚 時(shí)，確定正將視線朝向該顯示部方向的人物，所述表情判別單元對(duì)通過(guò)所述人物確定單元所確定的人物的面部表情進(jìn)行判別。
10.根據(jù)權(quán)利要求1所述的電子相框，其特征在于，所述關(guān)聯(lián)存儲(chǔ)單元，在對(duì)于應(yīng)該顯示的電子照片未關(guān)聯(lián)地存儲(chǔ)與所述面部表情相關(guān) 的信息的情況下，將與所述面部表情相關(guān)的信息關(guān)聯(lián)地存儲(chǔ)。
11.根據(jù)權(quán)利要求1所述的電子相框，其特征在于，所述關(guān)聯(lián)存儲(chǔ)單元，即使在已經(jīng)與應(yīng)該顯示的電子照片相關(guān)聯(lián)地存儲(chǔ)與所述面部表 情相關(guān)的信息的情況下，在從存儲(chǔ)該信息開(kāi)始經(jīng)過(guò)了一定期間后，重新關(guān)聯(lián)地存儲(chǔ)與所 述面部相關(guān)的信息。
12.根據(jù)權(quán)利要求9所述的電子相框，其特征在于，所述表情判別單元，當(dāng)所述人物確定單元確定的結(jié)果為，根據(jù)所述人物確定信息保 持單元中保持的信息沒(méi)有確定出正在將視線朝向所述顯示部方向的人物時(shí)，不管所述人 物確定單元的確定結(jié)果如何，對(duì)該人物的面部表情進(jìn)行判別，所述關(guān)聯(lián)存儲(chǔ)單元，判別符合與通過(guò)所述表情判別單元所判別的面部表情相關(guān)的信 息的信息，是否已與現(xiàn)在要顯示的電子照片關(guān)聯(lián)起來(lái)。
13.—種電子相框，其具備能夠依次顯示至少兩枚以上的電子照片的顯示部，該電子 相框的特征在于，具備表情判別單元，其當(dāng)要在所述顯示部上顯示所述兩枚以上的電子照片的某一枚時(shí)， 判別正在將視線朝向該顯示部方向的人物的面部表情；關(guān)聯(lián)判別單元，其判別符合與通過(guò)所述表情判別單元所判別的面部表情相關(guān)的信息 的信息，是否已與現(xiàn)在要顯示的電子照片關(guān)聯(lián)起來(lái)；以及顯示允許單元，其在所述關(guān)聯(lián)判別單元的判別結(jié)果為肯定時(shí)，允許向所述顯示部顯 示電子照片。
14.根據(jù)權(quán)利要求13所述的電子相框，其特征在于， 還具備人物確定信息保持單元，其保持與人物的臉相關(guān)的信息；以及 人物確定單元，其根據(jù)所述人物確定信息保持單元中保持的信息，確定正在觀看在 所述顯示部上所顯示的電子照片的人物，所述關(guān)聯(lián)判別單元，判別符合與通過(guò)所述表情判別單元所判別的面部表情相關(guān)的信 息的信息，作為與通過(guò)所述人物確定單元所確定的人物相關(guān)的信息，是否已與現(xiàn)在要顯 示的電子照片關(guān)聯(lián)起來(lái)。
15.一種電子相框的控制方法，所述電子相框具備能夠依次顯示至少兩枚以上的電子 照片的顯示部，該電子相框的控制方法的特征在于，包含表情判別步驟，其對(duì)正在觀看在所述顯示部上所顯示的電子照片的人物的面部表情 進(jìn)行判別；以及關(guān)聯(lián)存儲(chǔ)步驟，其將與通過(guò)所述表情判別步驟所判別的面部表情相關(guān)的信息與顯示 中的電子照片關(guān)聯(lián)起來(lái)進(jìn)行存儲(chǔ)。
16. 一種電子相框的控制方法，所述電子相框具備能夠依次顯示至少兩枚以上的電子 照片的顯示部，該電子相框的控制方法的特征在于， 包含表情判別步驟，其當(dāng)要在所述顯示部上顯示所述兩枚以上的電子照片中的某一枚 時(shí)，對(duì)正在將視線朝向該顯示部方向的人物的面部表情進(jìn)行判別；關(guān)聯(lián)判別步驟，其判別符合與通過(guò)所述表情判別步驟所判別的面部表情相關(guān)的信息 的信息，是否已與現(xiàn)在要顯示的電子照片關(guān)聯(lián)起來(lái)；以及顯示允許步驟，其當(dāng)所述關(guān)聯(lián)判別步驟的判別結(jié)果為肯定時(shí)，允許向所述顯示部顯 示電子照片。
全文摘要
本發(fā)明提供一種電子相框及其控制方法，該電子相框具備能夠依次顯示至少兩枚以上的電子照片的顯示部，并對(duì)正在觀看在所述顯示部上顯示的電子照片的人物的面部表情進(jìn)行判斷。將與所判斷出的面部表情相關(guān)的信息和顯示中的電子照片關(guān)聯(lián)起來(lái)，并進(jìn)行存儲(chǔ)。另外，當(dāng)對(duì)該存儲(chǔ)的電子照片進(jìn)行顯示時(shí)，將與各電子照片關(guān)聯(lián)存儲(chǔ)的與面部表情相關(guān)的信息和所判斷的人物的面部表情進(jìn)行比較，根據(jù)其比較結(jié)果對(duì)存儲(chǔ)的各電子照片的顯示進(jìn)行控制。
文檔編號(hào)H04N1/21GK102014237SQ201010275698
公開(kāi)日2011年4月13日 申請(qǐng)日期2010年9月3日 優(yōu)先權(quán)日2009年9月4日
發(fā)明者上原直隆, 半田哲也, 小金孝行, 布川佑人, 水野公靖, 相原岳浩, 筱原純?nèi)? 雨谷一志 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社