專利名稱：服務(wù)器設(shè)備、客戶端設(shè)備、內(nèi)容推薦方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種能夠推薦商品、或服務(wù)等的內(nèi)容的服務(wù)器設(shè)備、客戶端設(shè)備、內(nèi)容推薦方法和程序。
背景技術(shù)：
在相關(guān)技術(shù)中，例如在電子商務(wù)站點(diǎn)中，使用用戶的瀏覽歷史和購買歷史來向用戶推薦商品、或服務(wù)等的內(nèi)容。此外，在網(wǎng)頁檢索服務(wù)中，使用由用戶瀏覽的網(wǎng)站的內(nèi)容、由用戶輸入的檢索詞、或用戶的網(wǎng)頁瀏覽歷史等來顯示內(nèi)容的廣告信息。日本專利申請?zhí)亻_第2009-147679號(hào)(下文中，稱為專利文獻(xiàn)1)公開了基于在由用戶觀看的TV節(jié)目等中插入的商業(yè)廣告(commercial)來分析用戶的嗜好，并指定適合于用戶的嗜好的商品，從而生成推薦商品的信息。

發(fā)明內(nèi)容
然而，在前述的電子商務(wù)站點(diǎn)和網(wǎng)頁廣告的方法中，基于在用戶使用具體站點(diǎn)或具體檢索服務(wù)的情況下的歷史信息來決定要推薦的內(nèi)容，但是沒有考慮在用戶使用另一電子商務(wù)站點(diǎn)或另一檢索服務(wù)的情況下的歷史信息。因此，在這些方法中，在所推薦的內(nèi)容上沒有反映出用戶的日常行為中的嗜好。此外，在專利文獻(xiàn)1所公開的技術(shù)中，用戶對于TV節(jié)目的嗜好被反映在所推薦的內(nèi)容上，但是如上所述，難以在所推薦的內(nèi)容上反映出用戶的日常行為中的嗜好。鑒于前述情形，期望提供一種能夠基于從用戶的日常行為趨勢中提取的特征來推薦真實(shí)地反映出用戶的嗜好的內(nèi)容的服務(wù)器設(shè)備、客戶端設(shè)備、內(nèi)容推薦方法和程序。根據(jù)本發(fā)明的實(shí)施例，提供了一種服務(wù)器設(shè)備，包括第一存儲(chǔ)器、第二存儲(chǔ)器、通信單元和控制器。所述第一存儲(chǔ)器被配置為存儲(chǔ)通過執(zhí)行多條第一元信息和多條第二元信息的統(tǒng)計(jì)處理而生成的統(tǒng)計(jì)信息。所述統(tǒng)計(jì)信息針對每條第二元信息來指明作為所述多條第二元信息的導(dǎo)出源的所述多條第一元信息的頻率。從多個(gè)用戶所拍攝的圖像數(shù)據(jù)中提取所述多條第一元信息。通過分析而從所述多條第一元信息中導(dǎo)出所述多條第二元信息。所述第二存儲(chǔ)器被配置為存儲(chǔ)指明要推薦的商品內(nèi)容和服務(wù)內(nèi)容之一的多條不同的內(nèi)容信息。所述通信單元被配置為從所述多個(gè)用戶之一的客戶端設(shè)備接收在所述客戶端設(shè)備中從所述多條第一元信息導(dǎo)出的第二元信息。所述控制器被配置為基于所接收的第二元信息和所存儲(chǔ)的統(tǒng)計(jì)信息來從所存儲(chǔ)的多條內(nèi)容信息中選擇與對于所接收的第二元信息、具有預(yù)定頻率或更高頻率的第一元信息相關(guān)的內(nèi)容信息。此外，所述控制器控制所述通信單元以向所述客戶端設(shè)備傳送所選擇的內(nèi)容信息。利用這個(gè)結(jié)構(gòu)，基于所存儲(chǔ)的統(tǒng)計(jì)信息和從客戶端設(shè)備接收的第二元信息，服務(wù)器設(shè)備能夠選擇要向客戶端設(shè)備的用戶推薦的內(nèi)容信息，并將所述內(nèi)容信息提供給客戶端設(shè)備。通過基于從用戶所拍攝的圖像中提取的多條第一元信息中導(dǎo)出的第二元信息來選擇內(nèi)容信息，推薦了在其上反映出從用戶的日常行為的趨勢中提取的嗜好的內(nèi)容信息。
所述第二元信息可包括指明所述圖像中的人員的人員信息、和指明所述人員的行為細(xì)節(jié)的行為信息。在這個(gè)情況下，所述控制器可被配置為分別比較在包括于統(tǒng)計(jì)信息中的第二元信息中包括的第一人員信息和第一行為信息、和在從客戶端設(shè)備傳送的第二元信息中包括的第二人員信息和第二行為信息，以計(jì)算指明第一人員信息與第二人員信息之間的類似度的第一類似度、和指明第一行為信息與第二行為信息之間的類似度的第二類似度。此外，所述控制器可被配置為通過相加所計(jì)算的第一類似度和第二類似度來計(jì)算第三類似度，并選擇與對于如下的第二元信息、具有預(yù)定頻率或更高頻率的第一元信息相關(guān)的內(nèi)容信息，所述第二元信息與從所述客戶端設(shè)備傳送的第二元信息具有等于或高于預(yù)定類似度的第三類似度。利用這個(gè)結(jié)構(gòu)，服務(wù)器設(shè)備基于從拍攝的圖像獲得的人員和行為細(xì)節(jié)來計(jì)算在各條第二元信息之間的類似度，并基于該類似度來選擇內(nèi)容信息，從而可能推薦更適合于用戶的日常行為的趨勢的內(nèi)容信息。所述內(nèi)容信息可以是指明用于旅行的商品的信息。在這個(gè)情況下，所述通信單元可被配置為從所述客戶端設(shè)備接收所述多條第二元信息。此外，在這個(gè)情況下，所述控制器可被配置為針對每條第二元信息來選擇與對于所接收的多條第二元信息、具有預(yù)定頻率或更高頻率的多條第一元信息相關(guān)的并且能夠被設(shè)置為旅行中的行程(course)的各條內(nèi)容信息。此外，所述控制器可被配置為生成通過綜合所選擇的各條內(nèi)容信息而獲得的綜合內(nèi)容信息，并控制所述通信單元向所述客戶端設(shè)備傳送所生成的綜合內(nèi)容信息。利用這個(gè)結(jié)構(gòu)，服務(wù)器設(shè)備分別綜合與第一元信息相關(guān)的、作為旅行中的行程的多條內(nèi)容信息，從而使得可能推薦基于用戶的多個(gè)嗜好而安排的旅行計(jì)劃。結(jié)果，與其中僅僅將旅行計(jì)劃推薦為與第一元信息相關(guān)的一條內(nèi)容信息的情況相比，由于各種協(xié)同效果而可以期望用戶滿意水平上的提高。所接收的多條第二元信息可具有指明多條行為信息的相關(guān)性的相關(guān)性信息。在這個(gè)情況下，所述控制器可被配置為基于所述相關(guān)性信息來確定被設(shè)置為行程的各條內(nèi)容信息以及其設(shè)置的順序。利用這個(gè)結(jié)構(gòu)，根據(jù)所述相關(guān)性信息，服務(wù)器設(shè)備可識(shí)別客戶端設(shè)備的用戶在特定行為之后高度頻繁地采取的行為。據(jù)此，可以設(shè)置旅行中的行程。這樣，作為向用戶提供的綜合內(nèi)容的用于旅行的商品是基于用戶的通常行為式樣(pattern)，并因此可高度可能地被用戶所采用。所述第二元信息可具有指明與行為信息對應(yīng)的日期的日期信息。在這個(gè)情況下， 所述控制器可被配置為基于在包括于統(tǒng)計(jì)信息中的多條第二元信息中包括的行為信息和日期信息來生成轉(zhuǎn)變概率信息，該轉(zhuǎn)變概率信息指明在所述行為細(xì)節(jié)之中從第一行為細(xì)節(jié)向第二行為細(xì)節(jié)轉(zhuǎn)變的概率。此外，所述控制器可被配置為基于所生成的轉(zhuǎn)變概率信息，來選擇與如下的行為細(xì)節(jié)相關(guān)的內(nèi)容信息，所述行為細(xì)節(jié)的從包括于所接收的第二元信息中的行為信息所指明的行為細(xì)節(jié)的轉(zhuǎn)變的概率等于或高于預(yù)定概率。利用這個(gè)結(jié)構(gòu)，服務(wù)器設(shè)備根據(jù)第二元信息來為每個(gè)用戶生成行為細(xì)節(jié)的轉(zhuǎn)變概率，并且可以向用戶推薦與如下的行為細(xì)節(jié)相關(guān)的商品或服務(wù)，所述行為細(xì)節(jié)具有從所接收的第二元信息所指明的行為細(xì)節(jié)的較高轉(zhuǎn)變概率。也就是說，服務(wù)器設(shè)備可向用戶推薦在用戶的特定行為之后的行為所高度可能需要的商品或服務(wù)，從而用戶可容易地為下一行為做好準(zhǔn)備。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種包括通信單元、存儲(chǔ)器、控制器和輸出單元的客戶端設(shè)備。所述通信單元被配置為與服務(wù)器設(shè)備通信，該服務(wù)器設(shè)備存儲(chǔ)了指明要被推薦的商品內(nèi)容和服務(wù)內(nèi)容之一的多條不同的內(nèi)容信息。所述存儲(chǔ)器被配置為存儲(chǔ)用戶所拍攝的圖像數(shù)據(jù)。所述控制器被配置為從所述圖像數(shù)據(jù)中提取多條第一元信息，通過分析所提取的多條第一元信息來導(dǎo)出第二元信息，并且控制所述通信單元以基于所導(dǎo)出的第二元信息來接收在服務(wù)器設(shè)備中存儲(chǔ)的多條內(nèi)容信息之中的與所述第二元信息相關(guān)的內(nèi)容信息。所述輸出單元被配置為輸出所接收的內(nèi)容信息。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種內(nèi)容推薦方法，包括存儲(chǔ)通過執(zhí)行多條第一元信息和多條第二元信息的統(tǒng)計(jì)處理而生成的統(tǒng)計(jì)信息。所述統(tǒng)計(jì)信息針對每條第二元信息來指明作為所述多條第二元信息的導(dǎo)出源的所述多條第一元信息的頻率。所述多條第一元信息從多個(gè)用戶所拍攝的圖像數(shù)據(jù)中提取。所述多條第二元信息通過分析而從所述多條第一元信息中導(dǎo)出。此外，所述內(nèi)容推薦方法包括存儲(chǔ)指明要推薦的商品內(nèi)容和服務(wù)內(nèi)容之一的多條不同的內(nèi)容信息。從所述多個(gè)用戶之一的客戶端設(shè)備接收在所述客戶端設(shè)備中從所述多條第一元信息導(dǎo)出的第二元信息。基于所接收的第二元信息和所存儲(chǔ)的統(tǒng)計(jì)信息，來從所存儲(chǔ)的多條內(nèi)容信息中選擇與對于所接收的第二元信息、具有預(yù)定頻率或更高頻率的第一元信息相關(guān)的內(nèi)容信息。向所述客戶端設(shè)備傳送所選擇的內(nèi)容信息。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種內(nèi)容推薦方法，包括存儲(chǔ)用戶所拍攝的圖像數(shù)據(jù)，從所述圖像數(shù)據(jù)中提取多條第一元信息，通過分析所提取的多條第一元信息來導(dǎo)出第二元信息，基于所導(dǎo)出的第二元信息來接收在服務(wù)器設(shè)備中存儲(chǔ)的多條內(nèi)容信息之中的與所述第二元信息相關(guān)的內(nèi)容信息，并輸出所接收的內(nèi)容信息。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種被配置為促使服務(wù)器設(shè)備執(zhí)行第一存儲(chǔ)步驟、第二存儲(chǔ)步驟、接收步驟、選擇步驟和傳送步驟的程序。在所述第一存儲(chǔ)步驟中，存儲(chǔ)通過執(zhí)行多條第一元信息和多條第二元信息的統(tǒng)計(jì)處理而生成的統(tǒng)計(jì)信息。所述統(tǒng)計(jì)信息針對每條第二元信息來指明作為所述多條第二元信息的導(dǎo)出源的所述多條第一元信息的頻率。所述多條第一元信息從多個(gè)用戶所拍攝的圖像數(shù)據(jù)中提取，以及所述多條第二元信息通過分析而從所述多條第一元信息中導(dǎo)出。在第二存儲(chǔ)步驟中，存儲(chǔ)指明要推薦的商品內(nèi)容和服務(wù)內(nèi)容之一的多條不同的內(nèi)容信息。在所述接收步驟中，從所述多個(gè)用戶之一的客戶端設(shè)備接收在所述客戶端設(shè)備中從所述多條第一元信息導(dǎo)出的第二元信息。在所述選擇步驟中，基于所接收的第二元信息和所存儲(chǔ)的統(tǒng)計(jì)信息，來從所存儲(chǔ)的多條內(nèi)容信息中選擇與對于所接收的第二元信息、具有預(yù)定頻率或更高頻率的第一元信息相關(guān)的內(nèi)容信息。 在所述傳送步驟中，向所述客戶端設(shè)備傳送所選擇的內(nèi)容信息。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種被配置為促使客戶端設(shè)備執(zhí)行存儲(chǔ)步驟、 提取步驟、導(dǎo)出步驟、接收步驟、和輸出步驟的程序。在所述存儲(chǔ)步驟中，存儲(chǔ)用戶所拍攝的圖像數(shù)據(jù)。在所述提取步驟中，從所述圖像數(shù)據(jù)中提取多條第一元信息。在所述導(dǎo)出步驟中，通過分析所提取的多條第一元信息來導(dǎo)出第二元信息。在所述接收步驟中，基于所導(dǎo)出的第二元信息來接收在服務(wù)器設(shè)備中存儲(chǔ)的多條內(nèi)容信息之中的與所述第二元信息相關(guān)的內(nèi)容信息。在所述輸出步驟中，輸出所接收的內(nèi)容信息。如上所述，根據(jù)本發(fā)明的實(shí)施例，可能根據(jù)從用戶的日常行為的趨勢提取的特征
7來推薦真實(shí)地基于用戶的嗜好的內(nèi)容。借助于如附圖所圖示的本發(fā)明最佳模式實(shí)施例的如下詳細(xì)描述，本發(fā)明的這些和其它目標(biāo)、特征和優(yōu)點(diǎn)將變得更明顯。


圖1是示出了在本發(fā)明實(shí)施例中的內(nèi)容推薦系統(tǒng)的概要的圖；圖2是示出了根據(jù)本發(fā)明實(shí)施例的PC的硬件結(jié)構(gòu)的圖；圖3是示出了根據(jù)本發(fā)明實(shí)施例的服務(wù)器的硬件結(jié)構(gòu)的圖；圖4是示出了根據(jù)本發(fā)明實(shí)施例的服務(wù)器和PC的軟件結(jié)構(gòu)的圖；圖5是示出了在本發(fā)明實(shí)施例中的個(gè)人(individual)元DB的示例的圖；圖6是示出了在本發(fā)明實(shí)施例中的多用戶統(tǒng)計(jì)元DB的示例的圖；圖7是示出了根據(jù)本發(fā)明實(shí)施例的由PC和服務(wù)器執(zhí)行的再現(xiàn)控制處理的流程的次序圖；圖8是示出了在本發(fā)明實(shí)施例中的個(gè)人特征的類似度計(jì)算處理的流程的流程圖；圖9A和9B是示出了在本發(fā)明實(shí)施例中的個(gè)人特征的類似度計(jì)算處理的示例的圖；圖IOA和IOB是示出了在本發(fā)明實(shí)施例中的推薦內(nèi)容信息的顯示示例的圖；以及圖IlA和IlB是示出了在本發(fā)明另一實(shí)施例中的在基于行為預(yù)測而推薦內(nèi)容信息的情況下的行為預(yù)測處理的圖。
具體實(shí)施例方式下文中，將參考附圖來描述本發(fā)明的實(shí)施例。(系統(tǒng)的概要)圖1是示出了在本發(fā)明實(shí)施例中的內(nèi)容推薦系統(tǒng)的概要的圖。如圖1所示，內(nèi)容推薦系統(tǒng)通過經(jīng)由網(wǎng)絡(luò)3彼此連接PC 100、其它PC 150、和服務(wù)器200來構(gòu)成。PC 100和其它PC 150中的每一個(gè)從每個(gè)用戶所拍攝的運(yùn)動(dòng)圖像或靜止圖像中提取元信息，并將該圖像傳送到服務(wù)器200?；趶腜C 100和其它PC 150接收的元信息，服務(wù)器200從與其中存儲(chǔ)的商品或服務(wù)相關(guān)的多條內(nèi)容信息中選擇要向PC 100和其它PC 150 的每個(gè)用戶推薦的內(nèi)容信息，并將所選擇的內(nèi)容信息傳送到PC 100和其它PC 150。網(wǎng)絡(luò)3 指的是因特網(wǎng)、LAN(局域網(wǎng))、或WAN(廣域網(wǎng))等。(PC的硬件結(jié)構(gòu))圖2是示出了 PC 100的硬件結(jié)構(gòu)的圖。如圖2所示，PC 100提供有CPU(中央處理單元)11、R0M(只讀存儲(chǔ)器)12、RAM(隨機(jī)存取存儲(chǔ)器)13、輸入和輸出接口 15、和將這些元件彼此連接的總線14。CPU 11在需要時(shí)訪問RAM 13等，并且在執(zhí)行各種計(jì)算處理的同時(shí)執(zhí)行PC 100的全部塊的總體控制。ROM 12是非易失性存儲(chǔ)器，其中固定地第存儲(chǔ)了 OS、程序、和諸如各種參數(shù)的固件等。RAM 13被用作CPU 11的工作區(qū)等，并臨時(shí)地存儲(chǔ)OS、執(zhí)行中的各種應(yīng)用、 或者正被處理的各條數(shù)據(jù)。顯示器16、輸入單元17、存儲(chǔ)器18、通信單元19、和驅(qū)動(dòng)單元20等被連接到輸入和輸出接口 15。顯示器16是使用液晶、EL(電發(fā)光)、或CRT(陰極射線管)等的顯示裝置。顯示器16可構(gòu)建在PC 100中，或者可外部地連接到PC 100。輸入單元17例如是諸如鼠標(biāo)的指向裝置、鍵盤、觸摸面板、或另一操作設(shè)備。在其中輸入單元17包括觸摸面板的情況下，該觸摸面板可被集成地提供有顯示器16。存儲(chǔ)器18是諸如HDD (硬盤驅(qū)動(dòng)器)、閃存、和另一固態(tài)存儲(chǔ)器的非易失性存儲(chǔ)器。 在存儲(chǔ)器18中，存儲(chǔ)了 OS、各種應(yīng)用、以及各條數(shù)據(jù)。具體地，在這個(gè)實(shí)施例中，從加載自存儲(chǔ)介質(zhì)5的運(yùn)動(dòng)圖像、或靜止圖像等的數(shù)據(jù)中提取元信息，并且在存儲(chǔ)器18中存儲(chǔ)用于基于所述元信息來顯示由服務(wù)器200選擇的內(nèi)容信息的內(nèi)容推薦應(yīng)用以及所提取的元信息。驅(qū)動(dòng)單元20驅(qū)動(dòng)諸如存儲(chǔ)卡、光記錄介質(zhì)、軟(floppy)(注冊商標(biāo))盤、和磁記錄帶之類的可移除存儲(chǔ)介質(zhì)5，并且讀取在記錄介質(zhì)5中記錄的數(shù)據(jù)和將數(shù)據(jù)寫入到記錄介質(zhì)5。典型地，記錄介質(zhì)5是裝入到數(shù)字相機(jī)中的存儲(chǔ)卡，并且PC 100從取出自數(shù)字相機(jī)并裝入到驅(qū)動(dòng)單元20中的存儲(chǔ)卡中讀取靜止圖像或運(yùn)動(dòng)圖像的數(shù)據(jù)。數(shù)字相機(jī)和PC 100可通過USB(通用串行總線)線纜等來連接，以便在將存儲(chǔ)卡裝入數(shù)字相機(jī)中的情況下將靜止圖像或運(yùn)動(dòng)圖像從存儲(chǔ)卡加載到PC 100。通信單元19是可連接到網(wǎng)絡(luò)3的NIC(網(wǎng)絡(luò)接口卡)等。通信單元19可執(zhí)行有線或無線通信。(服務(wù)器的硬件結(jié)構(gòu))圖3是示出了服務(wù)器200的硬件結(jié)構(gòu)的圖。如圖3所示，服務(wù)器200提供有CPU 21、ROM 22、RAM 23、輸入和輸出接口 25、和將這些元件彼此連接的總線對。顯示器沈、輸入單元27、存儲(chǔ)器觀、通信單元四、和驅(qū)動(dòng)單元30等被連接到輸入和輸出接口 25。這些塊的功能與PC 100的塊的功能相同，因此將省略其描述。在存儲(chǔ)器觀中，存儲(chǔ)了指明用于向用戶推薦的商品或服務(wù)的內(nèi)容信息、用于通過從所涉及的內(nèi)容信息中選擇要向用戶推薦的內(nèi)容信息以提供給PC100或PC 150的推薦內(nèi)容選擇應(yīng)用、或所述推薦所需要的數(shù)據(jù)庫等。(PC和服務(wù)器的軟件結(jié)構(gòu))圖4是示出了用于內(nèi)容推薦的PC 100和服務(wù)器200的功能塊的圖。如圖4所示，PC 100包括讀取單元31、運(yùn)動(dòng)圖像解碼器32、音頻解碼器33、靜止圖像解碼器34、運(yùn)動(dòng)圖像分析單元35、音頻分析單元36、靜止圖像分析單元37、上位含義信息分析單元38、下位含義信息分析單元39、個(gè)人特征提取單元40、和個(gè)人元DB (數(shù)據(jù)庫)41。讀取單元31從記錄介質(zhì)5中讀取運(yùn)動(dòng)圖像內(nèi)容或靜止圖像數(shù)據(jù)，所述記錄介質(zhì)5 諸如在圖像拍攝設(shè)備中構(gòu)建的存儲(chǔ)卡、或者從圖像拍攝設(shè)備中取出的存儲(chǔ)卡，所述圖像拍攝設(shè)備諸如數(shù)字照相機(jī)和數(shù)字?jǐn)z像機(jī)。例如，基于日期或時(shí)間段來為每個(gè)群組讀取靜止圖像數(shù)據(jù)。在其中已經(jīng)讀取的數(shù)據(jù)是運(yùn)動(dòng)圖像內(nèi)容的情況下，讀取單元31將該運(yùn)動(dòng)圖像內(nèi)容劃分為運(yùn)動(dòng)圖像數(shù)據(jù)和音頻數(shù)據(jù)。然后，讀取單元31將運(yùn)動(dòng)圖像數(shù)據(jù)輸出到運(yùn)動(dòng)圖像解碼器32，將音頻數(shù)據(jù)輸出到音頻解碼器33，并將靜止圖像數(shù)據(jù)輸出到靜止圖像解碼器34。運(yùn)動(dòng)圖像解碼器32對運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行解碼，并將數(shù)據(jù)輸出到運(yùn)動(dòng)圖像分析單元35。音頻解碼器33對音頻數(shù)據(jù)進(jìn)行解碼，并將數(shù)據(jù)輸出到音頻分析單元36。靜止圖像解碼器34對靜止圖像數(shù)據(jù)進(jìn)行解碼，并將數(shù)據(jù)輸出到靜止圖像分析單元37。
運(yùn)動(dòng)圖像分析單元35從運(yùn)動(dòng)圖像數(shù)據(jù)中提取客觀的特征信息，并基于所述特征信息來提取下位元信息(含義信息)。按照相同的方式，音頻分析單元36和靜止圖像分析單元37分別從音頻數(shù)據(jù)和靜止圖像數(shù)據(jù)中提取客觀的特征信息，并且基于所述特征信息來提取下位元信息。為了提取下位元信息，還使用了在下文中描述的技術(shù)，即 Understanding Video Events :A Surveyof Methods for Automatic Interpretation of Semantic Occurrences in Video, GalLavee, Ehud Rivlin, and Michael Rudzsky, IEEE TRANSACTIONS 0NSYSTEMS, MAN, AND CYBERNETICS-PART CAPPLICATIONS ANDREVIEWS, VOL. 39，NO. 5，September 2009。在特征信息的提取中，運(yùn)動(dòng)圖像分析單元35執(zhí)行基于像素的處理，諸如色彩和紋理特征提取、梯度計(jì)算、和邊緣提取；或者基于對象的處理，諸如人員或面部的檢測和識(shí)別，對象的識(shí)別，人員、面部或?qū)ο蟮倪\(yùn)動(dòng)檢測和速度檢測。在人員檢測中，運(yùn)動(dòng)圖像分析單元35使用用于指明人形等的特征濾波器，從而從運(yùn)動(dòng)圖像中檢測用于指明人員的區(qū)域。在面部檢測中，運(yùn)動(dòng)圖像分析單元35例如使用用于指明眼睛、鼻子、眉毛、頭發(fā)、和面頰等的位置關(guān)系的特征的特征濾波器或膚色信息，從而從運(yùn)動(dòng)圖像中檢測用于指明面部的區(qū)域。此外，運(yùn)動(dòng)圖像分析單元35不僅能夠識(shí)別人員或面部的存在或不存在，而且能夠識(shí)別特定的人員。對于所述識(shí)別，例如使用邊緣強(qiáng)度圖像特征、頻率強(qiáng)度圖像特征、高階自相關(guān)特征、或顏色轉(zhuǎn)換圖像特征等。例如，在使用邊緣強(qiáng)度圖像的情況下，運(yùn)動(dòng)圖像分析單元35存儲(chǔ)灰度級(jí)圖像和邊緣強(qiáng)度圖像作為要識(shí)別的人員(諸如父母、孩子、配偶、和朋友的所涉及的人員)的特征數(shù)據(jù)，按照相同的方式從其面部被檢測的人員的面部圖像中提取灰度級(jí)圖像和邊緣強(qiáng)度圖像，并執(zhí)行灰度級(jí)圖像和邊緣強(qiáng)度圖像二者的式樣匹配，從而識(shí)別特定人員的面部。在對象識(shí)別中，運(yùn)動(dòng)圖像分析單元35例如使用所存儲(chǔ)的識(shí)別模型來識(shí)別對于每個(gè)事件唯一的對象，從而判斷是否包括要被標(biāo)識(shí)的對象。根據(jù)用于預(yù)先學(xué)習(xí)的圖像、通過諸如SVM(支持向量機(jī)器)的機(jī)器學(xué)習(xí)來構(gòu)造識(shí)別模型。此外，運(yùn)動(dòng)圖像分析單元35還能夠識(shí)別運(yùn)動(dòng)圖像中的除了人員和對象之外的背景。例如，運(yùn)動(dòng)圖像分析單元35使用通過諸如SVM的機(jī)器學(xué)習(xí)、從用于學(xué)習(xí)的圖像中預(yù)先構(gòu)造的模型，從而將運(yùn)動(dòng)圖像的背景例如分類為城鎮(zhèn)、室內(nèi)、戶外、海濱、水中的場景、夜景、 日落、雪景、或擁擠。這里，在運(yùn)動(dòng)圖像內(nèi)容由多個(gè)場景構(gòu)成的情況下，在提取下位元信息之前，運(yùn)動(dòng)圖像分析單元35從運(yùn)動(dòng)圖像內(nèi)容中檢測諸如剪輯和退色的視頻特征，并將運(yùn)動(dòng)圖像內(nèi)容分類為多個(gè)場景。音頻分析單元36在特征信息的提取中從音頻數(shù)據(jù)中檢測人員的語音、除了人員之外的環(huán)境中的聲音、諸如其功率和音調(diào)之類的特征。為了在人員的語音和環(huán)境中的聲音之間進(jìn)行辨別，例如使用預(yù)定功率或更大的音頻持續(xù)時(shí)間。在特征信息的提取中，靜止圖像分析單元37執(zhí)行可由運(yùn)動(dòng)圖像分析單元35執(zhí)行的分析處理的靜態(tài)處理，諸如顏色和紋理特征提取、梯度計(jì)算、邊緣提取、人員、面部或?qū)ο蟮臋z測、以及背景的識(shí)別。此外，在標(biāo)簽(標(biāo)記)信息被包含在每條數(shù)據(jù)的情況下，分析單元35到37提取標(biāo)簽信息作為特征信息。作為標(biāo)簽信息，例如使用用于指明事件的細(xì)節(jié)的信息、或者圖像拍攝的日期和圖像拍攝的位置的信息?；谟煞治鰡卧?5到37的每一個(gè)提取的特征信息，分析單元35到37提取向其添加了更多具體含義的下位元信息(含義信息)。例如，基于所提取的人員特征或面部特征，運(yùn)動(dòng)圖像分析單元35識(shí)別個(gè)人、性別、 年齡、面部表情、姿態(tài)、衣服、人員數(shù)目、或整隊(duì)人等，作為下位元信息。此外，基于所述運(yùn)動(dòng)特征，運(yùn)動(dòng)圖像分析單元35識(shí)別活躍的或不活躍的運(yùn)動(dòng)、迅速或緩慢的運(yùn)動(dòng)、或者諸如站立、就坐、漫步、和跑步的人員的活動(dòng)，或者識(shí)別用人員的手而表達(dá)的姿勢等。例如，音頻分析單元36從所提取的音頻特征中提取掌聲、喝彩、來自揚(yáng)聲器的聲音、與語音對應(yīng)的感情、大笑、痛哭、交談的細(xì)節(jié)、基于回聲而獲得的特定延伸等，作為下位
Ttlfn 息 ο靜止圖像分析單元37識(shí)別在運(yùn)動(dòng)圖像分析單元35可識(shí)別的元信息之中的、與運(yùn)動(dòng)特征不相關(guān)的元信息。對于如上所述的下位元信息的提取，例如，使用基于諸如貝葉斯網(wǎng)絡(luò)、有限狀態(tài)機(jī)、條件隨機(jī)場(CRF conditional random field)、和隱藏馬爾可夫模型(HMM)的狀態(tài)空間表現(xiàn)的方法；基于諸如邏輯方式的含義模型、諸如佩特里網(wǎng)(Petri net)的離散事件系統(tǒng)、和約束滿足模型的方法；諸如SVM、最近鄰居方法和中立網(wǎng)的傳統(tǒng)式樣識(shí)別/分類方法； 或者各種其它方法。上位含義信息分析單元38基于由分析單元35至37的每個(gè)所提取的下位元信息來分析上位元信息，并導(dǎo)出頂部(top)元信息，該頂部元信息可解釋運(yùn)動(dòng)圖像的一個(gè)場景和靜止圖像的一個(gè)群組(這將被統(tǒng)稱為“場景”)的全部，即，事件。為了導(dǎo)出事件，還使用在下文中公開的技術(shù)，即 Event Miningin Multimedia Streams =Research on identifying and analyzing events andactivities in media collections had led to new technologies and systems, LexingXie, Hari Sundaram, and Murray Campbell, Proceedings of the IEEE Vol. 96, No. 4, April 2008。具體地，基于各條下位元信息，所述上位含義信息分析單元38分析與誰、什么、何時(shí)、何地、為什么和如何(下文中，稱為5W1H)對應(yīng)的多條元信息，逐漸增加萃取等級(jí)，并最終將場景歸類為一個(gè)事件。例如，從運(yùn)動(dòng)圖像或靜止圖像中提取與人員相關(guān)的元信息，諸如“大量孩子”、“大量父母和孩子”、和“體育服裝”；與人員的運(yùn)動(dòng)相關(guān)的元信息，諸如“活躍的運(yùn)動(dòng)”和“跑步形式”；以及與一般對象相關(guān)的元信息，諸如“學(xué)校建筑”。從聲音中提取諸如“通過揚(yáng)聲器的人員語音”、“掌聲”和“喝彩”的元信息。此外，在獲得諸如“小學(xué)”的位置信息、和“秋天” 的季節(jié)(日期)信息等作為其它元信息的情況下，上位含義信息分析單元38導(dǎo)出可通過綜合這些條信息而想象到的事件，即“小學(xué)中的運(yùn)動(dòng)會(huì)”。此外，在其中提取與拍攝圖像的人員或家庭相關(guān)的元信息的情況下，上位含義信息分析單元38甚至可導(dǎo)出以下事件，即“XX小學(xué)中的運(yùn)動(dòng)會(huì)”。下位含義信息分析單元39基于分析單元35至37的每個(gè)的所提取的下位元信息來生成PC 100的用戶的行為歷史信息。具體地，例如，基于諸如在拍攝靜止圖像或運(yùn)動(dòng)圖像時(shí)添加的位置信息(GPS信息)、日期信息、對象、和背景之類的元信息，下位含義信息分析單元39生成PC 100的用戶已經(jīng)游覽的位置、和用戶已經(jīng)游覽時(shí)的日期，作為行為歷史信息。個(gè)人特征提取單元40基于上位含義信息分析單元38所導(dǎo)出的事件(上位元信息)來生成表征PC 100的用戶的信息(下文中，稱為個(gè)人特征信息)。個(gè)人元DB 41將由下位含義信息分析單元39生成的行為歷史信息與已經(jīng)由個(gè)人特征提取單元40生成的用于表征個(gè)人的信息相關(guān)聯(lián)，并存儲(chǔ)所相關(guān)聯(lián)的信息。例如，個(gè)人元DB 41以及用于所述生成的上位元信息和下位元信息被周期性地傳送到服務(wù)器200。圖5是示出了個(gè)人元DB 41的示例的圖。如圖5所示，個(gè)人元DB 41包括個(gè)人特征信息42和行為歷史信息43。個(gè)人特征信息42是用于表征PC 100的用戶A的個(gè)人的信息，其從所述上位元信息中導(dǎo)出，諸如“為中年男人”、“具有小學(xué)的兒子”、“在夏季登山”和“在冬季出國”。個(gè)人特征信息42包括與5W1H對應(yīng)的各條信息中的任何信息。行為歷史信息43是用于指明PC 100的用戶已經(jīng)游覽的“地方”和每次游覽的“日期”的信息。所述信息從所述下位元信息中導(dǎo)出，諸如“x/x/2009，到‘00山’”和“X/V2010， 到‘ Δ Δ山’”。返回參考圖4，服務(wù)器200具有內(nèi)容DB 51、多用戶統(tǒng)計(jì)元DB 52、和相關(guān)內(nèi)容選擇單元53。內(nèi)容DB 51將用于指明作為要向PC 100的用戶或者其它PC 150的用戶推薦的候選者的商品或服務(wù)的內(nèi)容信息、和對推薦有用的信息相關(guān)聯(lián)，并存儲(chǔ)所述相關(guān)聯(lián)的信息。對推薦有用的信息例如指的是在推薦旅行物品的情況下的地方(目的地)。多用戶統(tǒng)計(jì)元DB 52存儲(chǔ)通過執(zhí)行從PC 100和其它PC 150周期性接收的個(gè)人元 DB 41的、以及包括在其中的各條上位元信息和各條下位元信息的統(tǒng)計(jì)處理而獲得結(jié)果。對于統(tǒng)計(jì)處理，使用諸如合作過濾之類的算法。相關(guān)內(nèi)容選擇單元53依照從PC 100或其它PC 150接收的上位元信息來檢查多用戶統(tǒng)計(jì)元DB 52，從而選擇被判斷為與PC 100或其它PC 150的用戶的行為相關(guān)的內(nèi)容信息，以將所述內(nèi)容信息傳送到PC 100或其它PC150。圖6是示出了多用戶統(tǒng)計(jì)元DB 52的示例的圖。如圖6所示，多用戶統(tǒng)計(jì)元DB 52 具有個(gè)人特征信息討和行為統(tǒng)計(jì)信息陽。個(gè)人特征信息M根據(jù)從PC 100和其它PC 150收集的各條上位元信息的屬性來分類所述各條上位元信息，并存儲(chǔ)所分類的信息。例如，作為彼此不同的已分類的各條信息，來存儲(chǔ)諸如“為中年男人”和“為中年女人”之類的指明年齡和性別的信息、諸如“具有小學(xué)的兒子”和“具有小學(xué)的女兒”之類的指明家庭成員的信息、諸如“在夏季登山”和“在夏季去游樂園”之類的指明每個(gè)季節(jié)的行為式樣的信息。行為統(tǒng)計(jì)信息55是這樣的信息，其通過與個(gè)人特征信息M的已分類信息的相關(guān)聯(lián)性來指明從作為行為式樣的導(dǎo)出源的各條下位元信息中導(dǎo)出的行為式樣的頻率。例如， 在作為“為中年男人”的個(gè)人特征信息討中，作為中年男人的行為式樣，按照頻率的降序來存儲(chǔ)“去 博物館的頻率(χ% )”、和“去‘**山，的頻率(y% )”等。也就是說，從多用戶統(tǒng)計(jì)元DB 52中，抓取人員和其頻率為最高的行為模式。例如，抓取出中年男人最頻繁地去 博物館、以及具有小學(xué)兒子的人員最頻繁地去□□公園。
(PC和服務(wù)器的操作)接下來，將給出關(guān)于由如上所述配置的PC 100和服務(wù)器200執(zhí)行的內(nèi)容推薦操作的描述。在接下來的描述中，PC 100的CPU 11和服務(wù)器200的CPU 21是所述操作的主體 (main)。然而，還與另一硬件或軟件(諸如，PC100的內(nèi)容推薦應(yīng)用和服務(wù)器200的推薦內(nèi)容選擇應(yīng)用)協(xié)作地執(zhí)行接下來的操作。圖7是示出了由PC 100和服務(wù)器200執(zhí)行的再現(xiàn)控制處理的流程的次序圖。如圖7所示，首先，例如(步驟71)，PC 100的CPU 11在用戶輸入對內(nèi)容推薦的請求時(shí)選擇并傳送任何個(gè)人特征信息42到服務(wù)器200。替換地，服務(wù)器200從在將請求傳送到服務(wù)器200時(shí)已經(jīng)接收的個(gè)人元DB 41中選擇任何個(gè)人特征信息42。隨后，服務(wù)器200的CPU 21計(jì)算在所選擇的個(gè)人特征信息42與多用戶統(tǒng)計(jì)元DB 52中的每條個(gè)人特征信息M之間的類似度(步驟72)。這里，將描述個(gè)人特征信息的類似度計(jì)算處理的細(xì)節(jié)。圖8是示出了個(gè)人特征信息的類似度計(jì)算處理的流程的流程圖。圖9A和9B是示出了類似度計(jì)算處理的示例的圖。如圖8所示，首先，CPU 21將在個(gè)人元DB 41中的個(gè)人特征信息42中包括的上位元信息劃分為5W1H的元素(步驟81)。例如，如圖9A所示，“為中年男人、具有小學(xué)兒子、 在夏季登山”的上位元信息被劃分為與“誰”對應(yīng)的“中年男人”的一條信息、與“何時(shí)”對應(yīng)的“夏季”的一條信息、和與“什么”對應(yīng)的“登山”的一條信息。然后，按照相同的方式，CPU 21將在多用戶統(tǒng)計(jì)元DB中的個(gè)人特征信息M中包括的上位元信息劃分為5W1H的元素(步驟82)。隨后，對于所劃分的5W1H的每個(gè)元素，CPU 21計(jì)算在個(gè)人特征信息42與個(gè)人特征信息M之間的類似度(步驟83)。如圖9B所示，作為示例，給出了如下的情況，在該情況下，個(gè)人特征信息42是信息“男孩在夏季到湖邊野營”，并且個(gè)人特征信息M是信息“中年男人在夏季在山中野營”。這個(gè)情況下，在個(gè)人特征信息42中與“誰”對應(yīng)的信息“男孩”、和在個(gè)人特征信息討中與“誰”對應(yīng)的信息“中年男人”之間的類似度被計(jì)算為“-0. 5”。類似地，在對應(yīng)于“何時(shí)”的信息“夏季”和“夏季”、對應(yīng)于“何地”的信息“湖”和“山”、以及對應(yīng)于“什么”的信息“野營”和“野營”方面，分別計(jì)算在個(gè)人特征信息42與個(gè)人特征信息 54之間的類似度。結(jié)果，分別獲得了類似度“1. 0”、“0. 0”、和“1. 0”。對于類似度的計(jì)算， 例如使用諸如同類詞匯編(thesaurus)的詞典。然后，如圖9B所示，CPU 21將所計(jì)算的每個(gè)類似度乘以用于5W1H的每個(gè)元素的預(yù)定權(quán)重、并相加這些值，從而確定總的類似度(步驟84)。例如，“誰”和“什么”的元素的權(quán)重被設(shè)置為較大，而“為什么”的元素的權(quán)重被設(shè)置為較小。然而，所述設(shè)置不限于此。如上所述，對于從上位元信息中獲得的5W1H的每個(gè)元素來計(jì)算類似度，結(jié)果是更精確地獲得了各條個(gè)人特征信息的類似度。返回到圖7，按照對于個(gè)人元DB 41中的個(gè)人特征信息42而分配權(quán)重并相加而獲得的類似度的降序，CPU 21選擇已經(jīng)與多用戶統(tǒng)計(jì)元DB 52中的各條個(gè)人特征信息M相關(guān)聯(lián)的、等于或大于二的預(yù)定數(shù)量條的行為統(tǒng)計(jì)信息陽(步驟73)。替換地，CPU 21可選擇具有等于或高于預(yù)定類似度的類似度的所有各條行為統(tǒng)計(jì)信息陽。隨后，基于所選擇的多條行為統(tǒng)計(jì)信息55，CPU 21選擇多條內(nèi)容信息(步驟74)。
13
然后，CPU 21組合所選擇的多條內(nèi)容信息，從而生成綜合的內(nèi)容信息(步驟75)。這里，將通過給出其中推薦旅行物品的情況作為示例，來給出關(guān)于根據(jù)多條內(nèi)容信息來創(chuàng)建綜合內(nèi)容信息的方法的詳細(xì)描述。對于作為綜合內(nèi)容信息的旅行物品，除了推薦特定目的地，還要使用上位元信息來安排旅行的行程(住宿、中途停留地、旅游點(diǎn)、和商店等)。首先，CPU 21確定旅行的目的地。具體地，CPU 21提取包括位置名稱或自然地點(diǎn)名稱(山、居住者、或海等)的個(gè)人特征信息M，并確定包括在其中的位置或自然地點(diǎn)作為目的地。這是基于PC 100的用戶也對另一用戶已經(jīng)游覽的地方關(guān)注的假設(shè)，該另一用戶具有與PC 100的用戶的個(gè)人特征信息42具有高類似度的個(gè)人特征信息M。此時(shí)，如上所述，通過使用用于計(jì)算類似度的上位元信息，CPU 21可確定與其中根據(jù)下位元信息來計(jì)算類似度的情況相比、更適合于PC 100的用戶的嗜好的目的地。例如，關(guān)于通過對其中PC 100的用戶正在登山的情形拍照而獲得的靜止圖像或運(yùn)動(dòng)圖像，在其中僅獲得下位元信息“山”的情況與其中獲得上位元信息“登山”的情況之間的差別在于，以后在推薦內(nèi)容中是否要推薦登山。此外，即使從運(yùn)動(dòng)圖像或靜止圖像中提取了下位元信息“百貨商店的建筑物”，也不可能判斷出用戶僅僅已經(jīng)去往百貨商店所位于的商業(yè)區(qū)、還是用戶實(shí)際上已經(jīng)到百貨商店去購物。這僅僅可以通過導(dǎo)出上位元信息“已經(jīng)到百貨商店去購物”來判斷。通過使用所述上位元信息，CPU 21可分類用戶是“去購物”還是“去商業(yè)區(qū)”作為個(gè)人特征信息42。 此外，CPU 21可判斷是否在旅行行程中合并購物點(diǎn)。除了上述方法之外，僅關(guān)于目的地，可以提供用于用戶手動(dòng)確定的選項(xiàng)。接下來，CPU 21做出在所確定的目的地上的旅行行程的安排。所述安排這里指的是確定具體的旅行行程，其包括用戶在目的地及其附近實(shí)際游覽的具體地方、游覽順序、休息的地方、和運(yùn)輸工具等。此時(shí)，CPU 21可使用從PC 100的上位和下位元信息中獲得的行為相關(guān)性信息。例如，根據(jù)PC 100的上位和下位元信息，CPU 21可識(shí)別多個(gè)行為的相關(guān)性信息， 所述多個(gè)行為諸如“在滑雪之后，高頻率地去溫泉”和“當(dāng)開車時(shí)，高頻率地在大型購物中心購物”。利用已經(jīng)從PC 100接收的上位和下位元信息，CPU 21生成相關(guān)性信息，并可以在選擇多條內(nèi)容信息或從多條內(nèi)容信息中進(jìn)行選擇以生成綜合內(nèi)容時(shí)，使用所述相關(guān)性信息。此外，可使用包括具有高類似度的個(gè)人特征信息的、用戶的行為相關(guān)性信息。當(dāng)然，所述相關(guān)性信息可以當(dāng)在PC 100中生成個(gè)人元DB 41時(shí)被生成，并傳送到服務(wù)器200。返回到圖7，CPU 21傳送綜合內(nèi)容信息到PC 100(步驟76)。PC 100的CPU 11接收綜合內(nèi)容信息，并在顯示器16上顯示所述信息作為推薦內(nèi)
各{曰息。圖IOA和IOB是示出了推薦內(nèi)容信息的顯示示例的圖。如圖IOA所示，例如，CPU 11可顯示用戶所拍攝的運(yùn)動(dòng)圖像或靜止圖像的縮略圖觀看器91。在縮略圖觀看器91上，例如，利用從上位元信息獲得的事件名稱92來將根據(jù)日期或位置分類的運(yùn)動(dòng)圖像或靜止圖像的縮略圖93顯示為多個(gè)簇。在觀看器91上，在其中例如用戶將指示器放在特定事件名稱92上或點(diǎn)擊特定事件名稱92的情況下，CPU 21向服務(wù)器200傳送與事件名稱92相關(guān)聯(lián)的個(gè)人特征信息42，作為推薦內(nèi)容信息的請求信息。此外，例如，CPU 21在將從服務(wù)器200獲得的內(nèi)容信息的列表94重疊在觀看器91 上的情況下，通過上述的處理來顯示所述列表94。在內(nèi)容信息的列表94中，顯示各條內(nèi)容信息的概要信息95以及到詳細(xì)信息的鏈接信息96。在上述的旅行物品的示例中，作為概要信息95，來顯示目的地的照片和地圖，并且點(diǎn)擊鏈接信息96，從而鏈接到由預(yù)定的旅行社提供的、作為綜合內(nèi)容信息的行程詳細(xì)信息 97。如圖IOB所示，行程詳細(xì)信息97包括目的地的地圖99和各條行程信息98作為內(nèi)容信息，其包括行程中的地點(diǎn)的照片及其說明信息。在地圖99上顯示行程信息98。在圖IOB的示例中，作為各條行程信息98，指明了基于個(gè)人特征信息42 “登山”確定的目的地“TsukiAa山”、從個(gè)人特征信息42 “看日落”中選擇的住宿設(shè)施“具有良好的日落景觀的XX賓館”、以及從個(gè)人特征信息42 “游覽具有美麗風(fēng)景的河谷”中選擇的旅游地點(diǎn)“具有美麗風(fēng)景的▼ ▼河谷”。在各條行程信息98中，還顯示了用于在改變行程信息98和按照原樣采用行程信息98之間進(jìn)行選擇的按鈕98a “改變”和“采用”。在其中按下按鈕98a “改變”的情況下， CPU 11請求服務(wù)器200的替換行程信息98。服務(wù)器200響應(yīng)于所述請求而選擇新的內(nèi)容信息，并向PC 100傳送根據(jù)其而更新的綜合內(nèi)容信息。(修改的示例)本發(fā)明不限于上面的實(shí)施例，并且可多樣地改變，而不脫離本發(fā)明的主旨。在上面的實(shí)施例中，將相關(guān)內(nèi)容選擇單元53提供給服務(wù)器200，但是可以將其提供給PC 100。也就是說，PC 100例如可從服務(wù)器200下載多用戶統(tǒng)計(jì)元DB 52，并且基于所述DB來執(zhí)行類似度的計(jì)算處理以及內(nèi)容信息和綜合內(nèi)容信息的生成處理。此外，PC 100 可從其它PC 150等收集個(gè)人元DB，并構(gòu)造多用戶統(tǒng)計(jì)元DB 52。此外，即使不由PC 100來構(gòu)造多用戶統(tǒng)計(jì)元DB 52，也可以僅使用個(gè)人元DB 41，并且可基于PC 100的用戶的行為歷史來推薦內(nèi)容信息。例如，在其中從個(gè)人特征信息42抓取用戶在每個(gè)季節(jié)的行為式樣的情況下，PC 100可從服務(wù)器200的內(nèi)容DB 51檢索與每個(gè)季節(jié)的行為式樣相符的商品或服務(wù)的內(nèi)容信息，并顯示所述內(nèi)容信息。在上面的實(shí)施例中，給出了其中基于上位和下位元信息來推薦旅行計(jì)劃作為內(nèi)容信息的示例。然而，要推薦的內(nèi)容不限于此。例如，基于從用戶拍攝的靜止圖像和運(yùn)動(dòng)圖像中提取的個(gè)人特征信息42，PC 100或服務(wù)器200可預(yù)測用戶采取的或者在不久的將來(在幾個(gè)月內(nèi))可能采取的行為，并推薦內(nèi)容信息作為必要的商品或服務(wù)。圖IlA和IlB是示出了在基于行為預(yù)測而推薦內(nèi)容信息的情況下的行為預(yù)測處理的圖。如圖IlA所示，PC 100或服務(wù)器200執(zhí)行從上位元信息獲得的PC 100和其它PC 150的用戶的個(gè)人特征信息和行為歷史信息(位置信息和日期信息)的統(tǒng)計(jì)處理，并生成多個(gè)用戶的行為預(yù)測模型(下文中，稱為多用戶行為統(tǒng)計(jì)模型)。作為示例，使用通過如下操作獲得的多用戶行為統(tǒng)計(jì)模型將從上位元信息(例如，“與女性朋友之一到▼▼旅行” 和“與我的孩子去游樂園”)獲得的行為設(shè)置為行為節(jié)點(diǎn)，利用用于保持計(jì)算從一個(gè)行為節(jié)點(diǎn)到另一行為節(jié)點(diǎn)的轉(zhuǎn)變概率的信息(系數(shù)等)的線來連接所述行為節(jié)點(diǎn)，并且更適當(dāng)?shù)赝ㄟ^機(jī)器學(xué)習(xí)來確定用于計(jì)算的信息。在圖IlA的示例中，行為A高度可能地轉(zhuǎn)變到行為B和行為C，行為B高度可能地轉(zhuǎn)變到行為E，并且行為C高度可能地轉(zhuǎn)變到行為F。接下來，PC 100或服務(wù)器200從用戶的個(gè)人特征信息和行為歷史信息中選擇最近行為的行為節(jié)點(diǎn)作為推薦目標(biāo)。然后，PC 100或服務(wù)器200根據(jù)多用戶行為統(tǒng)計(jì)模型來計(jì)算從行為節(jié)點(diǎn)到隨后節(jié)點(diǎn)的轉(zhuǎn)變概率，并且按照轉(zhuǎn)變概率的降序來選擇一些行為節(jié)點(diǎn)、或者選擇具有預(yù)定概率或更高概率的一些行為節(jié)點(diǎn)，作為行為預(yù)測結(jié)果。然后，PC 100或服務(wù)器200向用戶推薦與所選擇的行為節(jié)點(diǎn)相關(guān)的商品或服務(wù)，作為內(nèi)容信息。在多用戶行為統(tǒng)計(jì)模型中，可想象到無限種類的行為節(jié)點(diǎn)，所以在多用戶行為統(tǒng)計(jì)模型中不必包括作為推薦目標(biāo)的、與用戶的最近行為節(jié)點(diǎn)相同的行為節(jié)點(diǎn)。然而，例如， 如在上面實(shí)施例中的各條個(gè)人特征信息之間的類似度計(jì)算處理的情況下一樣，PC 100或服務(wù)器200可基于5W1H的每個(gè)元素的類似度來計(jì)算行為節(jié)點(diǎn)之間的類似度。PC 100或服務(wù)器200使用類似度，從而對用戶的最近行為節(jié)點(diǎn)和在多用戶行為統(tǒng)計(jì)模型中具有高類似度的行為節(jié)點(diǎn)進(jìn)行近似，結(jié)果是即使在不包括相同的行為節(jié)點(diǎn)的情況下也能夠執(zhí)行所述行為預(yù)測。例如，如圖IlB所示，在用戶的最近行為節(jié)點(diǎn)是行為C、并且所述行為節(jié)點(diǎn)沒有包括在多用戶行為統(tǒng)計(jì)模型中的情況下，預(yù)測出下一個(gè)行為節(jié)點(diǎn)是行為F。另一方面，在用戶的最近行為節(jié)點(diǎn)是沒有被包括在多用戶行為統(tǒng)計(jì)模型中的行為G的情況下，計(jì)算在行為G 與其它行為節(jié)點(diǎn)(行為B、和C等)之間的類似度。在這些行為之中，與行為G具有更高類似度的行為C通向行為F的預(yù)測。如上所述，通過從上位元信息構(gòu)造多用戶行為統(tǒng)計(jì)模型，變得可能執(zhí)行與其中僅僅通過下位元信息構(gòu)造多用戶行為統(tǒng)計(jì)模型的情況相比、更詳細(xì)的行為預(yù)測。例如，除了下位元信息“很多學(xué)生”、“高中學(xué)生”、“學(xué)?！焙汀按禾臁敝?，還從這些各條下位元信息中導(dǎo)出上位元信息“畢業(yè)典禮”，并因此可能預(yù)測行為“為大學(xué)學(xué)生且他/她獨(dú)自生活”?；谒鲂袨轭A(yù)測，PC 100或服務(wù)器200可推薦新的生活所需要的各件家具、家用電器產(chǎn)品等作為內(nèi)容信息。此外，通過使用上位元信息，還抓取事件在稍長時(shí)段中的時(shí)間序列變化(趨勢)。 結(jié)果，PC 100或服務(wù)器200可根據(jù)用戶的當(dāng)前趨勢來推薦商品或服務(wù)。替換地，PC 100或服務(wù)器200可根據(jù)用戶過去的偏愛和嗜好來推薦商品或服務(wù)。例如，作為用戶的行為的趨勢，在發(fā)現(xiàn)這樣的趨勢(即，諸如滑雪和足球的運(yùn)動(dòng)事件的頻率逐漸減少、旅行事件的頻率增加、然后旅行事件的頻率減少、并且與諸如鮮花和汽車之類的業(yè)余愛好相關(guān)的照片增加) 的情況下，PC 100或服務(wù)器200可根據(jù)當(dāng)前趨勢(在鮮花情況下的花園物品，在汽車情況下的汽車展覽)來推薦對于業(yè)余愛好有用的商品或服務(wù)，或者可通過推薦與作為過去偏愛和嗜好之一的滑雪相關(guān)的商品來激發(fā)用戶行動(dòng)。對于前述的行為預(yù)測處理，使用多用戶行為統(tǒng)計(jì)模型，但是該模型不是必需的。例如，PC 100可學(xué)習(xí)在用戶的個(gè)人元DB 41中的個(gè)人特征信息42和行為歷史信息43，構(gòu)造用戶的個(gè)人行為統(tǒng)計(jì)模型，基于所述個(gè)人行為統(tǒng)計(jì)模型來執(zhí)行行為預(yù)測，從服務(wù)器200的內(nèi)容DB 51中檢索與所預(yù)測的行為相關(guān)的內(nèi)容信息，并顯示所述內(nèi)容信息。在上面的實(shí)施例中，通過PC 100提取下位元信息和上位元信息，但是其至少一部分可由另一設(shè)備來提取，并且在將圖像輸入到PC 100時(shí)與該圖像一起輸入。例如，照片的下位元信息可在拍攝照片時(shí)由諸如數(shù)字照相機(jī)和數(shù)字?jǐn)z像機(jī)之類的圖像拍攝設(shè)備來提取，并且與該照片一起輸入到PC 100，并且PC 100可從其下位信息中提取上位元信息。此外， 可由具有相對小計(jì)算量(諸如，面部檢測和夜景檢測)的圖像拍攝設(shè)備提取的下位元信息可以通過圖像拍攝設(shè)備來提取，并且在相對大計(jì)算量(諸如，運(yùn)動(dòng)檢測和一般對象識(shí)別)的情況下提取的元信息可通過PC 100來提取。代替PC 100，網(wǎng)絡(luò)上的服務(wù)器可提取所述元信息，并且可通過通信單元19來將所述元信息輸入到PC 100。在上面的實(shí)施例中由PC 100來執(zhí)行的處理還可以由PC(個(gè)人計(jì)算機(jī))、數(shù)字照相機(jī)、數(shù)字?jǐn)z像機(jī)、移動(dòng)電話、智能電話、記錄和再現(xiàn)設(shè)備、游戲機(jī)、PDA(個(gè)人數(shù)字助理)、電子書終端、電子詞典、便攜式AV設(shè)備、和任何其它電子設(shè)備來執(zhí)行。數(shù)字照相機(jī)或數(shù)字?jǐn)z像機(jī)可能能夠從所拍攝的運(yùn)動(dòng)圖像或靜止圖像中提取下位或上位元信息。替換地，除了數(shù)字照相機(jī)或數(shù)字?jǐn)z像機(jī)之外的設(shè)備被提供有用于拍攝運(yùn)動(dòng)圖像內(nèi)容或靜止圖像內(nèi)容的相機(jī)，并且可能能夠按照與上面相同的方式來提取上位和下位元信息。本發(fā)明包含與2010年3月31日向日本專利局提交的日本優(yōu)先專利申請JP 2010-084558中公開的主題相關(guān)的主題，其全部內(nèi)容通過參考而合并于此。本領(lǐng)域的技術(shù)人員應(yīng)該理解，各種修改、組合、子組合和替換可以取決于設(shè)計(jì)需要和其它因素而發(fā)生，只要它們處于所附權(quán)利要求或者其等效物的范圍內(nèi)即可。
權(quán)利要求
1.一種服務(wù)器設(shè)備，包括第一存儲(chǔ)器，被配置為存儲(chǔ)通過執(zhí)行多條第一元信息和多條第二元信息的統(tǒng)計(jì)處理而生成的、并且針對每條第二元信息來指明作為所述多條第二元信息的導(dǎo)出源的所述多條第一元信息的頻率的統(tǒng)計(jì)信息，所述多條第一元信息從多個(gè)用戶所拍攝的圖像數(shù)據(jù)中提取， 所述多條第二元信息通過分析而從所述多條第一元信息中導(dǎo)出；第二存儲(chǔ)器，被配置為存儲(chǔ)指明要推薦的商品內(nèi)容和服務(wù)內(nèi)容之一的多條不同的內(nèi)容 fn息；通信單元，被配置為從所述多個(gè)用戶之一的客戶端設(shè)備接收在所述客戶端設(shè)備中從所述多條第一元信息導(dǎo)出的第二元信息；以及控制器，被配置為基于所接收的第二元信息和所存儲(chǔ)的統(tǒng)計(jì)信息，來從所存儲(chǔ)的多條內(nèi)容信息中選擇與對于所接收的第二元信息、具有預(yù)定頻率或更高頻率的第一元信息相關(guān)的內(nèi)容信息，并且控制所述通信單元以向所述客戶端設(shè)備傳送所選擇的內(nèi)容信息。
2.根據(jù)權(quán)利要求1的服務(wù)器設(shè)備，其中，所述第二元信息包括指明所述圖像中的人員的人員信息、和指明所述人員的行為細(xì)節(jié)的行為信息，以及所述控制器被配置為分別比較在包括于統(tǒng)計(jì)信息中的第二元信息中包括的第一人員信息和第一行為信息、 和在從客戶端設(shè)備傳送的第二元信息中包括的第二人員信息和第二行為信息，以計(jì)算指明第一人員信息與第二人員信息之間的類似度的第一類似度、和指明第一行為信息與第二行為信息之間的類似度的第二類似度，通過相加所計(jì)算的第一類似度和第二類似度來計(jì)算第三類似度，以及選擇與對于如下的第二元信息、具有預(yù)定頻率或更高頻率的第一元信息相關(guān)的內(nèi)容信息，所述第二元信息與從所述客戶端設(shè)備傳送的第二元信息具有等于或高于預(yù)定類似度的第三類似度。
3.根據(jù)權(quán)利要求2的服務(wù)器設(shè)備，其中， 所述內(nèi)容信息是指明用于旅行的商品的信息，所述通信單元被配置為從所述客戶端設(shè)備接收所述多條第二元信息， 所述控制器被配置為針對每條第二元信息來選擇與對于所接收的多條第二元信息、具有預(yù)定頻率或更高頻率的多條第一元信息相關(guān)的并且能夠被設(shè)置為旅行中的行程的各條內(nèi)容信息， 生成通過綜合所選擇的各條內(nèi)容信息而獲得的綜合內(nèi)容信息，以及控制所述通信單元向所述客戶端設(shè)備傳送所生成的綜合內(nèi)容信息。
4.根據(jù)權(quán)利要求3的服務(wù)器設(shè)備，其中，所接收的多條第二元信息具有指明多條行為信息的相關(guān)性的相關(guān)性信息，以及所述控制器被配置為基于所述相關(guān)性信息來確定被設(shè)置為行程的各條內(nèi)容信息以及其設(shè)置的順序。
5.根據(jù)權(quán)利要求2的服務(wù)器設(shè)備，其中，所述第二元信息具有指明與行為信息對應(yīng)的日期的日期信息， 所述控制器被配置為基于在包括于統(tǒng)計(jì)信息中的多條第二元信息中包括的行為信息和日期信息來生成轉(zhuǎn)變概率信息，該轉(zhuǎn)變概率信息指明在所述行為細(xì)節(jié)之中從第一行為細(xì)節(jié)到第二行為細(xì)節(jié)的轉(zhuǎn)變概率，以及基于所生成的轉(zhuǎn)變概率信息，來選擇與如下的行為細(xì)節(jié)相關(guān)的內(nèi)容信息，所述行為細(xì)節(jié)的從包括于所接收的第二元信息中的行為信息所指明的行為細(xì)節(jié)的轉(zhuǎn)變的概率等于或高于預(yù)定概率。
6.一種客戶端設(shè)備，包括通信單元，被配置為與服務(wù)器設(shè)備通信，該服務(wù)器設(shè)備存儲(chǔ)了指明要被推薦的商品內(nèi)容和服務(wù)內(nèi)容之一的多條不同的內(nèi)容信息；存儲(chǔ)器，被配置為存儲(chǔ)用戶所拍攝的圖像數(shù)據(jù)；控制器，被配置為從所述圖像數(shù)據(jù)中提取多條第一元信息，通過分析所提取的多條第一元信息來導(dǎo)出第二元信息，并且控制所述通信單元以基于所導(dǎo)出的第二元信息來接收在服務(wù)器設(shè)備中存儲(chǔ)的多條內(nèi)容信息之中的與所述第二元信息相關(guān)的內(nèi)容信息；以及輸出單元，被配置為輸出所接收的內(nèi)容信息。
7.一種內(nèi)容推薦方法，包括存儲(chǔ)通過執(zhí)行多條第一元信息和多條第二元信息的統(tǒng)計(jì)處理而生成的、并且針對每條第二元信息來指明作為所述多條第二元信息的導(dǎo)出源的所述多條第一元信息的頻率的統(tǒng)計(jì)信息，所述多條第一元信息從多個(gè)用戶所拍攝的圖像數(shù)據(jù)中提取，所述多條第二元信息通過分析而從所述多條第一元信息中導(dǎo)出；存儲(chǔ)指明要推薦的商品內(nèi)容和服務(wù)內(nèi)容之一的多條不同的內(nèi)容信息； 從所述多個(gè)用戶之一的客戶端設(shè)備接收在所述客戶端設(shè)備中從所述多條第一元信息導(dǎo)出的第二元信息；基于所接收的第二元信息和所存儲(chǔ)的統(tǒng)計(jì)信息，來從所存儲(chǔ)的多條內(nèi)容信息中選擇與對于所接收的第二元信息、具有預(yù)定頻率或更高頻率的第一元信息相關(guān)的內(nèi)容信息；以及向所述客戶端設(shè)備傳送所選擇的內(nèi)容信息。
8.一種內(nèi)容推薦方法，包括 存儲(chǔ)用戶所拍攝的圖像數(shù)據(jù)；從所述圖像數(shù)據(jù)中提取多條第一元信息；通過分析所提取的多條第一元信息來導(dǎo)出第二元信息；基于所導(dǎo)出的第二元信息來接收在服務(wù)器設(shè)備中存儲(chǔ)的多條內(nèi)容信息之中的與所述第二元信息相關(guān)的內(nèi)容信息；以及輸出所接收的內(nèi)容信息。
9.一種被配置為促使服務(wù)器設(shè)備執(zhí)行如下步驟的程序存儲(chǔ)通過執(zhí)行多條第一元信息和多條第二元信息的統(tǒng)計(jì)處理而生成的、并且針對每條第二元信息來指明作為所述多條第二元信息的導(dǎo)出源的所述多條第一元信息的頻率的統(tǒng)計(jì)信息，所述多條第一元信息從多個(gè)用戶所拍攝的圖像數(shù)據(jù)中提取，所述多條第二元信息通過分析而從所述多條第一元信息中導(dǎo)出；存儲(chǔ)指明要推薦的商品內(nèi)容和服務(wù)內(nèi)容之一的多條不同的內(nèi)容信息；從所述多個(gè)用戶之一的客戶端設(shè)備接收在所述客戶端設(shè)備中從所述多條第一元信息導(dǎo)出的第二元信息；基于所接收的第二元信息和所存儲(chǔ)的統(tǒng)計(jì)信息，來從所存儲(chǔ)的多條內(nèi)容信息中選擇與對于所接收的第二元信息、具有預(yù)定頻率或更高頻率的第一元信息相關(guān)的內(nèi)容信息；以及向所述客戶端設(shè)備傳送所選擇的內(nèi)容信息。
10. 一種被配置為促使客戶端設(shè)備執(zhí)行如下步驟的程序 存儲(chǔ)用戶所拍攝的圖像數(shù)據(jù)； 從所述圖像數(shù)據(jù)中提取多條第一元信息； 通過分析所提取的多條第一元信息來導(dǎo)出第二元信息；基于所導(dǎo)出的第二元信息來接收在服務(wù)器設(shè)備中存儲(chǔ)的多條內(nèi)容信息之中的與所述第二元信息相關(guān)的內(nèi)容信息；以及輸出所接收的內(nèi)容信息。
全文摘要
提供了一種服務(wù)器設(shè)備、客戶端設(shè)備、內(nèi)容推薦方法和程序。該服務(wù)器設(shè)備包括第一存儲(chǔ)器、第二存儲(chǔ)器、通信單元和控制器。所述第一存儲(chǔ)器被配置為存儲(chǔ)通過執(zhí)行多條第一元信息和多條第二元信息的統(tǒng)計(jì)處理而生成的、并且指明第一元信息的頻率的統(tǒng)計(jì)信息。所述第二存儲(chǔ)器被配置為存儲(chǔ)指明要推薦的商品內(nèi)容和服務(wù)內(nèi)容之一的多條內(nèi)容信息。所述通信單元被配置為從客戶端設(shè)備接收第二元信息。所述控制器被配置為從所存儲(chǔ)的多條內(nèi)容信息中選擇與對于所接收的第二元信息、具有預(yù)定頻率或更高頻率的第一元信息相關(guān)的內(nèi)容信息，并控制所述通信單元以向所述客戶端設(shè)備傳送所述內(nèi)容信息。
文檔編號(hào)G06Q30/00GK102208088SQ20111007180
公開日2011年10月5日 申請日期2011年3月24日 優(yōu)先權(quán)日2010年3月31日
發(fā)明者坂口竜己, 押領(lǐng)司宏, 江島公志, 鹿島浩司 申請人:索尼公司