信息處理設(shè)備、控制方法、程序和系統(tǒng)的制作方法
【專利摘要】[目的]為了提供一種信息處理設(shè)備、控制方法、程序和系統(tǒng)，其能夠與對話者共享與對話者有關(guān)的過去的數(shù)據(jù)。[解決方案]提供一種信息處理設(shè)備，包括：顯示控制單元，其被配置成以安置在用戶的眼睛之前的顯示單元顯示與識別的對話者有關(guān)的過去的數(shù)據(jù)的方式進(jìn)行控制；以及共享設(shè)置控制單元，其被配置成以與另一個人的過去的數(shù)據(jù)的共享被設(shè)置的方式進(jìn)行控制。
【專利說明】
信息處理設(shè)備、控制方法、程序和系統(tǒng)
技術(shù)領(lǐng)域
[0001 ]本公開設(shè)及信息處理設(shè)備、控制方法、程序和系統(tǒng)。
【背景技術(shù)】
[0002] 最近幾年中，已經(jīng)提出設(shè)及頭戴式顯示器化MD)的各種技術(shù)，HMD為安裝在頭上的 可穿戴設(shè)備。例如，專利文獻(xiàn)1公開在用戶佩戴著頭戴式顯示器并且觀看內(nèi)容的情況下，W 更有效的方式向用戶視覺上顯示環(huán)境聲的技術(shù)。
[0003] 在具有對應(yīng)于透鏡的半透明顯示單元的眼鏡型HMD的情況下，用戶可W-直佩戴 歷D而沒有他/她的日常生活的任何問題。用戶也可能日常佩戴運種HMD,通過在HMD中提供 的聲音收集單元和成像單元連續(xù)記錄用戶的環(huán)境，并且將他/她的生活日志積累在用戶可 訪問的存儲(包括云存儲）中。
[0004] 除生活日志之外，由用戶使用信息處理設(shè)備(諸如智能手機(jī)或平板終端)定期剪輯 的一組信息(文件、圖像、網(wǎng)站的鏈接信息等)可W被保存為積累在存儲中的數(shù)據(jù)。
[000引引文列表
[0006] 專利文獻(xiàn)
[0007] 專利文獻(xiàn)1:肝 2011-250100A

【發(fā)明內(nèi)容】

[000引技術(shù)問題
[0009] 當(dāng)用戶與對話者在真實空間的會議上或用戶經(jīng)由視頻會議連接到對話者時，有時 用戶回憶與對話者有關(guān)的過去的記憶。例如，用戶回憶與對話者過去的電子郵件交流、與對 話者過去會議的細(xì)節(jié)等。
[0010] 如果用戶可W與對話者共享回憶的過去的記憶，則可W進(jìn)行更好的討論。
[0011] 然而，上述相關(guān)技術(shù)從來不考慮運些需求。
[0012] 因此，本公開提出一種信息處理設(shè)備、控制方法、程序和系統(tǒng)，其能夠與對話者共 享與對話者有關(guān)的過去的數(shù)據(jù)。
[0013] 問題的解決方案
[0014] 根據(jù)本公開，提供一種信息處理設(shè)備，包括：顯示控制單元，其被配置成W安置在 用戶的眼睛之前的顯示單元顯示與識別的對話者有關(guān)的過去的數(shù)據(jù)的方式進(jìn)行控制；W及 共享設(shè)置控制單元，其被配置成W與另一個人的過去的數(shù)據(jù)的共享被設(shè)置的方式進(jìn)行控 制。
[0015] 根據(jù)本公開，提供一種控制方法，包括：W安置在用戶的眼睛之前的顯示單元顯示 與識別的對話者有關(guān)的過去的數(shù)據(jù)的方式進(jìn)行控制；W及W與另一個人的過去的數(shù)據(jù)的共 享被設(shè)置的方式進(jìn)行控制。
[0016] 根據(jù)本公開，提供一種程序，其用于使計算機(jī)充當(dāng)：顯示控制單元，其被配置成W 安置在用戶的眼睛之前的顯示單元顯示與識別的對話者有關(guān)的過去的數(shù)據(jù)的方式進(jìn)行控 審IJ; W及共享設(shè)置控制單元，其被配置成W與另一個人的過去的數(shù)據(jù)的共享被設(shè)置的方式 進(jìn)行控制。
[0017] 根據(jù)本公開，提供一種系統(tǒng)，包括:服務(wù)器，其被配置成存儲每個用戶的過去的數(shù) 據(jù)；可穿戴設(shè)備，其被配置成安裝在用戶的頭上并且具有安置在用戶的眼睛之前的顯示單 元；W及用戶終端，包括顯示控制單元，其被配置成W顯示單元顯示從服務(wù)器獲取的過去的 數(shù)據(jù)的方式進(jìn)行控制，過去的數(shù)據(jù)與識別的對話者有關(guān)；W及共享設(shè)置控制單元，其被配置 成W與另一個人的過去的數(shù)據(jù)的共享被設(shè)置的方式進(jìn)行控制。
[0018] 本發(fā)明的有利效果
[0019] 根據(jù)如上所述的本公開，可能與對話者共享與對話者有關(guān)的過去的數(shù)據(jù)。
[0020] 另外，在本說明書中所述的效果僅是說明性和示范性的，而不是限制性的。換句話 說，根據(jù)本公開的技術(shù)可W連同基于本說明書的效果一起或替代基于本說明書的效果而呈 現(xiàn)對本領(lǐng)域技術(shù)人員顯而易見的其他效果。
【附圖說明】
[0021] 圖1是圖示根據(jù)本公開的實施方案的信息共享系統(tǒng)的概述的說明圖。
[0022] 圖2A是圖示在一個方向上的根據(jù)實施方案的HMD的外觀的實例的圖解。
[0023] 圖2B是圖示在另一個方向上的根據(jù)實施方案的HMD的外觀的實例的圖解。
[0024] 圖3是補(bǔ)充圖示在根據(jù)實施方案的HMD中提供的成像單元的安裝位置的圖解。
[0025] 圖4是圖示根據(jù)實施方案的HMD的內(nèi)部配置實例的方框圖。
[0026] 圖5是圖示根據(jù)實施方案的用戶終端的配置實例的方框圖。
[0027] 圖6是圖示根據(jù)實施方案的云存儲的配置實例的方框圖。
[002引圖7是圖示根據(jù)實施方案的生活日志保存處理的順序圖。
[0029] 圖8是圖示在生活記錄器運行時的操作處理的順序圖。
[0030] 圖9是圖示根據(jù)實施方案的元數(shù)據(jù)生成處理的順序圖。
[0031 ]圖10是圖示根據(jù)實施方案的回憶應(yīng)用程序啟動處理的順序圖。
[0032] 圖11是圖示根據(jù)實施方案的在回憶應(yīng)用程序啟動時經(jīng)由HMD視場改變的說明圖。
[0033] 圖12是圖示根據(jù)實施方案的過去的數(shù)據(jù)捜索處理的順序圖。
[0034] 圖13是圖示通過輕彈操作查看材料組的情況的說明圖。
[0035] 圖14是圖示查看一種材料的內(nèi)容的情況的說明圖。
[0036] 圖15是圖示關(guān)鍵詞顯示控制處理的順序圖。
[0037] 圖16是圖示關(guān)鍵詞顯示實例的說明圖。
[0038] 圖17是圖示根據(jù)實施方案的關(guān)鍵詞選擇/捜索處理的順序圖。
[0039] 圖18是圖示關(guān)鍵詞捜索結(jié)果顯示屏的實例的圖解。
[0040] 圖19是圖示目標(biāo)材料估計處理的說明圖。
[0041] 圖20是圖示基于比較的"它"的候選列表的實例的圖解。
[0042] 圖21是圖示通過反饋學(xué)習(xí)擴(kuò)展元數(shù)據(jù)的情況的說明圖。
[0043] 圖22是圖示用于向不參加對話的人顯示候選材料的處理的說明圖。
[0044] 圖23是圖示根據(jù)實施方案的共享處理的順序圖。
[0045] 圖24是圖示共享設(shè)置操作的說明圖。
[0046] 圖25是圖示用于顯示從用戶A到用戶B共享的材料的屏幕的實例的圖解。
[0047] 圖26是圖示根據(jù)實施方案的共享材料復(fù)制處理的順序圖。
[0048] 圖27是圖示共享材料復(fù)制操作的說明圖。
[0049] 圖28是圖示共享材料的查看的說明圖。
【具體實施方式】
[0050] 在下文中，將參照附圖詳細(xì)地描述本公開的一個或多個優(yōu)選實施方案。在本說明 書和附圖中，具有大體上相同的功能和結(jié)構(gòu)的元件用相同的參考符號來表示，并且省略了 重復(fù)的說明。
[0051] 應(yīng)注意，按下列順序給出描述。
[0052] 1.根據(jù)本公開的實施方案的信息共享系統(tǒng)的概述
[0化3] 2.基本配置
[0化4] 2-1. HMD的配置
[0化日]2-2.用戶終端的配置 [0化6] 2-3.云存儲的配置
[0化7] 3.操作處理
[0化引 3-1.生活日志保存處理 [0化9] 3-2.元數(shù)據(jù)生成處理
[0060] 3-3.啟動處理
[0061 ] 3-4.捜索處理
[0062] 3-5.關(guān)鍵詞捜索處理
[0063] 3-6.共享處理
[0064] 3-7.共享材料復(fù)制處理 [00化]4.結(jié)論
[0066] 《1.根據(jù)本公開的實施方案的信息共享系統(tǒng)的概述》
[0067] 參照圖1，將描述根據(jù)本公開的實施方案的信息共享系統(tǒng)的概述。如圖1中所示，根 據(jù)實施方案的信息共享系統(tǒng)包括頭戴式顯示器(HMD)U其為安裝在用戶的頭上的可穿戴設(shè) 備的實例）、由智能手機(jī)、平板終端等實施的用戶終端2，W及云存儲3。
[0068] 麗D 1、用戶終端巧日云存儲3W有線/無線方式彼此連接，并且能夠傳輸/接收數(shù) 據(jù)。例如，運些元件可W經(jīng)由通信方法，諸如無線局域網(wǎng)化AN)、無線保真(Wi-FiK注冊商 標(biāo)）、紅外線通信或藍(lán)牙(注冊商標(biāo))來連接。另外，云存儲3經(jīng)由連接到網(wǎng)絡(luò)的存取點(AP)連 接到HMD 1和用戶終端2。（背景）
[0069] 當(dāng)用戶A與用戶B在真實空間的會議上或用戶A經(jīng)由視頻會議連接到用戶即寸，有時 用戶回憶與對話者有關(guān)的過去的記憶，諸如過去的會議的細(xì)節(jié)。然而，很難回憶材料的準(zhǔn)確 細(xì)節(jié)。另外，如果用戶可W與對話者共享回憶的過去的記憶，則可W進(jìn)行更好的討論。然而， 上述相關(guān)技術(shù)從來不考慮回憶的過去的巧區(qū)(回憶數(shù)據(jù))的共享。
[0070] 根據(jù)實施方案，可能與對話者視覺上共享過去的數(shù)據(jù)（回憶數(shù)據(jù)），在用戶和另一 個人在一起時，用戶回憶的過去的數(shù)據(jù)與對話者有關(guān)。
[0071] 例如，進(jìn)行W下步驟，但前提是，用戶A的生活日志和由用戶A使用用戶終端2A剪輯 的一組信息（文件、照片、與之鏈接)被定期保存在訪問權(quán)限被授予給用戶A的任何存儲(例 如，云存儲3)中。
[0072] 首先，在佩戴HMD Ia的用戶A和佩戴HMD化的用戶A進(jìn)行討論的情況下，當(dāng)用戶A與 用戶B在同一個地方或用戶A經(jīng)由視頻會議連接到用戶B(如圖1中所示)時，用戶A進(jìn)行回憶 過去的記憶的運動，并由此將與用戶B(其是對話者)有關(guān)的信息顯示給用戶A。一般來說，當(dāng) 一個人回憶過去的記憶時，人通過繪畫或圖表想象過去，并且使用他/她的右腦（其是直觀 的大腦)來描繪過去。因此，他/她的視線轉(zhuǎn)向與右腦位置相反的左上角。因此，例如，HMD Ia 使用用戶A的視線朝向左上角的運動作為觸發(fā)器來在HMD Ia的顯示單元（圖2B中所示的顯 示單元12)上顯示與用戶B(其是對話者)有關(guān)的信息，并且將信息顯示給用戶A。
[0073] 與用戶B(其是對話者)有關(guān)的信息的實例包括與用戶B過去的電子郵件交流、與對 話者過去會議的細(xì)節(jié)等。運里，例如，如圖1中所示，由用戶B最近傳輸?shù)倪\動圖像數(shù)據(jù)400經(jīng) 由HMD Ia的顯示單元12顯示在用戶A的視場120的左上側(cè)。運動圖像數(shù)據(jù)400經(jīng)由用戶終端 2a從云存儲3被獲取，并且在用戶終端2a的控制下顯示在HMD Ia的顯示單元12上。HMD Ia可 W顯示與用戶B有關(guān)的多條信息，并且可W使用戶A通過在用戶終端2a上的視線操作、手指 指向操作、輕彈操作等來選擇一條信息。
[0074] 接著，在與對話者共享顯示的運動圖像數(shù)據(jù)400的情況下，用戶A指示配置運動圖 像數(shù)據(jù)400的共享設(shè)置。由此，用戶終端2a向用戶終端化通知共享運動圖像數(shù)據(jù)400的指令， 并且用戶終端化W用戶B佩戴的HMD的顯示單元12顯示運動圖像數(shù)據(jù)400的方式進(jìn)行控制。 此時，如圖1中所示，用戶終端化W用戶B經(jīng)由顯示單元12的視場122顯示在用戶A的頭部上 方的運動圖像數(shù)據(jù)400的方式進(jìn)行控制。用戶B可W由此視覺上識別由用戶A回憶的過去的 數(shù)據(jù)（回憶數(shù)據(jù))并且可W在共享記憶的同時進(jìn)行討論。
[0075] 另外，用戶B可W重放共享的運動圖像數(shù)據(jù)400,并且通過在用戶終端化上的視線 操作、手指指向操作、輕彈操作等將共享的運動圖像數(shù)據(jù)400復(fù)制到他/她自己的存儲。
[0076] 已描述根據(jù)本公開的實施方案的信息共享系統(tǒng)的概述。接著，參照圖2至圖5,將描 述根據(jù)本公開的被包括在信息共享系統(tǒng)中的HMD1、用戶終端2和云存儲3的基本配置。
[0077] 《2.基本配置》
[007引 <2-1. HMD 的配置〉
[0079] 首先，參照圖2至圖3,將描述安裝在用戶的頭上的HMD 1的外觀和內(nèi)部配置。
[0080] (2-1-1.外部配置）
[0081] 圖2A和圖2B各自是圖示在每個方向上的根據(jù)實施方案的HMD 1的外觀的實例的圖 解。如圖2A和圖2B中所示，根據(jù)實施方案的HMD 1的形狀像蓋。即使當(dāng)重負(fù)載在主體的前側(cè) 時，設(shè)備的負(fù)載分布在整個頭部，并且運使得在用戶佩戴HMDl時對用戶的負(fù)擔(dān)減少。具體來 說，HMD 1包括主體101、從主體部分101的上表面突出的前額襯墊102、分為上帶104和下帶 105的頭帶，W及右和左耳機(jī)110。主體101包括大部分部件，諸如顯示系統(tǒng)。主體101含有顯 示單元12和電路板。另外，在主體101的下方，沿著鼻梁的鼻墊103形成為適當(dāng)?shù)男螤睢?br>[0082 ]成像透鏡14a提供在HMD 1的主體101的前側(cè)。成像透鏡14a由例如全方向照相機(jī)鏡 頭或魚眼鏡頭來實施。成像透鏡Ha外部附接到或嵌入HMD 1。因此，HMD 1能夠成像其圓周 的180至360度的視角。在失真校正后使用由魚眼鏡頭捕獲的圖像?；蛘?，可W排列多個成像 透鏡W成像圓周的360度的視角。
[0083] 成像透鏡14a的安裝位置不限于圖2A中所示的實例。例如，如圖3的左邊所示，由全 方向照相機(jī)鏡頭或魚眼鏡頭實施的成像透鏡14b可W提供在主體101的上表面?；蛘?，如圖3 的右邊所示，成像透鏡14c和14d可W分別提供在左和右太陽穴部位。在運種情況下，由成像 透鏡14c和Hd捕獲的180度視角的圖像在被校正為360度視角的圖像后被使用。
[0084] 頭帶由軟的非彈性材料(諸如尼龍或聚丙締）制成。上帶104是軟的并且沿著頭部 彎曲W在佩戴HMD 1時支撐負(fù)載。然而，上帶104不太可能伸展，并且運使得防止HMD 1落下。 盡管下帶105由彈性材料(諸如娃橡膠或彈性體)制成，但是下帶105可W通過異種材料的雙 誘鑄與上帶104集成在一起。
[0085] 當(dāng)用戶佩戴HMD 1時，用于左眼和右眼的HMD 1的一對顯示單元12安置在用戶的眼 睛前面。例如，顯示單元12顯示由成像透鏡14a捕獲的真實空間的圖像。
[0086] 收集外部聲音的多個麥克風(fēng)130(也被稱為麥克風(fēng)陣列130)安置在HMD 1的主體 101的前側(cè)、左側(cè)和右側(cè)。
[0087] 另外，在HMD 1的主體101內(nèi)的顯示單元12的附近，檢測用戶的視線的成像透鏡15a 被提供為向內(nèi)面對。
[008引已描述HMD 1的外部配置的細(xì)節(jié)。然而，圖2A和圖2B中所示的HMD 1的安裝部分(前 額襯墊102、上帶104和下帶105)的配置僅僅是實例?？赡懿捎糜脩襞宕鞯柠怐 1的各種配 置。僅需要通過一般稱為眼鏡型單元或頭戴式單元的安裝單元來形成HMD 1。在至少該實施 方案中，僅需要在用戶的眼睛前面附近提供顯示單元12。
[0089] 顯示單元12可W是半透明的。當(dāng)HMD 1使顯示單元12處于通過狀態(tài)時，換句話說， 處于透明或半透明狀態(tài)，用戶可W經(jīng)由處于通過狀態(tài)的顯示單元12視覺上識別真實空間。 運使得在像眼鏡一樣一直佩戴HMD 1時在日常生活中不會中斷。在運種情況下，可W提供對 應(yīng)于雙眼的運對顯示單元12,或可W僅提供對應(yīng)于一只眼睛的一個顯示單元12。
[0090] 左和右耳機(jī)110不限于立體聲揚聲器?？蒞僅提供一個耳機(jī)100來安裝在一只耳朵 上?；蛘?，HMD 1不必包括耳機(jī)100。根據(jù)下文將描述的內(nèi)部配置實例（參見圖4) ,HMD 1不包 括耳機(jī)1〇〇(聲音輸出單元）。
[0091] (2-1-2.內(nèi)部配置）
[0092] 接著，參照圖4,將描述根據(jù)實施方案的HMD 1的內(nèi)部配置。圖4是圖示根據(jù)實施方 案的HMD 1的內(nèi)部配置實例的方框圖。如圖4中所示，HMD 1包括控制單元10、通信單元11、顯 示單元12、聲音收集單元13、成像單元14、視線檢測單元15和存儲單元16。
[0093] (控制單元10)
[0094] 例如，控制單元10由包括中央處理單元(CPU)、只讀存儲器(ROM)、隨機(jī)存取存儲器 (RAM)、非易失性存儲器和接口單元的微控制器來實施?？刂茊卧?0控制HMD 1的各自的結(jié) 構(gòu)元件。
[0095] 例如，根據(jù)實施方案的控制單元10 W由聲音收集單元13、成像單元14和視線檢測 單元15獲取的數(shù)據(jù)經(jīng)由通信單元11傳輸?shù)接脩艚K端2或云存儲3的方式進(jìn)行控制。另外，控 制單元IOW顯示單元12響應(yīng)于經(jīng)由通信單元11從用戶終端2接收的指令來顯示數(shù)據(jù)的方式 進(jìn)行控制。
[0096] (通信單元11)
[0097] 通信單元11與外部裝置交換數(shù)據(jù)。例如，通過使用Wi-Fi、藍(lán)牙(注冊商標(biāo)）等將通 信單元11無線連接到用戶終端2來交換數(shù)據(jù)。
[0098] (顯示單元12)
[0099] 顯示單元12在控制單元10的控制下顯示圖像數(shù)據(jù)。具體來說，根據(jù)實施方案的顯 示單元12在從佩戴者觀察的左上側(cè)顯示與對話者有關(guān)的過去的數(shù)據(jù)。
[0100] (聲音收集單元13)
[0101] 例如，聲音收集單元13包括圖2A中所示的麥克風(fēng)陣列130、麥克風(fēng)放大器和A/D轉(zhuǎn) 換器W將聲音數(shù)據(jù)輸出到控制單元10。麥克風(fēng)放大器對由麥克風(fēng)陣列130獲取的聲音信號 執(zhí)行放大處理。從聲音收集單元13輸出的聲音數(shù)據(jù)可W經(jīng)由信號處理單元(未圖示)輸出到 控制單元10,所述信號處理單元從聲音數(shù)據(jù)中去除噪聲并且對聲音數(shù)據(jù)執(zhí)行聲源分離處理 等。或者，控制單元10可W執(zhí)行運種聲音信號處理。
[0102] (成像單元14)
[0103] 成像單元14包括透鏡系統(tǒng)、驅(qū)動系統(tǒng)、固態(tài)圖像傳感器陣列等。透鏡系統(tǒng)包括成像 透鏡14a、光圈、變焦透鏡、聚焦透鏡等。驅(qū)動系統(tǒng)使透鏡系統(tǒng)進(jìn)行聚焦運動和變焦運動。固 態(tài)圖像傳感器陣列對由透鏡系統(tǒng)獲取的成像光執(zhí)行光電轉(zhuǎn)換W生成成像信號。例如，固態(tài) 圖像傳感器陣列可W由電荷禪合設(shè)備(CCD)傳感器陣列或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳 感器陣列來實施。
[0104] (視線檢測單元15)
[0105] 視線檢測單元15具有檢測佩戴者的視線位置W將檢測結(jié)果輸出到控制單元10的 功能。具體來說，例如，視線檢測單元15由包括被提供為向內(nèi)面對的成像透鏡15a(參見圖 2B)的成像單元來實施。在運種情況下，視線檢測單元15通過基于用戶的眼睛的捕獲的圖像 執(zhí)行識別瞳孔的中屯、點的處理來檢測視線位置。
[0106] (存儲單元16)
[0107] 存儲單元16存儲用于執(zhí)行由控制單元10進(jìn)行的各種處理的程序。
[010引上文已描述HMD 1的內(nèi)部配置。應(yīng)注意，圖4中所示的HMD 1的配置僅僅是實例。HMD 1的配置不限于此。例如，HMD 1可W進(jìn)一步包括照明單元、聲音輸出單元等。
[0109] <2-2.用戶終端的配置〉
[0110] 圖5是圖示根據(jù)實施方案的用戶終端2的配置實例的方框圖。如圖5中所示，用戶終 端2包括控制單元20、通信單元21、操作單元22、顯示單元23和存儲單元24。
[0111] (控制單元20)
[0112] 例如，控制單元20由包括0口11、1?01、1?41、非易失性存儲器和接口單元的微控制器構(gòu) 成?？刂茊卧?0控制用戶終端2的各自的結(jié)構(gòu)元件。另外，如圖5中所示，控制單元20充當(dāng)生 活日志獲取控制單元210、說話者識別單元220、捜索控制單元230、顯示控制單元240、共享 設(shè)置控制單元250和語言處理單元260。
[0113] 生活日志獲取控制單元210進(jìn)行控制W連續(xù)存儲用戶周圍的環(huán)境。具體來說，例 如，生活日志獲取控制單元210W從HMD 1接收由歷D 1的聲音收集單元13和成像單元14獲 取的聲音數(shù)據(jù)和圖像數(shù)據(jù)，并且將聲音數(shù)據(jù)和圖像數(shù)據(jù)存儲在存儲單元24或云存儲3中的 方式進(jìn)行控制。
[0114] 說話者識別單元220基于從HMD 1傳輸?shù)穆曇魯?shù)據(jù)和圖像數(shù)據(jù)識別對話者。具體來 說，例如，說話者識別單元220對聲音數(shù)據(jù)執(zhí)行聲源分離W將混合聲音數(shù)據(jù)分離成每個聲 源。因此，說話者識別單元220能夠?qū)⒙曇魯?shù)據(jù)分離成環(huán)境聲、用戶A自己的言語聲音、對話 者（用戶B)的言語聲音等。另外，說話者識別單元220可W對通過聲源分離獲取的每個聲音 數(shù)據(jù)塊執(zhí)行分析處理W生成方向數(shù)據(jù)和距離數(shù)據(jù)。方向數(shù)據(jù)指示發(fā)出每個聲音的聲源的方 向。距離數(shù)據(jù)指示與聲源的距離。聲音的聲源的方向和與聲源的距離是基于已收集聲音的 聲音收集單元13(諸如HMD 1的麥克風(fēng)陣列）。在聲音數(shù)據(jù)塊為言語聲音的情況下，說話者識 別單元220識別說話者。具體來說，說話者識別單元220參考在已獲取聲音數(shù)據(jù)時捕獲的圖 像（圖像數(shù)據(jù)）、在與指示聲源的方向的方向數(shù)據(jù)和/或指示距離的距離數(shù)據(jù)一致的位置識 別人(人臉圖像)作為說話者，并且通過人臉識別處理來識別說話者。說話者識別單元220基 于通過分析被確定為言語聲音的聲音數(shù)據(jù)塊獲取的聲音的特性特征來識別說話者也是可 能的。
[0115] 捜索控制單元230具有捜索與由說話者識別單元220識別的對話者有關(guān)的信息(過 去的數(shù)據(jù)）的功能。具體來說，捜索控制單元230向云存儲3或存儲單元24(其是局部存儲器） 發(fā)出捜索請求。運里，在云存儲3中捜索的區(qū)域為用戶可訪問的存儲區(qū)域。在運個區(qū)域中，捜 索不斷積累的生活日志、一組剪輯和保存的信息，W及與另一個人交換的數(shù)據(jù)等。在捜索 中，捜索控制單元230可W基于與過去的數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)捜索與對話者有關(guān)的過去的 數(shù)據(jù)。或者，捜索控制單元230可W通過對用戶的當(dāng)前日期和時間、當(dāng)前位置或當(dāng)前時間表 信息檢查來捜索與對話者有關(guān)的過去的數(shù)據(jù)。例如，捜索控制單元230在與對話者有關(guān)的過 去的數(shù)據(jù)中捜索在過去的會議中使用的材料，過去的會議是與用戶現(xiàn)在參加的會議相同種 類的會議。
[0116] 顯示控制單元240除了控制用戶終端2的顯示單元23的顯示之外，還可W控制HMD 1的顯示單元12的顯示。例如，顯示控制單元240 W麗D 1的顯示單元12顯示捜索控制單元 230已捜索的與對話者有關(guān)的信息(過去的數(shù)據(jù))的方式進(jìn)行控制。具體來說，顯示控制單元 240經(jīng)由通信單元21將與對話者有關(guān)的信息和顯示指令傳輸?shù)紿MD 1。
[0117] 共享設(shè)置控制單元250控制與另一個人共享過去的數(shù)據(jù)的設(shè)置。具體來說，在用戶 被允許與對話者共享過去的數(shù)據(jù)的情況下，共享設(shè)置控制單元250將可共享的過去的數(shù)據(jù) 傳輸?shù)綄υ捳叩挠脩艚K端，并且向云存儲3發(fā)出共享通知。
[011引語言處理單元260對由HMD 1的聲音收集單元13獲取并從HMD 1傳輸?shù)穆曇魯?shù)據(jù)執(zhí) 行語言分析處理，并且提取關(guān)鍵詞(諸如指示代詞和名詞）。提取的關(guān)鍵詞被顯示給用戶作 為與對話者有關(guān)的過去的數(shù)據(jù)的捜索關(guān)鍵詞的候選。
[0119] (通信單元21)
[0120] 通信單元21與外部裝置交換數(shù)據(jù)。例如，通信單元21通過使用Wi-Fi、藍(lán)牙(注冊商 標(biāo))等連接到HMD 1和云存儲3來交換數(shù)據(jù)。
[0121] (操作單元22)
[0122] 操作單元22接收用戶的操作輸入，并且將接收的輸入信息輸出到控制單元20。操 作單元22由按鈕、開關(guān)、接收顯示屏的操作輸入的觸摸傳感器等來實施。
[0123] (顯示單元23)
[0124] 顯示單元23在顯示單元12中的顯示控制單元240的控制下顯示預(yù)定顯示屏。例如， 顯示單元12由液晶顯示器化CD)、有機(jī)發(fā)光二極管(OLED)等來實施。
[0125] (存儲單元24)
[0126] 存儲單元24存儲由執(zhí)行各種處理的控制單元20使用的程序等。在該實施方案中， 云存儲3存儲生活日志、該組的文件等。然而，存儲單元24(其為局部存儲器的實例）可W存 儲生活日志、該組的文件等。
[0127] 已描述用戶終端2的配置實例的細(xì)節(jié)。應(yīng)注意，用戶終端2不限于圖1中所示的智能 手機(jī)。用戶終端2可W是移動電話、個人數(shù)字助理(PDA)、個人計算機(jī)(PC)、平板終端等。
[012引 <2-3.云存儲的配置〉
[0129] 圖6是圖示根據(jù)實施方案的云存儲3的配置實例的方框圖。如圖6中所示，云存儲3 包括控制單元30、通信單元31、元數(shù)據(jù)生成單元33和存儲單元34。
[0130] (控制單元30)
[0131] 例如，控制單元30由包括0?11、1?01、1?41、非易失性存儲器和接口單元的微控制器構(gòu) 成?？刂茊卧?0控制云存儲3的各自的結(jié)構(gòu)元件。例如，控制單元30具有響應(yīng)于向用戶終端2 的請求來為存儲單元34捜索與對話者有關(guān)的過去的數(shù)據(jù)的功能。另外，控制單元30W在存 儲單元34中存儲的聲音數(shù)據(jù)、圖像數(shù)據(jù)、一組文件等被獲取并傳輸?shù)皆獢?shù)據(jù)生成單元33,并 且在元數(shù)據(jù)生成單元33中生成的元數(shù)據(jù)與各自的聲音數(shù)據(jù)等相關(guān)聯(lián)并存儲在存儲單元34 中的方式進(jìn)行控制。
[0132] (通信單元31)
[0133] 通信單元31與外部裝置交換數(shù)據(jù)。例如，通信單元31經(jīng)由網(wǎng)絡(luò)連接到用戶終端2和 HMD 1來交換數(shù)據(jù)。
[0134] (元數(shù)據(jù)生成單元33)
[0135] 元數(shù)據(jù)生成單元33通過分析在存儲單元34中存儲的聲音數(shù)據(jù)、圖像數(shù)據(jù)(運動圖 像/靜止圖像）、一組文件等來生成(提取)元數(shù)據(jù)。例如，關(guān)于圖像數(shù)據(jù)和聲音數(shù)據(jù)，元數(shù)據(jù) 生成單元33生成記錄日期和時間的聲音/圖像、記錄位置的聲音/圖像、通過面部/聲音識別 獲取的主體/說話者的識別信息、主體/說話者(聲源)的方向數(shù)據(jù)和距離數(shù)據(jù)、訪問權(quán)限（用 戶名）、聲音識別、數(shù)據(jù)轉(zhuǎn)換成文本等作為元數(shù)據(jù)。關(guān)于該組的文件(文本數(shù)據(jù)），元數(shù)據(jù)生成 單元33生成使用的日期和時間、更新的日期和時間、用戶的時間表的鏈接信息（例如，會議 主題、出席人數(shù)/公司等）、內(nèi)容細(xì)節(jié)(例如，標(biāo)題)等作為元數(shù)據(jù)。
[0136] (存儲單元34)
[0137] 存儲單元34存儲從每個用戶終端2傳輸?shù)拿總€用戶的生活日志(聲音數(shù)據(jù)、圖像數(shù) 據(jù)等）、一組文件、日程信息等。關(guān)于在存儲單元34中存儲的數(shù)據(jù)，操作(諸如查看、添加和刪 除）由訪問權(quán)限被授予的用戶常規(guī)執(zhí)行。
[0138] 為在存儲單元34中存儲的每一塊數(shù)據(jù)設(shè)置訪問權(quán)限，并且數(shù)據(jù)可W被設(shè)置為每個 用戶的專用數(shù)據(jù)。在響應(yīng)于來自訪問權(quán)限被授予的用戶的指令允許另一用戶訪問目標(biāo)數(shù)據(jù) 的情況下(在目標(biāo)數(shù)據(jù)被共享的情況下），有時目標(biāo)數(shù)據(jù)被設(shè)置為預(yù)定組中的用戶的公用數(shù) 據(jù)。
[0139] 已描述根據(jù)實施方案的信息共享系統(tǒng)中的各自的設(shè)備的配置的細(xì)節(jié)。接著，將描 述根據(jù)實施方案的信息共享系統(tǒng)的操作處理。
[0140] 《3.操作處理》
[0141] <3-1.生活日志保存處理〉
[0142] 首先，參照圖7,將描述保存用戶的生活日志的處理，運些生活日志常規(guī)積累在被 包括在信息共享系統(tǒng)中的云存儲3中。圖7是圖示根據(jù)實施方案的生活日志保存處理的順序 圖。
[0143] 如圖7中所示，在步驟S103中，用戶終端2的操作單元22接收由用戶進(jìn)行的記錄啟 動操作。
[0144] 在步驟S106中，操作單元22然后將記錄啟動指令輸出到控制單元20,并且控制單 元20經(jīng)由通信單元21將記錄啟動指令傳輸?shù)紿MD 1。
[0145] 接著，在步驟S109中，歷D 1的控制單元10進(jìn)行生活記錄器啟動處理(保存生活日 志的啟動）。
[0146] 隨后，參照圖8,將描述在生活記錄器啟動處理之后的操作處理。圖8是圖示在生活 記錄器運行時的操作處理的順序圖。如圖8中所示，在步驟S123和S126中，HMD 1的控制單元 10獲取由聲音收集單元13收集的聲音數(shù)據(jù)和由成像單元14捕獲的圖像數(shù)據(jù)(靜止圖像/運 動圖像)作為生活日志。
[0147] 接著，在步驟S129中，控制單元10經(jīng)由通信單元11將獲取的生活日志(聲音數(shù)據(jù)和 圖像數(shù)據(jù))傳輸?shù)接脩艚K端2。
[014引在步驟S132中，用戶終端2的控制單元20然后充當(dāng)生活日志獲取控制單元210 W將 從HMD 1接收的生活日志傳輸?shù)皆拼鎯?。
[0149] 接著，在步驟S135中，云存儲3的控制單元30將經(jīng)由通信單元31從用戶終端2接收 的生活日志存儲在存儲單元34中的用戶可訪問的存儲區(qū)域中。
[0150] 在生活記錄器運行時，重復(fù)進(jìn)行步驟S123至S125中的處理。運使得能夠通過由全 方向照相機(jī)或魚眼鏡頭實施的麥克風(fēng)陣列（聲音收集單元13的實例）和360度攝像頭(成像 單元14的實例）獲取用戶周圍的環(huán)境和聲音，W將環(huán)境和聲音作為生活日志一直積累在云 存儲3中。
[0151] 在云存儲3中積累的用戶的數(shù)據(jù)不限于聲音數(shù)據(jù)和圖像數(shù)據(jù)。例如，用戶的數(shù)據(jù)包 括一組文件(文本數(shù)據(jù)）。
[0152] 另外，在云存儲3中積累的數(shù)據(jù)不限于生活日志。例如，數(shù)據(jù)包括通過在用戶終端2 上的輕彈操作注冊的數(shù)據(jù)(聲音數(shù)據(jù)、圖像數(shù)據(jù)和文本數(shù)據(jù)）、與另一用戶交換的數(shù)據(jù)、日程 f目息等。
[0153] <3-2.元數(shù)據(jù)生成處理〉
[0154] 接著，參照圖9,將描述在云存儲中積累的各種數(shù)據(jù)的元數(shù)據(jù)的生成。圖9是圖示根 據(jù)實施方案的元數(shù)據(jù)生成處理的順序圖。
[0155] 如圖9中所示，首先，在步驟S146中，云存儲3的控制單元30從存儲單元34獲取各種 數(shù)據(jù)(也被稱為內(nèi)容數(shù)據(jù)）。
[0156] 接著，在步驟S149中，控制單元30將從存儲單元34獲取的內(nèi)容數(shù)據(jù)傳送到元數(shù)據(jù) 生成單元33,并且發(fā)出元數(shù)據(jù)生成指令。
[0157] 在步驟S152中，元數(shù)據(jù)生成單元33然后分析內(nèi)容數(shù)據(jù)W提取元數(shù)據(jù)。具體來說，如 上所述，關(guān)于圖像數(shù)據(jù)和聲音數(shù)據(jù)，記錄日期和時間的聲音/圖像、主體/說話者的識別信 息、數(shù)據(jù)轉(zhuǎn)換成文本等被作為元數(shù)據(jù)生成。關(guān)于該組的文件，使用的日期和時間、更新的日 期和時間、用戶的時間表的鏈接信息等被作為元數(shù)據(jù)生成。
[0158] 接著，在步驟S155中，元數(shù)據(jù)生成單元33將提取的元數(shù)據(jù)傳送到控制單元30。
[0159] 隨后，在步驟S158中，控制單元30使內(nèi)容數(shù)據(jù)與元數(shù)據(jù)相關(guān)聯(lián)。
[0160] 接著，在步驟S161中，存儲單元34存儲相關(guān)聯(lián)的元數(shù)據(jù)。
[0161] <3-3.啟動處理〉
[0162] 接著，參照圖10,將描述根據(jù)實施方案的顯示與對話者有關(guān)的過去的數(shù)據(jù)(在下文 中，也被稱為回憶應(yīng)用程序)的處理的啟動。圖10是圖示根據(jù)實施方案的回憶應(yīng)用程序啟動 處理的順序圖。運里，假設(shè)會議的每個出席者佩戴能夠使用根據(jù)實施方案的系統(tǒng)的HMD 1。 會議的出席者包括用戶A和用戶B。
[0163] 在系統(tǒng)中，基于由在每個HMD 1中提供的聲音收集單元13和成像單元14獲取的聲 音數(shù)據(jù)和圖像數(shù)據(jù)的分析結(jié)果，自動識別會議的出席者、說話者等。由此，例如，當(dāng)用戶B在 用戶A的前面講話時，用戶A的HMD Ia或用戶終端2a清楚地指示在用戶A前面的人是用戶B并 且用戶B是說話者。在運種情況下，根據(jù)實施方案的用戶終端2通過使用用戶的視線運動作 為觸發(fā)器來啟動回憶應(yīng)用程序。
[0164] 具體來說，如圖10中所示，HMD 1的控制單元10在步驟S173中獲取由聲音收集單元 13收集的聲音數(shù)據(jù)，并且在步驟S176中獲取由成像單元14捕獲的圖像數(shù)據(jù)。聲音收集單元 13收集會議中對話的聲音，并且成像單元14捕獲在用戶周圍的會議出席者的圖像。
[0165] 接著，在步驟S179中，控制單元10進(jìn)行控制W經(jīng)由通信單元11將獲取的數(shù)據(jù)傳輸 到用戶終端2。
[0166] 然后，在步驟S182中，用戶終端2的控制單元20充當(dāng)說話者識別單元220, W通過分 析經(jīng)由通信單元21從HMD 1獲取的數(shù)據(jù)(聲音數(shù)據(jù)和圖像數(shù)據(jù))來實時識別說話者。因此，例 如，可能將用戶B識別為用戶A的對話者。應(yīng)注意，步驟S173至S182可W重復(fù)，并且說話者的 變化可W被識別。
[0167] 接著，在步驟S185中，HMD 1的控制單元10獲取由視線檢測單元15檢測的佩戴者的 視線檢測數(shù)據(jù)。
[0168] 在步驟S188中，控制單元10然后進(jìn)行控制W經(jīng)由通信單元11將視線檢測數(shù)據(jù)傳輸 到用戶終端2。
[0169] 接著，在步驟S191中，用戶終端2的控制單元20基于經(jīng)由通信單元21從HMD 1接收 的視線檢測數(shù)據(jù)，確定用戶的視線是否轉(zhuǎn)向左上角。
[0170] 隨后，在已確定用戶的視線轉(zhuǎn)向左上角（步驟S191中的"是"）的情況下，在步驟 S194中，控制單元20啟動回憶應(yīng)用程序。如上所述，一般來說，當(dāng)人回憶過去的記憶時，他/ 她的視線轉(zhuǎn)向左邊。因此，作為實例，通過使用用戶的視線朝向左上角的運動作為觸發(fā)器， 啟動回憶應(yīng)用程序。
[0171] 在步驟S197中，控制單元20然后充當(dāng)顯示控制單元240W通過HMD 1顯示回憶信息 (與對話者有關(guān)的過去的數(shù)據(jù))的方式進(jìn)行控制。從云存儲3獲取回憶信息。稍后將描述捜索 回憶信息的處理。
[0172] 接著，在步驟S200中，HMD 1的控制單元IOW顯示單元12響應(yīng)于來自用戶終端2的 指令顯示回憶信息的方式進(jìn)行控制。
[0173] 接著，在步驟S201中，HMD 1的顯示單元12在控制單元10的控制下顯示回憶信息。
[0174] 已描述回憶應(yīng)用程序啟動處理。接著，參照圖11，將描述在回憶應(yīng)用程序啟動時經(jīng) 由HMD 1(顯示實例）的視場改變。
[0175] 在圖11中所示的實例中，在歷D I的顯示單元12不透明（如圖2中所示）的情況下， 顯示由成像單元14捕獲的前方的風(fēng)景的圖像，即，在啟動回憶應(yīng)用程序時佩戴HMD 1的用戶 的視場。或者，在半透明顯示單元12(諸如眼鏡型透視式歷D)的情況下，用戶可W經(jīng)由半透 明顯示單元12在真實空間看到前方的風(fēng)景。如上所述，說話者識別在會議期間由運個系統(tǒng) 連續(xù)進(jìn)行。因此，如在圖10的頂部所示，指示說話者的顯示在HMD 1的顯示單元12中重疊在 真實空間的前方的風(fēng)景或風(fēng)景的捕獲的圖像上。
[0176] 當(dāng)用戶在與對話者用戶進(jìn)行討論的同時回憶過去的記憶時，用戶的視線40自然轉(zhuǎn) 向左上角之后，系統(tǒng)連續(xù)檢測視線啟動回憶應(yīng)用程序。在啟動回憶應(yīng)用程序之后，例如，HMD 1在用戶終端2的控制下，在用戶的視場的左上角顯示言語氣球圖像42。在言語氣球圖像42 中，顯示在云存儲3中捜索的與對話者有關(guān)的過去的數(shù)據(jù)的材料組421至423。由此，由于在 用戶試圖回憶過去的記憶時顯示在云存儲3中自動捜索的數(shù)據(jù)，故在用戶檢查過去的數(shù)據(jù) 時可W進(jìn)行有意義的討論。
[0177] 盡管視線運動被用作觸發(fā)器，但是回憶應(yīng)用程序啟動觸發(fā)器不限于此。例如，由用 戶進(jìn)行的清除啟動操作等可W被用作觸發(fā)器。另外，盡管過去的數(shù)據(jù)的捜索材料（回憶信 息）的組421至423自動選擇說話者并且與說話者有關(guān)，但是實施方案不限于此。例如，材料 可W是通過用戶操作任意選擇的另一個參加者的過去的數(shù)據(jù)。
[0178] <3-4.捜索處理〉
[0179] 接著，參照圖12,將描述根據(jù)實施方案的過去的數(shù)據(jù)（回憶信息)捜索處理。圖12是 圖示根據(jù)實施方案的過去的數(shù)據(jù)捜索處理的順序圖。
[0180] 在圖12的步驟S194中，進(jìn)行與圖10中所示的操作處理的步驟S194相同的處理，即， 用戶終端2的控制單元20的回憶應(yīng)用程序啟動處理。此時，假設(shè)說話者已經(jīng)在上述步驟S182 中被識別。
[0181] 接著，在步驟S194-1中，控制單元20充當(dāng)捜索控制單元230, W經(jīng)由通信單元21將 與識別的說話者(例如，用戶B)有關(guān)的信息的捜索請求發(fā)出到云存儲3。
[0182] 然后，在步驟S194-2中，云存儲3的控制單元30為存儲單元34捜索相關(guān)信息。此時， 例如，控制單元30捜索用戶B參加的全體會議的過去的材料、由用戶B與其他人共享的所有 材料、在用戶B和用戶A交談時所使用的材料、與用戶B的對話的細(xì)節(jié)等，作為與被識別為說 話者的用戶B有關(guān)的信息。具體來說，控制單元30參照在存儲單元34中存儲的各種內(nèi)容數(shù)據(jù) 的元數(shù)據(jù)捜索運些材料。例如，由于生活日志與在那時作為元數(shù)據(jù)的說話者和周圍的人的 識別結(jié)果相關(guān)聯(lián)，故提取在與用戶B-起時獲取的聲音數(shù)據(jù)和圖像數(shù)據(jù)作為捜索結(jié)果。另 夕h可W提取在與用戶B-起的時間之前和之后由用戶A交換的電子郵件的細(xì)節(jié)和由用戶A 訪問的ML作為捜索結(jié)果。已通過生活日志發(fā)現(xiàn)時間。
[0183] 接著，在步驟S194-3中，控制單元30經(jīng)由通信單元31將在存儲單元34中捜索的內(nèi) 容數(shù)據(jù)傳輸?shù)接脩艚K端2作為捜索結(jié)果。
[0184] 接著，在步驟S197中，用戶終端2的控制單元20充當(dāng)顯示控制單元240, W將回憶信 息顯示指令發(fā)出到HMD 1(參見圖10中相同的步驟）。
[0185] 已描述根據(jù)實施方案的捜索處理。應(yīng)注意，在有如圖10中所示的多個捜索結(jié)果的 情況下，過去的數(shù)據(jù)的材料組421至423被顯示在言語氣球圖像42中。因此，用戶能夠在縮小 任何材料之后查看所需的材料。接著，參照圖13和圖14,將描述材料的縮小。可W通過在用 戶在他/她的手中的用戶終端2的操作單元22(例如，觸摸屏)上的輕彈操作、點擊操作等進(jìn) 行縮小操作。在運種情況下，用戶終端2的顯示單元23也顯示言語氣球圖像42和過去的數(shù)據(jù) 的材料組421至423,并且用戶終端2中的縮小操作被反映在HMD 1的顯示單元12中。
[0186] 圖13是圖示通過輕彈操作查看一組材料的情況的說明圖。在多種材料作為過去的 數(shù)據(jù)被顯示在言語氣球圖像42中（如圖13中所示）的情況下，用戶A能夠通過用手指5a進(jìn)行 右和左輕彈操作來查看并行排列的另一組材料。例如，在圖13中所示的實例中，過去的數(shù)據(jù) 的材料組421至423被顯示在言語氣球42中。然而，在另一組材料被另外排列的情況下，所有 組不被顯示在言語氣球圖像42中。因此，用戶通過輕彈操作來查看另一組材料。
[0187] 圖14是圖示查看一種材料的內(nèi)容的情況的說明圖。如在圖14的頂部所示，在材料 組421至423中點擊材料組422,并且運使得能夠顯示材料組422的細(xì)節(jié)。如在圖14的中間所 示，當(dāng)材料422-1至422-3被顯示為材料組422的細(xì)節(jié)時，用戶可W然后點擊所需的材料422- 2來顯示材料422-2的內(nèi)容。
[0188] 接著，如在圖14的底部所示，當(dāng)材料422-2的內(nèi)容被打開時，用戶可W通過輕彈操 作從右至左或上下滾動和查看材料422-2。
[0189] 已描述經(jīng)由用戶終端2的操作單元22進(jìn)行材料縮小操作的情況。然而，實施方案不 限于此。例如，可W進(jìn)行手勢操作(諸如手指指向）。手勢(諸如手指指向）的圖像由在HMD 1 中提供的成像單元14捕獲，并且通過分析捕獲的圖像被接收為手勢輸入。另外，在輸入手勢 時，手或手指的捕獲的圖像可W重疊并顯示在HMD 1的顯示屏上。
[0190] <3-5.關(guān)鍵詞捜索處理〉
[0191] 在上述捜索處理中，捜索與說話者(或由用戶任意指定的人)有關(guān)的過去的數(shù)據(jù)， 并且用戶進(jìn)行縮小操作。然而，實施方案不限于此?？蒞通過使用從與說話者的對話中提取 的關(guān)鍵詞來縮小材料。
[0192] (3-5-1.關(guān)鍵詞的顯示）
[0193] 首先，參照圖15至圖18,將描述提取的關(guān)鍵詞的顯示和材料的縮小。圖15是圖示關(guān) 鍵詞顯示控制處理的順序圖。
[0194] 如圖15中所示，在步驟S203中，HMD 1的控制單元10從聲音收集單元13獲取與說話 者的對話(聲音數(shù)據(jù)）。接著，在步驟S206中，控制單元10將聲音數(shù)據(jù)傳輸?shù)接脩艚K端2。 [01巧]然后，在步驟S209中，用戶終端2的控制單元20充當(dāng)語言處理單元260, W對經(jīng)由通 信單元21從HMD 1接收的聲音數(shù)據(jù)執(zhí)行語言處理，并且提取關(guān)鍵詞(諸如名詞和指示代詞）。
[0196] 在步驟S212中，控制單元20充當(dāng)說話者識別單元220, W對經(jīng)由通信單元21從HMD 1接收的聲音數(shù)據(jù)執(zhí)行說話者識別。
[0197] 接著，在步驟S215中，控制單元20W通信單元21將從與說話者的對話中提取的關(guān) 鍵詞傳輸?shù)紿MD 1的方式進(jìn)行控制。
[019引在步驟S218中，歷D 1的控制單元10然后W顯示單元12顯示經(jīng)由在相應(yīng)的說話者 附近的通信單元11從用戶終端2傳輸?shù)年P(guān)鍵詞的方式進(jìn)行控制。
[0199] 接著，在步驟S221中，HMD 1的顯示單元12W在說話者附近顯示從與說話者的對話 中提取的關(guān)鍵詞的方式進(jìn)行控制。
[0200] 在會議期間實時連續(xù)進(jìn)行上述關(guān)鍵詞顯示控制。接著，參照圖16,將描述關(guān)鍵詞顯 示實例。圖16是圖示根據(jù)實施方案的關(guān)鍵詞顯示實例的說明圖。圖16中所示的實例是經(jīng)由 麗D I的顯示單元12的用戶的視場。"8女±，說話者"顯示在用戶B(其是識別的說話者）附 近。當(dāng)啟動回憶應(yīng)用程序時，言語氣球圖像42被顯示在左上側(cè)。接著，如圖16中所示，通過上 述關(guān)鍵詞顯示控制處理顯示從與用戶B的對話中提取的關(guān)鍵詞的組43。在會議期間實時連 續(xù)進(jìn)行關(guān)鍵詞顯示控制處理。如圖16中所示，按順序顯示提取的關(guān)鍵詞。
[0201] (3-5-2.關(guān)鍵詞選擇/捜索處理）
[0202] 接著，參照圖17,將描述顯示的關(guān)鍵詞選擇/捜索處理。如參照圖16所述，用戶選擇 在顯示關(guān)鍵詞的組43的情況下用戶想要捜索的關(guān)鍵詞。選擇操作可W通過在用戶終端2的 操作單元22上的點擊操作等進(jìn)行，或可W是手勢輸入(諸如手指指向）。在圖17中所示的順 序圖中，描述通過在用戶終端2的操作單元22上的點擊操作進(jìn)行選擇的情況作為實例。
[0203] 圖17是圖示根據(jù)實施方案的關(guān)鍵詞選擇/捜索處理的順序圖。如圖17中所示，首 先，在步驟S233中，用戶終端2的操作單元22接收關(guān)鍵詞"該材料"的選擇。
[0204] 接著，在步驟S236中，操作單元22將關(guān)鍵詞選擇的檢測細(xì)節(jié)(關(guān)鍵詞"該材料"被選 擇的事實)輸出到控制單元20。
[0205] 在步驟S239中，控制單元20然后充當(dāng)捜索控制單元230, W生成在關(guān)鍵詞"該材料" 被捜索時使用的特定捜索詞。例如，根據(jù)關(guān)鍵詞"該材料"，估計由過去的會議(其是與當(dāng)前 會議相同種類的會議）中的說話者使用的材料、在說話者與參加當(dāng)前會議的成員說話時使 用的材料等。因此，生成當(dāng)前會議的標(biāo)題和所有成員的姓名作為特定捜索詞。
[0206] 接著，在步驟S242中，控制單元20經(jīng)由通信單元21將基于生成的捜索詞的材料候 選信息獲取請求發(fā)出到云存儲3。
[0207] 接著，在步驟S245中，云存儲的控制單元30響應(yīng)于向用戶終端2請求，基于捜索詞 為存儲單元34捜索材料候選信息。此時，控制單元30參照與在存儲單元34中存儲的內(nèi)容數(shù) 據(jù)相關(guān)聯(lián)的元數(shù)據(jù)來捜索預(yù)定會議的過去的材料等。
[0208] 在步驟S248中，控制單元30然后將捜索結(jié)果傳輸?shù)接脩艚K端2。
[0209] 接著，在步驟S251中，用戶終端2的控制單元20基于捜索結(jié)果將顯示"該材料"的材 料候選信息的指令傳輸?shù)紿MD 1。
[0210] 接著，在步驟S254中，HMD 1的控制單元IOW顯示單元12響應(yīng)于來自用戶終端2的 指令來顯示材料候選信息的方式進(jìn)行控制。此時，控制單元10可W通過將材料候選信息顯 示在隨著回憶應(yīng)用程序啟動顯示的言語氣球圖像中的方式進(jìn)行控制。接著，參照圖18給出 下面的描述。
[0211] 圖18是圖示關(guān)鍵詞捜索結(jié)果顯示屏的實例的圖解。當(dāng)在顯示在與用戶B的對話期 間提取的關(guān)鍵詞的組43(如在圖18的頂部所示）的情況下，用戶選擇"該材料"時，在言語氣 球圖像42中顯示被估計為"該材料"的材料候選者(捜索結(jié)果）的組440(如在圖18的底部所 示）。如上所述，可W基于在對話期間提取的關(guān)鍵詞在實施方案中進(jìn)行縮小捜索。
[0212] (3-5-3.捜索材料估計處理）
[0213] 在上述捜索處理中，通過從對話中提取的名詞或指示代詞中選擇一個關(guān)鍵詞來捜 索目標(biāo)材料。然而，實施方案不限于此。也可能基于在選定關(guān)鍵詞出現(xiàn)的對話之前和之后的 對話進(jìn)行目標(biāo)材料的更準(zhǔn)確的估計。接著，參照圖19至圖22提供詳細(xì)描述。
[0214] 圖19是圖示目標(biāo)材料估計處理的說明圖。例如，圖19中所示的處理由用戶終端2的 控制單元20執(zhí)行。例如，圖19中的"數(shù)據(jù)庫(DB)"對應(yīng)于用戶終端2的存儲單元24。
[0215]首先，在步驟S260中，控制單元20基于從HMD I傳輸?shù)牟东@的圖像(例如，在所有方 向上從HMD 1捕獲的圖像)識別周圍的人的臉。會議的出席者包括用戶A和用戶B。應(yīng)注意，作 為實例，在由用戶A持有的用戶終端2中進(jìn)行處理的假設(shè)下提供描述。
[0216]接著，在步驟S262中，控制單元20基于從HMD 1傳輸?shù)穆曇魯?shù)據(jù)和/或捕獲的圖像 指定說話者(運里，用戶A或用戶B)。
[0217]在步驟S264中，控制單元20然后對用戶A與用戶B之間的所有對話執(zhí)行聲音識別和 語言分析、標(biāo)示每個用戶的關(guān)鍵詞，并且將運些關(guān)鍵詞保存在DB(存儲單元24)中。應(yīng)注意， 控制單元20的標(biāo)示不限于基于聲音識別的標(biāo)示。例如，可W基于每一類型的識別(諸如圖像 (靜止圖像/運動圖像)識別和行為識別）的結(jié)果進(jìn)行標(biāo)示。接著，下表1示出被保存在DB中的 標(biāo)不的關(guān)鍵詞的實例。
[0別引[表1]
[0219]
[0220] 在步驟S266中，控制單元20然后從對話中辨別指示代詞(諸如"那個/它"）。例如， 控制單元20從用戶A的對話"那個去哪兒了r中辨別指示代詞"那個"。
[0221] 接著，在步驟S268中，控制單元20開始分析對應(yīng)于辨別的指示代詞的細(xì)節(jié)。
[0222] 具體來說，在步驟S270中，控制單元20分析在辨別的指示代詞"那個"之前和之后 的對話的標(biāo)簽W提取關(guān)鍵詞。例如，從與用戶B的對話"在年底與(：女±的上次會議使用的 "那個"是在文件夾J中"，提取關(guān)鍵詞，諸如"人:A先生、B女±和(：女±"、"時間：年底"、"地 點:會議室"和"內(nèi)容細(xì)節(jié):會議細(xì)節(jié)、午餐的對話"。
[0223] 在步驟S272中，控制單元20然后比較提取的"關(guān)鍵詞"與每個內(nèi)容數(shù)據(jù)塊的元數(shù)據(jù) W提取對應(yīng)于"那個"的內(nèi)容數(shù)據(jù)塊(諸如會議的材料、圖片或運動圖像）。與元數(shù)據(jù)相關(guān)聯(lián) 的內(nèi)容數(shù)據(jù)塊從云存儲3被獲取并且臨時存儲在用戶終端2的存儲單元24中。圖20圖示基于 比較的"那個'的候選列表的實例。如圖20中所示，通過比較提取的關(guān)鍵詞與每個內(nèi)容數(shù)據(jù) 塊的元數(shù)據(jù)來提供"那個"的候選1至3。
[0224] 接著，在步驟S274中，控制單元20 Whmd 1的顯示單元12在從用戶A查看的左上側(cè) 顯示的言語氣球圖像中按優(yōu)先順序(按匹配度順序)顯示"那個"的候選1至3的方式進(jìn)行控 審IJ。應(yīng)注意，在用戶終端2中進(jìn)行選擇操作的情況下，用戶終端2的顯示單元23也被控制成W 類似的方式顯示候選1至3。
[02巧]接著，在步驟S276中，用戶A從在HMD 1的顯示單元12上顯示的"那個"的候選1至3 中選擇適當(dāng)?shù)牟牧?，并且顯示正確的答案?；蛘?，在通過共享設(shè)置(稍后將描述）向用戶B顯 示候選1至3的情況下，有時用戶B選擇適當(dāng)?shù)牟牧喜⑶绎@示正確的答案。當(dāng)選擇適當(dāng)?shù)牟牧?時，用戶終端2的控制單元20擴(kuò)展"那個"的候選（內(nèi)容數(shù)據(jù)塊)的元數(shù)據(jù)，其是通過反饋學(xué)習(xí) 的正確的答案。圖21是圖示通過反饋學(xué)習(xí)擴(kuò)展元數(shù)據(jù)的情況的說明圖。如圖21中所示，例 如，在"fff. PPt"是正確的答案的情況下，諸如"時間：年底"、"人:C女去V'其他:文件夾J" 的關(guān)鍵詞作為元數(shù)據(jù)被添加到內(nèi)容數(shù)據(jù)塊的元數(shù)據(jù)。
[0226]在上述估計處理中，基于用戶A或用戶B在對話中所講的語句估計和顯示候選材 料。然而，實施方案不限于此。例如，可能向不參加對話的人顯示候選材料。接著，參照圖22 給出下面的描述。
[0227] 圖22是圖示用于向不參加對話的人顯示候選材料的處理的說明圖。首先，在圖22 中所示的步驟S280中，用戶終端2的控制單元20基于從HMD 1傳輸?shù)牟东@的圖像(例如，在所 有方向上從HMD 1捕獲的圖像)識別周圍的人的臉。會議的出席者包括用戶A、用戶B和用戶 C。應(yīng)注意，作為實例，在由用戶C持有的用戶終端2中進(jìn)行處理的假設(shè)下提供描述。
[0228] 接著，在步驟S282中，控制單元20基于從HMD 1傳輸?shù)穆曇魯?shù)據(jù)和/或捕獲的圖像 指定說話者(運里，用戶A或用戶B)。此時，用戶C不參加對話。用戶C不在對話中。
[0229] 在步驟S284中，控制單元20然后對在用戶C附近的用戶A與用戶B之間的所有對話 執(zhí)行聲音識別和語言分析、標(biāo)示每個用戶的關(guān)鍵詞，并且將運些關(guān)鍵詞保存在DB(存儲單元 24)中。
[0230] 接著，在步驟S286中，即使在用戶A對不參加對話"順便問一下，'它'怎么樣r的用 戶抗兌話的情況下，控制單元20從對話中辨別指示代詞"它"。
[0231] 接著，在步驟S288中，控制單元20開始分析對應(yīng)于辨別的指示代詞的細(xì)節(jié)。
[0232] 具體來說，在步驟S290中，控制單元20分析在辨別的指示代詞"它"之前和之后的 對話的標(biāo)簽W提取關(guān)鍵詞。如上所述，由于即使當(dāng)用戶C不參加對話時，用戶C的用戶終端2 中的控制單元20通過分析在用戶C附近講的對話來標(biāo)示關(guān)鍵詞，故可能也從用戶A對用戶C 說話之前的對話中提取關(guān)鍵詞。
[0233] 在步驟S292中，控制單元20然后比較提取的"關(guān)鍵詞"與每個內(nèi)容數(shù)據(jù)塊的元數(shù)據(jù) W提取對應(yīng)于"它"的內(nèi)容數(shù)據(jù)塊(諸如會議的材料、圖片或運動圖像）。
[0234] 接著，在步驟S294中，控制單元20WHMD 1的顯示單元12在從用戶C查看的左上側(cè) 顯示的言語氣球圖像中按優(yōu)先順序(按匹配度順序）顯示"它"的候選的方式進(jìn)行控制。此 時，也可能讓控制單元20另外顯示從用戶A與用戶B之間的對話中提取的關(guān)鍵詞。
[0235] 接著，在步驟S296中，用戶C從在HMD 1的顯示單元12上顯示的"它"的候選中選擇 適當(dāng)?shù)牟牧?，并且顯示正確的答案?；蛘?，在通過共享設(shè)置(稍后將描述）向用戶A和B顯示候 選的情況下，有時用戶A或B選擇適當(dāng)?shù)牟牧喜⑶绎@示正確的答案。當(dāng)選擇適當(dāng)?shù)牟牧蠒r，用 戶終端2的控制單元20擴(kuò)展"它"的候選（內(nèi)容數(shù)據(jù)塊）的元數(shù)據(jù)，其是通過反饋學(xué)習(xí)的正確 的答案。
[0236] 如上所述，即使當(dāng)用戶不參加對話時，根據(jù)實施方案的用戶終端2分析在終端2周 圍的對話。由此，在某人對用戶說話時從對話中提取指示代詞的情況下，可能分析先前的對 話、基于標(biāo)示的關(guān)鍵詞估計候選材料，并且向用戶顯示候選材料。
[0237] <3-6.共享處理〉
[0238] 接著，將參照圖23至圖25描述通過啟動回憶應(yīng)用程序與另一用戶共享向用戶顯示 的過去的數(shù)據(jù)(候選材料)的情況。應(yīng)注意，作為實例，假設(shè)用戶A與用戶B共享過去的數(shù)據(jù)。
[0239] 圖23是圖示根據(jù)實施方案的共享處理的順序圖。如圖23中所示，首先，在步驟S313 中，由用戶A持有的用戶終端2a的操作單元22接收與用戶B共享過去的數(shù)據(jù)的設(shè)置。例如，如 圖24中所示，通過選擇對應(yīng)于要共享的過去的數(shù)據(jù)的所顯示的共享設(shè)置按鈕425或426來進(jìn) 行共享設(shè)置的操作。在只與用戶B(其是對話者)共享的情況下選擇共享設(shè)置按鈕425。在與 所有公司共享的情況下選擇共享設(shè)置按鈕426。
[0240] 接著，在步驟S316中，用戶終端2a的操作單元22將與用戶B共享的設(shè)置的操作檢測 輸出到控制單元20。
[0241] 在步驟S319中，控制單元20然后通知云存儲3與用戶B共享指定材料(在圖24中所 示的實例中，"由8女±作出的運個會議的材料2")。
[0242] 接著，在步驟S322中，云存儲3的控制單元30W在訪問權(quán)限被授予給用戶A的存儲 單元34中的區(qū)域中存儲的指定材料上設(shè)置共享標(biāo)志的方式進(jìn)行控制。
[0243] 在步驟S325中，用戶終端2a的控制單元20將指定材料傳輸?shù)脚渲霉蚕碓O(shè)置的用戶 B所持有的用戶終端化。
[0244] 接著，在步驟S328中，用戶終端2b指示由用戶B佩戴的HMD化顯示從用戶終端2a傳 輸?shù)墓蚕聿牧稀?br>[0245] 接著，在步驟S331中，HMD化響應(yīng)于來自用戶終端2b的指令，在對應(yīng)于用戶A的位 置(例如，在用戶A的頭部上方)在顯示屏中顯示從用戶A共享的材料。圖25圖示用于顯示從 用戶A到用戶B共享的材料的屏幕的實例。圖25圖示佩戴HMD Ib的用戶B的視場(顯示單元12 的顯示屏）。
[0246] 如圖25中所示，在用戶A的頭部上方顯示的言語氣球圖像4姑中顯示從用戶A到用 戶B共享的材料。由此，用戶B可W直觀地識別用戶A現(xiàn)在回憶的過去的數(shù)據(jù)。用戶B可W打開 過去的數(shù)據(jù)，并且查看在用戶的頭部上方的言語氣球圖像42a中的過去的數(shù)據(jù)的內(nèi)容，或用 戶B可W將過去的數(shù)據(jù)復(fù)制到用戶B的存儲區(qū)域。稍后將描述共享材料的復(fù)制。
[0247] 如上所述，根據(jù)實施方案，可能與另一用戶共享由用戶回憶的過去的數(shù)據(jù)。由此， 可W進(jìn)行有意義的討論。在參照圖23所述的共享處理中，用戶終端2a將共享材料（內(nèi)容數(shù) 據(jù))傳輸?shù)接脩艚K端化。然而，實施方案不限于此。例如，在云存儲3的存儲單元34中設(shè)置共 享標(biāo)志的情況下，云存儲3的控制單元30可W將共享材料傳輸?shù)脚渲霉蚕碓O(shè)置的用戶B的用 戶終端2b。
[0248] <3-7.共享材料復(fù)制處理〉
[0249] 接著，參照圖26至圖28,將描述共享材料復(fù)制處理。運里，作為實例，描述從用戶A 到用戶B共享的材料(過去的數(shù)據(jù))的復(fù)制。復(fù)制操作可W通過在用戶終端2的操作單元22上 的拖放操作等進(jìn)行，或可W是手勢輸入(諸如手指指向）。
[0250] 圖26是圖示根據(jù)實施方案的共享材料復(fù)制處理的順序圖。作為實例，圖26中的順 序圖圖示對用戶終端化的操作單元22操作的情況。
[0251] 如圖26中所示，首先，在步驟S343中，用戶終端化的操作單元22接收共享材料復(fù)制 操作。
[0252] 接著，在步驟S346中，操作單元22將復(fù)制操作的檢測輸出到控制單元20。
[0253] 在步驟S349中，控制單元20然后指示云存儲3將指定材料復(fù)制到用戶B可訪問的存 儲區(qū)域。
[0254] 接著，在步驟S352中，云存儲3的控制單元30將在用戶A可訪問的存儲單元34的區(qū) 域中存儲并且在上面設(shè)置共享標(biāo)志的共享材料復(fù)制到用戶B可訪問的區(qū)域。
[0巧5] 在步驟S358中，用戶終端2b的控制單元20 W在HMD 1的顯示屏中在用戶B的言語氣 球圖像中顯示進(jìn)行復(fù)制操作的共享材料的方式進(jìn)行控制。
[0256] 接著，在步驟S361中，HMD化在從用戶B查看的左上側(cè)顯示的言語氣球圖像中顯示 進(jìn)行復(fù)制操作的共享材料。運使得用戶能夠直觀地識別共享材料已被復(fù)制。
[0257] 例如，如在圖27中所示，也可W通過拖放操作進(jìn)行共享材料復(fù)制操作。圖27是圖示 共享材料復(fù)制操作的說明圖。
[0258] 如在圖27的頂部所示，在用戶A的頭部上方顯示的言語氣球圖像4^1中用手指化長 時間點擊共享材料使得啟動拖動。用戶將進(jìn)行長時間點擊的共享材料移動到在左上側(cè)顯示 的自己的言語氣球圖像44的區(qū)域，并且使言語氣球圖像44中的共享材料落下。由此，共享材 料復(fù)制操作完成，并且將共享材料復(fù)制到在云存儲3的存儲單元34中的用戶B可訪問的存儲 區(qū)域。
[0259] 接著，參照圖28,將描述復(fù)制的共享材料的查看。當(dāng)用戶B點擊復(fù)制到言語氣球圖 像44的共享材料（如在圖28的頂部所示）時，共享材料的內(nèi)容被打開并重疊在整個屏幕上 (如在圖28的底部所示）。用戶可W通過輕彈操作等滾動和查看共享材料的內(nèi)容。
[0260] 在圖28中所示的實例中，用戶終端2的顯示單元23顯示類似于HMD 1的顯示單元12 的屏幕。響應(yīng)于從操作單元22接收的點擊操作或輕彈操作的屏幕的變化反映在HMD 1的顯 示單元12中。然而，實施方案不限于用戶終端2的操作單元22的操作輸入。手勢輸入(諸如手 指指向）也是可能的。
[0261] 《4.結(jié)論》
[0262] 如上所述，在根據(jù)本公開的實施方案的信息共享系統(tǒng)中，可W與對話者視覺上共 享與對話者有關(guān)的過去的數(shù)據(jù)。由此，可W進(jìn)行有意義的討論。另外，例如，在根據(jù)實施方案 的信息共享系統(tǒng)中，通過使用由用戶進(jìn)行的過去的記憶回憶運動(視線位置朝向左上側(cè)的 運動)作為觸發(fā)器，基于視線檢測自動顯示與對話者有關(guān)的過去的數(shù)據(jù)。因此，運個系統(tǒng)的 方便性可W提局。
[0263] 另外，在根據(jù)實施方案的信息共享系統(tǒng)中，可能通過基于與對話者對話的細(xì)節(jié)估 計候選材料(過去的數(shù)據(jù))來更準(zhǔn)確地顯示用戶需要的過去的數(shù)據(jù)。
[0264] 在上文中，盡管已參照附圖詳細(xì)地描述本公開的優(yōu)選實施方案，但是本公開不限 于此。本領(lǐng)域技術(shù)人員應(yīng)理解，各種修改、組合、子組合和變化可能根據(jù)設(shè)計要求和其他因 素而發(fā)生，只要它們在所附權(quán)利要求或其等效物的范圍內(nèi)。
[0265] 例如，也可能創(chuàng)建計算機(jī)程序，其用于使嵌入上述HMD 1、用戶終端2或云存儲3的 硬件(諸如CPU、R0M和RAM)執(zhí)行HMD 1、用戶終端2或云存儲3的功能。此外，有可能提供具有 存儲在其中的計算機(jī)程序的計算機(jī)可讀存儲介質(zhì)。
[0266] 作為實例，在上述實施方案中，通過使用佩戴麗D Ia的人的視線朝向左上側(cè)的運 動作為觸發(fā)器，顯示與用戶B(其是對話者)有關(guān)的信息。然而，實施方案不限于此。換句話 說，由于在某人回憶過去的記憶時有視線移動方向的個體差異，故也可W在眼睛移動到左 下側(cè)、右上側(cè)、右下側(cè)等時顯示預(yù)定信息。
[0267] 上述實施方案描述在使用他/她的右腦時眼睛向左移動的實例。另一方面，左腦負(fù) 責(zé)邏輯、事實和語言。在創(chuàng)建"小說"、"圖像"或"謊言"時使用左腦(其是用于邏輯的腦），W 免包括故事的崩潰或沖突，并且眼睛移動到與左邊相反的右邊。因此，也可能在實施方案中 通過使用HMD Ia的佩戴者的眼睛朝向右上側(cè)的運動作為觸發(fā)器，顯示自動創(chuàng)建的虛構(gòu)的故 事。
[0268] 例如，當(dāng)在佩戴HMD Ia的用戶A與用戶B說話期間用戶A的眼睛移動到右上側(cè)時，提 取與用戶B(其是對話者)有關(guān)的信息，并且將通過改變提取的信息（小說）的部分而獲得的 信息顯示給用戶A。具體來說，例如，在提取與參與對話的用戶A和用戶C的晚餐有關(guān)的信息 作為與用戶B(其是對話者)有關(guān)的信息的情況下，在將晚餐改變成與用戶C、用戶A和用戶D 的午餐會議之后，HMD 1的顯示單元12顯示信息。如上所述，在實施方案中，如在佩戴者的眼 睛移動到左上側(cè)的情況下顯示過去的數(shù)據(jù)，并且在眼睛移動到右上側(cè)的情況下顯示通過改 變過去的數(shù)據(jù)的部分而獲得的修改的信息。由此，可能顯示適合佩戴者的需要的信息，并且 方便性可W提高更多。應(yīng)注意，由于在某人創(chuàng)建小說或謊言時有眼睛的移動方向的個體差 異，故也可W在眼睛移動到右下側(cè)、左上側(cè)、左下側(cè)等時顯示預(yù)定信息。
[0269] 可W在沒有用戶終端2的情況下實現(xiàn)根據(jù)實施方案的信息共享系統(tǒng)。在運種情況 下，HMD 1的控制單元10或云存儲3的控制單元30執(zhí)行圖4中所示的用戶終端2的控制單元20 的功能。
[0270] 另外，內(nèi)容數(shù)據(jù)(諸如生活日志)被積累到的區(qū)域不限于云存儲3。例如，內(nèi)容數(shù)據(jù) 可W被積累在局部存儲器中，諸如用戶的用戶終端2或個別的個人計算機(jī)(PC)。
[0271] 另外，在本說明書中所述的效果僅是說明性和示范性的，而不是限制性的。換句話 說，根據(jù)本公開的技術(shù)可W連同基于本說明書的效果一起或替代基于本說明書的效果而呈 現(xiàn)對本領(lǐng)域技術(shù)人員顯而易見的其他效果。
[0272] 另外，本技術(shù)也可W被配置如下。
[0273] (1)
[0274] 一種信息處理設(shè)備，包括：
[0275] 顯示控制單元，其被配置成W安置在用戶的眼睛之前的顯示單元顯示與識別的對 話者有關(guān)的過去的數(shù)據(jù)的方式進(jìn)行控制；W及
[0276] 共享設(shè)置控制單元，其被配置成W與另一個人的所述過去的數(shù)據(jù)的共享被設(shè)置的 方式進(jìn)行控制。
[0277] (2)
[0278] 根據(jù)(1)所述的信息處理設(shè)備，進(jìn)一步包括
[0279] 捜索控制單元，其被配置成進(jìn)行控制W基于與在存儲單元中存儲的過去的數(shù)據(jù)相 關(guān)聯(lián)的元數(shù)據(jù)來捜索與所述對話者有關(guān)的所述過去的數(shù)據(jù)。
[0280] (3)
[0281] 根據(jù)(2)所述的信息處理設(shè)備，
[0282] 其中所述捜索控制單元參照當(dāng)前日期和時間、當(dāng)前位置或用戶的當(dāng)前時間表信息 捜索過去的數(shù)據(jù)。
[0283] (4)
[0284] 根據(jù)(2)或(3)所述的信息處理設(shè)備，
[0285] 其中所述捜索控制單元捜索與從對話中提取的關(guān)鍵詞有關(guān)的過去的數(shù)據(jù)。
[0286] (5)
[0287] 根據(jù)(4)所述的信息處理設(shè)備，
[0288] 其中所述捜索控制單元通過比較在指示代詞之前或之后的關(guān)鍵詞與和所述過去 的數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)，捜索從對話中提取的所述指示代詞的候選材料作為過去的數(shù)據(jù)。
[0289] (6)
[0290] 根據(jù)(I)至(5)中任一項所述的信息處理設(shè)備，
[0291] 其中所述顯示控制單元W在檢測到用戶視線位置移動到預(yù)定區(qū)域并且進(jìn)行回憶 運動時顯示所述過去的數(shù)據(jù)的方式進(jìn)行控制。
[0292] (7)
[0293] 根據(jù)(1)至(6)中任一項所述的信息處理設(shè)備，
[0294] 其中所述顯示控制單元進(jìn)行控制W顯示對話者配置共享設(shè)置的過去的數(shù)據(jù)。
[02 巧](8)
[0296] 根據(jù)(7)所述的信息處理設(shè)備，
[0297] 其中所述顯示控制單元W在對應(yīng)于配置共享設(shè)置的對話者的位置顯示所述過去 的數(shù)據(jù)的方式進(jìn)行控制。
[029引（9)
[0299] -種控制方法，包括：
[0300] W安置在用戶的眼睛之前的顯示單元顯示與識別的對話者有關(guān)的過去的數(shù)據(jù)的 方式進(jìn)行控制；W及
[0301] W與另一個人的所述過去的數(shù)據(jù)的共享被設(shè)置的方式進(jìn)行控制。
[0302] (10)
[0303] -種程序，其用于使計算機(jī)充當(dāng)：
[0304] 顯示控制單元，其被配置成W安置在用戶的眼睛之前的顯示單元顯示與識別的對 話者有關(guān)的過去的數(shù)據(jù)的方式進(jìn)行控制；W及
[0305] 共享設(shè)置控制單元，其被配置成W與另一個人的所述過去的數(shù)據(jù)的共享被設(shè)置的 方式進(jìn)行控制。
[0306] (11)
[0307] -種系統(tǒng)，包括：
[0308] 服務(wù)器，其被配置成存儲每個用戶的過去的數(shù)據(jù)；
[0309] 可穿戴設(shè)備，其被配置成安裝在用戶的頭上并且具有安置在所述用戶的眼睛之前 的顯示單元；W及
[0310] 用戶終端，包括：
[0311] 顯示控制單元，其被配置成W所述顯示單元顯示從所述服務(wù)器獲取的過去的數(shù)據(jù) 的方式進(jìn)行控制，所述過去的數(shù)據(jù)與識別的對話者有關(guān)，W及
[0312] 共享設(shè)置控制單元，其被配置成W與另一個人的所述過去的數(shù)據(jù)的共享被設(shè)置的 方式進(jìn)行控制。
[0313] 參考符號列表
[0314] Ulaab HMD
[0315] 101 主體
[0316] 102前額襯墊
[0317] 103 鼻墊 [031引 104上帶
[0319] 105 下帶
[0320] 110 耳機(jī)
[0321] 10控制單元
[0322] 11通信單元
[0323] 12顯示單元
[0324] 13聲音收集單元 [03巧]14成像單元
[0326] 14a-14d 成像透鏡
[0327] 15視線檢測單元
[032引 16存儲單元
[0329] 130麥克風(fēng)(麥克風(fēng)陣列）
[0330] 2、2a、2b 用戶終端
[0331] 20控制單元
[0332] 210生活日志獲取控制單元
[0333] 220說話者識別單元
[0334] 230捜索控制單元
[0335] 240顯示控制單元
[0336] 250共享設(shè)置控制單元
[0337] 260語言處理單元
[033引 21通信單元
[0339] 22操作單元
[0340] 23顯示單元
[0：341] 24存儲單元
[0；342] 3云存儲
[0343] 30控制單元
[0344] 31通信單元
[0345] 33元數(shù)據(jù)生成單元
[0346] 34存儲單元
[0：347] 40 視線
[0%引 42言語氣球圖像
[0349] 421-423 材料組
[0；350] 5a、化手指 [0巧1] 425、426共享設(shè)置按鈕。
【主權(quán)項】
1. 一種信息處理設(shè)備，包含： 顯示控制單元，其被配置成以安置在用戶的眼睛之前的顯示單元顯示與識別的對話者 有關(guān)的過去的數(shù)據(jù)的方式進(jìn)行控制；以及 共享設(shè)置控制單元，其被配置成以與另一個人的所述過去的數(shù)據(jù)的共享被設(shè)置的方式 進(jìn)行控制。2. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，進(jìn)一步包含 搜索控制單元，其被配置成進(jìn)行控制以基于與在存儲單元中存儲的過去的數(shù)據(jù)相關(guān)聯(lián) 的元數(shù)據(jù)來搜索與所述對話者有關(guān)的所述過去的數(shù)據(jù)。3. 根據(jù)權(quán)利要求2所述的信息處理設(shè)備， 其中所述搜索控制單元參照當(dāng)前日期和時間、當(dāng)前位置或用戶的當(dāng)前時間表信息搜索 過去的數(shù)據(jù)。4. 根據(jù)權(quán)利要求2所述的信息處理設(shè)備， 其中所述搜索控制單元搜索與從對話中提取的關(guān)鍵詞有關(guān)的過去的數(shù)據(jù)。5. 根據(jù)權(quán)利要求4所述的信息處理設(shè)備， 其中所述搜索控制單元通過比較在指示代詞之前或之后的關(guān)鍵詞與和所述過去的數(shù) 據(jù)相關(guān)聯(lián)的元數(shù)據(jù)，搜索從對話中提取的所述指示代詞的候選材料作為過去的數(shù)據(jù)。6. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備， 其中所述顯示控制單元以在檢測到的用戶視線位置已移動到預(yù)定區(qū)域并且已進(jìn)行回 憶運動時顯示所述過去的數(shù)據(jù)的方式進(jìn)行控制。7. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備， 其中所述顯示控制單元進(jìn)行控制以顯示對話者配置了共享設(shè)置的過去的數(shù)據(jù)。8. 根據(jù)權(quán)利要求7所述的信息處理設(shè)備， 其中所述顯示控制單元以在對應(yīng)于配置了共享設(shè)置的對話者的位置顯示所述過去的 數(shù)據(jù)的方式進(jìn)行控制。9. 一種控制方法，包含： 以安置在用戶的眼睛之前的顯示單元顯示與識別的對話者有關(guān)的過去的數(shù)據(jù)的方式 進(jìn)行控制；以及 以與另一個人的所述過去的數(shù)據(jù)的共享被設(shè)置的方式進(jìn)行控制。10. -種程序，其用于使計算機(jī)充當(dāng)： 顯示控制單元，其被配置成以安置在用戶的眼睛之前的顯示單元顯示與識別的對話者 有關(guān)的過去的數(shù)據(jù)的方式進(jìn)行控制；以及 共享設(shè)置控制單元，其被配置成以與另一個人的所述過去的數(shù)據(jù)的共享被設(shè)置的方式 進(jìn)行控制。11. 一種系統(tǒng)，包含： 服務(wù)器，其被配置成存儲每個用戶的過去的數(shù)據(jù)； 可穿戴設(shè)備，其被配置成安裝在用戶的頭上并且具有安置在所述用戶的眼睛之前的顯 示單元；以及 用戶終端，包括： 顯示控制單元，其被配置成以所述顯示單元顯示從所述服務(wù)器獲取的過去的數(shù)據(jù)的方 式進(jìn)行控制，所述過去的數(shù)據(jù)與識別的對話者有關(guān)，以及 共享設(shè)置控制單元，其被配置成以與另一個人的所述過去的數(shù)據(jù)的共享被設(shè)置的方式 進(jìn)行控制。
【文檔編號】H04N7/15GK105981375SQ201480075289
【公開日】2016年9月28日
【申請日】2014年12月1日
【發(fā)明人】小野秀行, 倉田雅友
【申請人】索尼公司