一種家用信息采集和用戶情感識別設(shè)備及其工作方法
【專利摘要】本發(fā)明公開了一種家用信息采集和用戶情感識別設(shè)備，包括外殼、電源、主控制器、微控制器、多個環(huán)境傳感器、顯示屏、麥克風(fēng)、音響、多個健康傳感器、一對機器人手臂、以及一對攝像頭，麥克風(fēng)設(shè)置于外殼上，電源、主控制器、微控制器、環(huán)境傳感器、音響、一對攝像頭分別相對于顯示屏左右兩側(cè)對稱設(shè)置，一對機器人手臂設(shè)置于外殼兩側(cè)，主控制器與微控制器通信連接，用于控制微控制器通過機器人手臂的電機控制機器人手臂的活動，電源與主控制器、微控制器相連接，用于為主控制器、微控制器提供能量。本發(fā)明通過整合智能語音識別技術(shù)、語音合成技術(shù)、面部表情識別技術(shù)，使家用信息采集和用戶情感識別設(shè)備的使用更為便利、反饋更為合理。
【專利說明】一種家用信息采集和用戶情感識別設(shè)備及其工作方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于智能電器【技術(shù)領(lǐng)域】，更具體地，涉及一種家用信息采集和用戶情感識 別設(shè)備及其工作方法。

【背景技術(shù)】
[0002] 當(dāng)前，越來越多的電子設(shè)備進入家庭，為人們的日常生活所服務(wù)，方便人們的生 活，但是往往單一設(shè)備只可以提供單一的功能比如：娛樂、報警、室內(nèi)環(huán)境信息采集、人體生 理指標(biāo)采集。如果想要使用多種功能，就必須購置多種設(shè)置，這一方面增加了人們在電子設(shè) 備上的支出，另一方面，由于設(shè)備眾多，學(xué)習(xí)成本高，也會造成使用上的不便。使用集多種功 能于一身的家用信息采集和用戶情感識別設(shè)備一方面可以囊括上述功能，另一方面，擁有 良好交互能力和情感陪護能力的設(shè)備不但能方便小孩和老人的使用而且能對獨自在家的 空巢老人進行心理上的安撫，本設(shè)備能在用戶未察覺的情況下采集室內(nèi)環(huán)境信息，并可在 用戶的協(xié)助下采集用戶的健康信息。
[0003] 目前，集成多種功能的設(shè)備比較少，當(dāng)前的設(shè)備往往功能單一，如中國發(fā)明專利 201320037638. 3提出一種基于傳感器的多功能便攜式健康監(jiān)護儀，但其功能單一，只具有 測體重、計步和跌倒報警功能，無法收集完整的人體健康信息；專利申請?zhí)枮?1133777. X 的發(fā)明專利可采集與健康相關(guān)的人體生理數(shù)據(jù)，但是無法收集家庭的環(huán)境信息，如溫度，濕 度，氣壓等；美國專利US8615413的發(fā)明專利交互功能弱，沒有語音交互功能，無法對用戶 情感進行反饋，不方便用戶的使用。


【發(fā)明內(nèi)容】

[0004] 針對現(xiàn)有技術(shù)的以上缺陷或改進需求，本發(fā)明提供了一種家用信息采集和用戶情 感識別設(shè)備及其工作方法，其目的在于，解決現(xiàn)有裝置中存在的功能單一、無法收集家庭的 環(huán)境信息或用戶的健康信息、以及交互能力差的技術(shù)問題。
[0005] 為實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種家用信息采集和用戶情感 識別設(shè)備，包括外殼、電源、主控制器、微控制器、多個環(huán)境傳感器、顯不屏、麥克風(fēng)、音響、多 個健康傳感器、一對機器人手臂、以及一對攝像頭，麥克風(fēng)設(shè)置于外殼上，電源、主控制器、 微控制器、環(huán)境傳感器、音響、一對攝像頭分別相對于顯示屏左右兩側(cè)對稱設(shè)置，一對機器 人手臂設(shè)置于外殼兩側(cè)，主控制器與微控制器通信連接，用于控制微控制器通過機器人手 臂的電機控制機器人手臂的活動，電源與主控制器、微控制器相連接，用于為主控制器、微 控制器提供能量，主控制器用于控制微控制器通過環(huán)境傳感器、健康傳感器采集環(huán)境信息 和/或用戶的健康信息，對采集到的環(huán)境信息和/或用戶的健康信息進行結(jié)構(gòu)化預(yù)處理，并 將結(jié)構(gòu)化預(yù)處理后的信息傳送到云平臺，攝像頭與主控制器通信連接，用于依據(jù)人眼成像 的原理采集用戶的頭像信息，并將該頭像信息傳送到主控制器，主控制器用于對攝像頭采 集的頭像信息進行處理，以得到深度信息以及用戶的彩色圖像，對采集到的深度信息和彩 色圖像進行去冗余處理，以準(zhǔn)確地識別出用戶的面部狀態(tài)，并將用戶的面部狀態(tài)與主控制 器中存儲的表情庫進行匹配，以確定用戶的表情信息，主控制器還用于根據(jù)用戶的表情信 息控制顯示器和音響執(zhí)行對應(yīng)的操作，麥克風(fēng)與主控制器通信連接，用于采集用戶的聲音 信息，并將該聲音信息傳送到主控制器，主控制器用于將該聲音信息識別為文字，對文字進 行關(guān)鍵字提取，在該提取的關(guān)鍵字是采集健康信息的指令時控制顯示器顯示與該關(guān)鍵字對 應(yīng)的提示信息，以告知用戶使用健康傳感器執(zhí)行相應(yīng)的采集健康信息操作，并在采集結(jié)束 后顯示采集到的結(jié)果，在該提取的關(guān)鍵字不是采集健康信息的指令時根據(jù)提取的關(guān)鍵字從 遠端的云平臺獲取對應(yīng)的內(nèi)容，并控制顯示器將該內(nèi)容顯示給用戶。
[0006] 優(yōu)選地，環(huán)境傳感器包括用于采集環(huán)境信息的溫度傳感器、濕度傳感器、煙霧傳感 器、或光傳感器，健康傳感器包括用于采集健康信息的心率傳感器、血壓傳感器、或血糖傳 感器。
[0007] 優(yōu)選地，表情信息包括笑、憂傷、憤怒、吃驚、無表情。
[0008] 優(yōu)選地，如果表情信息是笑，則主控制器控制顯示器向用戶顯示大笑表情，并控制 音響播放歡快的音樂；如果是憂傷，則主控制器控制顯示器向用戶顯示微笑表情，并控制音 響播放舒緩的音樂，同時主控制器會控制機器人手臂張開，嘗試擁抱用戶；如果是憤怒，則 主控制器控制顯示器向用戶顯示微笑表情，并控制音響對用戶說話，以平息用戶；如果是吃 驚，則主控制器控制顯示器向用戶顯示微笑表情，并控制音響對用戶說話，控制機器人手臂 做平復(fù)的動作，具體而言可以是雙手在胸前向下運動，以撫慰用戶；如果用戶無表情則不進 行反饋。
[0009] 優(yōu)選地，進一步包括設(shè)置于外殼內(nèi)部的網(wǎng)卡，用于實現(xiàn)家用信息采集和用戶情感 識別設(shè)備與云平臺之間的交互。
[0010] 總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，能夠取得下列有 益效果：
[0011] ⑴本發(fā)明的功能多樣豐富：由于本發(fā)明的家用信息采集和用戶情感識別設(shè)備內(nèi) 置了網(wǎng)卡可以在識別出用戶的命令后從云平臺獲取相應(yīng)的內(nèi)容呈現(xiàn)給用戶，因此除了采集 環(huán)境信息和健康信息之外擁有更多的功能、可擴展性更強。
[0012] (2)本發(fā)明人機交互能力強，更加人性化：由于本家用信息采集和用戶情感識別 設(shè)備同時配備了攝像頭和麥克風(fēng)，可以捕捉到用戶的頭像和聲音信息，對其進一步分析可 以得到用戶的表情以及用戶的語音命令，通過家用信息采集和用戶情感識別設(shè)備上的顯示 屏和音響可以很好的對用戶的表情和語音命令進行反饋，方便用戶的使用。
[0013] (3)本發(fā)明能夠收集環(huán)境信息及健康信息：由于本家用信息采集和用戶情感識別 設(shè)備采用了多個環(huán)境信息和健康信息傳感器，可以收集到用戶家中的環(huán)境信息以及用戶的 健康信息，可以使用戶更加全面了解自己所處的環(huán)境的信息以及自身的身體狀況。
[0014] 按照本發(fā)明的另一方面，提供了一種上述家用信息采集和用戶情感識別設(shè)備的工 作方法，所述方法包括步驟：
[0015] (1)主控制器判斷是否接收到來自用戶的交互請求，若是則根據(jù)該交互請求啟動 攝像頭和麥克風(fēng)從用戶接收交互信息，交互信息包括用戶的頭像信息和聲音信息，然后轉(zhuǎn) 入步驟（2)，否則轉(zhuǎn)入步驟（8);
[0016] (2)主控制器將麥克風(fēng)采集到的聲音信息識別為文字，對文字進行關(guān)鍵字提取，并 判斷是否有關(guān)鍵字存在于該主控制器存儲的邏輯庫中，如果是則轉(zhuǎn)入步驟（3)，否則過程結(jié) 束；
[0017] (3)主控制器判斷提取的關(guān)鍵字是否是采集健康信息的指令，如果是則轉(zhuǎn)入步驟 (4)，否則轉(zhuǎn)入步驟（5);
[0018] (4)主控制器控制顯示器顯示與該關(guān)鍵字對應(yīng)的提示信息，以告知用戶使用健康 傳感器執(zhí)行相應(yīng)的采集健康信息操作，并在采集結(jié)束后顯示采集到的結(jié)果，然后轉(zhuǎn)入步驟 (6)；
[0019] (5)主控制器根據(jù)提取的關(guān)鍵字控制網(wǎng)卡從遠端的云平臺獲取對應(yīng)的內(nèi)容，并控 制顯示器將該內(nèi)容顯示給用戶；
[0020] (6)主控制器對攝像頭采集的頭像信息進行處理，以得到深度信息以及用戶的彩 色圖像，對采集到的深度信息和彩色圖像進行去冗余處理，以準(zhǔn)確地識別出用戶的面部狀 態(tài)，并將用戶的面部狀態(tài)與主控制器中存儲的表情庫進行匹配，以確定用戶的表情信息；
[0021] (7)主控制器根據(jù)用戶的表情信息控制顯示器和音響執(zhí)行對應(yīng)的操作；
[0022] (8)主控制器向微控制器發(fā)出采集環(huán)境信息請求，向云平臺發(fā)送對該主控制器內(nèi) 表情庫和邏輯庫進行更新的請求，同時接收來自云平臺的推送信息；
[0023] (9)微控制器控制環(huán)境傳感器采集用戶所處的環(huán)境信息，將該環(huán)境信息傳送到主 控制器，同時主控制器控制顯示器顯示來自云平臺的推送信息；
[0024] (10)主控制器對接收到的環(huán)境信息進行結(jié)構(gòu)化預(yù)處理，并將結(jié)構(gòu)化預(yù)處理后的信 息傳送到云平臺。
[0025] 優(yōu)選地，表情信息包括笑、憂傷、憤怒、吃驚、無表情。
[0026] 優(yōu)選地，步驟（7)具體為，如果表情信息是笑，則主控制器控制顯示器向用戶顯示 大笑表情，并控制音響播放歡快的音樂，如果是憂傷，則主控制器控制顯示器向用戶顯示微 笑表情，并控制音響播放舒緩的音樂，同時主控制器會控制機器人手臂張開，嘗試擁抱用 戶，如果是憤怒，則主控制器控制顯示器向用戶顯示微笑表情，并控制音響對用戶說話，以 平息用戶，如果是吃驚，則主控制器控制顯示器向用戶顯示微笑表情，并控制音響對用戶說 話，同時主控制器控制機器人手臂做平復(fù)的動作，具體而言可以是雙手在胸前向下運動，以 撫慰用戶，如果用戶無表情則不進行反饋。
[0027] 總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，能夠取得下列有 益效果：
[0028] 1)由于采用了步驟⑶可以及時的將更新的表情庫和邏輯庫下載到本地，因此能 夠及時的更新家用信息采集和用戶情感識別設(shè)備的交互功能，以增強家用信息采集和用戶 情感識別設(shè)備與用戶的交互體驗。
[0029] 2)由于采用了步驟（6)，步驟（7)，家用信息采集和用戶情感識別設(shè)備可以準(zhǔn)確的 識別用戶的語音信息和表情信息，通過主控制器內(nèi)在的邏輯庫可以對用戶進行反饋，從而 達到情感陪護的目的。

【專利附圖】

【附圖說明】
[0030] 圖1是本發(fā)明家用信息采集和用戶情感識別設(shè)備的應(yīng)用環(huán)境圖；
[0031] 圖2是本發(fā)明家用信息采集和用戶情感識別設(shè)備的結(jié)構(gòu)示意圖。
[0032] 圖3是本發(fā)明家用信息采集和用戶情感識別設(shè)備的工作方法的流程圖。

【具體實施方式】
[0033] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對 本發(fā)明進行進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要 彼此之間未構(gòu)成沖突就可以相互組合。
[0034] 如圖1所示，其為本發(fā)明一種家用信息采集和用戶情感識別設(shè)備的應(yīng)用環(huán)境示意 圖，其中家用信息采集和用戶情感識別設(shè)備設(shè)置于用戶家中，且通過云平臺與遠程客戶端 通信連接，用于將采集的數(shù)據(jù)傳送到遠程客戶端，云平臺為后臺服務(wù)器，用于存儲與處理家 用信息采集和用戶情感識別設(shè)備采集的數(shù)據(jù)，遠程客戶端為諸如手機、筆記本電腦、PDA的 移動終端，可用于遠程控制多功能家用信息采集和用戶情感識別設(shè)備和/或查看家用信息 采集和用戶情感識別設(shè)備提供的傳感信息。
[0035] 如圖3所示，本發(fā)明家用信息采集和用戶情感識別設(shè)備的工作方法是應(yīng)用在一種 家用信息采集和用戶情感識別設(shè)備中，該家用信息采集和用戶情感識別設(shè)備包括外殼、電 源、主控制器、微控制器、多個環(huán)境傳感器、顯示屏、麥克風(fēng)、音響、多個健康傳感器、網(wǎng)卡、以 及一對機器人手臂，該方法包括步驟：
[0036] (1)主控制器判斷是否接收到來自用戶的交互請求，若是則根據(jù)該交互請求啟動 攝像頭和麥克風(fēng)從用戶接收交互信息，交互信息包括用戶的頭像信息和聲音信息，然后轉(zhuǎn) 入步驟（2)，否則轉(zhuǎn)入步驟（8);其中攝像頭采集到的是用戶的頭像信息，麥克風(fēng)采集到的 是用戶的聲音信息；
[0037] (2)主控制器將麥克風(fēng)采集到的聲音信息識別為文字，對文字進行關(guān)鍵字提取，并 判斷是否有關(guān)鍵字存在于該主控制器存儲的邏輯庫中，如果是則轉(zhuǎn)入步驟（3)，否則過程結(jié) 束；
[0038] (3)主控制器判斷提取的關(guān)鍵字是否是采集健康信息的指令，如果是則轉(zhuǎn)入步驟 (4)，否則轉(zhuǎn)入步驟（5);具體而言，采集健康信息的指令是諸如"量血壓"、"量心跳"等；
[0039] (4)主控制器控制顯示器顯示與該關(guān)鍵字對應(yīng)的提示信息，以告知用戶使用健康 傳感器執(zhí)行相應(yīng)的采集健康信息操作，并在采集結(jié)束后顯示采集到的結(jié)果，然后轉(zhuǎn)入步驟 (6);其中用戶執(zhí)行的采集健康信息操作主要是量血壓、測心跳等；
[0040] (5)主控制器根據(jù)提取的關(guān)鍵字控制網(wǎng)卡從遠端的云平臺獲取對應(yīng)的內(nèi)容，并控 制顯示器將該內(nèi)容顯示給用戶；
[0041] (6)主控制器對攝像頭采集的頭像信息進行處理，以得到深度信息以及用戶的彩 色圖像，對采集到的深度信息和彩色圖像進行去冗余處理，以準(zhǔn)確地識別出用戶的面部狀 態(tài)，并將用戶的面部狀態(tài)與主控制器中存儲的表情庫進行匹配，以確定用戶的表情信息；具 體而言，表情信息包括笑、憂傷、憤怒、吃驚、無表情；
[0042] (7)主控制器根據(jù)用戶的表情信息控制顯示器和音響執(zhí)行對應(yīng)的操作，其中如果 表情信息是笑，則主控制器控制顯不器向用戶顯不大笑表情，并控制音響播放歡快的音樂， 如果是憂傷，則主控制器控制顯示器向用戶顯示微笑表情，并控制音響播放舒緩的音樂，同 時主控制器會控制機器人手臂張開，嘗試擁抱用戶，如果是憤怒，則主控制器控制顯示器向 用戶顯示微笑表情，并控制音響對用戶說話，以平息用戶，如果是吃驚，則主控制器控制顯 示器向用戶顯示微笑表情，并控制音響對用戶說話，同時主控制器控制機器人手臂做平復(fù) 的動作，具體而言可以是雙手在胸前向下運動，以撫慰用戶，如果用戶無表情則不進行反 饋；
[0043] (8)主控制器向微控制器發(fā)出采集環(huán)境信息請求，向云平臺發(fā)送對該主控制器內(nèi) 表情庫和邏輯庫進行更新的請求，同時接收來自云平臺的推送信息；具體而言，該推送信息 是天氣預(yù)警信息，節(jié)假日重大消息提醒等；
[0044] (9)微控制器控制環(huán)境傳感器采集用戶所處的環(huán)境信息，將該環(huán)境信息傳送到主 控制器，同時主控制器控制顯示器顯示來自云平臺的推送信息；環(huán)境信息包括諸如溫度、濕 度、煙霧等；
[0045] (10)主控制器對接收到的環(huán)境信息進行結(jié)構(gòu)化預(yù)處理，并將結(jié)構(gòu)化預(yù)處理后的信 息傳送到云平臺；具體而言，結(jié)構(gòu)化預(yù)處理是將環(huán)境信息轉(zhuǎn)換為XML格式的文件。
[0046] 如圖2所示，本發(fā)明家用信息采集和用戶情感識別設(shè)備包括外殼1、電源2、主控制 器3、微控制器4、多個環(huán)境傳感器5、顯不屏6、麥克風(fēng)7、音響8、多個健康傳感器9、網(wǎng)卡10、 一對機器人手臂11、以及一對攝像頭12。
[0047] 麥克風(fēng)7設(shè)置于外殼上，電源2、主控制器3、微控制器4、環(huán)境傳感器5、音響8、網(wǎng) 卡10均位于外殼內(nèi)部，一對攝像頭12分別相對于顯不屏6左右兩側(cè)對稱設(shè)置，一對機器人 手臂11設(shè)置于外殼兩側(cè)。
[0048] 主控制器3與微控制器4通信連接，用于控制微控制器4通過機器人手臂11的電 機控制機器人手臂的活動。在本實施方式中，主控制器3是一個ARM開發(fā)板。
[0049] 電源2與主控制器3、微控制器4相連接，為主控制器3、微控制器4提供能量。
[0050] 主控制器3用于控制微控制器4通過環(huán)境傳感器5、健康傳感器9采集環(huán)境信息和 /或用戶的健康信息，對采集到的環(huán)境信息和/或用戶的健康信息進行結(jié)構(gòu)化預(yù)處理，并將 結(jié)構(gòu)化預(yù)處理后的信息傳送到云平臺。具體而言，結(jié)構(gòu)化預(yù)處理是將環(huán)境信息和/或用戶 的健康信息轉(zhuǎn)換成XML格式。在本實施方式中，環(huán)境傳感器5可以是用于米集環(huán)境信息的 溫度傳感器、濕度傳感器、煙霧傳感器、光傳感器等，健康傳感器9可以是用于采集健康信 息的心率傳感器、血壓傳感器、血糖傳感器等。
[0051] 攝像頭12與主控制器3通信連接，用于依據(jù)人眼成像的原理采集用戶的頭像信 息，并將該頭像信息傳送到主控制器3。
[0052] 主控制器3用于對攝像頭12采集的頭像信息進行處理，以得到深度信息以及用戶 的彩色圖像，對采集到的深度信息和彩色圖像進行去冗余處理，以準(zhǔn)確地識別出用戶的面 部狀態(tài)，并將用戶的面部狀態(tài)與主控制器3中存儲的表情庫進行匹配，以確定用戶的表情 信息；具體而言，表情信息包括笑、憂傷、憤怒、吃驚、無表情。
[0053] 主控制器3還用于根據(jù)用戶的表情信息控制顯示器6和音響8執(zhí)行對應(yīng)的操作， 其中如果表情信息是笑，則主控制器3控制顯示器6向用戶顯示大笑表情，并控制音響播放 歡快的音樂，如果是憂傷，則主控制器3控制顯示器6向用戶顯示微笑表情，并控制音響播 放舒緩的音樂，同時主控制器3會控制機器人手臂11張開，嘗試擁抱用戶，如果是憤怒，則 主控制器3控制顯示器6向用戶顯示微笑表情，并控制音響8對用戶說話，以平息用戶，如 果是吃驚，則主控制器3控制顯示器6向用戶顯示微笑表情，并控制音響8對用戶說話，控 制機器人手臂11做平復(fù)的動作，具體而言可以是雙手在胸前向下運動，以撫慰用戶，如果 用戶無表情則不進行反饋；
[0054] 麥克風(fēng)7與主控制器3通信連接，用于采集用戶的聲音信息，并將該聲音信息傳送 到主控制器3。
[0055] 主控制器3用于將該聲音信息識別為文字，對文字進行關(guān)鍵字提取，在該提取的 關(guān)鍵字是采集健康信息的指令時控制顯示器顯示與該關(guān)鍵字對應(yīng)的提示信息，以告知用戶 使用健康傳感器執(zhí)行相應(yīng)的采集健康信息操作，并在采集結(jié)束后顯示采集到的結(jié)果，在該 提取的關(guān)鍵字不是采集健康信息的指令時根據(jù)提取的關(guān)鍵字控制網(wǎng)卡從遠端的云平臺獲 取對應(yīng)的內(nèi)容，并控制顯示器將該內(nèi)容顯示給用戶。
[0056] 本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實施例而已，并不用以 限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應(yīng)包含 在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1. 一種家用信息采集和用戶情感識別設(shè)備，包括外殼、電源、主控制器、微控制器、多個 環(huán)境傳感器、顯示屏、麥克風(fēng)、音響、多個健康傳感器、一對機器人手臂、以及一對攝像頭，其 特征在于， 麥克風(fēng)設(shè)置于外殼上，電源、主控制器、微控制器、環(huán)境傳感器、音響、一對攝像頭分別 相對于顯示屏左右兩側(cè)對稱設(shè)置，一對機器人手臂設(shè)置于外殼兩側(cè)； 主控制器與微控制器通信連接，用于控制微控制器通過機器人手臂的電機控制機器人 手臂的活動； 電源與主控制器、微控制器相連接，用于為主控制器、微控制器提供能量； 主控制器用于控制微控制器通過環(huán)境傳感器、健康傳感器采集環(huán)境信息和/或用戶的 健康信息，對采集到的環(huán)境信息和/或用戶的健康信息進行結(jié)構(gòu)化預(yù)處理，并將結(jié)構(gòu)化預(yù) 處理后的信息傳送到云平臺； 攝像頭與主控制器通信連接，用于依據(jù)人眼成像的原理采集用戶的頭像信息，并將該 頭像信息傳送到主控制器； 主控制器用于對攝像頭采集的頭像信息進行處理，以得到深度信息以及用戶的彩色圖 像，對采集到的深度信息和彩色圖像進行去冗余處理，以準(zhǔn)確地識別出用戶的面部狀態(tài)，并 將用戶的面部狀態(tài)與主控制器中存儲的表情庫進行匹配，以確定用戶的表情信息； 主控制器還用于根據(jù)用戶的表情信息控制顯示器和音響執(zhí)行對應(yīng)的操作； 麥克風(fēng)與主控制器通信連接，用于采集用戶的聲音信息，并將該聲音信息傳送到主控 制器。 主控制器用于將該聲音信息識別為文字，對文字進行關(guān)鍵字提取，在該提取的關(guān)鍵字 是采集健康信息的指令時控制顯示器顯示與該關(guān)鍵字對應(yīng)的提示信息，以告知用戶使用健 康傳感器執(zhí)行相應(yīng)的采集健康信息操作，并在采集結(jié)束后顯示采集到的結(jié)果，在該提取的 關(guān)鍵字不是采集健康信息的指令時根據(jù)提取的關(guān)鍵字從遠端的云平臺獲取對應(yīng)的內(nèi)容，并 控制顯示器將該內(nèi)容顯示給用戶。
2. 根據(jù)權(quán)利要求1所述的家用信息采集和用戶情感識別設(shè)備，其特征在于，環(huán)境傳感 器包括用于采集環(huán)境信息的溫度傳感器、濕度傳感器、煙霧傳感器、或光傳感器，健康傳感 器包括用于采集健康信息的心率傳感器、血壓傳感器、或血糖傳感器。
3. 根據(jù)權(quán)利要求1所述的家用信息采集和用戶情感識別設(shè)備，其特征在于，表情信息 包括笑、憂傷、憤怒、吃驚、無表情。
4. 根據(jù)權(quán)利要求1所述的家用信息采集和用戶情感識別設(shè)備，其特征在于，如果表情 信息是笑，則主控制器控制顯示器向用戶顯示大笑表情，并控制音響播放歡快的音樂；如果 是憂傷，則主控制器控制顯示器向用戶顯示微笑表情，并控制音響播放舒緩的音樂，同時主 控制器會控制機器人手臂張開，嘗試擁抱用戶；如果是憤怒，則主控制器控制顯示器向用戶 顯示微笑表情，并控制音響對用戶說話，以平息用戶；如果是吃驚，則主控制器控制顯示器 向用戶顯示微笑表情，并控制音響對用戶說話，控制機器人手臂做平復(fù)的動作，具體而言可 以是雙手在胸前向下運動，以撫慰用戶；如果用戶無表情則不進行反饋。
5. 根據(jù)權(quán)利要求1所述的家用信息采集和用戶情感識別設(shè)備，其特征在于，進一步包 括設(shè)置于外殼內(nèi)部的網(wǎng)卡，用于實現(xiàn)家用信息采集和用戶情感識別設(shè)備與云平臺之間的交 互。
6. -種根據(jù)上述權(quán)利要求1至4中任意一項所述的家用信息采集和用戶情感識別設(shè)備 的工作方法，其特征在于，所述方法包括步驟： (1) 主控制器判斷是否接收到來自用戶的交互請求，若是則根據(jù)該交互請求啟動攝像 頭和麥克風(fēng)從用戶接收交互信息，交互信息包括用戶的頭像信息和聲音信息，然后轉(zhuǎn)入步 驟（2)，否則轉(zhuǎn)入步驟（8); (2) 主控制器將麥克風(fēng)采集到的聲音信息識別為文字，對文字進行關(guān)鍵字提取，并判斷 是否有關(guān)鍵字存在于該主控制器存儲的邏輯庫中，如果是則轉(zhuǎn)入步驟（3)，否則過程結(jié)束； (3) 主控制器判斷提取的關(guān)鍵字是否是采集健康信息的指令，如果是則轉(zhuǎn)入步驟（4)， 否則轉(zhuǎn)入步驟（5); (4) 主控制器控制顯示器顯示與該關(guān)鍵字對應(yīng)的提示信息，以告知用戶使用健康傳感 器執(zhí)行相應(yīng)的采集健康信息操作，并在采集結(jié)束后顯示采集到的結(jié)果，然后轉(zhuǎn)入步驟（6); (5) 主控制器根據(jù)提取的關(guān)鍵字控制網(wǎng)卡從遠端的云平臺獲取對應(yīng)的內(nèi)容，并控制顯 示器將該內(nèi)容顯示給用戶； (6) 主控制器對攝像頭采集的頭像信息進行處理，以得到深度信息以及用戶的彩色圖 像，對采集到的深度信息和彩色圖像進行去冗余處理，以準(zhǔn)確地識別出用戶的面部狀態(tài)，并 將用戶的面部狀態(tài)與主控制器中存儲的表情庫進行匹配，以確定用戶的表情信息； (7) 主控制器根據(jù)用戶的表情信息控制顯示器和音響執(zhí)行對應(yīng)的操作； (8) 主控制器向微控制器發(fā)出采集環(huán)境信息請求，向云平臺發(fā)送對該主控制器內(nèi)表情 庫和邏輯庫進行更新的請求，同時接收來自云平臺的推送信息； (9) 微控制器控制環(huán)境傳感器采集用戶所處的環(huán)境信息，將該環(huán)境信息傳送到主控制 器，同時主控制器控制顯示器顯示來自云平臺的推送信息； (10) 主控制器對接收到的環(huán)境信息進行結(jié)構(gòu)化預(yù)處理，并將結(jié)構(gòu)化預(yù)處理后的信息傳 送到云平臺。
7. 根據(jù)權(quán)利要求6所述的工作方法，其特征在于，表情信息包括笑、憂傷、憤怒、吃驚、 無表情。
8. 根據(jù)權(quán)利要求7所述的工作方法，其特征在于，步驟（7)具體為，如果表情信息是笑， 則主控制器控制顯示器向用戶顯示大笑表情，并控制音響播放歡快的音樂，如果是憂傷，則 主控制器控制顯示器向用戶顯示微笑表情，并控制音響播放舒緩的音樂，同時主控制器會 控制機器人手臂張開，嘗試擁抱用戶，如果是憤怒，則主控制器控制顯示器向用戶顯示微笑 表情，并控制音響對用戶說話，以平息用戶，如果是吃驚，則主控制器控制顯示器向用戶顯 示微笑表情，并控制音響對用戶說話，同時主控制器控制機器人手臂做平復(fù)的動作，具體而 言可以是雙手在胸前向下運動，以撫慰用戶，如果用戶無表情則不進行反饋。
【文檔編號】G06F3/01GK104102346SQ201410311279
【公開日】2014年10月15日 申請日期:2014年7月1日 優(yōu)先權(quán)日:2014年7月1日
【發(fā)明者】陳敏, 馬玉軍, 王文燁, 阮航, 趙杉, 韓通, 肖登明 申請人:華中科技大學(xué)