本發(fā)明涉及智能穿戴設(shè)備和人機(jī)交互，尤其涉及一種基于ar眼鏡的失憶老人智能輔助系統(tǒng)。

背景技術(shù)：

1、阿爾茲海默病(ad)是老年癡呆癥中最常見的一種，是癡呆癥的主要行為人，也是老年最常見的慢性疾病之一，占世界老年人口總數(shù)的30%，據(jù)預(yù)測到2050年全球患有阿爾茲海默病的人數(shù)將達(dá)到1.3億。記憶力的衰退是阿爾茲海默病患者在早期和中期最常見的癥狀，患者的認(rèn)知能力將被逐步破壞，包括但不限于其面部記憶、物品記憶、方向記憶，這導(dǎo)致阿爾茲海默老人常常會忘記他們熟悉名字和面孔，忘記某些常用物品的擺放位置，甚至忘記自己正在做的事。這種現(xiàn)象不僅僅影響著患者本身，對其家人也帶來了沉重的負(fù)擔(dān)。針對這種失憶現(xiàn)象，許多人正在嘗試設(shè)計智能系統(tǒng)來減少昂貴的人工成本，輔助阿爾茲海默老人的日常生活，基于生活環(huán)境智能化的輔助系統(tǒng)和基于可穿戴物品智能化的輔助系統(tǒng)。

2、基于生活環(huán)境智能化的輔助系統(tǒng)通常由一系列的傳感器，攝像頭，終端或云端處理器組成，傳感器或攝像頭被安裝在失憶老人日常生活環(huán)境中，捕獲老人的相關(guān)數(shù)據(jù)并傳輸?shù)浇K端進(jìn)行處理，通過人工智能等技術(shù)實現(xiàn)行為輔助提示，異常行為檢測等功能。例如有研究人員在失憶老人家中配備簡單的傳感器網(wǎng)絡(luò)，通過遞歸神經(jīng)網(wǎng)絡(luò)預(yù)測傳感器的未來值與真實值比對，從而實現(xiàn)老人異常行為檢測的功能。但是這種輔助系統(tǒng)需要提前在環(huán)境中布置大量的傳感器設(shè)備，人工和設(shè)備成本都十分高昂，并且有用戶離開覆蓋區(qū)域時系統(tǒng)失效的缺陷。

3、基于可穿戴物品智能化的輔助系統(tǒng)，由于其小巧便攜且不受環(huán)境和地點的限制，近些年來，越來越多的針對失憶老人的智能輔助系統(tǒng)的研究開始轉(zhuǎn)向可穿戴設(shè)備。這些系統(tǒng)通常將采集數(shù)據(jù)的加速度傳感器，陀螺儀，攝像頭等設(shè)備集成到可穿戴設(shè)備上，處理數(shù)據(jù)后判斷老人行為并進(jìn)行輔助提示來彌補(bǔ)其認(rèn)知功能的缺陷。然而大多數(shù)基于可穿戴設(shè)備的輔助系統(tǒng)都不能同時滿足以下三點要求：1.對于失憶老人是易用的?2.穿戴設(shè)備便攜舒適，不干擾日常生活?3.對于失憶老人的認(rèn)知提示同時涵蓋面部，物品和方向記憶。并且語音提示這種常用于這類輔助系統(tǒng)的提示方式，往往會使老人覺得尷尬或驚嚇到老人。

4、因此，盡管現(xiàn)有技術(shù)已經(jīng)在老人輔助提示系統(tǒng)上取得了一定的進(jìn)展，但仍面臨著不夠易用，佩戴不舒適以及提示方式對失憶老人不友好等挑戰(zhàn)，導(dǎo)致并沒有出現(xiàn)大規(guī)模的推廣。

技術(shù)實現(xiàn)思路

1、本發(fā)明目的就是為了彌補(bǔ)已有技術(shù)的缺陷，提供一種基于ar眼鏡的失憶老人智能輔助系統(tǒng)。本發(fā)明可以代替護(hù)理人員部分功能，幫助阿爾茲海默病的患者增加獨立性，提升自理能力，降低家庭或養(yǎng)老機(jī)構(gòu)對患者的護(hù)理成本。

2、本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

3、一種基于ar眼鏡的失憶老人智能輔助系統(tǒng)，包括有ar眼鏡以及集成在ar眼鏡上的人臉檢測模塊、人臉識別模塊、目標(biāo)檢測模塊、語音喚醒模塊和語音識別模塊，所述的ar眼鏡具備ar顯示部分、內(nèi)部存儲模塊與處理器，具體內(nèi)容如下：

4、步驟1：選擇數(shù)據(jù)集進(jìn)行模型的訓(xùn)練，并統(tǒng)一模型文件的保存格式；

5、步驟2：使用安卓開發(fā)平臺，在ar眼鏡的內(nèi)部存儲模塊中構(gòu)建一個存有熟人身份的人臉庫，并實現(xiàn)對該人臉庫的動態(tài)增刪改功能；

6、步驟3：將訓(xùn)練好的模型部署到ar眼鏡系統(tǒng)內(nèi)，調(diào)用攝像頭捕獲每幀圖像進(jìn)行適合模型輸入大小的縮放后作為人臉識別模塊的輸入進(jìn)行推理，將得到的人臉坐標(biāo)以人臉框的形式展示在ar頁面上，之后按照人臉框的位置對原圖像進(jìn)行采集與縮放，作為人臉識別模塊的輸入，與預(yù)先建立的人臉庫中的身份進(jìn)行比對，進(jìn)而得到顯示在ar頁面上的人物名稱；

7、步驟4：在使用安卓開發(fā)的界面中，用戶通過系統(tǒng)相冊選擇用戶自身提供的室內(nèi)地圖，并通過點擊地圖上的區(qū)域來標(biāo)注房間中固定物品的位置，

8、步驟5：使用用戶提供的現(xiàn)有室內(nèi)地圖與標(biāo)注的房間中固定物品的位置，實現(xiàn)對關(guān)鍵物品的粗粒度的定位，目標(biāo)檢測模塊在目標(biāo)檢測過程中出現(xiàn)關(guān)鍵物品時判斷其所在的粗粒度的位置并保存；

9、步驟6：通過picovoice解決方案提供的插件實現(xiàn)語音喚醒模塊，以喚醒系統(tǒng)工作，語音識別模塊自動捕獲音頻進(jìn)行語音識別，在識別到指定的關(guān)鍵詞后開啟對應(yīng)的功能。

10、步驟1所述的選擇數(shù)據(jù)集進(jìn)行模型的訓(xùn)練，并統(tǒng)一模型文件的保存格式，具體如下：分別選擇公開的widerface,?emore數(shù)據(jù)集進(jìn)行人臉檢測和人臉識別模型的訓(xùn)練，在ubuntu18.04操作系統(tǒng)，pytorch平臺上按照開源倉庫默認(rèn)超參數(shù)進(jìn)行訓(xùn)練，其中人臉檢測模塊按照24的batch_size，0.02的learning_rate訓(xùn)練200個epochs，人臉識別模型按照64的batch_size,0.003的learning_rate訓(xùn)練了100個epochs，最后統(tǒng)一模型文件的保存格式為onnx。

11、在所述的ar眼鏡上使用flutter與android混合開發(fā)技術(shù)搭建系統(tǒng)整體框架。

12、所述的ar眼鏡集成有攝像頭、麥克風(fēng)，并且配有獨立的操作系統(tǒng)與內(nèi)部存儲。

13、步驟4所述的語音識別模塊自動捕獲音頻進(jìn)行語音識別，在識別到指定的關(guān)鍵詞后開啟對應(yīng)的功能，具體如下：

14、語音識別模塊通過眼鏡攝像頭捕捉實時圖片作為模型輸入，每隔一段時間對圖片進(jìn)行檢測，若檢測到圖片中有設(shè)定的關(guān)鍵物品，則通過觀察最近幾張鄰近圖片中是否存在標(biāo)注過的固定物品，若存在則保存關(guān)鍵物品粗粒度位置在固定物品附近；

15、當(dāng)識別出用戶語音出現(xiàn)設(shè)定的找物關(guān)鍵詞時，將最近一次保存的關(guān)鍵物品位置以室內(nèi)地圖中閃爍紅點的方式展現(xiàn)在頁面上，指示用戶在某個區(qū)域內(nèi)進(jìn)行尋找；

16、當(dāng)識別出用戶語音出現(xiàn)設(shè)定的人臉識別關(guān)鍵詞時，開始對攝像頭捕獲的實時圖像進(jìn)行人臉檢測和人臉識別，其中人臉檢測模塊負(fù)責(zé)在圖像中人臉的周圍畫框并給人臉識別模型提供輸出，人臉識別模塊返回提取的人臉特征值并于人臉庫中的人臉進(jìn)行比對，返回一個人名，對于返回的結(jié)果，使用安卓的畫布工具顯示在ar屏幕上進(jìn)行可視化。

17、本發(fā)明的優(yōu)點是：本發(fā)明使用可開發(fā)的ar眼鏡，通過語音喚醒模塊開啟眼鏡攝像頭采集圖片進(jìn)行人臉檢測，人臉識別，目標(biāo)檢測等多種處理，實現(xiàn)了熟人身份識別，關(guān)鍵物品的定位與溯源功能，并將結(jié)果通過可視化的方式顯示在ar屏幕上。本發(fā)明可以代替護(hù)理人員的基本功能，為阿爾茲海默病的患者增加獨立性，提高自理能力，降低對患者的護(hù)理成本。

技術(shù)特征：

1.一種基于ar眼鏡的失憶老人智能輔助系統(tǒng)，其特征在于：包括有ar眼鏡以及集成在ar眼鏡上的人臉檢測模塊、人臉識別模塊、目標(biāo)檢測模塊、語音喚醒模塊和語音識別模塊，所述的ar眼鏡具備ar顯示部分、內(nèi)部存儲模塊與處理器，具體內(nèi)容如下：

2.根據(jù)權(quán)利要求1所述的一種基于ar眼鏡的失憶老人智能輔助系統(tǒng)，其特征在于：步驟1所述的選擇數(shù)據(jù)集進(jìn)行模型的訓(xùn)練，并統(tǒng)一模型文件的保存格式，具體如下：分別選擇公開的widerface,?emore數(shù)據(jù)集進(jìn)行人臉檢測和人臉識別模型的訓(xùn)練，在ubuntu18.04操作系統(tǒng)，pytorch平臺上按照開源倉庫默認(rèn)超參數(shù)進(jìn)行訓(xùn)練，其中人臉檢測模塊按照24的batch_size，0.02的learning_rate訓(xùn)練200個epochs，人臉識別模型按照64的batch_size,0.003的learning_rate訓(xùn)練了100個epochs，最后統(tǒng)一模型文件的保存格式為onnx。

3.根據(jù)權(quán)利要求1所述的一種基于ar眼鏡的失憶老人智能輔助系統(tǒng)，其特征在于：在所述的ar眼鏡上使用flutter與android混合開發(fā)技術(shù)搭建系統(tǒng)整體框架。

4.根據(jù)權(quán)利要求1所述的一種基于ar眼鏡的失憶老人智能輔助系統(tǒng)，其特征在于：所述的ar眼鏡集成有攝像頭、麥克風(fēng)，并且配有獨立的操作系統(tǒng)與內(nèi)部存儲。

5.根據(jù)權(quán)利要求1所述的一種基于ar眼鏡的失憶老人智能輔助系統(tǒng)，其特征在于：步驟4所述的語音識別模塊自動捕獲音頻進(jìn)行語音識別，在識別到指定的關(guān)鍵詞后開啟對應(yīng)的功能，具體如下：

技術(shù)總結(jié)
本發(fā)明公開了一種基于AR眼鏡的失憶老人智能輔助系統(tǒng)，本發(fā)明使用可開發(fā)的AR眼鏡，通過語音喚醒模塊開啟眼鏡攝像頭采集圖片進(jìn)行人臉檢測，人臉識別，目標(biāo)檢測等多種處理，實現(xiàn)了熟人身份識別，關(guān)鍵物品的定位與溯源功能，并將結(jié)果通過可視化的方式顯示在AR屏幕上。本發(fā)明可以代替護(hù)理人員的基本功能，為阿爾茲海默病的患者增加獨立性，提高自理能力，降低對患者的護(hù)理成本。

技術(shù)研發(fā)人員：劉秀龍,李克秋,俞奕陽,張久武
受保護(hù)的技術(shù)使用者：天津大學(xué)合肥創(chuàng)新發(fā)展研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19