本發(fā)明涉及數(shù)據(jù)處理，具體地，涉及一種基于rgb-d相機的便攜式腦卒中輔助評估系統(tǒng)及方法。

背景技術：

1、腦卒中具有高致殘率、高致死率的特點。腦卒中篩查數(shù)據(jù)呈現(xiàn)高維及非平衡數(shù)據(jù)集特點，現(xiàn)有技術中，腦卒中的篩查主要依賴于專業(yè)醫(yī)療人員的檢查和臨床評分，其主要缺點如下：

2、1、依賴專業(yè)人員：需要專業(yè)醫(yī)療人員進行評價，普通用戶難以自行完成篩查。

3、2、操作復雜：篩查步驟復雜，通常需要在醫(yī)療機構進行。

4、3、時間耗費較長：傳統(tǒng)方法要求專業(yè)醫(yī)療人員對病人逐個進行nihss查體，對單一患者耗時約為10至15分鐘，極大占用專業(yè)醫(yī)療人員、耗費醫(yī)療資源，難以快速篩查大量人群。

技術實現(xiàn)思路

1、針對現(xiàn)有技術中的缺陷，本發(fā)明的目的是提供一種基于rgb-d相機的便攜式腦卒中輔助評估系統(tǒng)及方法。

2、根據(jù)本發(fā)明提供的一種基于rgb-d相機的便攜式腦卒中輔助評估系統(tǒng)，包括：

3、交互輸入單元，用于接收操作指令，實時采集并輸出患者數(shù)據(jù)；所述患者數(shù)據(jù)包括用戶交互數(shù)據(jù)和肢體運動數(shù)據(jù)；所述肢體運動數(shù)據(jù)包括視頻數(shù)據(jù)和相應深度圖像數(shù)據(jù)；

4、計算單元，用于接收交互輸入單元采集的患者數(shù)據(jù)，計算得到時序運動特征；根據(jù)時序運動特征，輸出評估結果；

5、數(shù)據(jù)輸出單元，用于時序運動特征和評估結果的整合顯示。

6、優(yōu)選的，所述交互輸入單元包括屏幕交互模塊和計算機視覺輸入模塊；所述計算機視覺輸入模塊包括使用rgb-d相機采集肢體運動數(shù)據(jù)后輸出至實時展示模塊，作為計算單元的輸入以及腦卒中nihss肢體快速評分的直接數(shù)據(jù)輸入；所述屏幕交互模塊用于向用戶展現(xiàn)交互界面并管理存儲相應數(shù)據(jù)。

7、優(yōu)選的，所述計算單元包括微型計算機和內(nèi)置處理算法；所述內(nèi)置處理算法包括時序三維人體姿態(tài)估計算法、從時序三維人體姿態(tài)中提取特征的算法和預處理時序特征的算法；

8、所述時序三維人體姿態(tài)估計算法包括從rgb或rgb-d圖像中提取人的骨架關鍵點的深度神經(jīng)網(wǎng)絡；將視頻流中記錄的每一幀圖像的患者骨架連接處理；

9、所述從時序三維人體姿態(tài)中提取特征的算法包括從三維骨架中提取顯式特征；所述顯式特征包括上下肢關節(jié)角；

10、所述預處理時序特征的算法包括對特征序列進行預處理；所述預處理包括降噪和差值重采樣。

11、優(yōu)選的，所述計算單元還包括人工智能評估模塊；所述人工智能評估模塊包括一個深度神經(jīng)網(wǎng)絡，將預處理后的時序特征作為輸入，輸出相應評分。

12、優(yōu)選的，所述數(shù)據(jù)輸出單元包括：

13、數(shù)據(jù)整合模塊，用于將預處理后的時序運動特征與人工智能評估模塊輸出的評分結果進行整合；將同一患者的歷次查體數(shù)據(jù)及相應評估結果整合，繪制病歷曲線，并將時序特征作為參考信息輸出；

14、實時展示模塊，用于實時展示計算機視覺輸入模塊錄制的查體視頻和計算單元輸出的時序特征，在評估完成后展示評估分數(shù)及相關依據(jù)。

15、根據(jù)本發(fā)明提供的一種基于rgb-d相機的便攜式腦卒中輔助評估方法，包括：

16、步驟s1：令交互輸入單元接收操作指令，實時采集并輸出患者數(shù)據(jù)；

17、所述患者數(shù)據(jù)包括用戶交互數(shù)據(jù)和肢體運動數(shù)據(jù)；所述肢體運動數(shù)據(jù)包括視頻數(shù)據(jù)和相應深度圖像數(shù)據(jù)；

18、步驟s2：令計算單元接收交互輸入單元采集的患者數(shù)據(jù)，計算得到時序運動特征；根據(jù)時序運動特征，輸出評估結果；

19、步驟s3：使用數(shù)據(jù)輸出單元整合顯示時序運動特征和評估結果。

20、優(yōu)選的，所述交互輸入單元包括屏幕交互模塊和計算機視覺輸入模塊；所述計算機視覺輸入模塊包括使用rgb-d相機采集肢體運動數(shù)據(jù)后輸出至實時展示模塊，作為計算單元的輸入以及腦卒中nihss肢體快速評分的直接數(shù)據(jù)輸入；所述屏幕交互模塊用于向用戶展現(xiàn)交互界面并管理存儲相應數(shù)據(jù)。

21、優(yōu)選的，所述計算單元包括微型計算機和內(nèi)置處理算法；所述內(nèi)置處理算法包括時序三維人體姿態(tài)估計算法、從時序三維人體姿態(tài)中提取特征的算法和預處理時序特征的算法；

22、所述時序三維人體姿態(tài)估計算法包括從rgb或rgb-d圖像中提取人的骨架關鍵點的深度神經(jīng)網(wǎng)絡；將視頻流中記錄的每一幀圖像的患者骨架連接處理；

23、所述從時序三維人體姿態(tài)中提取特征的算法包括從三維骨架中提取顯式特征；所述顯式特征包括上下肢關節(jié)角；

24、所述預處理時序特征的算法包括對特征序列進行預處理；所述預處理包括降噪和差值重采樣。

25、優(yōu)選的，所述計算單元還包括人工智能評估模塊；所述人工智能評估模塊包括一個深度神經(jīng)網(wǎng)絡，將預處理后的時序特征作為輸入，輸出相應評分。

26、優(yōu)選的，所述數(shù)據(jù)輸出單元包括：

27、數(shù)據(jù)整合模塊，用于將預處理后的時序運動特征與人工智能評估模塊輸出的評分結果進行整合；將同一患者的歷次查體數(shù)據(jù)及相應評估結果整合，繪制病歷曲線，并將時序特征作為參考信息輸出；

28、實時展示模塊，用于實時展示計算機視覺輸入模塊錄制的查體視頻和計算單元輸出的時序特征，在評估完成后展示評估分數(shù)及相關依據(jù)。

29、與現(xiàn)有技術相比，本發(fā)明具有如下的有益效果：

30、1、本發(fā)明通過利用rgb-d深度相機和計算單元，通過圖像示例及語音指引，可在1分鐘內(nèi)完成nihss量表肢體運動快速評分，實現(xiàn)了普通用戶可自行操作的快速篩查，具有高效便捷的優(yōu)點。

31、2、本發(fā)明的系統(tǒng)采用了小型化的設計，便于攜帶使用；利用了人體姿態(tài)估計和深度圖像分析，提供了準確的肢體運動分析結果，計算出科學有效的nihss評分，使得結果更加具有說服力，更好地為醫(yī)生提供了決策建議。

32、3、本發(fā)明無需依賴專業(yè)人員即可在各種場景下進行快速的自篩查，具備較好的靈活性及實用性。

33、本發(fā)明的其他有益效果，將在具體實施方式中通過具體技術特征和技術方案的介紹來闡述，本領域技術人員通過這些技術特征和技術方案的介紹，應能理解所述技術特征和技術方案帶來的有益技術效果。

技術特征：

1.一種基于rgb-d相機的便攜式腦卒中輔助評估系統(tǒng)，其特征在于，包括：

2.根據(jù)權利要求1所述的基于rgb-d相機的便攜式腦卒中輔助評估系統(tǒng)，其特征在于，所述交互輸入單元包括屏幕交互模塊和計算機視覺輸入模塊；所述計算機視覺輸入模塊包括使用rgb-d相機采集肢體運動數(shù)據(jù)后輸出至實時展示模塊，作為計算單元的輸入以及腦卒中nihss肢體快速評分的直接數(shù)據(jù)輸入；所述屏幕交互模塊用于向用戶展現(xiàn)交互界面并管理存儲相應數(shù)據(jù)。

3.根據(jù)權利要求2所述的基于rgb-d相機的便攜式腦卒中輔助評估系統(tǒng)，其特征在于，所述計算單元包括微型計算機和內(nèi)置處理算法；所述內(nèi)置處理算法包括時序三維人體姿態(tài)估計算法、從時序三維人體姿態(tài)中提取特征的算法和預處理時序特征的算法；

4.根據(jù)權利要求3所述的基于rgb-d相機的便攜式腦卒中輔助評估系統(tǒng)，其特征在于，所述計算單元還包括人工智能評估模塊；所述人工智能評估模塊包括一個深度神經(jīng)網(wǎng)絡，將預處理后的時序特征作為輸入，輸出相應評分。

5.根據(jù)權利要求4所述的基于rgb-d相機的便攜式腦卒中輔助評估系統(tǒng)，其特征在于，所述數(shù)據(jù)輸出單元包括：

6.一種基于rgb-d相機的便攜式腦卒中輔助評估方法，其特征在于，包括：

7.根據(jù)權利要求6所述的基于rgb-d相機的便攜式腦卒中輔助評估方法，其特征在于，所述交互輸入單元包括屏幕交互模塊和計算機視覺輸入模塊；所述計算機視覺輸入模塊包括使用rgb-d相機采集肢體運動數(shù)據(jù)后輸出至實時展示模塊，作為計算單元的輸入以及腦卒中nihss肢體快速評分的直接數(shù)據(jù)輸入；所述屏幕交互模塊用于向用戶展現(xiàn)交互界面并管理存儲相應數(shù)據(jù)。

8.根據(jù)權利要求7所述的基于rgb-d相機的便攜式腦卒中輔助評估方法，其特征在于，所述計算單元包括微型計算機和內(nèi)置處理算法；所述內(nèi)置處理算法包括時序三維人體姿態(tài)估計算法、從時序三維人體姿態(tài)中提取特征的算法和預處理時序特征的算法；

9.根據(jù)權利要求8所述的基于rgb-d相機的便攜式腦卒中輔助評估方法，其特征在于，所述計算單元還包括人工智能評估模塊；所述人工智能評估模塊包括一個深度神經(jīng)網(wǎng)絡，將預處理后的時序特征作為輸入，輸出相應評分。

10.根據(jù)權利要求9所述的基于rgb-d相機的便攜式腦卒中輔助評估方法，其特征在于，所述數(shù)據(jù)輸出單元包括：

技術總結
本發(fā)明提供了一種基于RGB?D相機的便攜式腦卒中輔助評估系統(tǒng)及方法，包括交互輸入單元，用于接收操作指令，實時采集并輸出患者數(shù)據(jù)；所述患者數(shù)據(jù)包括用戶交互數(shù)據(jù)和肢體運動數(shù)據(jù)；所述肢體運動數(shù)據(jù)包括視頻數(shù)據(jù)和相應深度圖像數(shù)據(jù)；計算單元，用于接收交互輸入單元采集的患者數(shù)據(jù)，計算得到時序運動特征；根據(jù)時序運動特征，輸出評估結果；數(shù)據(jù)輸出單元，用于時序運動特征和評估結果的整合顯示。本發(fā)明通過利用RGB?D深度相機和計算單元，通過圖像示例及語音指引，可在1分鐘內(nèi)完成NIHSS量表肢體運動快速評分，實現(xiàn)了普通用戶可自行操作的快速篩查，具有高效便捷的優(yōu)點。

技術研發(fā)人員：王擁軍,郭遙,楊健鑫,張喆,熊云云,李金凱,徐振業(yè)
受保護的技術使用者：上海交通大學
技術研發(fā)日：
技術公布日：2024/12/19