本技術(shù)涉及信號檢測，尤其涉及一種手指按壓狀態(tài)檢測、訓練方法、電子設(shè)備和介質(zhì)。

背景技術(shù)：

1、用戶在使用包含觸控功能的手機、電腦等電子設(shè)備時，需要手指觸摸屏幕或其它觸控位置以進行操作或識別。如：觸摸解鎖、單擊確認、雙擊截圖等，一般情況下電子設(shè)備先捕捉動作再觸發(fā)相應(yīng)觸控功能。

2、超聲系統(tǒng)可通過發(fā)射超聲波，接收反射聲波，經(jīng)一系列信號轉(zhuǎn)換后得到數(shù)字信號，由于聲波傳播受聲阻抗影響，不同的反射面聲阻抗存在差異，超聲回波強度也存在差異。因此手指與觸控接觸面、空氣與觸控接觸面的超聲回波強度存在差異，可通過上述差異可檢測用戶手指動作，并判斷手指按壓狀態(tài)。

3、傳統(tǒng)的方案中，在保持超聲波發(fā)射頻率、溫度等相同的條件下，可以通過設(shè)定的基準閾值檢測出手指按壓狀態(tài)(抬起或按下等)，然而，超聲波信號受發(fā)射頻率、溫度、超聲波飛行時間以及超聲模組差異等因素影響，不同條件下信號強度存在較大差異，因此，通過閾值判斷手指按壓狀態(tài)就需要大量覆蓋不同條件下的數(shù)據(jù)并設(shè)置相應(yīng)基準閾值，覆蓋所有不同的情況存在一定難度，導(dǎo)致傳統(tǒng)檢測方案的泛化能力差。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供一種手指按壓狀態(tài)檢測、訓練方法、電子設(shè)備和介質(zhì)，以解決傳統(tǒng)的手指按壓狀態(tài)檢測方案中，泛化能力差的技術(shù)問題。

2、基于上述技術(shù)問題，提供如下解決方案：

3、第一方面，提供了一種手指按壓狀態(tài)檢測方法，所述方法包括：

4、對超聲回波信號進行預(yù)處理，得到模型輸入數(shù)據(jù)，所述超聲回波信號為超聲陣列往按壓區(qū)域發(fā)射超聲波信號后對應(yīng)的超聲回波信號；

5、將所述模型輸入數(shù)據(jù)輸入訓練后的神經(jīng)網(wǎng)絡(luò)模型，以使所述神經(jīng)網(wǎng)絡(luò)模型輸出手指按壓狀態(tài)。

6、在一種實現(xiàn)方式中，所述神經(jīng)網(wǎng)絡(luò)模型包括基于循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型；或者基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型。

7、在一種實現(xiàn)方式中：

8、所述神經(jīng)網(wǎng)絡(luò)模型包括第一分類決策層與多層循環(huán)神經(jīng)網(wǎng)絡(luò)，所述多層循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出與所述第一分類決策層相連；

9、或者；

10、所述神經(jīng)網(wǎng)絡(luò)模型包括第二分類決策層以及單層循環(huán)神經(jīng)網(wǎng)絡(luò)，所述單層循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出與所述第二分類決策層相連。

11、在一種實現(xiàn)方式中，所述對超聲回波信號進行預(yù)處理，得到模型輸入數(shù)據(jù)，包括：

12、對單幀所述超聲回波信號進行空域多點采樣，得到單幀所述超聲回波信號對應(yīng)的空域采樣數(shù)據(jù)；

13、將所述空域采樣數(shù)據(jù)轉(zhuǎn)化為第一數(shù)據(jù)向量；

14、根據(jù)所述第一數(shù)據(jù)向量，得到所述神經(jīng)網(wǎng)絡(luò)模型的模型輸入數(shù)據(jù)。

15、在一種實現(xiàn)方式中，所述對單幀所述超聲回波信號進行空域采樣，得到單幀所述超聲回波信號對應(yīng)的空域采樣數(shù)據(jù)，包括：

16、按照預(yù)設(shè)行列間隔，對單幀所述超聲回波信號分別進行空域采樣，得到單幀所述超聲回波信號對應(yīng)的空域采樣數(shù)據(jù)。

17、在一種實現(xiàn)方式中，所述根據(jù)所述第一數(shù)據(jù)向量，得到所述神經(jīng)網(wǎng)絡(luò)模型的模型輸入數(shù)據(jù)，包括：

18、對所述第一數(shù)據(jù)向量進行歸一化處理，歸一化處理后的所述第一數(shù)據(jù)向量為所述神經(jīng)網(wǎng)絡(luò)模型的模型輸入數(shù)據(jù)。

19、在一種實現(xiàn)方式中，所述對超聲回波信號進行預(yù)處理，得到模型輸入數(shù)據(jù)，包括：

20、將當前時間步采集的單幀所述超聲回波信號的回波強度特征值，以及其他時間步分別對應(yīng)的回波強度特征值，轉(zhuǎn)化為第二數(shù)據(jù)向量，所述其他時間步為所述當前時間步之前的時間步；

21、根據(jù)所述第二數(shù)據(jù)向量，得到所述神經(jīng)網(wǎng)絡(luò)模型的模型輸入數(shù)據(jù)。

22、在一種實現(xiàn)方式中，所述其他時間步為所述當前時間步n的前n-1個連續(xù)時間步。

23、在一種實現(xiàn)方式中，所述根據(jù)所述第二數(shù)據(jù)向量，得到所述神經(jīng)網(wǎng)絡(luò)模型的模型輸入數(shù)據(jù)，包括：

24、對所述第二數(shù)據(jù)向量進行歸一化處理，歸一化處理后的所述第二數(shù)據(jù)向量為所述神經(jīng)網(wǎng)絡(luò)模型的模型輸入數(shù)據(jù)。

25、在一實現(xiàn)方式中，所述神經(jīng)網(wǎng)絡(luò)模型輸出的手指按壓狀態(tài)包括：分類確定狀態(tài)或分類待定狀態(tài)，所述分類確定狀態(tài)為至少兩種類別的按壓狀態(tài)中的任一按壓狀態(tài)。

26、在一種實現(xiàn)方式中，所述至少兩種類別的按壓狀態(tài)包括手指觸摸狀態(tài)和手指非觸摸狀態(tài)；或者；所述至少兩種類別的按壓狀態(tài)包括手指觸摸狀態(tài)、手指非觸摸狀態(tài)、觸摸到非觸摸的臨界狀態(tài)和非觸摸到觸摸的臨界狀態(tài)。

27、在一種實現(xiàn)方式中，所述將所述模型輸入數(shù)據(jù)輸入訓練后的神經(jīng)網(wǎng)絡(luò)模型，以使所述神經(jīng)網(wǎng)絡(luò)模型輸出手指按壓狀態(tài)之后，所述方法還包括：

28、當輸出的所述手指按壓狀態(tài)為所述分類確定狀態(tài)，將所述分類確定狀態(tài)作為最終的手指按壓狀態(tài)，并按照時序?qū)⑤敵龅乃龇诸惔_定狀態(tài)對應(yīng)更新至所述狀態(tài)記憶序列；

29、當輸出的所述手指按壓狀態(tài)為所述分類待定狀態(tài)，取所述狀態(tài)記憶序列最后記錄的按壓狀態(tài)為最終的手指按壓狀態(tài)，或者取所述狀態(tài)記憶序列中狀態(tài)概率最高的按壓狀態(tài)為最終輸出的手指按壓狀態(tài)，并對應(yīng)更新至所述狀態(tài)記憶序列。

30、第二方面，提供了一種神經(jīng)網(wǎng)絡(luò)模型訓練方法，所述方法包括：

31、獲取訓練樣本數(shù)據(jù)，所述訓練樣本數(shù)據(jù)包括手指按壓狀態(tài)樣本數(shù)據(jù)及其對應(yīng)的按壓狀態(tài)分類標簽，所述手指按壓狀態(tài)樣本數(shù)據(jù)為基于超聲回波樣本信號所構(gòu)造，所述超聲回波樣本信號為往按壓區(qū)域發(fā)射超聲波樣本信號后的超聲反射信號；

32、基于所述訓練樣本數(shù)據(jù)，對神經(jīng)網(wǎng)絡(luò)模型進行訓練，直至得到滿足預(yù)設(shè)模型條件的神經(jīng)網(wǎng)絡(luò)模型；

33、訓練后的所述神經(jīng)網(wǎng)絡(luò)模型用于輸出手指按壓狀態(tài)。

34、在一種實現(xiàn)方式中，所述神經(jīng)網(wǎng)絡(luò)模型包括基于循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型；或者基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型。

35、在一種實現(xiàn)方式中：

36、所述神經(jīng)網(wǎng)絡(luò)模型包括第一分類決策層與多層循環(huán)神經(jīng)網(wǎng)絡(luò)，所述多層循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出與所述第一分類決策層相連；

37、或者；

38、所述神經(jīng)網(wǎng)絡(luò)模型包括第二分類決策層以及單層循環(huán)神經(jīng)網(wǎng)絡(luò)，所述單層循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出與所述第二分類決策層相連。

39、在一種實現(xiàn)方式中，所述手指按壓狀態(tài)樣本數(shù)據(jù)包括第一樣本數(shù)據(jù)向量；

40、所述第一樣本數(shù)據(jù)向量為對空域采樣樣本數(shù)據(jù)轉(zhuǎn)化得到，所述空域采樣樣本數(shù)據(jù)為基于單幀超聲回波樣本信號進行空域多點采樣后得到。

41、在一種實現(xiàn)方式中，所述空域采樣樣本數(shù)據(jù)，為按照預(yù)設(shè)間隔對單幀所述超聲回波樣本信號進行空域采樣后得到。

42、在一種實現(xiàn)方式中，所述第一樣本數(shù)據(jù)向量為歸一化處理后的樣本數(shù)據(jù)向量。

43、在一種實現(xiàn)方式中，所述手指按壓狀態(tài)樣本數(shù)據(jù)包括第二樣本數(shù)據(jù)向量；

44、所述第二樣本數(shù)據(jù)向量為對多份單幀超聲回波樣本信號分別對應(yīng)的回波強度特征值轉(zhuǎn)化得到，所述多份單幀超聲回波樣本信號分別是多個不同時間步對應(yīng)的單幀超聲回波樣本信號。

45、在一種實現(xiàn)方式中，所述多個不同時間步為連續(xù)時間步。

46、在一種實現(xiàn)方式中，所述第二樣本數(shù)據(jù)向量為歸一化處理后的樣本數(shù)據(jù)向量。

47、在一種實現(xiàn)方式中，所述神經(jīng)網(wǎng)絡(luò)模型輸出的手指按壓狀態(tài)包括：分類確定狀態(tài)或分類待定狀態(tài)，所述分類確定狀態(tài)為至少兩種類別的按壓狀態(tài)中的任一按壓狀態(tài)。

48、在一種實現(xiàn)方式中，所述至少兩種類別的按壓狀態(tài)包括手指觸摸狀態(tài)和手指非觸摸狀態(tài)；或者；所述至少兩種類別的按壓狀態(tài)包括手指觸摸狀態(tài)、手指非觸摸狀態(tài)、觸摸到非觸摸的臨界狀態(tài)和非觸摸到觸摸的臨界狀態(tài)。

49、第三方面，提供了一種手指按壓狀態(tài)檢測裝置，所述手指按壓狀態(tài)檢測裝置包括：

50、處理模塊，用于對超聲回波信號進行預(yù)處理，得到模型輸入數(shù)據(jù)，所述超聲回波信號為超聲陣列往按壓區(qū)域發(fā)射超聲波信號后對應(yīng)的超聲回波信號；

51、輸入模塊，用于將所述模型輸入數(shù)據(jù)輸入訓練后的神經(jīng)網(wǎng)絡(luò)模型，以使所述神經(jīng)網(wǎng)絡(luò)模型輸出手指按壓狀態(tài)。

52、第四方面，提供了一種神經(jīng)網(wǎng)絡(luò)模型訓練裝置，所述神經(jīng)網(wǎng)絡(luò)模型訓練裝置包括：

53、獲取模塊，用于獲取訓練樣本數(shù)據(jù)，所述訓練樣本數(shù)據(jù)包括手指按壓狀態(tài)樣本數(shù)據(jù)及其對應(yīng)的按壓狀態(tài)分類標簽，所述手指按壓狀態(tài)樣本數(shù)據(jù)為基于超聲回波樣本信號所構(gòu)造，所述超聲回波樣本信號為往按壓區(qū)域發(fā)射超聲波樣本信號后的超聲反射信號；

54、訓練模塊，用于基于所述訓練樣本數(shù)據(jù)，對神經(jīng)網(wǎng)絡(luò)模型進行訓練，直至得到滿足預(yù)設(shè)模型條件的神經(jīng)網(wǎng)絡(luò)模型，訓練后的所述神經(jīng)網(wǎng)絡(luò)模型用于輸出手指按壓狀態(tài)。

55、第五方面，一種電子設(shè)備，所述手指按壓狀態(tài)檢測裝置包括超聲波壓電傳感器、模數(shù)轉(zhuǎn)換器、數(shù)據(jù)處理中心與中央控制器，其中，超聲波壓電傳感器陣列、模數(shù)轉(zhuǎn)換器、數(shù)據(jù)處理中心均與中央控制器相連；

56、所述超聲波壓電傳感器，用于響應(yīng)所述中央控制器往按壓區(qū)域發(fā)射超聲波信號，并接收超聲回波信號；

57、所述模數(shù)轉(zhuǎn)換器，用于響應(yīng)所述中央控制器對所述超聲回波信號進行數(shù)模轉(zhuǎn)換；

58、所述數(shù)據(jù)處理中心，響應(yīng)所述中央控制器實現(xiàn)如前述任一項所述的手指按壓狀態(tài)檢測方法的步驟。

59、第六方面，一種電子設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如前述任一項的神經(jīng)網(wǎng)絡(luò)模型訓練方法的步驟。

60、第七方面，提供了一種可讀存儲介質(zhì)，所述可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如前述任一項所述方法的步驟。

61、第八方面，提供了一種計算機程序產(chǎn)品，包括計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)前述任一項所述方法的步驟。

62、上述所實現(xiàn)的其中一個方案中，通過對超聲回波信號進行預(yù)處理，得到模型輸入數(shù)據(jù)，將所述模型輸入數(shù)據(jù)輸入訓練后的神經(jīng)網(wǎng)絡(luò)模型，以使所述神經(jīng)網(wǎng)絡(luò)模型輸出對應(yīng)的手指按壓狀態(tài)，不同的手指按壓狀態(tài)所對應(yīng)的超聲回波信號強度特征不同，預(yù)處理后的超聲回波信號，也即模型輸入數(shù)據(jù)表征了強度特征變化，通過訓練后的神經(jīng)網(wǎng)絡(luò)模型基于模型輸入數(shù)據(jù)輸出手指按壓狀態(tài)，無需通過設(shè)置基準閾值比較方式，可以消除不同超聲模組之間的差異性(比如不同電子設(shè)備采用的超聲波壓電傳感器不同)，同一個網(wǎng)絡(luò)模型參數(shù)在不同超聲模組之間具有更好的泛化能力，而且，可以有效地消除各種不同場景(溫度、頻率等)下以及不同手指狀態(tài)下的差異性，可以覆蓋多種特殊場景，如高溫、低溫、手指沾水等，具有更強的泛化能力和準確性。