本發(fā)明涉及深度學(xué)習(xí)，特別涉及一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法。

背景技術(shù)：

1、隨著智能設(shè)備的普及，為實(shí)現(xiàn)良好的人機(jī)交互功能，智能設(shè)備均提供觸控屏幕接收用戶輸入的在線軌跡點(diǎn)。

2、而目前，對(duì)于在線軌跡點(diǎn)的識(shí)別，主要是基于高階梯度手動(dòng)提取高維特征或者基于貝塞爾曲線參數(shù)去擬合軌跡點(diǎn)的分布，來提取軌跡點(diǎn)特征供分類模型進(jìn)行識(shí)別，傳統(tǒng)技術(shù)中通過人工參與進(jìn)行軌跡點(diǎn)特征的提取，不僅使得對(duì)在線軌跡點(diǎn)的識(shí)別效率較低，也難以實(shí)現(xiàn)對(duì)復(fù)雜軌跡點(diǎn)的識(shí)別，同時(shí)也難以滿足端到端分類預(yù)測(cè)的需求。

3、因此，提出一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問題，本發(fā)明提供一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法，用以解決傳統(tǒng)技術(shù)中對(duì)在線軌跡點(diǎn)的識(shí)別需人工參與，識(shí)別效率較低的問題。

2、本發(fā)明實(shí)施例中提供了一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法，包括初始掩碼編碼器和初始解碼器，來獲取自監(jiān)督學(xué)習(xí)模型；

3、獲取訓(xùn)練集中的無標(biāo)簽樣本數(shù)據(jù)對(duì)所述自監(jiān)督學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練，獲取掩碼編碼器；

4、將所述自監(jiān)督學(xué)習(xí)模型中掩碼編碼器的參數(shù)遷移至端到端分類模型的編碼器，并通過連接分類頭，搭建初始端到端分類模型，通過所述訓(xùn)練集中少量的有標(biāo)簽樣本數(shù)據(jù)對(duì)所述初始端到端分類模型訓(xùn)練，獲取端到端分類模型；

5、通過端到端分類模型中的編碼器，對(duì)所述在線軌跡點(diǎn)的參數(shù)信息進(jìn)行特征提取，并通過分類頭進(jìn)行預(yù)測(cè)，獲取軌跡點(diǎn)識(shí)別結(jié)果。

6、優(yōu)選的，本發(fā)明提供的一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法，所述步驟：通過構(gòu)建初始掩碼編碼器和初始解碼器，來獲取自監(jiān)督學(xué)習(xí)模型；包括：

7、通過局部增強(qiáng)特征提取模塊，構(gòu)建初始掩碼編碼器；通過掩碼恢復(fù)模塊構(gòu)建初始解碼器；初始掩碼編碼器與初始解碼器連接，搭建自監(jiān)督學(xué)習(xí)模型。

8、優(yōu)選的，本發(fā)明提供的一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法，所述步驟：獲取訓(xùn)練集中的無標(biāo)簽樣本數(shù)據(jù)對(duì)所述自監(jiān)督學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練，獲取掩碼編碼器；包括：

9、根據(jù)預(yù)設(shè)掩碼率對(duì)所述無標(biāo)簽樣本數(shù)據(jù)進(jìn)行隨機(jī)掩碼處理，獲取樣本掩碼參數(shù)信息；可選的，包括：

10、獲取所述無標(biāo)簽樣本數(shù)據(jù)的參數(shù)信息p＝(p1,…,ps)；其中p1為無標(biāo)簽樣本數(shù)據(jù)中第一個(gè)軌跡點(diǎn)對(duì)應(yīng)的參數(shù)信息，ps為無標(biāo)簽樣本數(shù)據(jù)中第s個(gè)軌跡點(diǎn)對(duì)應(yīng)的參數(shù)信息，無標(biāo)簽樣本數(shù)據(jù)中共有s個(gè)軌跡點(diǎn)；

11、根據(jù)預(yù)設(shè)掩碼率隨機(jī)選取無標(biāo)簽樣本數(shù)據(jù)的參數(shù)信息中的掩碼參數(shù)點(diǎn)進(jìn)行掩碼操作，將所述掩碼參數(shù)點(diǎn)替換為標(biāo)準(zhǔn)參數(shù)向量p0，獲取樣本掩碼參數(shù)信息p′＝(p1,…,p0,…,p0,…,ps)，其中pk+1為無標(biāo)簽樣本數(shù)據(jù)的參數(shù)信息中第k+1個(gè)軌跡點(diǎn)對(duì)應(yīng)的參數(shù)向量，為無標(biāo)簽樣本數(shù)據(jù)的參數(shù)信息中第k+k0個(gè)軌跡點(diǎn)對(duì)應(yīng)的參數(shù)向量，k0為掩碼參數(shù)點(diǎn)中參數(shù)點(diǎn)的數(shù)量；

12、局部增強(qiáng)特征提取模塊對(duì)所述樣本掩碼參數(shù)信息的局部特征進(jìn)行長(zhǎng)短自適應(yīng)地增強(qiáng)，并提取相應(yīng)的無標(biāo)簽樣本特征向量；

13、通過掩碼恢復(fù)模塊根據(jù)所述無標(biāo)簽樣本特征向量進(jìn)行軌跡點(diǎn)恢復(fù)，獲取所述無標(biāo)簽樣本數(shù)據(jù)中被掩碼軌跡點(diǎn)的坐標(biāo)位置和筆畫位置，構(gòu)建無標(biāo)簽恢復(fù)樣本；所述筆畫位置，包括起始點(diǎn)、過渡點(diǎn)以及結(jié)束點(diǎn)。

14、優(yōu)選的，本發(fā)明提供的一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法，所述步驟：局部增強(qiáng)特征提取模塊對(duì)所述樣本掩碼參數(shù)信息的局部特征進(jìn)行長(zhǎng)短自適應(yīng)地增強(qiáng)，并提取相應(yīng)的無標(biāo)簽樣本特征向量；包括：

15、局部增強(qiáng)特征提取模塊，包括特征提取單元和可變形特征提取單元；

16、通過所述特征提取單元中的多頭注意力機(jī)制層對(duì)所述樣本掩碼參數(shù)信息進(jìn)行處理，構(gòu)建查詢向量矩陣、鍵向量矩陣和值向量矩陣，進(jìn)而獲取相應(yīng)的注意力值；感知層通過gelu激活函數(shù)根據(jù)注意力值對(duì)所述樣本掩碼參數(shù)信息進(jìn)行非線性特征提取，獲取樣本掩碼特征向量；

17、可變形特征提取單元中的可變形注意力機(jī)制層對(duì)所述樣本掩碼特征向量進(jìn)行處理，獲取動(dòng)態(tài)窗口內(nèi)的向量注意力值，并根據(jù)所述樣本掩碼特征向量和向量注意力值進(jìn)行加權(quán)求和，獲取加權(quán)注意力向量，進(jìn)行歸一化層操作，獲取標(biāo)準(zhǔn)注意力向量；多層感知機(jī)對(duì)所述標(biāo)準(zhǔn)特征向量進(jìn)行動(dòng)態(tài)特征采樣，獲取無標(biāo)簽樣本特征向量。

18、優(yōu)選的，本發(fā)明提供的一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法，所述步驟：可變形特征提取單元中的可變形注意力機(jī)制層對(duì)所述樣本掩碼特征向量進(jìn)行處理，獲取動(dòng)態(tài)窗口內(nèi)的向量注意力值，并根據(jù)所述樣本掩碼特征向量和向量注意力值進(jìn)行加權(quán)求和，獲取加權(quán)注意力向量，進(jìn)行歸一化層操作，獲取標(biāo)準(zhǔn)注意力向量；多層感知機(jī)對(duì)所述標(biāo)準(zhǔn)特征向量進(jìn)行動(dòng)態(tài)特征采樣，獲取無標(biāo)簽樣本特征向量；包括：

19、根據(jù)所述樣本掩碼特征向量和動(dòng)態(tài)窗口內(nèi)的向量注意力值進(jìn)行加權(quán)求和，獲取加權(quán)注意力向量；

20、

21、其中，t為對(duì)樣本掩碼特征向量進(jìn)行處理獲取的加權(quán)注意力向量，hl為可變形注意力機(jī)制層中第l個(gè)注意力頭的可訓(xùn)練權(quán)重參數(shù)，li為樣本掩碼特征向量中第i個(gè)特征向量對(duì)應(yīng)的向量注意力值，vi為樣本掩碼特征向量中第i個(gè)特征向量對(duì)應(yīng)的向量值，xi為第i個(gè)特征向量的軌跡位置，δxi為第i個(gè)特征向量的軌跡偏移位置，n為可變形注意力機(jī)制層中注意力頭的數(shù)量，m為所述樣本掩碼特征向量動(dòng)態(tài)窗口中特征向量的數(shù)量；

22、根據(jù)所述加權(quán)注意力向量進(jìn)行歸一化層操作，獲取標(biāo)準(zhǔn)注意力向量；

23、

24、其中，ln(ti)為對(duì)加權(quán)注意力向量中第i個(gè)注意力向量元素ti進(jìn)行歸一化處理獲取的標(biāo)準(zhǔn)注意力向量元素，μi為加權(quán)注意力向量ti對(duì)應(yīng)的均值，σi為加權(quán)注意力向量ti對(duì)應(yīng)的標(biāo)準(zhǔn)差，∈為常數(shù)，α為歸一化層的第一標(biāo)準(zhǔn)化向量參數(shù)，β為標(biāo)準(zhǔn)化層的第二標(biāo)準(zhǔn)化向量參數(shù)；

25、通過對(duì)加權(quán)注意力向量中的注意力向量元素進(jìn)行遍歷歸一化計(jì)算，獲取標(biāo)準(zhǔn)注意力向量。

26、優(yōu)選的，本發(fā)明提供的一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法，所述步驟：獲取訓(xùn)練集中的無標(biāo)簽樣本數(shù)據(jù)對(duì)所述自監(jiān)督學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練，獲取掩碼編碼器；之后，還包括：

27、設(shè)置軌跡鑒別器；

28、通過所述軌跡鑒別器對(duì)所述無標(biāo)簽恢復(fù)樣本進(jìn)行鑒別，判斷所述無標(biāo)簽恢復(fù)樣本是否存在異常軌跡數(shù)據(jù)，當(dāng)判斷所述無標(biāo)簽恢復(fù)樣本存在異常軌跡數(shù)據(jù)時(shí)，優(yōu)化所述掩碼編碼器的控制參數(shù)。

29、優(yōu)選的，本發(fā)明提供的一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法，所述步驟：將所述自監(jiān)督學(xué)習(xí)模型中掩碼編碼器的參數(shù)遷移至端到端分類模型的編碼器，并通過連接分類頭，搭建初始端到端分類模型，通過所述訓(xùn)練集中少量的有標(biāo)簽樣本數(shù)據(jù)對(duì)所述初始端到端分類模型訓(xùn)練，獲取端到端分類模型；包括：

30、獲取所述訓(xùn)練集中的有標(biāo)簽樣本數(shù)據(jù)；

31、將所述有標(biāo)簽樣本輸入到所述初始端到端分類模型，所述初始端到端分類模型獲取相應(yīng)的標(biāo)簽識(shí)別結(jié)果；

32、將所述標(biāo)簽識(shí)別結(jié)果與所述有標(biāo)簽樣本數(shù)據(jù)對(duì)應(yīng)的標(biāo)準(zhǔn)識(shí)別結(jié)果進(jìn)行對(duì)比，對(duì)所述初始端到端分類模型的分類頭進(jìn)行訓(xùn)練，優(yōu)化所述分類頭的控制參數(shù)，獲取端到端分類模型。

33、優(yōu)選的，本發(fā)明提供的一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法，包括：

34、在通過所述訓(xùn)練集中的有標(biāo)簽樣本數(shù)據(jù)對(duì)所述初始端到端分類模型進(jìn)行訓(xùn)練時(shí)，無需對(duì)所述初始端到端分類模型中的編碼器進(jìn)行訓(xùn)練。

35、優(yōu)選的，本發(fā)明提供的一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法包括：

36、所述訓(xùn)練集中包含有大量的無標(biāo)簽樣本數(shù)據(jù)和少量的有標(biāo)簽樣本數(shù)據(jù)；

37、所述有標(biāo)簽樣本數(shù)據(jù)對(duì)應(yīng)有標(biāo)準(zhǔn)識(shí)別結(jié)果，其中標(biāo)準(zhǔn)識(shí)別結(jié)果為人工根據(jù)所述有標(biāo)簽樣本數(shù)據(jù)進(jìn)行標(biāo)注。

38、優(yōu)選的，本發(fā)明提供的一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法，所述步驟：通過端到端分類模型中的編碼器，對(duì)所述在線軌跡點(diǎn)的參數(shù)信息進(jìn)行特征提取，并通過分類頭進(jìn)行預(yù)測(cè)，獲取軌跡點(diǎn)識(shí)別結(jié)果；包括：

39、通過編碼器對(duì)所述在線軌跡點(diǎn)的參數(shù)信息進(jìn)行特征提取，獲取軌跡特征向量；

40、分類頭中transformer層對(duì)所述軌跡特征向量進(jìn)行解碼預(yù)測(cè)，獲取預(yù)分類高維特征向量，通過池化層進(jìn)行降采樣操作，獲取預(yù)分類低維特征向量，通過全連接層根據(jù)預(yù)分類低維特征向量進(jìn)行非線性激活，輸出軌跡點(diǎn)識(shí)別結(jié)果。

41、與傳統(tǒng)技術(shù)相比，本發(fā)明的有益效果在于：一種基于自監(jiān)督學(xué)習(xí)模型的在線軌跡點(diǎn)識(shí)別方法，無需人工參與進(jìn)行軌跡點(diǎn)特征的提取，基于自監(jiān)督學(xué)習(xí)模型和端到端分類模型，便可實(shí)現(xiàn)對(duì)在線軌跡點(diǎn)的識(shí)別，解決了傳統(tǒng)技術(shù)中依賴于高階梯度手動(dòng)提取高維特征或者基于貝塞爾曲線參數(shù)去擬合軌跡點(diǎn)進(jìn)行識(shí)別的問題，在提高軌跡點(diǎn)識(shí)別效率的同時(shí)，通過訓(xùn)練集訓(xùn)練后的自監(jiān)督學(xué)習(xí)模型和端到端分類模型，也能夠?qū)崿F(xiàn)對(duì)復(fù)雜軌跡點(diǎn)的識(shí)別，進(jìn)而滿足端到端分類預(yù)測(cè)的需求。

42、本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。

43、下面通過附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。