本發(fā)明涉及點(diǎn)擊操作響應(yīng)時(shí)間計(jì)算，尤其涉及一種點(diǎn)擊操作響應(yīng)時(shí)間計(jì)算方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、點(diǎn)擊操作，如鍵盤等具有鍵程的按鍵的點(diǎn)擊操作的響應(yīng)測(cè)試是一種評(píng)估用戶輸入體驗(yàn)的方法，它可以幫助檢測(cè)筆電鍵盤、外接鍵盤和虛擬鍵盤等設(shè)備是否能正常工作，以及確定設(shè)備響應(yīng)速度和準(zhǔn)確性，其中響應(yīng)開始時(shí)間的判斷，通常為手指按壓點(diǎn)擊設(shè)備或者從點(diǎn)擊設(shè)備抬起的瞬間。

2、目前市面上主要有以下幾種方式進(jìn)行響應(yīng)起始時(shí)刻的判斷：

3、1）、通過人工觀察視頻判斷，但費(fèi)時(shí)費(fèi)力，且個(gè)人主觀判斷標(biāo)準(zhǔn)不同，導(dǎo)致結(jié)果差異較大。此外長(zhǎng)時(shí)間工作也容易產(chǎn)生視覺疲勞，導(dǎo)致發(fā)生誤判，無法滿足對(duì)性能測(cè)試的精度需求；

4、2）、通過壓力傳感器等檢測(cè)外界設(shè)備收集按壓抬起數(shù)據(jù)，此方法中根據(jù)傳感器類型和精度不同，存在一定的延遲；

5、3）、采用單目相機(jī)進(jìn)行動(dòng)作數(shù)據(jù)獲取和分析，但只能根據(jù)輔助標(biāo)志物的大小變化數(shù)據(jù)進(jìn)行動(dòng)作分析，使用傳統(tǒng)算法容易受到數(shù)據(jù)噪聲、數(shù)據(jù)異方差和環(huán)境干擾等影響，且對(duì)于不同按鍵行程的點(diǎn)擊設(shè)備，按下抬起時(shí)間節(jié)點(diǎn)的計(jì)算有一定誤差，導(dǎo)致分析精度差；

6、4）、采用多目相機(jī)進(jìn)行點(diǎn)擊動(dòng)作數(shù)據(jù)獲取和分析，此方法獲取的數(shù)據(jù)精度高于單目相機(jī)，數(shù)據(jù)噪聲小，便于分析，但需要至少兩臺(tái)的相機(jī)，設(shè)備成本高，不利于推廣使用。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種點(diǎn)擊操作響應(yīng)時(shí)間計(jì)算方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，用于解決如何計(jì)算點(diǎn)擊操作響應(yīng)時(shí)間的技術(shù)問題。

2、本發(fā)明提供了一種點(diǎn)擊操作響應(yīng)時(shí)間計(jì)算方法，包括：

3、當(dāng)用戶對(duì)預(yù)設(shè)的點(diǎn)擊設(shè)備進(jìn)行點(diǎn)擊操作時(shí)，采用圖像采集設(shè)備采集所述點(diǎn)擊設(shè)備的連續(xù)多幀圖像；

4、根據(jù)多幀所述圖像確定所述點(diǎn)擊操作的起始幀；

5、獲取所述起始幀的第一時(shí)間點(diǎn)；

6、獲取終端響應(yīng)所述點(diǎn)擊操作的第二時(shí)間點(diǎn)；

7、根據(jù)所述第一時(shí)間點(diǎn)和所述第二時(shí)間點(diǎn)計(jì)算點(diǎn)擊操作響應(yīng)時(shí)間。

8、可選地，所述根據(jù)多幀所述圖像確定所述點(diǎn)擊操作的起始幀的步驟，包括：

9、將首次檢測(cè)到預(yù)設(shè)標(biāo)志物的圖像作為目標(biāo)圖像，并獲取所述目標(biāo)圖像中所述預(yù)設(shè)標(biāo)志物的位置及第一面積；

10、以所述預(yù)設(shè)標(biāo)志物的位置為中心構(gòu)建追蹤框；

11、通過所述追蹤框獲取所述目標(biāo)圖像后續(xù)各所述圖像中所述預(yù)設(shè)標(biāo)志物的第二面積；

12、將所述第一面積和所述第二面積輸入預(yù)訓(xùn)練的數(shù)據(jù)分析深度學(xué)習(xí)模型，得到數(shù)據(jù)轉(zhuǎn)折點(diǎn)；

13、將所述數(shù)據(jù)轉(zhuǎn)折點(diǎn)對(duì)應(yīng)的圖像確定為起始幀。

14、可選地，所述將首次檢測(cè)到預(yù)設(shè)標(biāo)志物的圖像作為目標(biāo)圖像，并獲取所述目標(biāo)圖像中所述預(yù)設(shè)標(biāo)志物的位置及第一面積的步驟，包括：

15、將第一幀所述圖像轉(zhuǎn)化為矩陣數(shù)據(jù)；

16、將所述矩陣數(shù)據(jù)輸入輕量化語義分割網(wǎng)絡(luò)，輸出語義分割結(jié)果；

17、根據(jù)所述語義分割結(jié)果判斷所述圖像是否包含預(yù)設(shè)標(biāo)志物；

18、若否，將預(yù)設(shè)幀數(shù)后的圖像轉(zhuǎn)化為矩陣數(shù)據(jù)，并返回將所述矩陣數(shù)據(jù)輸入輕量化語義分割網(wǎng)絡(luò)，輸出語義分割結(jié)果的步驟；

19、若是，將所述圖像作為目標(biāo)圖像，并獲取所述目標(biāo)圖像中所述預(yù)設(shè)標(biāo)志物的位置及第一面積。

20、可選地，所述輕量化語義分割網(wǎng)絡(luò)包括第一卷積池化層、第二卷積池化層、第一轉(zhuǎn)置卷積層、第一殘差連接層、第二轉(zhuǎn)置卷積層、第二殘差連接層和第一輸出層；所述將所述矩陣數(shù)據(jù)輸入輕量化語義分割網(wǎng)絡(luò)，輸出語義分割結(jié)果的步驟，包括：

21、通過所述第一卷積池化層對(duì)所述矩陣數(shù)據(jù)進(jìn)行特征提取，得到初始特征數(shù)據(jù)；

22、通過所述第二卷積池化層對(duì)所述初始特征數(shù)據(jù)進(jìn)行特征提取，得到目標(biāo)特征數(shù)據(jù)；

23、通過第一轉(zhuǎn)置卷積層對(duì)所述目標(biāo)特征數(shù)據(jù)進(jìn)行上采樣，得到第一原尺寸圖像；

24、通過第一殘差連接層將所述初始特征數(shù)據(jù)與所述第一原尺寸圖像進(jìn)行融合，得到融合特征圖片；

25、通過所述第二轉(zhuǎn)置卷積層對(duì)所述融合特征圖片進(jìn)行尺寸恢復(fù)，得到第二原尺寸圖像；

26、采用所述第二殘差連接層融合所述第二原尺寸圖像和所述初始特征數(shù)據(jù)，并通過所述第一輸出層輸出語義分割結(jié)果。

27、可選地，所述數(shù)據(jù)分析深度學(xué)習(xí)模型包括第一lstm層、第一注意力層、第三殘差連接層、第二lstm層、第二注意力層、第四殘差連接層、全連接層和第二輸出層；所述將所述第一面積和所述第二面積輸入預(yù)訓(xùn)練的數(shù)據(jù)分析深度學(xué)習(xí)模型，得到數(shù)據(jù)轉(zhuǎn)折點(diǎn)的步驟，包括：

28、采用所述第一面積數(shù)據(jù)和所述第二數(shù)據(jù)生成一維長(zhǎng)序列；

29、通過所述第一lstm層對(duì)所述一維長(zhǎng)序列進(jìn)行特征提取，得到第一特征序列；

30、通過所述第一注意力層對(duì)所述第一特征序列進(jìn)行權(quán)重調(diào)整，得到第一調(diào)整特征序列；

31、通過第三殘差連接層將所述第一特征序列和所述第一調(diào)整特征序列進(jìn)行相加，得到第一相加特征序列；

32、通過所述第二lstm層對(duì)所述第一相加特征序列進(jìn)行特征提取，得到第二特征序列；

33、通過所述第二注意力層對(duì)所述第二特征序列進(jìn)行權(quán)重調(diào)整，得到第二調(diào)整特征序列；

34、通過所述第四殘差連接層將所述第一特征序列和所述第二特征調(diào)整序列相加，得到第二相加特征序列；

35、通過所述全連接層對(duì)所述第二相加特征序列進(jìn)行降維和整合，得到目標(biāo)特征序列；

36、通過所述第二輸出層從所述目標(biāo)特征序列中提取數(shù)據(jù)轉(zhuǎn)折點(diǎn)。

37、本發(fā)明還提供了一種點(diǎn)擊操作響應(yīng)時(shí)間計(jì)算裝置，包括：

38、圖像采集模塊，用于當(dāng)用戶對(duì)預(yù)設(shè)的點(diǎn)擊設(shè)備進(jìn)行點(diǎn)擊操作時(shí)，采用圖像采集設(shè)備采集所述點(diǎn)擊設(shè)備的連續(xù)多幀圖像；

39、起始幀確定模塊，用于根據(jù)多幀所述圖像確定所述點(diǎn)擊操作的起始幀；

40、第一時(shí)間點(diǎn)獲取模塊，用于獲取所述起始幀的第一時(shí)間點(diǎn)；

41、第二時(shí)間點(diǎn)獲取模塊，用于獲取終端響應(yīng)所述點(diǎn)擊操作的第二時(shí)間點(diǎn)；

42、點(diǎn)擊操作響應(yīng)時(shí)間計(jì)算模塊，用于根據(jù)所述第一時(shí)間點(diǎn)和所述第二時(shí)間點(diǎn)計(jì)算點(diǎn)擊操作響應(yīng)時(shí)間。

43、可選地，所述起始幀確定模塊，包括：

44、目標(biāo)圖像檢測(cè)子模塊，用于將首次檢測(cè)到預(yù)設(shè)標(biāo)志物的圖像作為目標(biāo)圖像，并獲取所述目標(biāo)圖像中所述預(yù)設(shè)標(biāo)志物的位置及第一面積；

45、追蹤框構(gòu)建子模塊，用于以所述預(yù)設(shè)標(biāo)志物的位置為中心構(gòu)建追蹤框；

46、第二面積獲取子模塊，用于通過所述追蹤框獲取所述目標(biāo)圖像后續(xù)各所述圖像中所述預(yù)設(shè)標(biāo)志物的第二面積；

47、數(shù)據(jù)轉(zhuǎn)折點(diǎn)獲取子模塊，用于將所述第一面積和所述第二面積輸入預(yù)訓(xùn)練的數(shù)據(jù)分析深度學(xué)習(xí)模型，得到數(shù)據(jù)轉(zhuǎn)折點(diǎn)；

48、起始幀確定子模塊，用于將所述數(shù)據(jù)轉(zhuǎn)折點(diǎn)對(duì)應(yīng)的圖像確定為起始幀。

49、可選地，所述目標(biāo)圖像檢測(cè)子模塊，包括：

50、矩陣數(shù)據(jù)轉(zhuǎn)化單元，用于將第一幀所述圖像轉(zhuǎn)化為矩陣數(shù)據(jù)；

51、語義分割單元，用于將所述矩陣數(shù)據(jù)輸入輕量化語義分割網(wǎng)絡(luò)，輸出語義分割結(jié)果；

52、標(biāo)志物判斷單元，用于根據(jù)所述語義分割結(jié)果判斷所述圖像是否包含預(yù)設(shè)標(biāo)志物；

53、返回單元，用于若否，將預(yù)設(shè)幀數(shù)后的圖像轉(zhuǎn)化為矩陣數(shù)據(jù)，并返回將所述矩陣數(shù)據(jù)輸入輕量化語義分割網(wǎng)絡(luò)，輸出語義分割結(jié)果的步驟；

54、目標(biāo)圖像確定單元，用于若是，將所述圖像作為目標(biāo)圖像，并獲取所述目標(biāo)圖像中所述預(yù)設(shè)標(biāo)志物的位置及第一面積。

55、本發(fā)明還提供了一種電子設(shè)備，所述設(shè)備包括處理器以及存儲(chǔ)器：

56、所述存儲(chǔ)器用于存儲(chǔ)程序代碼，并將所述程序代碼傳輸給所述處理器；

57、所述處理器用于根據(jù)所述程序代碼中的指令執(zhí)行如上任一項(xiàng)所述的點(diǎn)擊操作響應(yīng)時(shí)間計(jì)算方法。

58、本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)用于存儲(chǔ)程序代碼，所述程序代碼用于執(zhí)行如上任一項(xiàng)所述的點(diǎn)擊操作響應(yīng)時(shí)間計(jì)算方法。

59、從以上技術(shù)方案可以看出，本發(fā)明具有以下優(yōu)點(diǎn)：本發(fā)明提供了一種點(diǎn)擊操作響應(yīng)時(shí)間計(jì)算方法，包括：當(dāng)用戶對(duì)預(yù)設(shè)的點(diǎn)擊設(shè)備進(jìn)行點(diǎn)擊操作時(shí)，采用圖像采集設(shè)備采集點(diǎn)擊設(shè)備的連續(xù)多幀圖像；根據(jù)多幀圖像確定點(diǎn)擊操作的起始幀；獲取起始幀的第一時(shí)間點(diǎn)；獲取終端響應(yīng)點(diǎn)擊操作的第二時(shí)間點(diǎn)；根據(jù)第一時(shí)間點(diǎn)和第二時(shí)間計(jì)算點(diǎn)擊操作響應(yīng)時(shí)間。

60、本發(fā)明通過使用圖像采集設(shè)備來采集圖像，并依此計(jì)算點(diǎn)擊操作起始幀的第一時(shí)間點(diǎn)，結(jié)合終端響應(yīng)點(diǎn)擊操作的第二時(shí)間點(diǎn)，可以有效計(jì)算得到點(diǎn)擊設(shè)備的響應(yīng)時(shí)間。