本發(fā)明涉及前端測(cè)試?，尤其涉及一種前端頁(yè)面異常檢測(cè)方法、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)：

1、因?yàn)橐恍┍O(jiān)管要求，部分企業(yè)需要對(duì)用戶操作記錄進(jìn)行留底。在隱藏用戶敏感信息，如身份證、手機(jī)號(hào)、姓名等詳情的前提下，留底數(shù)據(jù)可以展示用戶在軟件或網(wǎng)頁(yè)中的詳細(xì)操作記錄，以及用戶可以看到的頁(yè)面。如果能夠基于這些類(lèi)似錄屏的數(shù)據(jù)進(jìn)行挖掘，可以識(shí)別整個(gè)鏈路中的異常頁(yè)面或異常跳轉(zhuǎn)，從而自動(dòng)化的挖掘前端顯示異常，提升前端測(cè)試的自動(dòng)化程度和覆蓋面。

2、目前基于視頻的物體檢測(cè)算法，主要是計(jì)算機(jī)視覺(jué)有關(guān)的算法，其重點(diǎn)往往是真實(shí)視頻的檢測(cè)，在前端顯示異常挖掘領(lǐng)域使用較為有限。一些和html頁(yè)面有關(guān)的組件識(shí)別算法，其準(zhǔn)確率和召回率不能得到保證。目前依賴人工進(jìn)行異常檢測(cè)的方法效率較低、識(shí)別準(zhǔn)確率低、覆蓋范圍小。因此言之，如何在保護(hù)用戶隱私的前提下，識(shí)別頁(yè)面元素和頁(yè)面的異常成為亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種前端頁(yè)面異常檢測(cè)方法、裝置、電子設(shè)備及介質(zhì)，用以解決現(xiàn)有技術(shù)中依賴人工進(jìn)行異常檢測(cè)的方法效率較低、識(shí)別準(zhǔn)確率低、覆蓋范圍小的缺陷，實(shí)現(xiàn)在保護(hù)用戶隱私的前提下識(shí)別整個(gè)鏈路中的異常頁(yè)面，異常跳轉(zhuǎn)，從而自動(dòng)化的挖掘前端顯示異常。

2、本發(fā)明提供一種前端頁(yè)面異常檢測(cè)方法，包括：

3、獲取隱私保護(hù)處理之后的待檢測(cè)的用戶訪問(wèn)前端頁(yè)面視頻；

4、對(duì)所述用戶訪問(wèn)前端頁(yè)面視頻中每一幀頁(yè)面進(jìn)行元素抽取，得到每一幀頁(yè)面的視覺(jué)元素；

5、基于所述每一幀頁(yè)面的視覺(jué)元素對(duì)所述每一幀頁(yè)面進(jìn)行分類(lèi)，得到多個(gè)頁(yè)面類(lèi)別分別對(duì)應(yīng)的多個(gè)幀頁(yè)面；

6、基于每個(gè)頁(yè)面類(lèi)別的頁(yè)面元素特征對(duì)每個(gè)頁(yè)面類(lèi)別對(duì)應(yīng)的多個(gè)幀頁(yè)面進(jìn)行異常檢測(cè)。

7、在一個(gè)可能的實(shí)施方式中，所述方法還包括：

8、獲取前端頁(yè)面數(shù)據(jù)和用戶訪問(wèn)行為數(shù)據(jù)；

9、對(duì)所述前端頁(yè)面數(shù)據(jù)進(jìn)行隱私屏蔽處理，得到處理后的前端頁(yè)面數(shù)據(jù)；

10、基于所述用戶訪問(wèn)行為數(shù)據(jù)將所述處理后的前端頁(yè)面數(shù)據(jù)還原成html頁(yè)面序列；

11、對(duì)所述html頁(yè)面序列進(jìn)行渲染得到待檢測(cè)的用戶訪問(wèn)頁(yè)面視頻。

12、在一個(gè)可能的實(shí)施方式中，所述方法還包括：

13、通過(guò)業(yè)務(wù)規(guī)則屏蔽所述前端頁(yè)面數(shù)據(jù)中的用戶隱私信息以及對(duì)包含有隱私信息的前端頁(yè)面進(jìn)行打碼處理，得到處理后的前端頁(yè)面數(shù)據(jù)。

14、在一個(gè)可能的實(shí)施方式中，所述方法還包括：

15、對(duì)所述用戶訪問(wèn)頁(yè)面視頻中每一幀頁(yè)面進(jìn)行元素拆解；

16、將元素拆解后的每一幀頁(yè)面構(gòu)造成包含特定元素的第一幀頁(yè)面和不包含特定元素的第二幀頁(yè)面；

17、將所述第一幀頁(yè)面和第二幀頁(yè)面渲染到瀏覽器中，并分別獲取對(duì)應(yīng)的渲染圖像；

18、基于所述第一幀頁(yè)面和第二幀頁(yè)面分別對(duì)應(yīng)的渲染圖像確定每一幀頁(yè)面的差異；

19、基于所述每一幀頁(yè)面的差異確定所述視覺(jué)元素。

20、在一個(gè)可能的實(shí)施方式中，所述方法還包括：

21、基于預(yù)設(shè)的頁(yè)面關(guān)鍵元素特征和頁(yè)面跳轉(zhuǎn)特征，識(shí)別所述視覺(jué)元素中的頁(yè)面關(guān)鍵元素；

22、基于所述頁(yè)面關(guān)鍵元素對(duì)所述每一幀頁(yè)面進(jìn)行分類(lèi)，得到多個(gè)頁(yè)面類(lèi)別分別對(duì)應(yīng)的多個(gè)幀頁(yè)面。

23、在一個(gè)可能的實(shí)施方式中，所述方法還包括：

24、基于所述頁(yè)面類(lèi)別，確定每個(gè)頁(yè)面類(lèi)別包含的多個(gè)目標(biāo)關(guān)鍵元素；

25、基于所述每個(gè)頁(yè)面類(lèi)別包含的多個(gè)目標(biāo)關(guān)鍵元素對(duì)每個(gè)頁(yè)面類(lèi)別對(duì)應(yīng)的多個(gè)幀頁(yè)面進(jìn)行異常檢測(cè)，其中，異常檢測(cè)包括目標(biāo)關(guān)鍵元素缺失、遮擋、位置錯(cuò)誤。

26、在一個(gè)可能的實(shí)施方式中，所述方法還包括：

27、通過(guò)馬爾可夫鏈模型計(jì)算每個(gè)類(lèi)別頁(yè)面對(duì)應(yīng)的跳轉(zhuǎn)到其他類(lèi)別頁(yè)面的跳轉(zhuǎn)概率；

28、將跳轉(zhuǎn)概率低于預(yù)設(shè)閾值的html頁(yè)面序列進(jìn)行記錄。

29、本發(fā)明還提供一種前端頁(yè)面異常檢測(cè)裝置，包括如下模塊：

30、獲取模塊，用于獲取隱私保護(hù)處理之后的待檢測(cè)的用戶訪問(wèn)前端頁(yè)面視頻；

31、元素抽取模塊，用于對(duì)所述用戶訪問(wèn)前端頁(yè)面視頻中每一幀頁(yè)面進(jìn)行元素抽取，得到每一幀頁(yè)面的視覺(jué)元素；

32、頁(yè)面分類(lèi)模塊，用于基于所述每一幀頁(yè)面的視覺(jué)元素對(duì)所述每一幀頁(yè)面進(jìn)行分類(lèi)，得到多個(gè)頁(yè)面類(lèi)別分別對(duì)應(yīng)的多個(gè)幀頁(yè)面；

33、異常檢測(cè)模塊，用于基于每個(gè)頁(yè)面類(lèi)別的頁(yè)面元素特征對(duì)每個(gè)頁(yè)面類(lèi)別對(duì)應(yīng)的多個(gè)幀頁(yè)面進(jìn)行異常檢測(cè)。

34、本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述任一種所述的前端頁(yè)面異常檢測(cè)方法。

35、本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述的前端頁(yè)面異常檢測(cè)方法。

36、本發(fā)明還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述的前端頁(yè)面異常檢測(cè)方法。

37、本發(fā)明提供的前端頁(yè)面異常檢測(cè)方法、裝置、電子設(shè)備及介質(zhì)，通過(guò)獲取隱私保護(hù)處理之后的待檢測(cè)的用戶訪問(wèn)前端頁(yè)面視頻；對(duì)所述用戶訪問(wèn)前端頁(yè)面視頻中每一幀頁(yè)面進(jìn)行元素抽取，得到每一幀頁(yè)面的視覺(jué)元素；基于所述每一幀頁(yè)面的視覺(jué)元素對(duì)所述每一幀頁(yè)面進(jìn)行分類(lèi)，得到多個(gè)頁(yè)面類(lèi)別分別對(duì)應(yīng)的多個(gè)幀頁(yè)面；基于每個(gè)頁(yè)面類(lèi)別的頁(yè)面元素特征對(duì)每個(gè)頁(yè)面類(lèi)別對(duì)應(yīng)的多個(gè)幀頁(yè)面進(jìn)行異常檢測(cè)。相比于現(xiàn)有技術(shù)中依賴人工進(jìn)行異常檢測(cè)的方法效率較低、識(shí)別準(zhǔn)確率低、覆蓋范圍小的缺陷，由本方案，在保護(hù)用戶隱私的前提下，基于前端展示錄屏的數(shù)據(jù)，利用無(wú)監(jiān)督和監(jiān)督機(jī)器學(xué)習(xí)，業(yè)務(wù)規(guī)則等基于組合策略實(shí)現(xiàn)前端異常檢測(cè)，實(shí)現(xiàn)在保護(hù)用戶隱私的前提下識(shí)別整個(gè)鏈路中的異常頁(yè)面，異常跳轉(zhuǎn)，從而自動(dòng)化的挖掘前端顯示異常。

技術(shù)特征：

1.一種前端頁(yè)面異常檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取隱私保護(hù)處理之后的待檢測(cè)的用戶訪問(wèn)前端頁(yè)面視頻，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述前端頁(yè)面數(shù)據(jù)進(jìn)行隱私屏蔽處理，得到處理后的前端頁(yè)面數(shù)據(jù)，包括：

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述對(duì)所述用戶訪問(wèn)前端頁(yè)面視頻中每一幀頁(yè)面進(jìn)行元素抽取，得到每一幀頁(yè)面的視覺(jué)元素，包括：

5.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述基于所述每一幀頁(yè)面的視覺(jué)元素對(duì)所述每一幀頁(yè)面進(jìn)行分類(lèi)，得到多個(gè)頁(yè)面類(lèi)別分別對(duì)應(yīng)的多個(gè)幀頁(yè)面，包括：

6.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述基于每個(gè)頁(yè)面類(lèi)別的頁(yè)面元素特征對(duì)每個(gè)頁(yè)面類(lèi)別對(duì)應(yīng)的多個(gè)幀頁(yè)面進(jìn)行異常檢測(cè)，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

8.一種前端頁(yè)面異常檢測(cè)裝置，其特征在于，包括：

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的前端頁(yè)面異常檢測(cè)方法。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的前端頁(yè)面異常檢測(cè)方法。

技術(shù)總結(jié)
本發(fā)明實(shí)施例涉及前端測(cè)試技術(shù)領(lǐng)域，提供一種前端頁(yè)面異常檢測(cè)方法、裝置、電子設(shè)備及介質(zhì)，該方法包括：獲取隱私保護(hù)處理之后的待檢測(cè)的用戶訪問(wèn)前端頁(yè)面視頻；對(duì)用戶訪問(wèn)前端頁(yè)面視頻中每一幀頁(yè)面進(jìn)行元素抽取，得到每一幀頁(yè)面的視覺(jué)元素；基于每一幀頁(yè)面的視覺(jué)元素對(duì)每一幀頁(yè)面進(jìn)行分類(lèi)，得到多個(gè)頁(yè)面類(lèi)別分別對(duì)應(yīng)的多個(gè)幀頁(yè)面；基于每個(gè)頁(yè)面類(lèi)別的頁(yè)面元素特征對(duì)每個(gè)頁(yè)面類(lèi)別對(duì)應(yīng)的多個(gè)幀頁(yè)面進(jìn)行異常檢測(cè)。由此，在保護(hù)用戶隱私的前提下，基于前端展示錄屏的數(shù)據(jù)，利用無(wú)監(jiān)督和監(jiān)督機(jī)器學(xué)習(xí)，業(yè)務(wù)規(guī)則等基于組合策略實(shí)現(xiàn)前端異常檢測(cè)，實(shí)現(xiàn)在保護(hù)用戶隱私的前提下識(shí)別整個(gè)鏈路中的異常頁(yè)面，異常跳轉(zhuǎn)，從而自動(dòng)化的挖掘前端顯示異常。

技術(shù)研發(fā)人員：亓浩,王耔霏,金雯,王波,方銳
受保護(hù)的技術(shù)使用者：元?？苿?chuàng)（北京）科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19