本技術涉及計算機,尤其涉及一種逗留事件處理方法、裝置、存儲介質以及電子設備。
背景技術:
1、隨著智能家居技術的發(fā)展,出現(xiàn)了越來越多的智能家居產(chǎn)品,智能家居產(chǎn)品為人們的日常生活帶來了極大的便利。智能家居產(chǎn)品不僅能夠為用戶帶來生活上的便利,還具有安全守護能力,例如,安裝在室外的智能攝像頭可以實時采集室外環(huán)境中的視頻,并將視頻上傳至云端,便于用戶在手機上查看視頻。
技術實現(xiàn)思路
1、本技術實施例提供了一種逗留事件處理方法、裝置、計算機存儲介質以及電子設備。所述技術方案如下:
2、第一方面,本技術實施例提供了一種逗留事件處理方法,應用于智能家居設備,所述方法包括:
3、獲取門前逗留事件對應的門前逗留視頻;
4、將所述門前逗留視頻發(fā)送至服務器,以使所述服務器基于所述門前逗留視頻采用危險場景檢測大模型進行危險場景檢測得到所述門前逗留視頻對應的逗留事件響應指示內容;
5、接收所述服務器發(fā)送的所述逗留事件響應指示內容,基于所述逗留事件響應指示內容進行逗留事件響應處理。
6、在一種可能的實施方式中,所述獲取門前逗留事件對應的門前逗留視頻,包括:
7、獲取雷達偵測數(shù)據(jù),基于所述雷達偵測數(shù)據(jù)進行逗留時長檢測處理得到門前逗留事件檢測結果;
8、若所述門前逗留事件檢測結果指示存在門前逗留事件,則獲取所述門前逗留事件對應的雷達偵測時間段;
9、獲取攝像頭在所述雷達偵測時間段內采集的參考視頻,基于所述參考視頻確定所述門前逗留事件對應的門前逗留視頻。
10、在一種可能的實施方式中,所述基于所述參考視頻確定所述門前逗留事件對應的門前逗留視頻,包括:
11、將所述參考視頻確認為所述門前逗留事件對應的門前逗留視頻;或者,
12、基于所述參考視頻進行抽幀處理得到多幀門前逗留關鍵幀圖片,將所述門前逗留關鍵幀圖片組合得到的關鍵幀視頻確認為所述門前逗留事件對應的門前逗留視頻。
13、在一種可能的實施方式中,所述基于所述逗留事件響應指示內容進行逗留事件響應處理,包括:
14、若所述逗留事件響應指示內容為問詢對話指示內容,則按照所述問詢對話指示內容進行問詢對話處理;
15、若所述逗留事件響應指示內容為智能驅離指示內容,則按照所述智能驅離指示內容進行智能驅離處理。
16、第二方面,本技術實施例提供了一種逗留事件處理方法,應用于服務器,所述方法包括:
17、接收智能家居設備發(fā)送的門前逗留事件對應的門前逗留視頻;
18、基于所述門前逗留視頻采用危險場景檢測大模型進行危險場景檢測得到所述門前逗留視頻對應的逗留事件響應指示內容;
19、將所述逗留事件響應指示內容發(fā)送至所述智能家居設備,以使所述智能家居設備基于所述逗留事件響應指示內容進行逗留事件響應處理。
20、在一種可能的實施方式中,所述基于所述門前逗留視頻采用危險場景檢測大模型進行危險場景檢測得到所述門前逗留視頻對應的逗留事件響應指示內容,包括:
21、基于所述門前逗留視頻生成逗留響應內容生成提示詞;
22、將所述逗留響應內容生成提示詞和所述門前逗留視頻輸入至所述危險場景檢測大模型進行危險場景檢測,得到所述門前逗留視頻對應的逗留事件響應指示內容。
23、在一種可能的實施方式中,所述基于所述門前逗留視頻生成逗留響應內容生成提示詞,包括:
24、獲取預設的逗留場景分析模板;
25、將所述門前逗留視頻和所述逗留場景分析模板進行關聯(lián)得到逗留響應內容生成提示詞。
26、在一種可能的實施方式中,所述將所述逗留響應內容生成提示詞和所述門前逗留視頻輸入至所述危險場景檢測大模型進行危險場景檢測,得到所述門前逗留視頻對應的逗留事件響應指示內容,包括:
27、將所述逗留響應內容生成提示詞和所述門前逗留視頻輸入至所述危險場景檢測大模型;
28、通過所述危險場景檢測大模型基于所述逗留響應內容生成提示詞對所述門前逗留視頻進行逗留意圖提取處理得到逗留文本描述信息,通過所述危險場景檢測大模型對所述逗留文本描述信息進行逗留場景解析得到逗留危險場景等級,通過所述危險場景檢測大模型基于所述逗留危險場景等級和所述逗留文本描述信息確定所述門前逗留視頻對應的逗留事件響應指示內容;
29、通過所述危險場景檢測大模型輸出所述逗留事件響應指示內容。
30、在一種可能的實施方式中,所述方法還包括:
31、采用基礎大語言模型創(chuàng)建針對逗留事件檢測場景的初始危險場景檢測大模型;
32、獲取樣本門前逗留視頻,對所述樣本門前逗留視頻標注逗留事件響應指示內容標簽;
33、采用所述樣本門前逗留視頻對所述初始危險場景檢測大模型進行至少一輪模型訓練,在模型訓練過程中,采用所述初始危險場景檢測大模型對所述樣本門前逗留視頻進行危險場景檢測得到預測逗留事件響應指示內容,基于所述預測逗留事件響應指示內容和所述逗留事件響應指示內容標簽對所述初始危險場景檢測大模型進行模型參數(shù)調整,得到模型訓練后的危險場景檢測大模型
34、第三方面,本技術實施例提供了一種逗留事件處理裝置,應用于智能家居設備,所述裝置包括:
35、視頻獲取模塊,用于獲取門前逗留事件對應的門前逗留視頻;
36、視頻發(fā)送模塊,用于將所述門前逗留視頻發(fā)送至服務器,以使所述服務器基于所述門前逗留視頻采用危險場景檢測大模型進行危險場景檢測得到所述門前逗留視頻對應的逗留事件響應指示內容;
37、響應處理模塊,用于接收所述服務器發(fā)送的所述逗留事件響應指示內容,基于所述逗留事件響應指示內容進行逗留事件響應處理。
38、可選地,視頻獲取模塊包括:
39、事件檢測單元,用于獲取雷達偵測數(shù)據(jù),基于所述雷達偵測數(shù)據(jù)進行逗留時長檢測處理得到門前逗留事件檢測結果;
40、時間獲取單元,用于若所述門前逗留事件檢測結果指示存在門前逗留事件,則獲取所述門前逗留事件對應的雷達偵測時間段;
41、視頻確定單元,用于獲取攝像頭在所述雷達偵測時間段內采集的參考視頻,基于所述參考視頻確定所述門前逗留事件對應的門前逗留視頻。
42、可選地,視頻確定單元,包括:
43、第一確定子單元,用于將所述參考視頻確認為所述門前逗留事件對應的門前逗留視頻;或者,
44、第二確定子單元,用于基于所述參考視頻進行抽幀處理得到多幀門前逗留關鍵幀圖片,將所述門前逗留關鍵幀圖片組合得到的關鍵幀視頻確認為所述門前逗留事件對應的門前逗留視頻。
45、可選地,響應處理模塊,包括:
46、第一響應單元,用于若所述逗留事件響應指示內容為問詢對話指示內容,則按照所述問詢對話指示內容進行問詢對話處理;
47、第二響應單元,用于若所述逗留事件響應指示內容為智能驅離指示內容,則按照所述智能驅離指示內容進行智能驅離處理。
48、第四方面,本技術實施例提供了一種逗留事件處理裝置,應用于服務器,所述裝置包括:
49、視頻獲取模塊,用于接收智能家居設備發(fā)送的門前逗留事件對應的門前逗留視頻;
50、視頻檢測模塊,用于基于所述門前逗留視頻采用危險場景檢測大模型進行危險場景檢測得到所述門前逗留視頻對應的逗留事件響應指示內容;
51、響應發(fā)送模塊,用于將所述逗留事件響應指示內容發(fā)送至所述智能家居設備,以使所述智能家居設備基于所述逗留事件響應指示內容進行逗留事件響應處理。
52、可選地,視頻檢測模塊,包括:
53、提示生成單元,用于基于所述門前逗留視頻生成逗留響應內容生成提示詞;
54、模型檢測單元,用于將所述逗留響應內容生成提示詞和所述門前逗留視頻輸入至所述危險場景檢測大模型進行危險場景檢測,得到所述門前逗留視頻對應的逗留事件響應指示內容。
55、可選地,提示生成單元,包括:
56、模板獲取單元,用于獲取預設的逗留場景分析模板;
57、視頻關聯(lián)單元,用于將所述門前逗留視頻和所述逗留場景分析模板進行關聯(lián)得到逗留響應內容生成提示詞。
58、可選地,模型檢測單元,包括:
59、第一檢測單元,用于將所述逗留響應內容生成提示詞和所述門前逗留視頻輸入至所述危險場景檢測大模型;
60、第二檢測單元,用于通過所述危險場景檢測大模型基于所述逗留響應內容生成提示詞對所述門前逗留視頻進行逗留意圖提取處理得到逗留文本描述信息,通過所述危險場景檢測大模型對所述逗留文本描述信息進行逗留場景解析得到逗留危險場景等級,通過所述危險場景檢測大模型基于所述逗留危險場景等級和所述逗留文本描述信息確定所述門前逗留視頻對應的逗留事件響應指示內容;
61、第三檢測單元,用于通過所述危險場景檢測大模型輸出所述逗留事件響應指示內容。
62、可選地,逗留事件處理裝置還包括:
63、第一訓練模塊,用于采用基礎大語言模型創(chuàng)建針對逗留事件檢測場景的初始危險場景檢測大模型;
64、第二訓練模塊,用于獲取樣本門前逗留視頻,對所述樣本門前逗留視頻標注逗留事件響應指示內容標簽;
65、第三訓練模塊,用于采用所述樣本門前逗留視頻對所述初始危險場景檢測大模型進行至少一輪模型訓練,在模型訓練過程中,采用所述初始危險場景檢測大模型對所述樣本門前逗留視頻進行危險場景檢測得到預測逗留事件響應指示內容,基于所述預測逗留事件響應指示內容和所述逗留事件響應指示內容標簽對所述初始危險場景檢測大模型進行模型參數(shù)調整,得到模型訓練后的危險場景檢測大模型。
66、第五方面,本技術實施例提供了一種計算機存儲介質,所述計算機存儲介質有多條指令,所述指令適于由處理器加載并執(zhí)行上述的方法。
67、第六方面,本技術實施例提供了一種電子設備,可包括:存儲器和處理器;其中,所述存儲器存儲有計算機程序,所述計算機程序適于由所述存儲器加載并執(zhí)行上述的方法。
68、本技術實施例提供的技術方案帶來的有益效果至少包括:
69、在本技術實施例中,智能家居設備獲取門前逗留事件對應的門前逗留視頻以及將門前逗留視頻發(fā)送至服務器,以使服務器可以基于門前逗留視頻視頻采用危險場景檢測大模型進行危險場景檢測得到門前逗留視頻對應的逗留事件響應指示內容,進而使得智能家居設備可以接收服務器發(fā)送的逗留事件響應指示內容以及基于逗留事件響應指示內容進行逗留事件響應處理。通過服務器側的危險場景檢測大模型對門前逗留視頻進行檢測得到逗留事件響應指示內容,使得智能家居設備不用經(jīng)過用戶授意,便可以根據(jù)服務器發(fā)送的逗留事件響應指示內容自動進行逗留事件響應處理,實現(xiàn)了智能家居設備視不同逗留危險場景針對性回應不同逗留人員的功能,且在智能家居設備自動進行逗留事件響應處理的過程中,也無需用戶參與,既保證了家庭成員和家中物品的安全性,也增加了智能家居設備響應逗留事件的智能性。