本發(fā)明涉及人工智能及金融科技領(lǐng)域，具體涉及一種視頻語(yǔ)義分割方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、目前，隨著計(jì)算機(jī)技術(shù)的發(fā)展，越來(lái)越多的技術(shù)應(yīng)用在金融領(lǐng)域，傳統(tǒng)金融業(yè)正在逐步向金融科技(fintech)轉(zhuǎn)變，視頻語(yǔ)義分割技術(shù)也不例外，例如，在銀行、證券交易所等金融機(jī)構(gòu)的實(shí)體場(chǎng)所，視頻監(jiān)控系統(tǒng)用于保障安全，視頻語(yǔ)義分割技術(shù)可以增強(qiáng)這些視頻監(jiān)控系統(tǒng)的功能，使其能夠更智能地識(shí)別和響應(yīng)特定事件，以提升金融機(jī)構(gòu)的安全性和運(yùn)營(yíng)效率。但由于金融行業(yè)的安全性、實(shí)時(shí)性要求，也對(duì)視頻語(yǔ)義分割技術(shù)提出了更高的要求。

2、當(dāng)前，隨著計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)技術(shù)的快速發(fā)展，視頻語(yǔ)義分割技術(shù)已經(jīng)成為研究和應(yīng)用的熱點(diǎn)。視頻語(yǔ)義分割旨在將視頻中圖像幀的像素分配到對(duì)應(yīng)的類(lèi)別標(biāo)簽，從而實(shí)現(xiàn)對(duì)動(dòng)態(tài)場(chǎng)景的細(xì)致理解。盡管當(dāng)前已有顯著進(jìn)展，但現(xiàn)有技術(shù)在處理復(fù)雜動(dòng)態(tài)場(chǎng)景時(shí)，其處理效率及準(zhǔn)確性仍有待提高。

3、基于此，如何提供一種視頻語(yǔ)義分割方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，可以有效提高視頻語(yǔ)義分割的效率及準(zhǔn)確性，是目前本領(lǐng)域技術(shù)人員亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述現(xiàn)有技術(shù)的不足之處，本發(fā)明的目的在于提供一種視頻語(yǔ)義分割方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，旨在解決如何可以有效提高視頻語(yǔ)義分割的效率及準(zhǔn)確性的問(wèn)題。

2、為了達(dá)到上述目的，本發(fā)明采取了以下技術(shù)方案：

3、第一方面，本發(fā)明提供了一種視頻語(yǔ)義分割方法，其中，包括：

4、獲取目標(biāo)視頻，并識(shí)別所述目標(biāo)視頻的關(guān)鍵幀圖像；

5、利用骨干網(wǎng)絡(luò)模型對(duì)所述關(guān)鍵幀圖像進(jìn)行特征提取，得到全局特征；

6、將所述全局特征輸入全局上下文網(wǎng)絡(luò)模型中，生成上下文特征；

7、確定所述目標(biāo)視頻的類(lèi)別信息，并將所述類(lèi)別信息與所述全局特征和所述上下文特征進(jìn)行融合，生成所述關(guān)鍵幀圖像的融合特征；

8、基于所述融合特征，利用語(yǔ)義分割模型生成所述關(guān)鍵幀圖像的圖像語(yǔ)義分割結(jié)果；

9、整合所述目標(biāo)視頻所有所述關(guān)鍵幀圖像的所述圖像語(yǔ)義分割結(jié)果，生成所述目標(biāo)視頻的視頻語(yǔ)義分割結(jié)果。

10、第二方面，本發(fā)明提供了一種視頻語(yǔ)義分割裝置，其中，包括：

11、獲取與識(shí)別模塊，用于獲取目標(biāo)視頻，并識(shí)別所述目標(biāo)視頻的關(guān)鍵幀圖像；

12、特征提取模塊，用于利用骨干網(wǎng)絡(luò)模型對(duì)所述關(guān)鍵幀圖像進(jìn)行特征提取，得到全局特征；

13、特征輸入模塊，用于將所述全局特征輸入全局上下文網(wǎng)絡(luò)模型中，生成上下文特征；

14、特征融合模塊，用于確定所述目標(biāo)視頻的類(lèi)別信息，并將所述類(lèi)別信息與所述全局特征和所述上下文特征進(jìn)行融合，生成所述關(guān)鍵幀圖像的融合特征；

15、第一結(jié)果生成模塊，用于基于所述融合特征，利用語(yǔ)義分割模型生成所述關(guān)鍵幀圖像的圖像語(yǔ)義分割結(jié)果；

16、第二結(jié)果生成模塊，用于整合所述目標(biāo)視頻所有所述關(guān)鍵幀圖像的所述圖像語(yǔ)義分割結(jié)果，生成所述目標(biāo)視頻的視頻語(yǔ)義分割結(jié)果。

17、第三方面，本發(fā)明提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其中，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上所述的視頻語(yǔ)義分割方法。

18、第四方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的視頻語(yǔ)義分割方法。

19、相較于現(xiàn)有技術(shù)，本發(fā)明提供了一種視頻語(yǔ)義分割方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，通過(guò)獲取目標(biāo)視頻，并識(shí)別所述目標(biāo)視頻的關(guān)鍵幀圖像；利用骨干網(wǎng)絡(luò)模型對(duì)所述關(guān)鍵幀圖像進(jìn)行特征提取，得到全局特征；將所述全局特征輸入全局上下文網(wǎng)絡(luò)模型中，生成上下文特征；確定所述目標(biāo)視頻的類(lèi)別信息，并將所述類(lèi)別信息與所述全局特征和所述上下文特征進(jìn)行融合，生成所述關(guān)鍵幀圖像的融合特征；基于所述融合特征，利用語(yǔ)義分割模型生成所述關(guān)鍵幀圖像的圖像語(yǔ)義分割結(jié)果；整合所述目標(biāo)視頻所有所述關(guān)鍵幀圖像的所述圖像語(yǔ)義分割結(jié)果，生成所述目標(biāo)視頻的視頻語(yǔ)義分割結(jié)果；從而本發(fā)明可以有效提高視頻語(yǔ)義分割的效率及準(zhǔn)確性。

技術(shù)特征：

1.一種視頻語(yǔ)義分割方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的視頻語(yǔ)義分割方法，其特征在于，所述獲取目標(biāo)視頻，并識(shí)別所述目標(biāo)視頻的關(guān)鍵幀圖像，包括：

3.根據(jù)權(quán)利要求1所述的視頻語(yǔ)義分割方法，其特征在于，所述利用骨干網(wǎng)絡(luò)模型對(duì)所述關(guān)鍵幀圖像進(jìn)行特征提取，得到全局特征，包括：

4.根據(jù)權(quán)利要求1所述的視頻語(yǔ)義分割方法，其特征在于，所述將所述全局特征輸入全局上下文網(wǎng)絡(luò)模型中，生成上下文特征，包括：

5.根據(jù)權(quán)利要求1所述的視頻語(yǔ)義分割方法，其特征在于，所述確定所述目標(biāo)視頻的類(lèi)別信息，并將所述類(lèi)別信息與所述全局特征和所述上下文特征進(jìn)行融合，生成所述關(guān)鍵幀圖像的融合特征，包括：

6.根據(jù)權(quán)利要求1所述的視頻語(yǔ)義分割方法，其特征在于，所述基于所述融合特征，利用語(yǔ)義分割模型生成所述關(guān)鍵幀圖像的圖像語(yǔ)義分割結(jié)果，包括：

7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的視頻語(yǔ)義分割方法，其特征在于，所述整合所述目標(biāo)視頻所有所述關(guān)鍵幀圖像的所述圖像語(yǔ)義分割結(jié)果，生成所述目標(biāo)視頻的視頻語(yǔ)義分割結(jié)果，包括：

8.一種視頻語(yǔ)義分割裝置，其特征在于，包括：

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的視頻語(yǔ)義分割方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的視頻語(yǔ)義分割方法。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了視頻語(yǔ)義分割方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，涉及人工智能技術(shù)領(lǐng)域及金融科技領(lǐng)域，其中，通過(guò)獲取目標(biāo)視頻，并識(shí)別所述目標(biāo)視頻的關(guān)鍵幀圖像；利用骨干網(wǎng)絡(luò)模型對(duì)所述關(guān)鍵幀圖像進(jìn)行特征提取，得到全局特征；將所述全局特征輸入全局上下文網(wǎng)絡(luò)模型中，生成上下文特征；確定所述目標(biāo)視頻的類(lèi)別信息，并將所述類(lèi)別信息與所述全局特征和所述上下文特征進(jìn)行融合，生成所述關(guān)鍵幀圖像的融合特征；基于所述融合特征，利用語(yǔ)義分割模型生成所述關(guān)鍵幀圖像的圖像語(yǔ)義分割結(jié)果；整合所述目標(biāo)視頻所有所述關(guān)鍵幀圖像的所述圖像語(yǔ)義分割結(jié)果，生成所述目標(biāo)視頻的視頻語(yǔ)義分割結(jié)果；從而本發(fā)明可以有效提高視頻語(yǔ)義分割的效率及準(zhǔn)確性。

技術(shù)研發(fā)人員：唐小初,陳柯,舒暢,陳又新
受保護(hù)的技術(shù)使用者：平安科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10