本申請涉及視頻數(shù)據(jù)處理及金融科技，尤其涉及一種視頻中簽字人的確定方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，雙錄(即錄音錄像)、人臉檢測、人物動作識別等技術(shù)廣泛應(yīng)用于金融領(lǐng)域。在銀行、證券、保險等金融機(jī)構(gòu)，雙錄系統(tǒng)用于記錄客戶與服務(wù)人員之間的交流和交易過程，主要對客戶辦理業(yè)務(wù)的過程，特別是對風(fēng)險揭示的過程進(jìn)行留痕，規(guī)范金融機(jī)構(gòu)的銷售行為，同時也為日后產(chǎn)生爭議時提供依據(jù)。在業(yè)務(wù)處理過程中，需要客戶對合同、條款等材料進(jìn)行簽字確認(rèn)，雙錄環(huán)節(jié)可以記錄客戶的簽字過程。在后續(xù)質(zhì)檢環(huán)節(jié)，需要工作人員逐個查看雙錄視頻，確認(rèn)是否為客戶本人簽字，確認(rèn)效率較低。對于簽字動作，傳統(tǒng)的方法是從視頻的每幀中檢測手、筆等物體，進(jìn)行邏輯判斷。進(jìn)一步，如果需要判斷是誰在簽字，就需要從簽字開始進(jìn)行人臉跟蹤直至簽字動作結(jié)束，通過跟蹤結(jié)果確定簽字人。但是，簽字環(huán)節(jié)中，由于需要錄入簽字動作，錄制設(shè)備會發(fā)生較大抖動，且簽字主體的臉部并不在其中，因此跟蹤結(jié)果會不準(zhǔn)，并且每幀檢測和跟蹤的方式也更耗時，導(dǎo)致簽字人確定的效率和準(zhǔn)確率較低。因此如何提高簽字人確定的效率和準(zhǔn)確率成為了亟需解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本申請?zhí)峁┝艘环N視頻中簽字人的確定方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)，以提高簽字人確定的效率和準(zhǔn)確率。

2、第一方面，本申請?zhí)峁┝艘环N視頻中簽字人的確定方法，所述方法包括：

3、獲取待識別視頻，并對所述待識別視頻進(jìn)行語音識別，獲得所述待識別視頻的語音內(nèi)容；

4、基于所述語音內(nèi)容，在所述待識別視頻中提取預(yù)設(shè)數(shù)量的目標(biāo)視頻幀片段；

5、基于預(yù)設(shè)的動作分類模型，對各所述目標(biāo)視頻幀片段進(jìn)行動作識別，確定簽字動作片段；

6、基于預(yù)設(shè)的人體檢測模型，對所述簽字動作片段進(jìn)行人體檢測，確定簽字人。

7、第二方面，本申請還提供了一種視頻中簽字人的確定裝置，所述裝置包括：

8、語音內(nèi)容獲得模塊，用于獲取待識別視頻，并對所述待識別視頻進(jìn)行語音識別，獲得所述待識別視頻的語音內(nèi)容；

9、目標(biāo)片段提取模塊，用于基于所述語音內(nèi)容，在所述待識別視頻中提取預(yù)設(shè)數(shù)量的目標(biāo)視頻幀片段；

10、動作片段確定模塊，用于基于預(yù)設(shè)的動作分類模型，對各所述目標(biāo)視頻幀片段進(jìn)行動作識別，確定簽字動作片段；

11、簽字人確定模塊，用于基于預(yù)設(shè)的人體檢測模型，對所述簽字動作片段進(jìn)行人體檢測，確定簽字人。

12、第三方面，本申請還提供了一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括存儲器和處理器；所述存儲器，用于存儲計(jì)算機(jī)程序；所述處理器，用于執(zhí)行所述計(jì)算機(jī)程序并在執(zhí)行所述計(jì)算機(jī)程序時實(shí)現(xiàn)如上述的視頻中簽字人的確定方法。

13、第四方面，本申請還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時使所述處理器實(shí)現(xiàn)如上述的視頻中簽字人的確定方法。

14、本申請公開了一種視頻中簽字人的確定方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)，獲取待識別視頻，并對所述待識別視頻進(jìn)行語音識別，獲得所述待識別視頻的語音內(nèi)容；基于所述語音內(nèi)容，在所述待識別視頻中提取預(yù)設(shè)數(shù)量的目標(biāo)視頻幀片段；基于預(yù)設(shè)的動作分類模型，對各所述目標(biāo)視頻幀片段進(jìn)行動作識別，確定簽字動作片段；基于預(yù)設(shè)的人體檢測模型，對所述簽字動作片段進(jìn)行人體檢測，確定簽字人。本申請可根據(jù)待識別視頻的語音內(nèi)容，在待識別視頻中確定目標(biāo)視頻幀片段，然后，對目標(biāo)視頻幀片段進(jìn)行動作識別，確定簽字動作片段，最后對簽字動作片段進(jìn)行人體檢測。無需對全部待識別視頻進(jìn)行動作識別，也無需對全部目標(biāo)視頻幀片段進(jìn)行人體檢測，減少了任務(wù)量，提高了動作識別效率，進(jìn)而提高了簽字人確定效率，同時，結(jié)合了語音內(nèi)容和動作識別確定簽字動作片段，提高了簽字動作片段的準(zhǔn)確率，進(jìn)而提高了簽字人確定的準(zhǔn)確率。

技術(shù)特征：

1.一種視頻中簽字人的確定方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的視頻中簽字人的確定方法，其特征在于，所述基于所述語音內(nèi)容，在所述待識別視頻中提取預(yù)設(shè)數(shù)量的目標(biāo)視頻幀片段，包括：

3.根據(jù)權(quán)利要求1所述的視頻中簽字人的確定方法，其特征在于，所述基于預(yù)設(shè)的人體檢測模型，對所述簽字動作片段進(jìn)行人體檢測，確定簽字人，包括：

4.根據(jù)權(quán)利要求3所述的視頻中簽字人的確定方法，其特征在于，所述基于所述第一特征以及所述第二特征集合，確定所述簽字人，包括：

5.根據(jù)權(quán)利要求1所述的視頻中簽字人的確定方法，其特征在于，所述基于預(yù)設(shè)的動作分類模型，對各所述目標(biāo)視頻幀片段進(jìn)行動作識別，確定簽字動作片段之前，還包括：

6.根據(jù)權(quán)利要求1所述的視頻中簽字人的確定方法，其特征在于，所述獲取待識別視頻，包括：

7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的視頻中簽字人的確定方法，其特征在于，所述基于預(yù)設(shè)的人體檢測模型，對所述簽字動作片段進(jìn)行人體檢測，確定簽字人之后，還包括：

8.一種視頻中簽字人的確定裝置，其特征在于，包括：

9.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括存儲器和處理器；

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時使所述處理器實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的視頻中簽字人的確定方法。

技術(shù)總結(jié)
本申請涉及視頻數(shù)據(jù)處理及金融科技技術(shù)領(lǐng)域，具體公開了一種視頻中簽字人的確定方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)。本申請可根據(jù)待識別視頻的語音內(nèi)容，在待識別視頻中確定目標(biāo)視頻幀片段，然后，對目標(biāo)視頻幀片段進(jìn)行動作識別，確定簽字動作片段，最后對簽字動作片段進(jìn)行人體檢測。無需對全部待識別視頻進(jìn)行動作識別，也無需對全部目標(biāo)視頻幀片段進(jìn)行人體檢測，減少了任務(wù)量，提高了動作識別效率，進(jìn)而提高了簽字人確定效率，同時，結(jié)合了語音內(nèi)容和動作識別確定簽字動作片段，提高了簽字動作片段的準(zhǔn)確率，進(jìn)而提高了簽字人確定的準(zhǔn)確率。

技術(shù)研發(fā)人員：魏萍
受保護(hù)的技術(shù)使用者：平安科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10