本發(fā)明涉及計算機(jī)視覺，特別涉及了一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法。

背景技術(shù)：

1、在當(dāng)前的金融環(huán)境中，電信詐騙活動形式多樣且手段不斷更新。銀行和其他金融機(jī)構(gòu)是打擊和預(yù)防電詐活動的前線成員。由于銀行賬戶通常是詐騙分子轉(zhuǎn)移非法所得的工具，因此銀行在識別和阻止疑似詐騙交易方面扮演著重要角色。

2、現(xiàn)有姿態(tài)估計模型旨在從圖像或視頻中檢測人的關(guān)鍵點，并預(yù)測關(guān)節(jié)的位置，以估計人體的姿態(tài)。這些模型在處理全身圖像時通常效果較好，因為完整的身體信息有助于模型理解各個部位之間的空間關(guān)系。然而，現(xiàn)有姿態(tài)估計模型大多通過全身特征進(jìn)行，當(dāng)面對半身圖像或者部分遮擋的情況時，姿態(tài)估計模型可能會遇到一些缺陷，手部和臉部的特征分辨率較小。

3、在本方法研究的利用廣角攝像頭進(jìn)行客戶半身姿態(tài)估計輔助判定欺詐真實性的方法中，就存在該問題?，F(xiàn)有的姿態(tài)估計模型不能較好的識別出客戶的真實姿態(tài)，導(dǎo)致預(yù)測不準(zhǔn)確。同時，大多數(shù)姿態(tài)估計訓(xùn)練數(shù)據(jù)集包含全身的姿態(tài)，這可能導(dǎo)致在訓(xùn)練中半身圖像樣本較少，從而使得模型在處理半身圖像時性能下降。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是克服現(xiàn)有技術(shù)中存在的姿態(tài)估計模型半身姿態(tài)估計不準(zhǔn)確，無法準(zhǔn)確進(jìn)行防欺詐預(yù)測，且在處理半身圖像時性能較差的問題，提供了一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法，利用特征重構(gòu)，將手部及臉部的特征單獨剪裁，形成局部特征，結(jié)合局部交叉注意力機(jī)制，將局部特征與全身的全局特征進(jìn)行融合，提高姿態(tài)估計準(zhǔn)確性，更加準(zhǔn)確地識別客戶是否存在詐騙行為。

2、為了實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

3、一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法，其特征在于，包括下列步驟：

4、s1：獲取用戶辦理不同業(yè)務(wù)的半身圖像，并對半身圖像進(jìn)行人體姿態(tài)骨骼關(guān)鍵點標(biāo)注；

5、s2：對半身圖像進(jìn)行人體網(wǎng)格點重構(gòu)，對圖像幀進(jìn)行上采樣，輸出骨骼圖；

6、s3：在多層圖卷積神經(jīng)網(wǎng)絡(luò)中增加局部交叉注意力機(jī)制，構(gòu)建改進(jìn)的st-gcn網(wǎng)絡(luò)，獲取每個關(guān)鍵點的特征信息；

7、s4：基于改進(jìn)的st-gcn模型，在用戶辦理業(yè)務(wù)期間進(jìn)行持續(xù)時空建模獲取姿態(tài)信息，利用輸出客戶欺詐標(biāo)簽。

8、本發(fā)明姿態(tài)估計模型的主要架構(gòu)沿用st-gcn網(wǎng)絡(luò)提出的時序圖卷積網(wǎng)絡(luò)，并在其中使用一種新的局部交叉注意力模塊mca，局部交叉注意力模塊可以識別出骨骼圖中關(guān)鍵點并將不重要的信息掩去，同時識別出不相連的關(guān)鍵點間是否存在著關(guān)聯(lián)并對關(guān)聯(lián)點間進(jìn)行特征的增強(qiáng)學(xué)習(xí)。本發(fā)明還利用了真實銀行業(yè)務(wù)場景采集的數(shù)據(jù)集進(jìn)行半身網(wǎng)格重構(gòu)用于姿態(tài)估計模型輸入，增加姿態(tài)估計模型在實際場景運(yùn)用下的識別準(zhǔn)確率。更加準(zhǔn)確地識別客戶是否存在詐騙行為，輔助柜員進(jìn)行反欺詐業(yè)務(wù)辦理。

9、作為優(yōu)選，所述s3包括：

10、s3.1：將骨骼圖按照時間順序排列，并將骨骼圖上相同關(guān)鍵點前后相連，得到網(wǎng)絡(luò)圖；

11、s3.2：在多層圖卷積神經(jīng)網(wǎng)絡(luò)中，引入注意力機(jī)制，得到改進(jìn)后的st-gcn網(wǎng)絡(luò)；

12、s3.3：利用改進(jìn)后的st-gcn網(wǎng)絡(luò)處理時序骨骼圖，得到每個關(guān)鍵點的特征信息，生成關(guān)鍵點特征向量。

13、作為優(yōu)選，所述得到每個關(guān)鍵點的特征信息包括：在網(wǎng)絡(luò)圖的鄰接矩陣中，加上表示網(wǎng)絡(luò)圖中特征點之間的聯(lián)系強(qiáng)弱的權(quán)重參數(shù)，再乘以注意力機(jī)制權(quán)重，得到加權(quán)鄰接矩陣；將加權(quán)鄰接矩陣輸入到多層圖卷積神經(jīng)網(wǎng)絡(luò)中，每層圖卷積網(wǎng)絡(luò)聚合當(dāng)前關(guān)鍵點信息，經(jīng)多層圖卷積神經(jīng)網(wǎng)絡(luò)處理，得到每個關(guān)鍵點的特征信息。

14、作為優(yōu)選，所述s2包括：

15、s2.1：將半身圖像切割成若干小圖并提取圖片特征，生成圖片特征向量；

16、s2.2：將生成的圖片特征向量和預(yù)設(shè)好的姿態(tài)向量拼接，進(jìn)行注意力機(jī)制編碼；

17、s2.3：將注意力機(jī)制編碼得到的局部精細(xì)特征進(jìn)行特征放大，得到不同分辨率的特征圖；

18、s2.4：將局部精細(xì)特征以及勢和臉部局部骨骼點參數(shù)輸入到注意力網(wǎng)絡(luò)中，學(xué)習(xí)細(xì)微姿態(tài)特征；

19、s2.5：將局部骨骼點和總體骨骼點輸入到回歸分類器中，得到骨骼圖。

20、作為優(yōu)選，所述s3.3包括：對關(guān)鍵點特征向量進(jìn)行歸一化，得到特征點圖；對特征點圖進(jìn)行全局池化及聚合，得到每個圖序列的圖特征向量；對圖特征向量進(jìn)行加權(quán)求和，得到分類特征向量；對分類特征向量進(jìn)行分類，得到姿態(tài)分類標(biāo)簽結(jié)果。

21、作為優(yōu)選，所述s1包括：從公共數(shù)據(jù)集篩選半身圖像和視頻，通過實際業(yè)務(wù)場景進(jìn)行半身圖像和視頻采集補(bǔ)充，分別進(jìn)行預(yù)處理；選擇人體關(guān)鍵點并在半身圖像中標(biāo)注；對半身圖像進(jìn)行數(shù)據(jù)增強(qiáng)。

22、作為優(yōu)選，標(biāo)注人體關(guān)鍵點時，對公共數(shù)據(jù)集篩選出的圖像和視頻進(jìn)行標(biāo)注關(guān)鍵點補(bǔ)充，對采集的實際業(yè)務(wù)場景半身圖像和視頻進(jìn)行全面標(biāo)注；標(biāo)注完成后，對已標(biāo)注的數(shù)據(jù)進(jìn)行復(fù)核，若發(fā)現(xiàn)錯誤或不一致則進(jìn)行修正。

23、作為優(yōu)選，所述s4包括：

24、s4.1：采集用戶辦理不同業(yè)務(wù)的半身圖像，構(gòu)建半身數(shù)據(jù)集，將半身數(shù)據(jù)集分為訓(xùn)練集和測試集，訓(xùn)練改進(jìn)的st-gcn姿態(tài)估計模型；

25、s4.2：采集用戶辦理不同業(yè)務(wù)時的連續(xù)圖像幀數(shù)據(jù)，基于改進(jìn)的st-gcn網(wǎng)絡(luò)的處理和分類，將用戶分為不同的欺詐標(biāo)簽并輸出。

26、作為優(yōu)選，注意力機(jī)制編碼后的特征向量包括總體特征和局部精細(xì)特征，總體特征包括整體身體信息和姿態(tài)信息，局部精細(xì)特征包括臉部特征和手部特征。

27、作為優(yōu)選，所述骨骼圖中包括人體半身的總體特征點以及人體面部特征。

28、因此，本發(fā)明具有如下有益效果：

29、1、利用特征重構(gòu)技術(shù)，將手部及臉部的特征單獨剪裁，形成局部特征，與全身的全局特征進(jìn)行融合，區(qū)別于傳統(tǒng)的全身特征采集，能夠識別出更加豐富的人臉及手部關(guān)鍵點信息。

30、2、通過改進(jìn)后的st-gcn模型對連續(xù)時間序列的圖像幀進(jìn)行客戶姿態(tài)估計，其中改進(jìn)后的st-gcn模型增加局部交叉注意力機(jī)制，可以更好地利用關(guān)鍵數(shù)據(jù)的特征信息，將關(guān)鍵點的重點特征信息融合到現(xiàn)有特征表示中，增強(qiáng)模型對特征的捕獲能力，更加準(zhǔn)確地識別客戶是否存在詐騙行為，輔助柜員進(jìn)行反欺詐業(yè)務(wù)辦理。

技術(shù)特征：

1.一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法，其特征在于，所述s3包括：

3.根據(jù)權(quán)利要求2所述的一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法，其特征在于，所述得到每個關(guān)鍵點的特征信息包括：在網(wǎng)絡(luò)圖的鄰接矩陣中，加上表示網(wǎng)絡(luò)圖中特征點之間的聯(lián)系強(qiáng)弱的權(quán)重參數(shù)，再乘以注意力機(jī)制權(quán)重，得到加權(quán)鄰接矩陣；將加權(quán)鄰接矩陣輸入到多層圖卷積神經(jīng)網(wǎng)絡(luò)中，每層圖卷積網(wǎng)絡(luò)聚合當(dāng)前關(guān)鍵點信息，經(jīng)多層圖卷積神經(jīng)網(wǎng)絡(luò)處理，得到每個關(guān)鍵點的特征信息。

4.根據(jù)權(quán)利要求1所述的一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法，其特征在于，所述s2包括：

5.根據(jù)權(quán)利要求2或3所述的一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法，其特征在于，所述s3.3包括：對關(guān)鍵點特征向量進(jìn)行歸一化，得到特征點圖；對特征點圖進(jìn)行全局池化及聚合，得到每個圖序列的圖特征向量；對圖特征向量進(jìn)行加權(quán)求和，得到分類特征向量；對分類特征向量進(jìn)行分類，得到姿態(tài)分類標(biāo)簽結(jié)果。

6.根據(jù)權(quán)利要求1或2或3或4所述的一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法，其特征在于，所述s1包括：從公共數(shù)據(jù)集篩選半身圖像和視頻，通過實際業(yè)務(wù)場景進(jìn)行半身圖像和視頻采集補(bǔ)充，分別進(jìn)行預(yù)處理；選擇人體關(guān)鍵點并在半身圖像中標(biāo)注；對半身圖像進(jìn)行數(shù)據(jù)增強(qiáng)。

7.根據(jù)權(quán)利要求6所述的一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法，其特征在于，標(biāo)注人體關(guān)鍵點時，對公共數(shù)據(jù)集篩選出的圖像和視頻進(jìn)行標(biāo)注關(guān)鍵點補(bǔ)充，對采集的實際業(yè)務(wù)場景半身圖像和視頻進(jìn)行全面標(biāo)注；標(biāo)注完成后，對已標(biāo)注的數(shù)據(jù)進(jìn)行復(fù)核，若發(fā)現(xiàn)錯誤或不一致則進(jìn)行修正。

8.根據(jù)權(quán)利要求1或2或3或4所述的一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法，其特征在于，所述s4包括：

9.根據(jù)權(quán)利要求4所述的一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法，其特征在于，注意力機(jī)制編碼后的特征向量包括總體特征和局部精細(xì)特征，總體特征包括整體身體信息和姿態(tài)信息，局部精細(xì)特征包括臉部特征和手部特征。

10.根據(jù)權(quán)利要求1或2或3或4所述的一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法，其特征在于，所述骨骼圖中包括人體半身的總體特征點以及人體面部特征。

技術(shù)總結(jié)
本發(fā)明公開了一種基于反詐一體機(jī)的反欺詐半身姿態(tài)估計方法，克服了現(xiàn)有技術(shù)中姿態(tài)估計模型半身姿態(tài)估計不準(zhǔn)確，且在處理半身圖像時性能較差的問題，包括：獲取用戶辦理不同業(yè)務(wù)的半身圖像，并對半身圖像進(jìn)行人體姿態(tài)骨骼關(guān)鍵點標(biāo)注；對半身圖像進(jìn)行人體網(wǎng)格點重構(gòu)，對圖像幀進(jìn)行上采樣，輸出骨骼圖；在多層圖卷積神經(jīng)網(wǎng)絡(luò)中增加局部交叉注意力機(jī)制，構(gòu)建改進(jìn)的ST?GCN網(wǎng)絡(luò)，獲取每個關(guān)鍵點的特征信息；基于改進(jìn)的ST?GCN模型，在用戶辦理業(yè)務(wù)期間進(jìn)行持續(xù)時空建模獲取姿態(tài)信息，利用輸出客戶欺詐標(biāo)簽。將特征重構(gòu)與局部交叉注意力機(jī)制結(jié)合，將局部特征與全身的全局特征進(jìn)行融合，提高姿態(tài)估計準(zhǔn)確性，更加準(zhǔn)確地識別客戶是否存在詐騙行為。

技術(shù)研發(fā)人員：李法來,陶雯雯,陸衡,王尹達(dá),章佳飛
受保護(hù)的技術(shù)使用者：中國農(nóng)業(yè)銀行股份有限公司浙江省分行
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9