本技術(shù)涉及引車入站動作識別，特別是涉及一種加能站內(nèi)的引車入站動作識別方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、加油站是一個(gè)對安全要求極高的場所，因?yàn)樯婕暗揭兹家妆娜剂?。通過引車入站動作識別，可以確保車輛有序、安全地進(jìn)入指定位置，避免車輛之間或車輛與加油站設(shè)施之間的碰撞，從而減少火災(zāi)、爆炸等安全事故的發(fā)生。

2、目前，引車入站動作的識別主要是通過人員的動作的姿勢直接分類，該方法數(shù)據(jù)偏差大，當(dāng)數(shù)據(jù)分布不均勻時(shí)，或缺少某些重要的特征時(shí)，會導(dǎo)致分類結(jié)果不準(zhǔn)確，訓(xùn)練時(shí)模型過于或者訓(xùn)練的數(shù)據(jù)量不足，容易產(chǎn)生過擬合問題，使得在加油站現(xiàn)場推理的時(shí)候效果非常差。也有通過基于關(guān)鍵點(diǎn)檢測算法的引車入站動作的識別方式，其是使用人體關(guān)鍵點(diǎn)，加上后處理邏輯能夠判斷簡單的動作，比如一些手勢等，但是缺乏時(shí)序性，根據(jù)單幀判斷缺乏可信度。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例所要解決的技術(shù)問題是提供一種加能站內(nèi)的引車入站動作識別方法、裝置、設(shè)備及介質(zhì)，以提高引車入站動作的識別精度。

2、第一方面，本技術(shù)實(shí)施例提供了一種加能站內(nèi)的引車入站動作識別方法，所述方法包括：

3、獲取采集的加能站的加能站視頻圖像；

4、調(diào)用預(yù)先訓(xùn)練的人車檢測模型對所述加能站視頻圖像進(jìn)行人車檢測，得到所述加能站視頻圖像中包含人和車的第一圖像；

5、調(diào)用預(yù)先訓(xùn)練的工裝分類模型對所述第一圖像進(jìn)行工裝分類，得到所述第一圖像內(nèi)中包含有穿戴所述加能站指定工裝的工作人員的第二圖像；

6、調(diào)用預(yù)先訓(xùn)練的關(guān)鍵點(diǎn)檢測模型對所述第二圖像內(nèi)的工作人員進(jìn)行關(guān)鍵點(diǎn)檢測，得到所述工作人員的人體關(guān)鍵點(diǎn)；

7、調(diào)用預(yù)先訓(xùn)練的入站動作識別模型對第三圖像進(jìn)行人體關(guān)節(jié)特征及特征權(quán)重檢測，并基于得到的檢測結(jié)果確定所述工作人員的引車入站動作的識別結(jié)果，所述第三圖像為基于所述人體關(guān)鍵點(diǎn)對所述第二圖像進(jìn)行標(biāo)注得到的圖像。

8、可選地，在所述調(diào)用預(yù)先訓(xùn)練的人車檢測模型對所述加能站視頻圖像進(jìn)行人車檢測，得到所述加能站視頻圖像中包含人和車的第一圖像之前，還包括：

9、獲取用于訓(xùn)練人車檢測模型的第一樣本圖像，所述第一樣本圖像為在不同角度和不同光照條件下拍攝的包含人和車的圖像，所述第一樣本圖像上標(biāo)注有人的第一標(biāo)注框和車的第二標(biāo)注框；

10、將所述第一樣本圖像輸入至待訓(xùn)練人車檢測模型，并獲取由所述待訓(xùn)練人車檢測模型輸出的人車檢測結(jié)果，所述人車檢測結(jié)果包含人的第一檢測框和車的第二檢測框；

11、基于所述第一標(biāo)注框、所述第二標(biāo)注框、所述第一檢測框和所述第二檢測框，計(jì)算得到所述待訓(xùn)練人車檢測模型的第一損失值；

12、在所述第一損失值處于預(yù)設(shè)范圍內(nèi)的情況下，將訓(xùn)練后的待訓(xùn)練人車檢測模型作為最終的所述人車檢測模型。

13、可選地，在所述調(diào)用預(yù)先訓(xùn)練的工裝分類模型對所述第一圖像進(jìn)行工裝分類，得到所述第一圖像內(nèi)中包含有穿戴所述加能站指定工裝的工作人員的第二圖像之前，還包括：

14、獲取用于訓(xùn)練工裝分類模型的第二樣本圖像，所述第二樣本圖像包括：穿戴所述加能站的工裝的用戶圖像和穿戴非加能站的服裝的用戶圖像，所述第二樣本圖像上標(biāo)注有工裝分類信息，所述工裝包括所述指定工裝；

15、將所述第二樣本圖像輸入至待訓(xùn)練工裝分類模型，并獲取由所述待訓(xùn)練工裝分類模型輸出的所述第二樣本圖像對應(yīng)的預(yù)測工裝分類信息；

16、基于所述工裝分類信息和所述預(yù)測工裝分類信息，計(jì)算得到所述待訓(xùn)練工裝分類模型的第二損失值；

17、在所述第二損失值處于預(yù)設(shè)范圍內(nèi)的情況下，將訓(xùn)練后的待訓(xùn)練工裝分類模型作為最終的所述工裝分類模型。

18、可選地，所述調(diào)用預(yù)先訓(xùn)練的工裝分類模型對所述第一圖像進(jìn)行工裝分類，得到所述第一圖像內(nèi)中包含有穿戴所述加能站指定工裝的工作人員的第二圖像，包括：

19、獲取所述人車檢測模型輸出的所述第一圖像對應(yīng)的人物檢測框；

20、基于所述人物檢測框?qū)λ龅谝粓D像進(jìn)行裁剪處理，得到僅包含人物的裁剪圖像；

21、調(diào)用所述工裝分類模型對所述裁剪圖像進(jìn)行工裝分類，得到所述第一圖像內(nèi)包含有所述工作人員的第二圖像。

22、可選地，在所述調(diào)用預(yù)先訓(xùn)練的關(guān)鍵點(diǎn)檢測模型對所述第二圖像內(nèi)的工作人員進(jìn)行關(guān)鍵點(diǎn)檢測，得到所述工作人員的人體關(guān)鍵點(diǎn)之前，還包括：

23、獲取用于訓(xùn)練關(guān)鍵點(diǎn)檢測模型的第三樣本圖像，所述第三樣本圖像包含加能站的用戶在引車入站動作的姿態(tài)下的用戶圖像和非引車入站動作的姿態(tài)下的用戶圖像，所述第三樣本圖像上標(biāo)注有用戶的標(biāo)注人體關(guān)鍵點(diǎn)；

24、將所述第三樣本圖像輸入至待訓(xùn)練關(guān)鍵點(diǎn)檢測模型，并獲取由所述待訓(xùn)練關(guān)鍵點(diǎn)檢測模型輸出的所述第三樣本圖像內(nèi)的用戶的預(yù)測人體關(guān)鍵點(diǎn)；

25、基于所述標(biāo)注人體關(guān)鍵點(diǎn)和所述預(yù)測人體關(guān)鍵點(diǎn)，計(jì)算得到所述待訓(xùn)練關(guān)鍵點(diǎn)檢測模型的第三損失值；

26、在所述第三損失值處于預(yù)設(shè)范圍內(nèi)的情況下，將訓(xùn)練后的待訓(xùn)練關(guān)鍵點(diǎn)檢測模型作為最終的所述關(guān)鍵點(diǎn)檢測模型。

27、可選地，在所述調(diào)用預(yù)先訓(xùn)練的入站動作識別模型對第三圖像進(jìn)行人體關(guān)節(jié)特征及特征權(quán)重檢測，并基于得到的檢測結(jié)果確定所述工作人員的引車入站動作的識別結(jié)果之前，還包括：

28、獲取用于訓(xùn)練入站動作識別模型的第四樣本圖像，所述第四樣本圖像包括所述加能站的指定工裝用戶的引車入站動作下的用戶圖像和非引車入站動作下的用戶圖像，所述第四樣本圖像上標(biāo)注有真實(shí)引車入站動作信息；

29、將所述第四樣本圖像輸入至待訓(xùn)練入站動作識別模型，并獲取由所述待訓(xùn)練入站動作識別模型輸出的所述第四樣本圖像對應(yīng)的預(yù)測引車入站動作信息；

30、基于所述真實(shí)引車入站動作信息和所述預(yù)測引車入站動作信息，計(jì)算得到所述待訓(xùn)練入站動作識別模型的第四損失值；

31、在所述第四損失值處于預(yù)設(shè)范圍內(nèi)的情況下，將訓(xùn)練后的待訓(xùn)練入站動作識別模型作為最終的所述入站動作識別模型。

32、可選地，所述調(diào)用預(yù)先訓(xùn)練的入站動作識別模型對第三圖像進(jìn)行人體關(guān)節(jié)特征及特征權(quán)重檢測，并基于得到的檢測結(jié)果確定所述工作人員的引車入站動作的識別結(jié)果，包括：

33、從所述第二圖像內(nèi)抽取n幀連續(xù)的第二圖像，n為大于等于2的正整數(shù)；

34、基于所述人體關(guān)鍵點(diǎn)對所述n幀連續(xù)的第二圖像內(nèi)的所述工作人員進(jìn)行關(guān)鍵點(diǎn)標(biāo)注，得到所述第三圖像；

35、調(diào)用所述入站動作識別模型對所述第三圖像進(jìn)行處理，確定所述工作人員的引車入站動作的識別結(jié)果。

36、可選地，所述入站動作識別模型包括：多尺度時(shí)空圖卷積層和時(shí)空注意力機(jī)制層，

37、所述調(diào)用預(yù)先訓(xùn)練的入站動作識別模型對第三圖像進(jìn)行人體關(guān)節(jié)特征及特征權(quán)重檢測，并基于得到的檢測結(jié)果確定所述工作人員的引車入站動作的識別結(jié)果，包括：

38、調(diào)用所述多尺度時(shí)空圖卷積層對n幀連續(xù)的所述第三圖像進(jìn)行關(guān)節(jié)特征檢測，得到所述工作人員的人體關(guān)節(jié)變化特征；

39、調(diào)用所述時(shí)空注意力機(jī)制層對所述人體關(guān)節(jié)變化特征進(jìn)行處理，得到所述工作人員的人體關(guān)節(jié)之間的注意力權(quán)重；

40、基于所述人體關(guān)節(jié)變化特征和所述注意力權(quán)重，確定所述工作人員的引車入站動作的識別結(jié)果。

41、第二方面，本技術(shù)實(shí)施例提供了一種加能站內(nèi)的引車入站動作識別裝置，所述裝置包括：

42、視頻圖像獲取模塊，用于獲取采集的加能站的加能站視頻圖像；

43、第一圖像獲取模塊，用于調(diào)用預(yù)先訓(xùn)練的人車檢測模型對所述加能站視頻圖像進(jìn)行人車檢測，得到所述加能站視頻圖像中包含人和車的第一圖像；

44、第二圖像獲取模塊，用于調(diào)用預(yù)先訓(xùn)練的工裝分類模型對所述第一圖像進(jìn)行工裝分類，得到所述第一圖像內(nèi)中包含有穿戴所述加能站指定工裝的工作人員的第二圖像；

45、人體關(guān)鍵點(diǎn)獲取模塊，用于調(diào)用預(yù)先訓(xùn)練的關(guān)鍵點(diǎn)檢測模型對所述第二圖像內(nèi)的工作人員進(jìn)行關(guān)鍵點(diǎn)檢測，得到所述工作人員的人體關(guān)鍵點(diǎn)；

46、識別結(jié)果確定模塊，用于調(diào)用預(yù)先訓(xùn)練的入站動作識別模型對第三圖像進(jìn)行人體關(guān)節(jié)特征及特征權(quán)重檢測，并基于得到的檢測結(jié)果確定所述工作人員的引車入站動作的識別結(jié)果，所述第三圖像為基于所述人體關(guān)鍵點(diǎn)對所述第二圖像進(jìn)行標(biāo)注得到的圖像。

47、可選地，所述裝置還包括：

48、第一樣本獲取模塊，用于獲取用于訓(xùn)練人車檢測模型的第一樣本圖像，所述第一樣本圖像為在不同角度和不同光照條件下拍攝的包含人和車的圖像，所述第一樣本圖像上標(biāo)注有人的第一標(biāo)注框和車的第二標(biāo)注框；

49、人車檢測結(jié)果獲取模塊，用于將所述第一樣本圖像輸入至待訓(xùn)練人車檢測模型，并獲取由所述待訓(xùn)練人車檢測模型輸出的人車檢測結(jié)果，所述人車檢測結(jié)果包含人的第一檢測框和車的第二檢測框；

50、第一損失值計(jì)算模塊，用于基于所述第一標(biāo)注框、所述第二標(biāo)注框、所述第一檢測框和所述第二檢測框，計(jì)算得到所述待訓(xùn)練人車檢測模型的第一損失值；

51、人車檢測模型獲取模塊，用于在所述第一損失值處于預(yù)設(shè)范圍內(nèi)的情況下，將訓(xùn)練后的待訓(xùn)練人車檢測模型作為最終的所述人車檢測模型。

52、可選地，所述裝置還包括：

53、第二樣本獲取模塊，用于獲取用于訓(xùn)練工裝分類模型的第二樣本圖像，所述第二樣本圖像包括：穿戴所述加能站的工裝的用戶圖像和穿戴非加能站的服裝的用戶圖像，所述第二樣本圖像上標(biāo)注有工裝分類信息，所述工裝包括所述指定工裝；

54、工裝分類信息獲取模塊，用于將所述第二樣本圖像輸入至待訓(xùn)練工裝分類模型，并獲取由所述待訓(xùn)練工裝分類模型輸出的所述第二樣本圖像對應(yīng)的預(yù)測工裝分類信息；

55、第二損失值計(jì)算模塊，用于基于所述工裝分類信息和所述預(yù)測工裝分類信息，計(jì)算得到所述待訓(xùn)練工裝分類模型的第二損失值；

56、工裝分類模型獲取模塊，用于在所述第二損失值處于預(yù)設(shè)范圍內(nèi)的情況下，將訓(xùn)練后的待訓(xùn)練工裝分類模型作為最終的所述工裝分類模型。

57、可選地，所述第二圖像獲取模塊包括：

58、人物檢測框獲取單元，用于獲取所述人車檢測模型輸出的所述第一圖像對應(yīng)的人物檢測框；

59、裁剪圖像獲取單元，用于基于所述人物檢測框?qū)λ龅谝粓D像進(jìn)行裁剪處理，得到僅包含人物的裁剪圖像；

60、第二圖像獲取單元，用于調(diào)用所述工裝分類模型對所述裁剪圖像進(jìn)行工裝分類，得到所述第一圖像內(nèi)包含有所述工作人員的第二圖像。

61、可選地，所述裝置還包括：

62、第三樣本獲取模塊，用于獲取用于訓(xùn)練關(guān)鍵點(diǎn)檢測模型的第三樣本圖像，所述第三樣本圖像包含加能站的用戶在引車入站動作的姿態(tài)下的用戶圖像和非引車入站動作的姿態(tài)下的用戶圖像，所述第三樣本圖像上標(biāo)注有用戶的標(biāo)注人體關(guān)鍵點(diǎn)；

63、預(yù)測關(guān)鍵點(diǎn)獲取模塊，用于將所述第三樣本圖像輸入至待訓(xùn)練關(guān)鍵點(diǎn)檢測模型，并獲取由所述待訓(xùn)練關(guān)鍵點(diǎn)檢測模型輸出的所述第三樣本圖像內(nèi)的用戶的預(yù)測人體關(guān)鍵點(diǎn)；

64、第三損失值計(jì)算模塊，用于基于所述標(biāo)注人體關(guān)鍵點(diǎn)和所述預(yù)測人體關(guān)鍵點(diǎn)，計(jì)算得到所述待訓(xùn)練關(guān)鍵點(diǎn)檢測模型的第三損失值；

65、關(guān)鍵點(diǎn)檢測模型獲取模塊，用于在所述第三損失值處于預(yù)設(shè)范圍內(nèi)的情況下，將訓(xùn)練后的待訓(xùn)練關(guān)鍵點(diǎn)檢測模型作為最終的所述關(guān)鍵點(diǎn)檢測模型。

66、可選地，所述裝置還包括：

67、第四樣本獲取模塊，用于獲取用于訓(xùn)練入站動作識別模型的第四樣本圖像，所述第四樣本圖像包括所述加能站的指定工裝用戶的引車入站動作下的用戶圖像和非引車入站動作下的用戶圖像，所述第四樣本圖像上標(biāo)注有真實(shí)引車入站動作信息；

68、預(yù)測動作信息獲取模塊，用于將所述第四樣本圖像輸入至待訓(xùn)練入站動作識別模型，并獲取由所述待訓(xùn)練入站動作識別模型輸出的所述第四樣本圖像對應(yīng)的預(yù)測引車入站動作信息；

69、第四損失值計(jì)算模塊，用于基于所述真實(shí)引車入站動作信息和所述預(yù)測引車入站動作信息，計(jì)算得到所述待訓(xùn)練入站動作識別模型的第四損失值；

70、入站動作識別模型獲取模塊，用于在所述第四損失值處于預(yù)設(shè)范圍內(nèi)的情況下，將訓(xùn)練后的待訓(xùn)練入站動作識別模型作為最終的所述入站動作識別模型。

71、可選地，所述識別結(jié)果確定模塊包括：

72、第二圖像抽取單元，用于從所述第二圖像內(nèi)抽取n幀連續(xù)的第二圖像，n為大于等于2的正整數(shù)；

73、第三圖像獲取單元，用于基于所述人體關(guān)鍵點(diǎn)對所述n幀連續(xù)的第二圖像內(nèi)的所述工作人員進(jìn)行關(guān)鍵點(diǎn)標(biāo)注，得到所述第三圖像；

74、識別結(jié)果確定單元，用于調(diào)用所述入站動作識別模型對所述第三圖像進(jìn)行處理，確定所述工作人員的引車入站動作的識別結(jié)果。

75、可選地，所述入站動作識別模型包括：多尺度時(shí)空圖卷積層和時(shí)空注意力機(jī)制層，

76、所述識別結(jié)果確定模塊包括：

77、人體關(guān)節(jié)特征獲取單元，用于調(diào)用所述多尺度時(shí)空圖卷積層對n幀連續(xù)的所述第三圖像進(jìn)行關(guān)節(jié)特征檢測，得到所述工作人員的人體關(guān)節(jié)變化特征；

78、注意力權(quán)重獲取單元，用于調(diào)用所述時(shí)空注意力機(jī)制層對所述人體關(guān)節(jié)變化特征進(jìn)行處理，得到所述工作人員的人體關(guān)節(jié)之間的注意力權(quán)重；

79、入站動作識別結(jié)果確定單元，用于基于所述人體關(guān)節(jié)變化特征和所述注意力權(quán)重，確定所述工作人員的引車入站動作的識別結(jié)果。

80、第三方面，本技術(shù)實(shí)施例提供了一種電子設(shè)備，包括：

81、處理器、存儲器以及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述的加能站內(nèi)的引車入站動作識別方法。

82、第四方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，當(dāng)所述存儲介質(zhì)中的指令由電子設(shè)備的處理器執(zhí)行時(shí)，使得電子設(shè)備能夠執(zhí)行上述任一項(xiàng)所述的加能站內(nèi)的引車入站動作識別方法。

83、與現(xiàn)有技術(shù)相比，本技術(shù)實(shí)施例包括以下優(yōu)點(diǎn)：

84、本技術(shù)實(shí)施例中，通過獲取采集的加能站的加能站視頻圖像。調(diào)用預(yù)先訓(xùn)練的人車檢測模型對加能站視頻進(jìn)行人車檢測，得到加能站視頻圖像中包含人和車的第一圖像。調(diào)用預(yù)先訓(xùn)練的工裝分類模型對第一圖像進(jìn)行工裝分類，得到第一圖像內(nèi)中包含有加能站指定工裝的工作人員的第二圖像。調(diào)用預(yù)先訓(xùn)練的關(guān)鍵點(diǎn)檢測模型對第二圖像內(nèi)的用戶進(jìn)行關(guān)鍵點(diǎn)檢測，得到工作人員的人體關(guān)鍵點(diǎn)。調(diào)用預(yù)先訓(xùn)練的入站動作識別模型對第三圖像進(jìn)行人體關(guān)節(jié)特征及特征權(quán)重檢測，并基于得到的檢測結(jié)果確定工作人員的引車入站動作的識別結(jié)果，第三圖像為基于人體關(guān)鍵點(diǎn)對第二圖像進(jìn)行標(biāo)注得到的圖像。本技術(shù)實(shí)施例通過采用人車檢測模型、工裝分類模型、關(guān)鍵點(diǎn)檢測模型和入站動作識別模型進(jìn)行入站動作識別的方式，經(jīng)過一系列的識別檢測算法，能夠以較高的精度識別加能站工作人員的引車入站動作。

85、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本技術(shù)。