1.本發(fā)明涉及圖像識別技術(shù)領(lǐng)域，具體涉及一種監(jiān)控對象移動識別方法、系統(tǒng)、終端及存儲介質(zhì)。


背景技術(shù)：

2.在電力施工現(xiàn)場等環(huán)境復(fù)雜的場景中，一些重要設(shè)備不可以被移動。例如設(shè)置在變電站、高壓設(shè)備、起重工作地點等周圍的安全圍欄。一旦被移動極容易出現(xiàn)安全事故。因此，需要對這些重要設(shè)備進行監(jiān)控。現(xiàn)有的監(jiān)控方法是在監(jiān)控區(qū)域安裝攝像頭，然后進行圖像一致性比對，以確認監(jiān)控對象是否在原有位置。但是這種方法成本較高，且固定攝像頭也容易在施工現(xiàn)場被破壞。采用自動跟蹤攝像機或無人機等動態(tài)監(jiān)控設(shè)備雖然可以節(jié)省成本，但是由于攝像視野、焦距不固定，導(dǎo)致現(xiàn)有的圖像一致性比對方法無法得到準確的識別結(jié)果。此外現(xiàn)有的圖像一致性比對方法在圍欄形狀多變的情況下，也難以準確檢出圍欄的實際位置和區(qū)域，易造成誤報。


技術(shù)實現(xiàn)要素：

3.針對現(xiàn)有技術(shù)的上述不足，本發(fā)明提供一種監(jiān)控對象移動識別方法、系統(tǒng)、終端及存儲介質(zhì)，以解決上述技術(shù)問題。
4.第一方面，本發(fā)明提供一種監(jiān)控對象移動識別方法，包括：
5.利用目標檢測算法從監(jiān)控區(qū)域的監(jiān)控圖像中識別監(jiān)控對象輪廓，并利用人體姿勢識別模型基于所述監(jiān)控對象輪廓提取第一關(guān)鍵點集合；
6.利用特征提取算法提取所述監(jiān)控圖像的第一特征點和標準圖像中與第一特征點具有映射關(guān)系的第二特征點，基于第一特征點和第二特征點計算將監(jiān)控圖像映射至標準圖像坐標系的單應(yīng)矩陣；
7.利用單應(yīng)矩陣將所述第一關(guān)鍵點集合映射至標準圖像坐標系，計算第一關(guān)鍵點集合在標準圖像坐標系上圍成的多邊形面積；
8.將標準圖像中監(jiān)控對象的關(guān)鍵點圍成的多邊形的面積作為標準面積，計算所述多邊形面積與所述標準面積的度量值；
9.比對度量值與設(shè)定的閾值，如果度量值未超過所述閾值則判定監(jiān)控對象被移動。
10.進一步的，在利用目標檢測算法從監(jiān)控區(qū)域的監(jiān)控圖像中識別監(jiān)控對象輪廓，并利用人體姿勢識別模型基于所述監(jiān)控對象輪廓提取第一關(guān)鍵點集合之前，所述方法還包括：
11.利用圖像批量縮放工具將監(jiān)控圖像的尺寸縮放至設(shè)定的標準尺寸；
12.利用訓(xùn)練好的efficientdet網(wǎng)絡(luò)模型從標準尺寸的監(jiān)控圖像中識別人體目標；
13.如果識別到人體目標則繼續(xù)從標準尺寸的監(jiān)控圖像中識別監(jiān)控對象輪廓，所述監(jiān)控對象輪廓為監(jiān)控對象目標的最小外接矩形；
14.如果未識別到人體目標則終止對所述監(jiān)控圖像的識別程序，并輸出提示信息。
15.進一步的，利用目標檢測算法從監(jiān)控區(qū)域的監(jiān)控圖像中識別監(jiān)控對象輪廓，并利用人體姿勢識別模型基于所述監(jiān)控對象輪廓提取第一關(guān)鍵點集合，包括：
16.利用人體姿勢識別模型對監(jiān)控對象輪廓范圍內(nèi)的圖像進行關(guān)鍵點識別，所述人體姿勢識別模型采用darkpose模型，且darkpose模型主干網(wǎng)絡(luò)使用hrnet神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)率設(shè)置為0.001，優(yōu)化器為adam；
17.利用數(shù)據(jù)標注軟件對識別出的所有關(guān)鍵點進行坐標標注，并將所有關(guān)鍵點坐標存儲為第一關(guān)鍵點集合。
18.進一步的，利用特征提取算法提取所述監(jiān)控圖像的第一特征點和標準圖像中與第一特征點具有映射關(guān)系的第二特征點，基于第一特征點和第二特征點計算將監(jiān)控圖像映射至標準圖像坐標系的單應(yīng)矩陣，包括：
19.利用orientedbrief特征提取算法分別從監(jiān)控圖像和標準圖像提取多個特征點，所述標準圖像為監(jiān)控對象在初始狀態(tài)下的圖像；
20.利用暴力算法對監(jiān)控圖像的多個特征點與標準圖像的多個特征點進行匹配，建立對監(jiān)控圖像的多個特征點與標準圖像的多個特征點的一一映射關(guān)系；
21.利用公式i＝h*k計算單應(yīng)矩陣h，其中k為監(jiān)控圖像的特征點坐標，i為標準圖像中的映射特征點坐標；
22.利用多對具有映射關(guān)系的特征點計算多個單應(yīng)矩陣，從多個單應(yīng)矩陣中篩選出準確單應(yīng)矩陣。
23.進一步的，將標準圖像中監(jiān)控對象的關(guān)鍵點圍成的多邊形的面積作為標準面積，計算所述多邊形面積與所述標準面積的度量值，包括：
24.利用公式計算所述度量值，其中s
ref
為標準圖像中的監(jiān)控對象區(qū)域的標準面積，sn為第一關(guān)鍵點集合在標準圖像坐標系上圍成的多邊形面積，|
·
|表示求像素個數(shù)運算。
25.進一步的，比對度量值與設(shè)定的閾值，如果度量值未超過所述閾值則判定監(jiān)控對象被移動，包括：
26.通過預(yù)先采集多張監(jiān)控對象處于不同狀態(tài)的樣本圖像，并分別對多張樣本圖像進行處理獲取多張樣本圖像相對于標準圖像的樣本度量值，通過分析多個樣本度量值對應(yīng)的監(jiān)控對象狀態(tài)設(shè)定閾值；
27.比對監(jiān)控圖像相對于標準圖像的度量值與設(shè)定的閾值的大小，如果所述度量值超過所述閾值，則判定監(jiān)控對象未被移動。
28.進一步的，所述方法還包括：
29.采集監(jiān)控區(qū)域的監(jiān)控視頻，并利用圖像批量縮放工具從所述監(jiān)控視頻中截取多幀標準尺寸的監(jiān)控圖像；
30.分別對多張監(jiān)控圖像進行處理，得到多張監(jiān)控圖像的監(jiān)控對象移動識別結(jié)果；
31.將占比較大的監(jiān)控對象移動識別結(jié)果作為最終的監(jiān)控對象移動識別結(jié)果輸出。
32.第二方面，本發(fā)明提供一種監(jiān)控對象移動識別系統(tǒng)，包括：
33.目標識別單元，用于利用目標檢測算法從監(jiān)控區(qū)域的監(jiān)控圖像中識別監(jiān)控對象輪
廓，并利用人體姿勢識別模型基于所述監(jiān)控對象輪廓提取第一關(guān)鍵點集合；
34.矩陣計算單元，用于利用特征提取算法提取所述監(jiān)控圖像的第一特征點和標準圖像中與第一特征點具有映射關(guān)系的第二特征點，基于第一特征點和第二特征點計算將監(jiān)控圖像映射至標準圖像坐標系的單應(yīng)矩陣；
35.面積計算單元，用于利用單應(yīng)矩陣將所述第一關(guān)鍵點集合映射至標準圖像坐標系，計算第一關(guān)鍵點集合在標準圖像坐標系上圍成的多邊形面積；
36.度量計算單元，用于將標準圖像中監(jiān)控對象的關(guān)鍵點圍成的多邊形的面積作為標準面積，計算所述多邊形面積與所述標準面積的度量值；
37.結(jié)果判定單元，用于比對度量值與設(shè)定的閾值，如果度量值未超過所述閾值則判定監(jiān)控對象被移動。
38.進一步的，系統(tǒng)還包括預(yù)處理單元，所述預(yù)處理單元用于：
39.利用圖像批量縮放工具將監(jiān)控圖像的尺寸縮放至設(shè)定的標準尺寸；
40.利用訓(xùn)練好的efficientdet網(wǎng)絡(luò)模型從標準尺寸的監(jiān)控圖像中識別人體目標；
41.如果識別到人體目標則繼續(xù)從標準尺寸的監(jiān)控圖像中識別監(jiān)控對象輪廓，所述監(jiān)控對象輪廓為監(jiān)控對象目標的最小外接矩形；
42.如果未識別到人體目標則終止對所述監(jiān)控圖像的識別程序，并輸出提示信息。
43.進一步的，目標識別單元用于：
44.利用人體姿勢識別模型對監(jiān)控對象輪廓范圍內(nèi)的圖像進行關(guān)鍵點識別，所述人體姿勢識別模型采用darkpose模型，且darkpose模型主干網(wǎng)絡(luò)使用hrnet神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)率設(shè)置為0.001，優(yōu)化器為adam；
45.利用數(shù)據(jù)標注軟件對識別出的所有關(guān)鍵點進行坐標標注，并將所有關(guān)鍵點坐標存儲為第一關(guān)鍵點集合。
46.進一步的，矩陣計算單元用于：
47.利用orientedbrief特征提取算法分別從監(jiān)控圖像和標準圖像提取多個特征點，所述標準圖像為監(jiān)控對象在初始狀態(tài)下的圖像；
48.利用暴力算法對監(jiān)控圖像的多個特征點與標準圖像的多個特征點進行匹配，建立對監(jiān)控圖像的多個特征點與標準圖像的多個特征點的一一映射關(guān)系；
49.利用公式i＝h*k計算單應(yīng)矩陣h，其中k為監(jiān)控圖像的特征點坐標，i為標準圖像中的映射特征點坐標；
50.利用多對具有映射關(guān)系的特征點計算多個單應(yīng)矩陣，從多個單應(yīng)矩陣中篩選出準確單應(yīng)矩陣。
51.進一步的，度量計算單元用于：
52.利用公式計算所述度量值，其中s
ref
為標準圖像中的監(jiān)控對象區(qū)域的標準面積，sn為第一關(guān)鍵點集合在標準圖像坐標系上圍成的多邊形面積，|
·
|表示求像素個數(shù)運算。
53.進一步的，結(jié)果判定單元用于：
54.通過預(yù)先采集多張監(jiān)控對象處于不同狀態(tài)的樣本圖像，并分別對多張樣本圖像進
行處理獲取多張樣本圖像相對于標準圖像的樣本度量值，通過分析多個樣本度量值對應(yīng)的監(jiān)控對象狀態(tài)設(shè)定閾值；
55.比對監(jiān)控圖像相對于標準圖像的度量值與設(shè)定的閾值的大小，如果所述度量值超過所述閾值，則判定監(jiān)控對象未被移動。
56.進一步的，所述系統(tǒng)還包括結(jié)果校正單元，所述結(jié)果校正單元用于：
57.采集監(jiān)控區(qū)域的監(jiān)控視頻，并利用圖像批量縮放工具從所述監(jiān)控視頻中截取多幀標準尺寸的監(jiān)控圖像；
58.分別對多張監(jiān)控圖像進行處理，得到多張監(jiān)控圖像的監(jiān)控對象移動識別結(jié)果；
59.將占比較大的監(jiān)控對象移動識別結(jié)果作為最終的監(jiān)控對象移動識別結(jié)果輸出。
60.第三方面，提供一種終端，包括：
61.處理器、存儲器，其中，
62.該存儲器用于存儲計算機程序，
63.該處理器用于從存儲器中調(diào)用并運行該計算機程序，使得終端執(zhí)行上述的終端的方法。
64.第四方面，提供了一種計算機存儲介質(zhì)，所述計算機可讀存儲介質(zhì)中存儲有指令，當其在計算機上運行時，使得計算機執(zhí)行上述各方面所述的方法。
65.本發(fā)明提供的監(jiān)控對象移動識別方法、系統(tǒng)、終端及存儲介質(zhì)，包括以下有益效果：
66.(1)基于圖像匹配、深度學(xué)習(xí)技術(shù)，建模動態(tài)監(jiān)控場景中的目標，識別搬移行為，提升對監(jiān)控對象的監(jiān)控能力。
67.(2)使用由“粗”到“細”的方式建模圖像中的監(jiān)控對象區(qū)域。現(xiàn)有技術(shù)中采用目標檢測方法獲取監(jiān)控對象位置和邊界，實現(xiàn)對監(jiān)控對象的粗略建模；本發(fā)明在現(xiàn)有方法基礎(chǔ)上加入監(jiān)控對象關(guān)鍵點檢測，實現(xiàn)對監(jiān)控對象的精細化建模，提升建模精度。
68.(3)利用圖像匹配技術(shù)，將當前圖像中的監(jiān)控對象區(qū)域校正至標準圖像坐標系，實現(xiàn)在同一坐標系內(nèi)計算監(jiān)控對象區(qū)域的變化程度，使得本發(fā)明所提方法可應(yīng)用于動態(tài)監(jiān)控場景，擴展現(xiàn)有方法的應(yīng)用場景。
69.此外，本發(fā)明設(shè)計原理可靠，結(jié)構(gòu)簡單，具有非常廣泛的應(yīng)用前景。
附圖說明
70.為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，對于本領(lǐng)域普通技術(shù)人員而言，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
71.圖1是本發(fā)明一個實施例的方法的示意性流程圖。
72.圖2是本發(fā)明一個實施例的方法的圍欄最小外接矩形及關(guān)鍵點標注示意圖。
73.圖3是本發(fā)明一個實施例的方法的圍欄搬移識別算法流程圖。
74.圖4是本發(fā)明一個實施例的方法的校正當前圖像中圍欄關(guān)鍵點流程圖。
75.圖5是是本發(fā)明一個實施例的方法的參考圖像與當前圖像中圍欄區(qū)域示意圖。
76.圖6是本發(fā)明一個實施例的系統(tǒng)的示意性框圖。
77.圖7為本發(fā)明實施例提供的一種終端的結(jié)構(gòu)示意圖。
具體實施方式
78.為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明中的技術(shù)方案，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應(yīng)當屬于本發(fā)明保護的范圍。
79.為了解決現(xiàn)有圖像識別方法存在的識別準確率低，且只能對固定視野和焦距的圖像進行一致性匹配。本發(fā)明提供一種監(jiān)控對象移動識別方法，包括以下步驟：
80.通過利用無人機定期對監(jiān)控對象進行巡航拍照，獲取監(jiān)控圖像。利用步驟s 1-s4對監(jiān)控對象進行處理，得到當前次巡航的監(jiān)控結(jié)果。
81.s 1、利用目標檢測算法從監(jiān)控區(qū)域的監(jiān)控圖像中識別監(jiān)控對象輪廓，并利用人體姿勢識別模型基于所述監(jiān)控對象輪廓提取第一關(guān)鍵點集合。
82.s2、利用特征提取算法提取所述監(jiān)控圖像的第一特征點和標準圖像中與第一特征點具有映射關(guān)系的第二特征點，基于第一特征點和第二特征點計算將監(jiān)控圖像映射至標準圖像坐標系的單應(yīng)矩陣；
83.s3、利用單應(yīng)矩陣將所述第一關(guān)鍵點集合映射至標準圖像坐標系，計算第一關(guān)鍵點集合在標準圖像坐標系上圍成的多邊形面積；
84.s4、將標準圖像中監(jiān)控對象的關(guān)鍵點圍成的多邊形的面積作為標準面積，計算所述多邊形面積與所述標準面積的度量值；
85.比對度量值與設(shè)定的閾值，如果度量值未超過所述閾值則判定監(jiān)控對象被移動。
86.為了便于對本發(fā)明的理解，下面以本發(fā)明監(jiān)控對象移動識別方法的原理，結(jié)合實施例中對監(jiān)控對象進行移動識別的過程，對本發(fā)明提供的監(jiān)控對象移動識別方法做進一步的描述。
87.具體的，請參考圖1，以監(jiān)控對象為安全圍欄為例進行說明，所述監(jiān)控對象移動識別方法包括：
88.(1)圖像采集與處理：在電力安全圍欄監(jiān)控區(qū)域，使用自動跟蹤攝像機、無人機等動態(tài)監(jiān)控設(shè)備采集視頻數(shù)據(jù)。采用opencv工具(圖像批量縮放工具)從拍攝的視頻片段或?qū)崟r視頻流中解碼圖像，提取連續(xù)的關(guān)鍵幀圖像，并將圖像尺寸縮放至1080
×
720。
89.(2)由于安全圍欄只有在有人活動的場景下才最可能被搬移，因此為了減少無用計算量，本實施例設(shè)計人體目標檢測：將步驟1所得的圖像輸入efficientdet網(wǎng)絡(luò)(目標檢測算法)，輸出人體目標的檢測結(jié)果。所述efficientdet是一種輕量級的通用目標檢測網(wǎng)絡(luò)，經(jīng)訓(xùn)練后可用于檢測電力場景中的目標。采用efficientdet算法默認的超參數(shù)訓(xùn)練網(wǎng)絡(luò)。參閱圖1，若未檢測到人體目標，則不進行圍欄粗略建模、精細化建模及搬移識別，返回步驟1。
90.人體目標檢測結(jié)果格式舉例：
91.[0092][0093]
所述目標檢測結(jié)果格式舉例中，“class”表示類別，“person”表示人體；“confidence”表示置信度，其范圍為[0,1]；“box”表示人體目標的最小外接矩形，格式為[x
min
,y
min
,x
max
,y
max
]。
[0094]
(3)圍欄粗略建模：采用efficientdet目標檢測網(wǎng)絡(luò)對圍欄進行粗建模，獲得圍欄的粗略位置及區(qū)域。采用efficientdet算法默認的超參數(shù)訓(xùn)練網(wǎng)絡(luò)。參閱圖1，若圖像中存在圍欄目標，efficientdet模型輸出圍欄目標的最小外接矩形，格式為[x
min
,y
min
,x
max
,y
max
]。若未檢測到圍欄目標，則不進行圍欄精細化建模及搬移識別，返回步驟1。
[0095]
圍欄目標檢測結(jié)果格式舉例：
[0096][0097]
所述目標檢測結(jié)果格式舉例中，“class”表示類別，“safety_fence”表示安全圍欄，“confidence”表示置信度，其范圍為[0,1]；“box”表示圍欄目標的最小外接矩形。
[0098]
(4)圍欄精細化建模：受拍攝視角的影響，僅采用目標檢測無法精確地檢測出圍欄的實際區(qū)域。圍欄的精細化建?？刹捎藐P(guān)鍵點檢測、語義分割等技術(shù)?？紤]到語義分割算法計算量大、執(zhí)行效率低，本發(fā)明在圍欄目標檢測的基礎(chǔ)上加入圍欄關(guān)鍵點檢測，進一步獲取圍欄的精細化區(qū)域。本實施例中采用darkpose檢測圍欄的關(guān)鍵點。darkpose是一種基于深度學(xué)習(xí)的關(guān)鍵點檢測網(wǎng)絡(luò)，除算法性能外，其與openpose的主要不同點為openpose屬于自下而上的方法，而darkpose屬于自上而下的方法。darkpose需確定目標邊界后再檢測關(guān)鍵點，此方式可避免其他目標的干擾，有利于提高關(guān)鍵點預(yù)測的準確率。目標邊界即步驟3中圍欄的最小包圍矩形。參考圖2，圍欄的關(guān)鍵點位于四個頂角，即圖2中p1～p4指向的四個黑色圓點；a1、a2為圍欄的立柱；b為圍欄的橫桿或防護帶。采用開源軟件labelme標注圍欄關(guān)鍵點，生成訓(xùn)練集和測試集。本實施例中，darkpose主干網(wǎng)絡(luò)使用hrnet，學(xué)習(xí)率設(shè)置為0.001，優(yōu)化器為adam，其他訓(xùn)練超參數(shù)均采用算法默認配置。
[0099]
(5)圍欄搬移識別：當在圖像中檢測到人體并對圍欄進行建模后，執(zhí)行圍欄搬移識別算法。自動跟蹤攝像機、無人機巡檢等動態(tài)監(jiān)控場景拍攝過程中，若攝像機發(fā)生移動、變焦，圖像內(nèi)的物體位置、形狀也隨之發(fā)生變化。本發(fā)明中加入圖像校正算法，將圍欄關(guān)鍵點映射至參考圖像坐標系，實現(xiàn)在同一坐標系中比較圍欄區(qū)域是否發(fā)生顯著變化，以識別圍欄是否被搬移。圍欄搬移識別算法流程如圖3所示，其過程如下：
[0100]
(5.1)獲取圖像及圍欄關(guān)鍵點：參考圖像i
ref
定義為實時監(jiān)控過程中首次同時檢測到人體和圍欄目標時的圖像，圍欄搬移識別算法執(zhí)行完成后，清空參考圖像。從步驟(1)獲取參考圖像i
ref
、當前圖像i。從步驟(4)中獲取當前圖像中的圍欄關(guān)鍵點，其表示為p1＝(x1,y1)、p2＝(x2,y2)、p3＝(x3,y3)、p4＝(x4,y4)。
[0101]
(5.2)校正當前圖像中圍欄關(guān)鍵點：本步驟的目的是將當前圖像內(nèi)的關(guān)鍵點校正至參考圖像坐標系，其包括提取特征點、匹配特征點、計算單應(yīng)矩陣和校正圍欄關(guān)鍵，如圖4所示。為提高圖像匹配速度，本實施例中采用orb(oriented brief)特征提取算法，快速提取當前圖像i以及參考圖像i
ref
中的特征點。采用brute force方法匹配i及i
ref
中的特征點。通過匹配的特征點計算單應(yīng)矩陣h，進而校正當前圖像中的圍欄關(guān)鍵點。采用opencv中的findhomography函數(shù)求解單應(yīng)矩陣h。
[0102]
透視變換公式為：
[0103][0104]
將式1展開可得
[0105]
x＝a
11
u+a
12
v+a
13
??????????????????????
(式2)
[0106]
y＝a
21
u+a
22
v+a
23
??????????????????????
(式3)
[0107]
z＝a
31
u+a
32
v+a
33
??????????????????????
(式4)
[0108]
由式2、3、4可計算出經(jīng)校正后得新坐標
[0109][0110][0111]
其中，u、v為點的原始坐標。由上述推導(dǎo)過程可知，通過單應(yīng)矩陣h，可計算經(jīng)透視變換后的新坐標x
′
、y
′
。
[0112]
校正圍欄關(guān)鍵點：將當前圖像中圍欄關(guān)鍵點p1＝(x1,y1)、p2＝(x2,y2)、p3＝(x3,y3)、p4＝(x4,y4)，帶入新坐標計算表達式后得到校正后的圍欄關(guān)鍵點p
1n
＝(x
1n
,y
1n
)、p2＝(x
2n
,y
2n
)、p
3n
＝(x
3n
,y
3n
)、p
4n
＝(x
4n
,y
4n
)。
[0113]
若拍攝過程中攝像機發(fā)生移動、變焦，經(jīng)過上述校正處理后，當前圖像中圍欄關(guān)鍵點坐標系可統(tǒng)一至參考圖像的坐標系，實現(xiàn)在同一坐標系內(nèi)比較圍欄區(qū)域，使得本發(fā)明所提方法可適用于動態(tài)監(jiān)控場景。
[0114]
(5.3)計算圍欄區(qū)域iou：現(xiàn)有目標檢測技術(shù)通常使用最小外接矩形建模目標區(qū)域，此種方式易引入無效的背景區(qū)域，無法精確建模目標區(qū)域。本發(fā)明采用基于關(guān)鍵點的方
式建模目標區(qū)域，選取圍欄的四個頂角組成四邊形作為圍欄的有效區(qū)域。設(shè)參考圖像中的圍欄區(qū)域為s
ref
，校正后的圍欄區(qū)域為sn，如圖5所示。
[0115]
計算參考圖像中的圍欄區(qū)域與當前圖像中校正后的圍欄區(qū)域iou，表達式為
[0116][0117]
式7中|
·
|表示求像素個數(shù)運算。
[0118]
根據(jù)預(yù)先設(shè)置的閾值iou
th
判斷圍欄是否被搬移：
[0119]
情況1：iou≤iou
th
，圍欄被搬移；
[0120]
情況2：iou》iou
th
，圍欄未被搬移。
[0121]
本實施例中，閾值iou
th
設(shè)置為0.7。進一步的，本發(fā)明實施例中僅說明由單張當前圖像判斷圍欄是否被搬移。工程實施過程中，目標檢測、關(guān)鍵點檢測算法不可避免地存在誤檢。為降低誤報率，提高圍欄搬移識別算法的魯棒性，可采用多幀檢測和“投票法”進行判斷。具體方法為連續(xù)檢測k幀后，若“圍欄被搬移”占多數(shù)，輸出結(jié)果為圍欄被搬移；反之，輸出結(jié)果為圍欄未被搬移。實施過程中，應(yīng)根據(jù)攝像機幀率f調(diào)整k的取值，k的范圍一般為f～10f。
[0122]
此外，本實施例中的深度學(xué)習(xí)模型的訓(xùn)練集含有16000張圖像，測試集含有4000張圖像。硬件配置為16g內(nèi)存、intel core i7-9750、nvidia geforce gtx 1070。在處理1080
×
720的視頻時，速度約為20fps。
[0123]
如圖6所示，該系統(tǒng)600包括：
[0124]
目標識別單元610，用于利用目標檢測算法從監(jiān)控區(qū)域的監(jiān)控圖像中識別監(jiān)控對象輪廓，并利用人體姿勢識別模型基于所述監(jiān)控對象輪廓提取第一關(guān)鍵點集合；
[0125]
矩陣計算單元620，用于利用特征提取算法提取所述監(jiān)控圖像的第一特征點和標準圖像中與第一特征點具有映射關(guān)系的第二特征點，基于第一特征點和第二特征點計算將監(jiān)控圖像映射至標準圖像坐標系的單應(yīng)矩陣；
[0126]
面積計算單元630，用于利用單應(yīng)矩陣將所述第一關(guān)鍵點集合映射至標準圖像坐標系，計算第一關(guān)鍵點集合在標準圖像坐標系上圍成的多邊形面積；
[0127]
度量計算單元640，用于將標準圖像中監(jiān)控對象的關(guān)鍵點圍成的多邊形的面積作為標準面積，計算所述多邊形面積與所述標準面積的度量值；
[0128]
結(jié)果判定單元650，用于比對度量值與設(shè)定的閾值，如果度量值未超過所述閾值則判定監(jiān)控對象被移動。
[0129]
可選地，作為本發(fā)明一個實施例，系統(tǒng)還包括預(yù)處理單元，所述預(yù)處理單元用于：
[0130]
利用圖像批量縮放工具將監(jiān)控圖像的尺寸縮放至設(shè)定的標準尺寸；
[0131]
利用訓(xùn)練好的efficientdet網(wǎng)絡(luò)模型從標準尺寸的監(jiān)控圖像中識別人體目標；
[0132]
如果識別到人體目標則繼續(xù)從標準尺寸的監(jiān)控圖像中識別監(jiān)控對象輪廓，所述監(jiān)控對象輪廓為監(jiān)控對象目標的最小外接矩形；
[0133]
如果未識別到人體目標則終止對所述監(jiān)控圖像的識別程序，并輸出提示信息。
[0134]
可選地，作為本發(fā)明一個實施例，目標識別單元用于：
[0135]
利用人體姿勢識別模型對監(jiān)控對象輪廓范圍內(nèi)的圖像進行關(guān)鍵點識別，所述人體
姿勢識別模型采用darkpose模型，且darkpose模型主干網(wǎng)絡(luò)使用hrnet神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)率設(shè)置為0.001，優(yōu)化器為adam；
[0136]
利用數(shù)據(jù)標注軟件對識別出的所有關(guān)鍵點進行坐標標注，并將所有關(guān)鍵點坐標存儲為第一關(guān)鍵點集合。
[0137]
可選地，作為本發(fā)明一個實施例，矩陣計算單元用于：
[0138]
利用oriented brief特征提取算法分別從監(jiān)控圖像和標準圖像提取多個特征點，所述標準圖像為監(jiān)控對象在初始狀態(tài)下的圖像；
[0139]
利用暴力算法對監(jiān)控圖像的多個特征點與標準圖像的多個特征點進行匹配，建立對監(jiān)控圖像的多個特征點與標準圖像的多個特征點的一一映射關(guān)系；
[0140]
利用公式i＝h*k計算單應(yīng)矩陣h，其中k為監(jiān)控圖像的特征點坐標，i為標準圖像中的映射特征點坐標；
[0141]
利用多對具有映射關(guān)系的特征點計算多個單應(yīng)矩陣，從多個單應(yīng)矩陣中篩選出準確單應(yīng)矩陣。
[0142]
可選地，作為本發(fā)明一個實施例，度量計算單元用于：
[0143]
利用公式計算所述度量值，其中s
ref
為標準圖像中的監(jiān)控對象區(qū)域的標準面積，sn為第一關(guān)鍵點集合在標準圖像坐標系上圍成的多邊形面積，|
·
|表示求像素個數(shù)運算。
[0144]
可選地，作為本發(fā)明一個實施例，結(jié)果判定單元用于：
[0145]
通過預(yù)先采集多張監(jiān)控對象處于不同狀態(tài)的樣本圖像，并分別對多張樣本圖像進行處理獲取多張樣本圖像相對于標準圖像的樣本度量值，通過分析多個樣本度量值對應(yīng)的監(jiān)控對象狀態(tài)設(shè)定閾值；
[0146]
比對監(jiān)控圖像相對于標準圖像的度量值與設(shè)定的閾值的大小，如果所述度量值超過所述閾值，則判定監(jiān)控對象未被移動。
[0147]
可選地，作為本發(fā)明一個實施例，系統(tǒng)還包括結(jié)果校正單元，所述結(jié)果校正單元用于：
[0148]
采集監(jiān)控區(qū)域的監(jiān)控視頻，并利用圖像批量縮放工具從所述監(jiān)控視頻中截取多幀標準尺寸的監(jiān)控圖像；
[0149]
分別對多張監(jiān)控圖像進行處理，得到多張監(jiān)控圖像的監(jiān)控對象移動識別結(jié)果；
[0150]
將占比較大的監(jiān)控對象移動識別結(jié)果作為最終的監(jiān)控對象移動識別結(jié)果輸出。
[0151]
圖7為本發(fā)明實施例提供的一種終端700的結(jié)構(gòu)示意圖，該終端700可以用于執(zhí)行本發(fā)明實施例提供的監(jiān)控對象移動識別方法。
[0152]
其中，該終端700可以包括：處理器710、存儲器720及通信單元730。這些組件通過一條或多條總線進行通信，本領(lǐng)域技術(shù)人員可以理解，圖中示出的服務(wù)器的結(jié)構(gòu)并不構(gòu)成對本發(fā)明的限定，它既可以是總線形結(jié)構(gòu)，也可以是星型結(jié)構(gòu)，還可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件布置。
[0153]
其中，該存儲器720可以用于存儲處理器710的執(zhí)行指令，存儲器720可以由任何類型的易失性或非易失性存儲終端或者它們的組合實現(xiàn)，如靜態(tài)隨機存取存儲器(sram)，電
可擦除可編程只讀存儲器(eeprom)，可擦除可編程只讀存儲器(eprom)，可編程只讀存儲器(prom)，只讀存儲器(rom)，磁存儲器，快閃存儲器，磁盤或光盤。當存儲器720中的執(zhí)行指令由處理器710執(zhí)行時，使得終端700能夠執(zhí)行以下上述方法實施例中的部分或全部步驟。
[0154]
處理器710為存儲終端的控制中心，利用各種接口和線路連接整個電子終端的各個部分，通過運行或執(zhí)行存儲在存儲器720內(nèi)的軟件程序和/或模塊，以及調(diào)用存儲在存儲器內(nèi)的數(shù)據(jù)，以執(zhí)行電子終端的各種功能和/或處理數(shù)據(jù)。所述處理器可以由集成電路(integrated circuit，簡稱ic)組成，例如可以由單顆封裝的ic所組成，也可以由連接多顆相同功能或不同功能的封裝ic而組成。舉例來說，處理器710可以僅包括中央處理器(central processing unit，簡稱cpu)。在本發(fā)明實施方式中，cpu可以是單運算核心，也可以包括多運算核心。
[0155]
通信單元730，用于建立通信信道，從而使所述存儲終端可以與其它終端進行通信。接收其他終端發(fā)送的用戶數(shù)據(jù)或者向其他終端發(fā)送用戶數(shù)據(jù)。
[0156]
本發(fā)明還提供一種計算機存儲介質(zhì)，其中，該計算機存儲介質(zhì)可存儲有程序，該程序執(zhí)行時可包括本發(fā)明提供的各實施例中的部分或全部步驟。所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(英文：read-only memory，簡稱：rom)或隨機存儲記憶體(英文：random access memory，簡稱：ram)等。
[0157]
因此，本發(fā)明基于圖像匹配、深度學(xué)習(xí)技術(shù)，建模動態(tài)監(jiān)控場景中的目標，識別搬移行為，提升對監(jiān)控對象的監(jiān)控能力；使用由“粗”到“細”的方式建模圖像中的監(jiān)控對象區(qū)域?，F(xiàn)有技術(shù)中采用目標檢測方法獲取監(jiān)控對象位置和邊界，實現(xiàn)對監(jiān)控對象的粗略建模；本發(fā)明在現(xiàn)有方法基礎(chǔ)上加入監(jiān)控對象關(guān)鍵點檢測，實現(xiàn)對監(jiān)控對象的精細化建模，提升建模精度；利用圖像匹配技術(shù)，將當前圖像中的監(jiān)控對象區(qū)域校正至標準圖像坐標系，實現(xiàn)在同一坐標系內(nèi)計算監(jiān)控對象區(qū)域的變化程度，使得本發(fā)明所提方法可應(yīng)用于動態(tài)監(jiān)控場景，擴展現(xiàn)有方法的應(yīng)用場景，本實施例所能達到的技術(shù)效果可以參見上文中的描述，此處不再贅述。
[0158]
本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明實施例中的技術(shù)可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)。基于這樣的理解，本發(fā)明實施例中的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中如u盤、移動硬盤、只讀存儲器(rom，read-only memory)、隨機存取存儲器(ram，random access memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)，包括若干指令用以使得一臺計算機終端(可以是個人計算機，服務(wù)器，或者第二終端、網(wǎng)絡(luò)終端等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。
[0159]
本說明書中各個實施例之間相同相似的部分互相參見即可。尤其，對于終端實施例而言，由于其基本相似于方法實施例，所以描述的比較簡單，相關(guān)之處參見方法實施例中的說明即可。
[0160]
在本發(fā)明所提供的幾個實施例中，應(yīng)該理解到，所揭露的系統(tǒng)和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的系統(tǒng)實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，系統(tǒng)或單元的間接耦合或通
信連接，可以是電性，機械或其它的形式。
[0161]
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。
[0162]
另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
[0163]
盡管通過參考附圖并結(jié)合優(yōu)選實施例的方式對本發(fā)明進行了詳細描述，但本發(fā)明并不限于此。在不脫離本發(fā)明的精神和實質(zhì)的前提下，本領(lǐng)域普通技術(shù)人員可以對本發(fā)明的實施例進行各種等效的修改或替換，而這些修改或替換都應(yīng)在本發(fā)明的涵蓋范圍內(nèi)/任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)所述以權(quán)利要求的保護范圍為準。