本發(fā)明屬于圖像處理，為一種高遠(yuǎn)監(jiān)控視角下釣魚行為檢測方法、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、變電站和輸電線路的周圍通常有河流、湖泊、水庫等水體，是釣魚愛好者的聚集地，所以需要對變電站周圍的水面區(qū)域進(jìn)行監(jiān)測，如果水域周圍有人員出現(xiàn)需要判斷人員是否存在釣魚行為并預(yù)警，然而這些場景下的普遍攝像頭位置較高、較遠(yuǎn)，攝像機(jī)拍攝的圖像中人員像素占比極小，屬于小目標(biāo)，所以不論是依靠人工識別圖像中是否存在釣魚異常行為的人員還是深度學(xué)習(xí)算法直接檢測圖像中的人員，效果都極差且受背景干擾嚴(yán)重。

2、現(xiàn)有技術(shù)對高遠(yuǎn)監(jiān)控視角下小目標(biāo)檢測已有一些方法：對原始圖像進(jìn)行裁剪，對裁剪后的子圖進(jìn)行檢測并合并子圖的檢測結(jié)果，這類方法雖然增加了對高遠(yuǎn)監(jiān)控視角下小目標(biāo)檢測的準(zhǔn)確性，為后續(xù)人員是否存在釣魚行為的邏輯判別提供了技術(shù)支持，但是這類方法需要對裁剪后的每張子圖進(jìn)行檢測，相比于直接檢測原圖增加了額外的計(jì)算成本。同時由于涵蓋了圖像中的所有區(qū)域，導(dǎo)致輸出的結(jié)果中冗余信息干擾較大，無法有效的將算法的注意力集中于需要關(guān)注的水面及其周圍區(qū)域，從而增加人工核實(shí)預(yù)警的工作量。因此，需要篩選不必要的區(qū)域，從而避免無效預(yù)警?，F(xiàn)有技術(shù)可通過人工劃分roi區(qū)域?qū)崿F(xiàn)將水面及其周圍區(qū)域分離出來并進(jìn)行裁剪與檢測，但由于水面輪廓的不規(guī)則性，選擇適當(dāng)?shù)那蟹治恢煤痛笮∪匀皇且豁?xiàng)挑戰(zhàn)。劃分roi區(qū)域過大可能會引入冗余信息，干擾后續(xù)處理；而切分過小可能導(dǎo)致漏檢現(xiàn)象的發(fā)生。除此之外，此類方法需要對每個場景人工標(biāo)定roi區(qū)域且劃分roi區(qū)域的操作缺乏靈活性，若需要重新劃分將增加額外的工作負(fù)擔(dān)。因此需要研發(fā)一種基于對高遠(yuǎn)監(jiān)控視角下拍攝的圖像的小目標(biāo)檢測方法，專注于水面及其周圍區(qū)域且能夠根據(jù)具體需求靈活調(diào)整roi區(qū)域，具有高準(zhǔn)確度，低計(jì)算成本的釣魚異常行為檢測手段。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的問題是：變電站周圍現(xiàn)有攝像頭的位置較高、較遠(yuǎn)，直接對原始圖像進(jìn)行檢測效果極差，不利于后續(xù)基于圖像中檢測到的人員進(jìn)行釣魚異常行為的邏輯判斷?，F(xiàn)有的小目標(biāo)檢測方法，雖然通過對原始圖像進(jìn)行裁剪，檢測裁剪后的子圖并合并子圖的檢測結(jié)果，提高了對小目標(biāo)檢測的準(zhǔn)確率，但需要檢測裁剪后的每一張子圖，增加了額外的計(jì)算成本。同時，該方法涵蓋了圖像中的所有區(qū)域，無法有效的將算法的注意力集中于需要關(guān)注的水面及其周圍區(qū)域，通過人工劃分roi區(qū)域雖然能起到篩選不必要區(qū)域的目的，但也存在無法選擇適當(dāng)?shù)那蟹治恢煤痛笮?，且人工?biāo)定roi區(qū)域費(fèi)時費(fèi)力，重新劃分將增加額外的工作負(fù)擔(dān)。在無法通過檢測釣魚竿等工具來直接判斷是否存在釣魚異常行為的前提下，需要一種專注于水面及其周圍區(qū)域，能夠根據(jù)具體需求靈活調(diào)整roi區(qū)域，兼顧準(zhǔn)確性和低計(jì)算成本的人員釣魚異常行為檢測方法。

2、本發(fā)明的技術(shù)方案為：高遠(yuǎn)監(jiān)控視角下釣魚行為檢測方法，包含以下步驟：

3、step1：構(gòu)建不同場景內(nèi)水面區(qū)域二值化圖像數(shù)據(jù)集，通過訓(xùn)練得到圖像語義分割網(wǎng)絡(luò)的網(wǎng)絡(luò)權(quán)重；

4、step2：構(gòu)建人員數(shù)據(jù)集，通過訓(xùn)練得到具有全局感知能力的目標(biāo)檢測網(wǎng)絡(luò)的網(wǎng)絡(luò)權(quán)重；

5、step3：獲取監(jiān)控?cái)z像頭拍攝的圖像，以圖像的左上角為坐標(biāo)原點(diǎn)，水平方向?yàn)閤軸，垂直方向?yàn)閥軸，建立直角坐標(biāo)系；

6、step4：使用圖像語義分割網(wǎng)絡(luò)檢測圖像中的水面區(qū)域，獲取水面區(qū)域的邊緣輪廓以及構(gòu)成水面區(qū)域邊緣點(diǎn)坐標(biāo)的集合[(x0,x1,……xk)，(y0,u1,……yk)]，得到邊緣點(diǎn)的坐標(biāo)最值(xwater_min,xwater_max)和(ywater_min，ywater_max)，從而推導(dǎo)出水面區(qū)域邊緣輪廓的最大外接矩形，并保存外接矩形的左上角坐標(biāo)(xwater_min,ywater_min)和右下角坐標(biāo)(xwater_max,ywater_max)；

7、step5：采用滑動窗口策略遍歷原始圖像并切割，切割前計(jì)算滑動窗口內(nèi)原圖區(qū)域與step4中推導(dǎo)出的水面區(qū)域邊緣輪廓的最大外接矩形的重疊面積soverlap，若soverlap大于設(shè)定的閾值，則表示滑動窗口的區(qū)域包含水面以及與水面相鄰需要關(guān)注的區(qū)域，對此時滑動窗口內(nèi)的原圖區(qū)域進(jìn)行切割并保存，否則表示滑動窗口內(nèi)的區(qū)域與水面不相鄰，為非關(guān)注區(qū)域，滑動窗口移動，對下一個區(qū)域進(jìn)行判斷；

8、step6：使用具有全局感知能力的目標(biāo)檢測網(wǎng)絡(luò)對step5中從原圖切割保存的子圖區(qū)域進(jìn)行人員檢測，保存每個子圖的檢測結(jié)果，通過對檢測結(jié)果的合并和冗余剔除，得到子圖區(qū)域內(nèi)人員的目標(biāo)檢測框，并保存檢測框的坐標(biāo)：

9、[(x0_min,y0_min,x0_max,y0_max)，(x1_min,y1_min,x1_max,y1_max)…(xk_min,yk_min,xk_max,yk_max)]；

10、step7：通過step6中保存的檢測框計(jì)算代表每個檢測到的人員的局部最低中心點(diǎn)坐標(biāo)：

11、xk_minimum_center＝(xk_min+xk_max)/2

12、yk_minimum_center＝y(tǒng)k_max

13、計(jì)算每個檢測到的人員的局部最低中心點(diǎn)(xk_minimum_center,yk_minimum_center)到step4中獲取的水面區(qū)域邊緣輪廓的最短距離wminimum，若wminimum小于等于設(shè)定閾值，則認(rèn)為該目標(biāo)存在疑似釣魚行為，進(jìn)行預(yù)警并將目標(biāo)檢測框在原圖中進(jìn)行顯示，等待人工的進(jìn)一步核實(shí)；若wminimum大于設(shè)定閾值，則認(rèn)為該目標(biāo)不存在釣魚行為，不進(jìn)行預(yù)警與檢測結(jié)果展示；

14、step8：獲取監(jiān)控?cái)z像頭拍攝的圖像，重復(fù)step3-7的操作，實(shí)現(xiàn)高遠(yuǎn)監(jiān)控視角下對是否有人員存在釣魚異常行為的持續(xù)檢測。

15、本發(fā)明還提供一種電子設(shè)備，所述電子設(shè)備包括處理器和存儲器，所述存儲器中存儲有至少一條指令或至少一段程序，所述至少一條指令或至少一段程序由所述處理器加載并執(zhí)行，實(shí)現(xiàn)上述的高遠(yuǎn)監(jiān)控視角下釣魚行為檢測方法。

16、本發(fā)明還提供一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)中存儲有至少一條指令或至少一段程序，所述至少一條指令或一段程序被執(zhí)行時，實(shí)現(xiàn)上述的高遠(yuǎn)監(jiān)控視角下釣魚行為檢測方法。

17、本發(fā)明利用改進(jìn)的deeplabv3+網(wǎng)絡(luò)，提取監(jiān)控?cái)z像頭拍攝的圖像中水面區(qū)域邊緣輪廓，推導(dǎo)出水面區(qū)域最大外接矩形。在此基礎(chǔ)上，采用滑動窗口遍歷原始圖像，當(dāng)且僅當(dāng)滑動窗口內(nèi)圖像區(qū)域與水面區(qū)域最大外接矩形的重疊面積超過預(yù)設(shè)閾值時，表明滑動窗口內(nèi)的區(qū)域是與水面相鄰，其中若有人員存在有可能存在釣魚行為，才會對滑動窗口內(nèi)的圖像區(qū)域進(jìn)行切分并保存，使用具有全局感知能力的目標(biāo)檢測網(wǎng)絡(luò)對切分并保存的區(qū)域進(jìn)行人員檢測，通過改進(jìn)的iou計(jì)算方法miniou實(shí)現(xiàn)對每個子圖區(qū)域內(nèi)檢測到的人員目標(biāo)檢測框進(jìn)行合并和冗余剔除，最后將最終人員檢測結(jié)果與預(yù)先提取的水面區(qū)域的邊緣輪廓進(jìn)行距離計(jì)算，若超過預(yù)設(shè)閾值認(rèn)為當(dāng)前人員疑似存在釣魚行為，進(jìn)行預(yù)警并將目標(biāo)檢測框在原圖中進(jìn)行顯示，等待人工的進(jìn)一步核實(shí)。本發(fā)明無需人為參與，解決了高遠(yuǎn)監(jiān)控視角下小目標(biāo)人員檢測困難以及應(yīng)用場景多，場景復(fù)雜，人為劃分水面區(qū)域費(fèi)時費(fèi)力且不夠精確的問題，相較于直接采用滑動窗口切割的結(jié)果檢測，縮短了50％左右的檢測時間的同時保證了人員釣魚異常行為邏輯判定的準(zhǔn)確性。

18、本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：

19、(1)在待監(jiān)控場景數(shù)量較多，不同的待監(jiān)控場景內(nèi)水面區(qū)域差異較大的前提下，相較于人為劃分roi區(qū)域，能夠根據(jù)攝像機(jī)拍攝的場景自適應(yīng)地分割水面區(qū)域，并且可以依據(jù)分割的結(jié)果靈活的調(diào)整需要監(jiān)控的水面周圍區(qū)域的范圍。由于分割的結(jié)果直接影響后續(xù)處理的精度，本發(fā)明通過改進(jìn)deeplabv3+的網(wǎng)絡(luò)結(jié)構(gòu)，提高網(wǎng)絡(luò)提取特征的能力，充分利用特征圖的通道信息和空間信息，保證水面及邊緣區(qū)域分割的準(zhǔn)確率。

20、(2)適用于高遠(yuǎn)監(jiān)控視角。通過引入改進(jìn)的圖像語義分割算法，在保證分割準(zhǔn)確度的基礎(chǔ)上，充分利用圖像中的語義信息優(yōu)化傳統(tǒng)的切分原圖并檢測的小目標(biāo)檢測方法。只需要切割、保存并檢測需要重點(diǎn)關(guān)注的包含的水面以及水面周圍區(qū)域子圖，縮短了50％左右的檢測時間，極大的降低了計(jì)算成本，解決了高遠(yuǎn)監(jiān)控視角下小目標(biāo)檢測困難的同時避免了對整幅圖像切分后的子圖進(jìn)行檢測。

21、(3)在圖像中人員像素占比較小，無法通過魚竿等工具判斷是否存在釣魚行為的前提下，本發(fā)明可以根據(jù)具體場景靈活配置檢測標(biāo)準(zhǔn)，具有對各類監(jiān)控場景的廣泛適用性，確保最終輸出到原圖的檢測框中的目標(biāo)僅包含需要人工進(jìn)一步核實(shí)的疑似存在釣魚行為的目標(biāo)，有效的過濾了無效預(yù)警，減少了后續(xù)人工核實(shí)的工作量。