本發(fā)明涉及計(jì)算機(jī)，尤其涉及一種基于人體骨骼的電動(dòng)扶梯行人逆行檢測方法及系統(tǒng)。

背景技術(shù)：

1、隨著人工智能的發(fā)展，人體檢測方法已經(jīng)廣泛應(yīng)用于安防、視頻監(jiān)控、異常行為分析等多個(gè)領(lǐng)域。人體檢測方法可以檢測攝像設(shè)備采集的圖像中的一個(gè)或多個(gè)人體，并標(biāo)記出每個(gè)人體的位置，從而得到每個(gè)人體的運(yùn)動(dòng)軌跡。特別是高鐵、機(jī)場人員聚集的地方，在電動(dòng)扶梯上逆行有很大的安全隱患。傳統(tǒng)的逆行檢測一般是采用人體檢測的方式來進(jìn)行，但是，由于電動(dòng)扶梯上行人較多，遮擋的情況比較多，那么，人體檢測的bbox框無法對(duì)是否遮擋進(jìn)行判斷，其次，采用bbox框底部的中點(diǎn)作為判斷行人位置的點(diǎn)，當(dāng)行人的腿部被遮擋時(shí)，bbox框的大小會(huì)改變，從而容易造成誤判，從而使得誤判的情況增加，增加工作人員的工作量。因此，需要提高逆行判斷的準(zhǔn)確率，來降低工作人員的工作量。

2、cn202210807278.4公開了乘客逆行檢測方法、裝置和計(jì)算機(jī)存儲(chǔ)介質(zhì)，包括：獲取包含所述自動(dòng)扶梯的視頻流；在所述視頻流的圖像幀中為所述自動(dòng)扶梯設(shè)置至少一條參考線；對(duì)所述自動(dòng)扶梯上的乘客進(jìn)行位置檢測，得到每一所述乘客的位置變化信息；基于所述乘客的位置變化信息分析所述自動(dòng)扶梯的行進(jìn)方向；針對(duì)每一所述乘客，基于所述乘客的位置變化信息和所述自動(dòng)扶梯的行進(jìn)方向，執(zhí)行確定所述乘客是否逆行跨越所述參考線的逆行跨線檢測步驟，且響應(yīng)于確定所述乘客逆行跨越所述參考線，確定所述乘客逆行。該方法通過檢測框獲取乘客的位置，并與自動(dòng)扶梯行進(jìn)的方向進(jìn)行對(duì)比，再配合檢測是否跨越參考線，實(shí)現(xiàn)逆行檢測，但是采用檢測框的底部中點(diǎn)作為位置點(diǎn)，當(dāng)乘客被遮擋時(shí)，檢測框的大小會(huì)出現(xiàn)變化，從而容易造成誤判。

3、cn202110586379公開了一種基于圖像識(shí)別的逆行判斷方法及系統(tǒng)，包括以下步驟，s1，獲取待檢測區(qū)域內(nèi)的視頻流，并將所述視頻流進(jìn)行rio處理，得到待檢測區(qū)域數(shù)據(jù)；s2，將所述待檢測區(qū)域數(shù)據(jù)進(jìn)行預(yù)處理，得到多幀圖片；s3，將所有所述幀圖片輸入至預(yù)先訓(xùn)練好的vgg卷積圖像人臉識(shí)別模型中進(jìn)行圖像識(shí)別，得到所有所述幀圖片中行人的面向；s4，根據(jù)所有所述幀圖片中行人的面向，判斷待檢測區(qū)域內(nèi)是否存在逆行的情況。該逆行判斷方法通過識(shí)別行人的面向，從而判斷行人是否逆行，但是，當(dāng)行人側(cè)面或轉(zhuǎn)頭時(shí)，容易識(shí)別為逆行，造成誤判。

4、本發(fā)明需要解決的技術(shù)問題是：如何提高當(dāng)行人被部分遮擋時(shí)，電動(dòng)扶梯逆行檢測的準(zhǔn)確率。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的是提供一種基于人體骨骼的電動(dòng)扶梯行人逆行檢測方法，通過采用檢測行人骨骼點(diǎn)來判斷行人是否被遮擋，若行人被遮擋的范圍過大，則過濾此行人，避免影響其他行人的檢測，其次，通過bbox框頂部的中點(diǎn)來確定行人的位置點(diǎn)，避免了由于bbox框大小的改變，從而影響行人位置點(diǎn)的判斷，提高逆行檢測的準(zhǔn)確率。

2、同時(shí)，還提供了一種基于人體骨骼的電動(dòng)扶梯行人逆行檢測系統(tǒng)。

3、為實(shí)現(xiàn)上述目的，本申請(qǐng)所采用的技術(shù)方案：

4、一種基于人體骨骼的電動(dòng)扶梯行人逆行檢測方法，包括以下步驟：

5、步驟1：通過攝像頭獲取電動(dòng)扶梯的視頻流，行人進(jìn)入電動(dòng)扶梯區(qū)域后，建立行人bbox框和多個(gè)骨骼點(diǎn)；

6、步驟2：通過骨骼點(diǎn)判斷行人的上半身是否被遮擋；若在電動(dòng)扶梯區(qū)域內(nèi)，行人一直被遮擋，則過濾這個(gè)行人；若在電動(dòng)扶梯區(qū)域內(nèi)，行人不是一直被遮擋，則進(jìn)行下一步；

7、步驟3：判斷bbox框頂部中點(diǎn)的軌跡方向與行梯方向是否一致；若不一致，則判定為逆行，發(fā)出警報(bào)；若一致，則沒有逆行。

8、優(yōu)選地，所述多個(gè)骨骼點(diǎn)包括四肢上的關(guān)節(jié)、髖關(guān)節(jié)、肩關(guān)節(jié)、頭部所對(duì)應(yīng)的點(diǎn)。

9、優(yōu)選地，所述步驟1具體為：通過攝像頭獲取電動(dòng)扶梯的圖像；通過圖像語義分割確定扶梯的roi區(qū)域；通過光流法確定扶梯行梯方向；當(dāng)行人進(jìn)入roi區(qū)域后，建立行人bbox框和人體骨骼點(diǎn)。

10、優(yōu)選地，還包括步驟4：判斷行人左右骨骼點(diǎn)的相對(duì)位置是否變化；若出現(xiàn)變化，則判定行人轉(zhuǎn)身，若行人此時(shí)在roi區(qū)域，發(fā)出警報(bào)；若無變化，則繼續(xù)檢測。

11、優(yōu)選地，所述步驟2中，通過檢測行人骨骼點(diǎn)的置信度來判斷是否被遮擋；當(dāng)置信度小于0.7時(shí)，則判定為被遮擋。

12、優(yōu)選地，所述步驟3中，通過nvdcf算法得到bbox框頂部中點(diǎn)的軌跡方向。

13、優(yōu)選地，通過姿態(tài)估計(jì)算法得出行人bbox框、多個(gè)骨骼點(diǎn)以及骨骼點(diǎn)的置信度。

14、需要說明的是：

15、bbox框：是boundingbox(邊界框)的縮寫，指的是目標(biāo)檢測中用于表示物體位置和大小的有向矩形框。

16、roi區(qū)域：即感興趣區(qū)域(region?of?interest)，是在圖像處理中從被處理的圖像上以方框、圓、橢圓、不規(guī)則多邊形等方式勾勒出的需要處理的區(qū)域。這個(gè)區(qū)域是圖像分析所關(guān)注的重點(diǎn)，通過圈定該區(qū)域以便進(jìn)行進(jìn)一步處理，可以減少處理時(shí)間并提高精度。

17、同時(shí)，還提供了一種基于人體骨骼的電動(dòng)扶梯行人逆行檢測系統(tǒng)，包括攝像頭和服務(wù)器；所述服務(wù)器包括如下模塊：

18、行人識(shí)別模塊：用于行人進(jìn)入電動(dòng)扶梯區(qū)域后，建立行人bbox框和多個(gè)骨骼點(diǎn)；

19、遮擋判斷模塊：用于通過骨骼點(diǎn)判斷行人的上半身是否被遮擋；被遮擋，則過濾這個(gè)行人；

20、逆行判斷模塊：用于判斷bbox框頂部中點(diǎn)的軌跡方向與行梯方向是否一致，若不一致，則判定為逆行，發(fā)出警報(bào)。

21、優(yōu)選地，所述服務(wù)器還包括：

22、轉(zhuǎn)身判斷模塊：判斷行人左右骨骼點(diǎn)的相對(duì)位置是否變化；若出現(xiàn)變化，則判定行人轉(zhuǎn)身，當(dāng)行人在電動(dòng)扶梯區(qū)域時(shí)，發(fā)出警報(bào)。

23、與現(xiàn)有技術(shù)相比，本方案具有以下有益效果：

24、本方案的電動(dòng)扶梯行人逆行檢測方法通過骨骼點(diǎn)來檢測行人被遮擋的部位，當(dāng)行人的上半身被遮擋時(shí)，則過濾此行人，如：抱著的嬰兒、只剩下手或腳沒被遮擋的情況等，避免這些情況影響其他行人的檢測或檢測這些情況從而出現(xiàn)誤警報(bào)，而且，判斷bbox框頂部的中點(diǎn)軌跡方向與行梯方向，由于在電動(dòng)扶梯中，行人的腿部容易被遮擋，從而使bbox框底部上移，因此，采用bbox框頂部的中點(diǎn)作為位置點(diǎn)來進(jìn)行判斷。通過檢測行人被遮擋的情況和位置點(diǎn)的方向，減少由于行人被遮擋而出現(xiàn)誤判的情況，提高逆行檢測的準(zhǔn)確率。

25、其次，通過判斷左右骨骼點(diǎn)的相對(duì)位置是否變化，判斷行人是否轉(zhuǎn)身，檢測行人是否逆行，結(jié)合行人的移動(dòng)方向和轉(zhuǎn)身情況，進(jìn)一步提高了行人逆行的準(zhǔn)確率。

技術(shù)特征：

1.一種基于人體骨骼的電動(dòng)扶梯行人逆行檢測方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于人體骨骼的電動(dòng)扶梯行人逆行檢測方法，其特征在于，所述多個(gè)骨骼點(diǎn)包括四肢上的關(guān)節(jié)、髖關(guān)節(jié)、肩關(guān)節(jié)、頭部所對(duì)應(yīng)的點(diǎn)。

3.根據(jù)權(quán)利要求1所述的基于人體骨骼的電動(dòng)扶梯行人逆行檢測方法，其特征在于，所述步驟1具體為：通過攝像頭獲取電動(dòng)扶梯的圖像；通過圖像語義分割確定扶梯的roi區(qū)域；通過光流法確定扶梯行梯方向；當(dāng)行人進(jìn)入roi區(qū)域后，建立行人bbox框和人體骨骼點(diǎn)。

4.根據(jù)權(quán)利要求3所述的基于人體骨骼的電動(dòng)扶梯行人逆行檢測方法，其特征在于，還包括步驟4：判斷行人左右骨骼點(diǎn)的相對(duì)位置是否變化；若出現(xiàn)變化，則判定行人轉(zhuǎn)身，若行人此時(shí)在roi區(qū)域，發(fā)出警報(bào)；若無變化，則繼續(xù)檢測。

5.根據(jù)權(quán)利要求1所述的基于人體骨骼的電動(dòng)扶梯行人逆行檢測方法，其特征在于，所述步驟2中，通過檢測行人骨骼點(diǎn)的置信度來判斷是否被遮擋；當(dāng)置信度小于0.7時(shí)，則判定為被遮擋。

6.根據(jù)權(quán)利要求1所述的基于人體骨骼的電動(dòng)扶梯行人逆行檢測方法，其特征在于，所述步驟3中，通過nvdcf算法得到bbox框頂部中點(diǎn)的軌跡方向。

7.根據(jù)權(quán)利要求1所述的基于人體骨骼的電動(dòng)扶梯行人逆行檢測方法，其特征在于，通過姿態(tài)估計(jì)算法得出行人bbox框、多個(gè)骨骼點(diǎn)以及骨骼點(diǎn)的置信度。

8.一種基于人體骨骼的電動(dòng)扶梯行人逆行檢測系統(tǒng)，其特征在于，包括攝像頭和服務(wù)器；所述服務(wù)器包括如下模塊：

9.根據(jù)權(quán)利要求8所述的基于人體骨骼的電動(dòng)扶梯行人逆行檢測系統(tǒng)，其特征在于，所述服務(wù)器還包括：

技術(shù)總結(jié)
本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，公開了一種基于人體骨骼的電動(dòng)扶梯行人逆行檢測方法，包括以下步驟：步驟1：通過攝像頭獲取電動(dòng)扶梯的視頻流，行人進(jìn)入電動(dòng)扶梯區(qū)域后，建立行人bbox框和多個(gè)骨骼點(diǎn)；步驟2：通過骨骼點(diǎn)判斷行人的上半身是否被遮擋；若在電動(dòng)扶梯區(qū)域內(nèi)，行人一直被遮擋，則過濾這個(gè)行人；若在電動(dòng)扶梯區(qū)域內(nèi)，行人不是一直被遮擋，則進(jìn)行下一步；步驟3：判斷bbox框頂部中點(diǎn)的軌跡方向與行梯方向是否一致；若不一致，則判定為逆行，發(fā)出警報(bào)；若一致，則沒有逆行。本行人逆行檢測方法可以提高當(dāng)行人被部分遮擋時(shí)，電動(dòng)扶梯逆行檢測的準(zhǔn)確率。同時(shí)，還提供了一種基于人體骨骼的電動(dòng)扶梯行人逆行檢測系統(tǒng)。

技術(shù)研發(fā)人員：勞康乘,陶洋,陳小軍,招嘉煥
受保護(hù)的技術(shù)使用者：廣州魯邦通物聯(lián)網(wǎng)科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19