本發(fā)明涉及安全帶檢測(cè)，具體涉及一種基于級(jí)聯(lián)模型的乘員安全帶報(bào)警方法及系統(tǒng)。

背景技術(shù)：

1、安全帶是用來(lái)保護(hù)駕駛員和乘員安全的裝置，無(wú)論是駕駛員還是乘員都乘車(chē)時(shí)都需系安全帶；目前為保證駕駛員和乘員在乘車(chē)時(shí)系上安全帶，汽車(chē)通常都具備安全帶未系提醒功能，避免事故發(fā)生時(shí)，艙內(nèi)乘員未系安全帶導(dǎo)致二次傷害。

2、現(xiàn)有技術(shù)提供了一種安全帶檢測(cè)方法及裝置，其中裝置包括：通過(guò)車(chē)艙內(nèi)設(shè)置的相機(jī)拍攝得到待檢測(cè)圖片；通過(guò)目標(biāo)檢測(cè)模型對(duì)所述待檢測(cè)圖片進(jìn)行目標(biāo)人員檢測(cè)，得到目標(biāo)人體框；將所述目標(biāo)人體框輸入至語(yǔ)義分割模型，確定所述目標(biāo)人體框中是否存在安全帶，并在檢測(cè)出安全帶時(shí)，確定所述目標(biāo)人體框中安全帶像素區(qū)域與背景像素區(qū)域；根據(jù)所述安全帶像素區(qū)域的各個(gè)像素點(diǎn)，得到所述各個(gè)像素點(diǎn)的最小外接矩形；當(dāng)所述最小外接矩形的寬高比小于預(yù)設(shè)閾值，確定所述目標(biāo)人員未系安全帶。本技術(shù)通過(guò)檢測(cè)出人體目標(biāo)框中的安全帶像素區(qū)域，進(jìn)而根據(jù)安全帶像素區(qū)域的最小外接矩形，可以準(zhǔn)確判斷車(chē)內(nèi)的目標(biāo)人員是否正確佩戴安全帶。

3、該現(xiàn)有技術(shù)的缺點(diǎn)在于：1)該技術(shù)方案僅描述如何確定目標(biāo)人員是否系安全帶，未描述目標(biāo)人員具體在車(chē)上哪個(gè)位置，而安全帶檢測(cè)結(jié)果一般會(huì)在儀表上體現(xiàn)，需有具體乘員位置信息。2)該方案得到目標(biāo)檢測(cè)結(jié)果后采用語(yǔ)義分割模型進(jìn)行安全帶識(shí)別，對(duì)于車(chē)載小算力控制器，很難將分割模型搭載上車(chē)，同時(shí)若車(chē)滿員，每個(gè)乘員都需經(jīng)過(guò)分割模型識(shí)別安全帶，存在報(bào)警延時(shí)的可能。

4、還有現(xiàn)有技術(shù)提供了一種安全帶佩戴提醒方法、裝置、系統(tǒng)及車(chē)輛，該方法包括：在車(chē)輛處于上電狀態(tài)的情況下，獲取車(chē)輛上每一目標(biāo)座位分別對(duì)應(yīng)的第一信號(hào)和車(chē)輛內(nèi)部對(duì)應(yīng)的圖像信息，第一信號(hào)用于指示對(duì)應(yīng)的安全帶是否插入鎖扣中以及安全帶是否與鎖扣匹配，目標(biāo)座位為車(chē)輛上有乘員乘坐的座位；將圖像信息輸入至目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，獲取用于指示車(chē)輛上的乘員是否扣系安全帶的第二信號(hào)；在至少一個(gè)目標(biāo)座位對(duì)應(yīng)的第一信號(hào)指示安全帶未插入鎖扣中或安全帶與鎖扣不匹配，和/或第二信號(hào)指示至少一個(gè)乘員未扣系安全帶時(shí)，輸出第一提醒信號(hào)。

5、該現(xiàn)有技術(shù)的缺點(diǎn)在于：1)該技術(shù)獲取兩種信號(hào)需同時(shí)用攝像頭和卡扣傳感器，成本較高。2)描述為“獲取車(chē)輛上每一目標(biāo)座位分別對(duì)應(yīng)的第一信號(hào)和車(chē)輛內(nèi)部對(duì)應(yīng)的圖像信息”，但未描述如何將目標(biāo)座位和車(chē)輛內(nèi)部對(duì)應(yīng)的圖像信息對(duì)應(yīng)起來(lái)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于級(jí)聯(lián)模型的乘員安全帶報(bào)警方法及系統(tǒng)，以實(shí)現(xiàn)對(duì)座艙內(nèi)乘員是否佩戴安全帶的準(zhǔn)確檢測(cè)，保障了乘員安全。

2、為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于級(jí)聯(lián)模型的乘員安全帶報(bào)警方法，包括：

3、通過(guò)攝像頭獲取座艙內(nèi)視頻流；

4、將座艙內(nèi)視頻流輸入預(yù)設(shè)的級(jí)聯(lián)模型中的人體檢測(cè)模型，得到人體檢測(cè)結(jié)果，根據(jù)人體檢測(cè)結(jié)果判斷是否檢測(cè)到人體，若未檢測(cè)到人體則乘員安全帶報(bào)警方法的流程結(jié)束，若檢測(cè)到人體則進(jìn)行后續(xù)步驟；

5、將人體檢測(cè)結(jié)果輸入級(jí)聯(lián)模型中的人體關(guān)鍵點(diǎn)檢測(cè)模型，得到人體關(guān)鍵點(diǎn)檢測(cè)結(jié)果，根據(jù)人體關(guān)鍵點(diǎn)檢測(cè)結(jié)果判斷人臉姿態(tài)是否符合預(yù)設(shè)要求，若不符合則返回上一步驟，若符合則進(jìn)行后續(xù)步驟；

6、根據(jù)人體關(guān)鍵點(diǎn)檢測(cè)結(jié)果確定乘員位置，并確定安全帶檢測(cè)輸入圖像區(qū)域；

7、對(duì)安全帶檢測(cè)輸入圖像區(qū)域進(jìn)行安全帶佩戴檢測(cè)，結(jié)合乘員位置獲得各座位的安全帶佩戴情況；

8、根據(jù)各座位安全帶佩戴情況判斷是否報(bào)警。

9、按上述方案，所述對(duì)安全帶檢測(cè)輸入圖像區(qū)域進(jìn)行安全帶佩戴檢測(cè)的方法為：利用安全帶識(shí)別模型對(duì)對(duì)安全帶檢測(cè)輸入圖像區(qū)域進(jìn)行安全帶佩戴檢測(cè)；

10、所述安全帶識(shí)別模型為改進(jìn)lcnet模型，包括：第一普通卷積層、第一深度可分離卷積層、第二深度可分離卷積層、第三深度可分離卷積層、第四深度可分離卷積層、兩個(gè)瓶頸層、五個(gè)第五深度可分離卷積層、第六深度可分離卷積層、第七深度可分離卷積層、全局平均池化層、第一全連接層、第二全連接層。

11、按上述方案，第一普通卷積層的卷積核大小為3*3，步長(zhǎng)為2，輸入大小為64*64*3，輸出大小為32*32*16；

12、第一深度可分離卷積層的卷積核大小為3*3，步長(zhǎng)為1，輸入大小為32*32*16，輸出大小為32*32*32；

13、第二深度可分離卷積層的卷積核大小為3*3，步長(zhǎng)為1，輸入大小為32*32*32，輸出大小為32*32*64；

14、第三深度可分離卷積層的卷積核大小為3*3，步長(zhǎng)為2，輸入大小為32*32*64，輸出大小為16*16*128；

15、第四深度可分離卷積層的卷積核大小為3*3，步長(zhǎng)為1，輸入大小為16*16*128，輸出大小為16*16*256；

16、瓶頸層的卷積核大小為3*3，步長(zhǎng)為1，輸入大小為16*16*128，輸出大小為16*16*128；

17、第五深度可分離卷積層的卷積核大小為5*5，步長(zhǎng)為1，輸入大小為16*16*256，輸出大小為16*16*256；

18、第六深度可分離卷積層的卷積核大小為5*5，步長(zhǎng)為2，輸入大小為16*16*256，輸出大小為8*8*512；

19、第七深度可分離卷積層的卷積核大小為5*5，步長(zhǎng)為1，輸入大小為8*8*512，輸出大小為8*8*512。

20、按上述方案，第六深度可分離卷積層、第七深度可分離卷積層均設(shè)有帶軟閾值化的se子模塊。

21、按上述方案，所述攝像頭為oms攝像頭，所述座艙內(nèi)視頻流對(duì)應(yīng)的圖像為單目ir/rgb圖像。

22、按上述方案，所述人體檢測(cè)模型為輕量級(jí)網(wǎng)絡(luò)picodet，所述人體關(guān)鍵點(diǎn)檢測(cè)模型為tinypose網(wǎng)絡(luò)。

23、按上述方案，人體關(guān)鍵點(diǎn)檢測(cè)結(jié)果包括五個(gè)臉部關(guān)鍵點(diǎn)和十三個(gè)軀干關(guān)鍵點(diǎn)；臉部關(guān)鍵點(diǎn)對(duì)應(yīng)的人體部位包括左目、右目、左耳、右耳、鼻，軀干關(guān)鍵點(diǎn)對(duì)應(yīng)的人體部位包括首、左肩、右肩、左肘、左手首、右肘、右手首、左腰、右腰、左膝、右膝、左足首、右足首。

24、按上述方案，所述根據(jù)人體關(guān)鍵點(diǎn)檢測(cè)結(jié)果確定乘員位置的方法包括：

25、根據(jù)某乘員的臉部關(guān)鍵點(diǎn)的姿態(tài)及臉部關(guān)鍵點(diǎn)構(gòu)成的矩形框，判斷該乘員是否坐穩(wěn)，是則進(jìn)行后續(xù)步驟，否則循環(huán)進(jìn)行本步驟；

26、根據(jù)該乘員的軀干關(guān)鍵點(diǎn)中的左肩、右肩、左腰、右腰，獲取該乘員的上半身區(qū)域矩形框；

27、將各座位的上半身標(biāo)定矩形框與該乘員的上半身區(qū)域矩形框進(jìn)行iou大小排序；各座位的上半身標(biāo)定矩形框通過(guò)預(yù)先標(biāo)定得到；

28、將iou最大值對(duì)應(yīng)的座位作為該乘員的乘員位置。

29、按上述方案，所述根據(jù)各座位安全帶佩戴情況判斷是否報(bào)警的方法包括：

30、連續(xù)統(tǒng)計(jì)第一時(shí)長(zhǎng)內(nèi)座艙內(nèi)視頻流的每幀對(duì)應(yīng)的各座位安全帶佩戴情況；

31、當(dāng)?shù)谝粫r(shí)長(zhǎng)內(nèi)，若超過(guò)第一百分比的幀檢測(cè)到的乘員位置為同一座位，且超過(guò)第二百分比的幀檢測(cè)到某乘員位置未佩戴安全帶，則報(bào)警。

32、本發(fā)明還提供一種基于級(jí)聯(lián)模型的乘員安全帶報(bào)警系統(tǒng)，包括：

33、攝像頭，用于獲取座艙內(nèi)視頻流；

34、安全帶佩戴檢測(cè)模塊，用于根據(jù)座艙內(nèi)視頻流，執(zhí)行上文所述的基于級(jí)聯(lián)模型的乘員安全帶報(bào)警方法，判斷是否報(bào)警；

35、報(bào)警模塊，用于進(jìn)行報(bào)警。

36、實(shí)施本發(fā)明基于級(jí)聯(lián)模型的乘員安全帶報(bào)警方法及系統(tǒng)，具有如下有益效果：

37、1、本發(fā)明采用視覺(jué)算法對(duì)乘員是否佩戴安全帶進(jìn)行檢測(cè)，代替了現(xiàn)有檢測(cè)方案中采用的壓力傳感器和卡扣傳感器，降低了硬件成本。采用級(jí)聯(lián)模型，減少了多乘員時(shí)帶來(lái)的模型算力消耗和cpu占用，同時(shí)減小級(jí)聯(lián)模型輸入大小，降低模型推理耗時(shí)。

38、2、本發(fā)明提供了一種改進(jìn)的lcnet模型作為安全帶識(shí)別模型，相較于改進(jìn)前的lcnet模型，該模型能夠更好的應(yīng)對(duì)各類(lèi)光照條件，減小了模型參數(shù)，提高了模型的魯棒性，并且增加了安全帶識(shí)別的準(zhǔn)確率和召回率。

39、3、本發(fā)明報(bào)警邏輯中，通過(guò)對(duì)連續(xù)幀中各座位安全帶佩戴情況進(jìn)行綜合判斷，避免了對(duì)每幀結(jié)果進(jìn)行單獨(dú)判斷，減小了誤判率，提高了報(bào)警的準(zhǔn)確性和穩(wěn)定性。