本技術(shù)涉及圖像處理,具體而言,涉及一種目標(biāo)檢測(cè)方法、裝置、存儲(chǔ)介質(zhì)及設(shè)備。
背景技術(shù):
1、目前,基于攝像頭2d圖像進(jìn)行車載路況感知的技術(shù)被廣泛應(yīng)用于城市noa(navigate?on?autopilot,導(dǎo)航輔助自動(dòng)駕駛)中,而準(zhǔn)確、有效地感知遠(yuǎn)處與近處動(dòng)靜態(tài)目標(biāo),成為提升智駕表現(xiàn)的主要指標(biāo)之一?,F(xiàn)有的基于單目視覺的目標(biāo)檢測(cè)方案主要是先通過一個(gè)大參數(shù)量的神經(jīng)網(wǎng)絡(luò)模型對(duì)輸入的圖像進(jìn)行初步檢測(cè),根據(jù)初步檢測(cè)結(jié)果對(duì)圖像進(jìn)行區(qū)域摳圖后再送入另一個(gè)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行精細(xì)化檢測(cè),以獲得遠(yuǎn)處目標(biāo)信息和近處目標(biāo)信息。然而,當(dāng)初步檢測(cè)結(jié)果中具有較多目標(biāo)物時(shí),摳圖和后續(xù)檢測(cè)的耗時(shí)將會(huì)變長,往往無法滿足實(shí)時(shí)性需求,而且對(duì)實(shí)際車載配置的芯片算力需求較高。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)的目的在于提供一種目標(biāo)檢測(cè)方法、裝置、存儲(chǔ)介質(zhì)及設(shè)備,旨在解決相關(guān)技術(shù)中基于單目視覺的目標(biāo)檢測(cè)方式存在的難以滿足實(shí)時(shí)性需求,而且對(duì)芯片算力需求較高的問題。
2、第一方面,本技術(shù)提供的一種目標(biāo)檢測(cè)方法,包括:通過第一目標(biāo)檢測(cè)模型對(duì)基于車載攝像頭采集到的目標(biāo)圖像序列中的第一幀圖像進(jìn)行處理,得到初步檢測(cè)信息;所述初步檢測(cè)信息包括所述第一幀圖像中的所有目標(biāo)的區(qū)域位置信息;根據(jù)所述初步檢測(cè)信息獲取遠(yuǎn)處目標(biāo)區(qū)域,將所述遠(yuǎn)處目標(biāo)區(qū)域劃分為多個(gè)類別,并將所述多個(gè)類別分配給所述目標(biāo)圖像序列中的其余圖像,從所述其余圖像中裁剪出與所分配的類別相對(duì)應(yīng)的遠(yuǎn)處目標(biāo)區(qū)域圖,并根據(jù)所述目標(biāo)圖像序列的時(shí)間線在所述其余圖像中選取一幀圖像,從選取的圖像中裁剪出近處目標(biāo)區(qū)域圖;對(duì)所述遠(yuǎn)處目標(biāo)區(qū)域圖和所述近處目標(biāo)區(qū)域圖進(jìn)行目標(biāo)檢測(cè),得到遠(yuǎn)處目標(biāo)信息和近處目標(biāo)信息;所述遠(yuǎn)處目標(biāo)信息包括所述目標(biāo)圖像序列中的遠(yuǎn)處目標(biāo)的位姿信息;所述近處目標(biāo)信息包括所述目標(biāo)圖像序列中的近處目標(biāo)的位姿信息。
3、在上述實(shí)現(xiàn)過程中,以目標(biāo)圖像序列為一個(gè)檢測(cè)周期,通過第一目標(biāo)檢測(cè)模型對(duì)該目標(biāo)圖像序列中的第一幀圖像進(jìn)行初步檢測(cè),識(shí)別出所有目標(biāo)在圖像上的區(qū)域位置,之后,將遠(yuǎn)處目標(biāo)區(qū)域劃分為多個(gè)類別,將這多個(gè)類別分配給該目標(biāo)圖像序列的其余圖像,以此截取出遠(yuǎn)處目標(biāo)區(qū)域圖,進(jìn)而對(duì)該遠(yuǎn)處目標(biāo)區(qū)域圖進(jìn)行目標(biāo)檢測(cè),得到遠(yuǎn)處目標(biāo)信息,同時(shí),根據(jù)目標(biāo)圖像序列的時(shí)間線在該其余圖像中選取一幀,從中裁剪出近處目標(biāo)區(qū)域圖,進(jìn)而對(duì)該近處目標(biāo)區(qū)域圖進(jìn)行目標(biāo)檢測(cè),得到近處目標(biāo)信息。如此,在實(shí)現(xiàn)對(duì)遠(yuǎn)近處目標(biāo)的穩(wěn)定檢測(cè)的同時(shí),降低計(jì)算消耗,提升計(jì)算效率,從而滿足實(shí)時(shí)性需求,并且降低對(duì)芯片算力的需求。
4、進(jìn)一步地,在一些例子中,所述目標(biāo)圖像序列的圖像幀數(shù)根據(jù)所述車載攝像頭的感知幀率進(jìn)行設(shè)置。
5、在上述實(shí)現(xiàn)過程中,根據(jù)實(shí)際車載攝像頭的感知幀率對(duì)檢測(cè)周期內(nèi)的圖像幀數(shù)進(jìn)行動(dòng)態(tài)取值,有效避免在某些幀中漏檢目標(biāo)的情況,從而提升目標(biāo)檢測(cè)的準(zhǔn)確性和可靠性。
6、進(jìn)一步地,在一些例子中,所述根據(jù)所述初步檢測(cè)信息獲取遠(yuǎn)處目標(biāo)區(qū)域,將所述遠(yuǎn)處目標(biāo)區(qū)域劃分為多個(gè)類別,包括:根據(jù)所述第一幀圖像中的所有遠(yuǎn)處目標(biāo)的區(qū)域位置信息,對(duì)所述第一幀圖像中的遠(yuǎn)處目標(biāo)區(qū)域進(jìn)行截?。徊捎镁垲愃惴?,對(duì)截取的遠(yuǎn)處目標(biāo)區(qū)域進(jìn)行聚類,得到多個(gè)類別。
7、在上述實(shí)現(xiàn)過程中,基于第一目標(biāo)檢測(cè)模型輸出的遠(yuǎn)處目標(biāo)的區(qū)域位置信息,對(duì)遠(yuǎn)處目標(biāo)區(qū)域進(jìn)行截取,在截取出所有的遠(yuǎn)處目標(biāo)區(qū)域后,使用聚類算法將這些待檢測(cè)的遠(yuǎn)處目標(biāo)劃分成多個(gè)類別,如此,實(shí)現(xiàn)對(duì)遠(yuǎn)處目標(biāo)區(qū)域的檢測(cè)任務(wù)的合理分配,從而有效提升檢測(cè)效率,并降低目標(biāo)檢測(cè)所需的算力需求。
8、進(jìn)一步地,在一些例子中,所述聚類算法為k均值聚類算法;所述k均值聚類算法的k值是所述目標(biāo)圖像序列的圖像幀數(shù)減一后得到的值。
9、在上述實(shí)現(xiàn)過程中,使用k均值聚類算法對(duì)遠(yuǎn)處目標(biāo)區(qū)域進(jìn)行聚類合并,類別的數(shù)量與目標(biāo)圖像序列除第一幀圖像外的剩余圖像幀數(shù)保持一致,使得接下來的圖像執(zhí)行推理的時(shí)候,每一幀都有遠(yuǎn)處目標(biāo)檢測(cè)任務(wù),從而有效提升遠(yuǎn)處目標(biāo)檢測(cè)任務(wù)分配的合理性與可靠性。
10、進(jìn)一步地,在一些例子中,所述初步檢測(cè)信息還包括所述第一幀圖像中的所有目標(biāo)的置信度;所述將所述多個(gè)類別分配給所述目標(biāo)圖像序列中的其余圖像,包括:根據(jù)每個(gè)類別包含的遠(yuǎn)處目標(biāo)的置信度,計(jì)算所述類別的累積置信度;將所述多個(gè)類別按照所述累積置信度進(jìn)行升序排列;根據(jù)所述多個(gè)類別的排列順序,將所述多個(gè)類別依次分配給所述目標(biāo)圖像序列中的其余圖像,以使所述其余圖像中每幀圖像分配到一個(gè)類別。
11、在上述實(shí)現(xiàn)過程中,提供一種分配遠(yuǎn)處目標(biāo)檢測(cè)任務(wù)的具體方式,對(duì)置信度低的遠(yuǎn)處目標(biāo)進(jìn)行優(yōu)先檢測(cè),從而保證了檢測(cè)結(jié)果在整個(gè)時(shí)序上的長期穩(wěn)定性和精確性。
12、進(jìn)一步地,在一些例子中,所述根據(jù)所述目標(biāo)圖像序列的時(shí)間線在所述其余圖像中選取一幀圖像,包括:根據(jù)所述目標(biāo)圖像序列的時(shí)間線,在所述其余圖像確定中間時(shí)刻對(duì)應(yīng)的至少一幀圖像;從所述中間時(shí)刻對(duì)應(yīng)的至少一幀圖像中選取一幀圖像。
13、在上述實(shí)現(xiàn)過程中,從中間時(shí)刻對(duì)應(yīng)的至少一幀圖像中截取近處目標(biāo)區(qū)域圖進(jìn)行近處目標(biāo)檢測(cè),從而在保證近處目標(biāo)的穩(wěn)定檢測(cè)的同時(shí),有效降低計(jì)算消耗,提升檢測(cè)效率。
14、進(jìn)一步地,在一些例子中,所述對(duì)所述遠(yuǎn)處目標(biāo)區(qū)域圖和所述近處目標(biāo)區(qū)域圖進(jìn)行目標(biāo)檢測(cè),得到遠(yuǎn)處目標(biāo)信息和近處目標(biāo)信息,包括:通過第二目標(biāo)檢測(cè)模型對(duì)所述遠(yuǎn)處目標(biāo)區(qū)域圖進(jìn)行目標(biāo)檢測(cè),得到遠(yuǎn)處目標(biāo)信息,并通過第三目標(biāo)檢測(cè)模型對(duì)所述近處目標(biāo)區(qū)域圖進(jìn)行目標(biāo)檢測(cè),得到近處目標(biāo)信息;其中,所述第二目標(biāo)檢測(cè)模型是基于第一訓(xùn)練數(shù)據(jù)集訓(xùn)練得到的;所述第一訓(xùn)練數(shù)據(jù)集包括多個(gè)遠(yuǎn)處目標(biāo)樣本圖像和每個(gè)遠(yuǎn)處目標(biāo)樣本圖像對(duì)應(yīng)的標(biāo)簽;所述遠(yuǎn)處目標(biāo)樣本圖像對(duì)應(yīng)的標(biāo)簽包括所述遠(yuǎn)處目標(biāo)樣本圖像中的遠(yuǎn)處目標(biāo)的指定屬性的真值;所述第三目標(biāo)檢測(cè)模型是基于第二訓(xùn)練數(shù)據(jù)集訓(xùn)練得到的;所述第二訓(xùn)練數(shù)據(jù)集包括多個(gè)近處目標(biāo)樣本圖像和每個(gè)近處目標(biāo)樣本圖像對(duì)應(yīng)的標(biāo)簽;所述近處目標(biāo)樣本圖像對(duì)應(yīng)的標(biāo)簽包括所述近處目標(biāo)樣本圖像中的近處目標(biāo)的指定屬性的真值。
15、在上述實(shí)現(xiàn)過程中,訓(xùn)練兩個(gè)神經(jīng)網(wǎng)絡(luò)模型,分別專用于檢測(cè)遠(yuǎn)處目標(biāo)和近處目標(biāo),從而有效提升感知的準(zhǔn)確性。
16、第二方面,本技術(shù)提供的一種目標(biāo)檢測(cè)裝置,包括:初步檢測(cè)模塊,用于通過第一目標(biāo)檢測(cè)模型對(duì)基于車載攝像頭采集到的目標(biāo)圖像序列中的第一幀圖像進(jìn)行處理,得到初步檢測(cè)信息;所述初步檢測(cè)信息包括所述第一幀圖像中的所有目標(biāo)的區(qū)域位置信息;區(qū)域裁剪模塊,用于根據(jù)所述初步檢測(cè)信息獲取遠(yuǎn)處目標(biāo)區(qū)域,將所述遠(yuǎn)處目標(biāo)區(qū)域劃分為多個(gè)類別,并將所述多個(gè)類別分配給所述目標(biāo)圖像序列中的其余圖像,從所述其余圖像中裁剪出與所分配的類別相對(duì)應(yīng)的遠(yuǎn)處目標(biāo)區(qū)域圖,并根據(jù)所述目標(biāo)圖像序列的時(shí)間線在所述其余圖像中選取一幀圖像,從選取的圖像中裁剪出近處目標(biāo)區(qū)域圖;目標(biāo)檢測(cè)模塊,用于對(duì)所述遠(yuǎn)處目標(biāo)區(qū)域圖和所述近處目標(biāo)區(qū)域圖進(jìn)行目標(biāo)檢測(cè),得到遠(yuǎn)處目標(biāo)信息和近處目標(biāo)信息;所述遠(yuǎn)處目標(biāo)信息包括所述目標(biāo)圖像序列中的遠(yuǎn)處目標(biāo)的位姿信息;所述近處目標(biāo)信息包括所述目標(biāo)圖像序列中的近處目標(biāo)的位姿信息。
17、第三方面,本技術(shù)提供的一種電子設(shè)備,包括:存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如第一方面任一項(xiàng)所述的方法的步驟。
18、第四方面,本技術(shù)提供的一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有指令,當(dāng)所述指令在計(jì)算機(jī)上運(yùn)行時(shí),使得所述計(jì)算機(jī)執(zhí)行如第一方面任一項(xiàng)所述的方法。
19、第五方面,本技術(shù)提供的一種計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序產(chǎn)品在計(jì)算機(jī)上運(yùn)行時(shí),使得計(jì)算機(jī)執(zhí)行如第一方面任一項(xiàng)所述的方法。
20、本技術(shù)公開的其他特征和優(yōu)點(diǎn)將在隨后的說明書中闡述,或者,部分特征和優(yōu)點(diǎn)可以從說明書推知或毫無疑義地確定,或者通過實(shí)施本技術(shù)公開的上述技術(shù)即可得知。
21、為使本技術(shù)的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂,下文特舉較佳實(shí)施例,并配合所附附圖,作詳細(xì)說明如下。