本發(fā)明屬于駕駛員注意力預(yù)測(cè)領(lǐng)域，尤其涉及輔助駕駛員觀察路況，為自動(dòng)駕駛信息獲取提供專家經(jīng)驗(yàn)支撐，具體為一種基于車載前視影像的駕駛員注意力預(yù)測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、近年來(lái)，自動(dòng)駕駛系統(tǒng)、車聯(lián)網(wǎng)等先進(jìn)駕駛輔助系統(tǒng)推進(jìn)了智能汽車的發(fā)展，促進(jìn)駕駛體驗(yàn)向更舒適、更安全與更輕松的方向演化。自動(dòng)駕駛系統(tǒng)是智能汽車重要組成，在私家車、公眾交通與物流運(yùn)輸?shù)榷鄠€(gè)領(lǐng)域有重要的運(yùn)用前景。完全實(shí)現(xiàn)自動(dòng)駕駛，即達(dá)到saej3016《駕駛自動(dòng)化分級(jí)》所定義的第五級(jí)（l5），需要有效識(shí)別外界的刺激信息。因此，學(xué)習(xí)人類在駕駛時(shí)的視覺(jué)注意、聚焦經(jīng)驗(yàn)與信息預(yù)測(cè)與跟蹤，能夠促進(jìn)自動(dòng)駕駛系統(tǒng)對(duì)駕駛場(chǎng)景的理解與信息的獲取。

技術(shù)實(shí)現(xiàn)思路

1、為克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于車載前視影像的駕駛員注意力預(yù)測(cè)方法及系統(tǒng)，通過(guò)車載前視影像提供的數(shù)據(jù)支撐，結(jié)合深度學(xué)習(xí)算法，實(shí)現(xiàn)了駕駛員注意力的有效預(yù)測(cè)。

2、根據(jù)本發(fā)明說(shuō)明書的一方面，提供一種基于車載前視影像的駕駛員注意力預(yù)測(cè)方法，包括：

3、基于獲取的車載前視影像，進(jìn)行視覺(jué)特征與語(yǔ)義特征提?。?/p>

4、基于提取的視覺(jué)特征與語(yǔ)義特征，進(jìn)行視覺(jué)特征與語(yǔ)義特征融合；

5、基于融合后的特征，進(jìn)行時(shí)空序列預(yù)測(cè)與駕駛員注意力生成。

6、作為進(jìn)一步的技術(shù)方案，基于獲取的車載前視影像，進(jìn)行視覺(jué)特征提取，包括：

7、對(duì)車載前視影像進(jìn)行分塊，并對(duì)各分塊進(jìn)行位置編碼；

8、計(jì)算分塊之間的相關(guān)度，并根據(jù)計(jì)算出的相關(guān)度的均值得到視覺(jué)特征。

9、作為進(jìn)一步的技術(shù)方案，基于獲取的車載前視影像，進(jìn)行語(yǔ)義特征提取，包括：

10、對(duì)車載前視影像進(jìn)行交通環(huán)境下的語(yǔ)義分割，得到若干語(yǔ)義圖像；

11、將若干所述語(yǔ)義圖轉(zhuǎn)換為若干語(yǔ)義節(jié)點(diǎn)；

12、對(duì)若干所述語(yǔ)義節(jié)點(diǎn)進(jìn)行編碼并轉(zhuǎn)換為語(yǔ)義節(jié)點(diǎn)鄰接矩陣，所述語(yǔ)義節(jié)點(diǎn)鄰接矩陣與語(yǔ)義節(jié)點(diǎn)構(gòu)成語(yǔ)義圖；

13、對(duì)所述語(yǔ)義圖進(jìn)行編碼，得到語(yǔ)義特征。

14、作為進(jìn)一步的技術(shù)方案，基于提取的視覺(jué)特征與語(yǔ)義特征，進(jìn)行視覺(jué)特征與語(yǔ)義特征融合，包括：

15、對(duì)提取的視覺(jué)特征與語(yǔ)義特征進(jìn)行哈達(dá)瑪積，得到融合特征；

16、利用全連接神經(jīng)網(wǎng)絡(luò)先降維再升維的方式對(duì)所述融合特征進(jìn)行再提取，得到再提取的融合特征；

17、將再提取的融合特征與視覺(jué)特征相加，得到最終的融合特征。

18、作為進(jìn)一步的技術(shù)方案，基于融合后的特征，進(jìn)行時(shí)空序列預(yù)測(cè)與駕駛員注意力生成，包括：

19、基于融合后的特征，采用lstm神經(jīng)網(wǎng)絡(luò)記憶、推理并生成預(yù)測(cè)幀的融合特征；

20、將所述預(yù)測(cè)幀的融合特征解碼為駕駛員注意力，并在神經(jīng)網(wǎng)絡(luò)監(jiān)督下，輸出滿足精度要求的駕駛注意力圖。

21、作為進(jìn)一步的技術(shù)方案，所述方法進(jìn)一步包括：

22、監(jiān)督預(yù)測(cè)幀的融合特征生成駕駛員注意力，并將真實(shí)的駕駛員注意力作為判別器的真值，循環(huán)訓(xùn)練直到駕駛員注意力的生成精度達(dá)到預(yù)設(shè)的精度要求。

23、根據(jù)本發(fā)明說(shuō)明書的一方面，提供一種基于車載前視影像的駕駛員注意力預(yù)測(cè)裝置，包括：

24、特征提取模塊，用于基于獲取的車載前視影像，進(jìn)行視覺(jué)特征與語(yǔ)義特征提??；

25、特征融合模塊，用于基于提取的視覺(jué)特征與語(yǔ)義特征，進(jìn)行視覺(jué)特征與語(yǔ)義特征融合；

26、預(yù)測(cè)及生成模塊，用于基于融合后的特征，進(jìn)行時(shí)空序列預(yù)測(cè)與駕駛員注意力生成。

27、作為進(jìn)一步的技術(shù)方案，所述裝置還包括：監(jiān)督模塊，用于監(jiān)督駕駛員注意力生成，并進(jìn)行循環(huán)訓(xùn)練直到駕駛員注意力的生成精度達(dá)到預(yù)設(shè)要求。

28、根據(jù)本發(fā)明說(shuō)明書的一方面，提供一種電子設(shè)備，包括：至少一個(gè)處理器、至少一個(gè)存儲(chǔ)器和通信接口；其中，所述處理器、存儲(chǔ)器和通信接口相互間進(jìn)行通信；所述存儲(chǔ)器存儲(chǔ)有被所述處理器執(zhí)行的程序指令，所述處理器調(diào)用所述程序指令，以執(zhí)行所述的方法。

29、根據(jù)本發(fā)明說(shuō)明書的一方面，提供一種非暫態(tài)計(jì)算機(jī)讀存儲(chǔ)介質(zhì)，所述非暫態(tài)計(jì)算機(jī)讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)指令，所述計(jì)算機(jī)指令使所述計(jì)算機(jī)執(zhí)行所述的方法。

30、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

31、本發(fā)明針對(duì)駕駛員注意力與交通場(chǎng)景的多變性，提出一種基于車載前視影像的駕駛員注意力預(yù)測(cè)方法，該方法采用深度學(xué)習(xí)框架，通過(guò)車載前視影像提取顏色、紋理等視覺(jué)特征及道路、行人、車輛與交通設(shè)施等語(yǔ)義特征；通過(guò)結(jié)合視覺(jué)特征與語(yǔ)義特征獲得融合特征，映射車載前視影像對(duì)駕駛員注意力的吸引要素；通過(guò)對(duì)多幀的融合特征進(jìn)行記憶、推理，獲得預(yù)測(cè)幀的融合特征，并解碼預(yù)測(cè)幀的融合特征與使用生成對(duì)抗神經(jīng)網(wǎng)絡(luò)監(jiān)督獲得駕駛員注意力。

32、本發(fā)明實(shí)現(xiàn)了快速識(shí)別時(shí)序圖像關(guān)鍵信息，有助于設(shè)計(jì)自動(dòng)駕駛?cè)蝿?wù)、優(yōu)化視覺(jué)場(chǎng)景理解和提供決策知識(shí)。

技術(shù)特征：

1.基于車載前視影像的駕駛員注意力預(yù)測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述基于車載前視影像的駕駛員注意力預(yù)測(cè)方法，其特征在于，基于獲取的車載前視影像，進(jìn)行視覺(jué)特征提取，包括：

3.根據(jù)權(quán)利要求1所述基于車載前視影像的駕駛員注意力預(yù)測(cè)方法，其特征在于，基于獲取的車載前視影像，進(jìn)行語(yǔ)義特征提取，包括：

4.根據(jù)權(quán)利要求1所述基于車載前視影像的駕駛員注意力預(yù)測(cè)方法，其特征在于，基于提取的視覺(jué)特征與語(yǔ)義特征，進(jìn)行視覺(jué)特征與語(yǔ)義特征融合，包括：

5.根據(jù)權(quán)利要求1所述基于車載前視影像的駕駛員注意力預(yù)測(cè)方法，其特征在于，基于融合后的特征，進(jìn)行時(shí)空序列預(yù)測(cè)與駕駛員注意力生成，包括：

6.根據(jù)權(quán)利要求5所述基于車載前視影像的駕駛員注意力預(yù)測(cè)方法，其特征在于，所述方法進(jìn)一步包括：

7.基于車載前視影像的駕駛員注意力預(yù)測(cè)裝置，其特征在于，包括：

8.根據(jù)權(quán)利要求7所述基于車載前視影像的駕駛員注意力預(yù)測(cè)裝置，其特征在于，所述裝置還包括：監(jiān)督模塊，用于監(jiān)督駕駛員注意力生成，并進(jìn)行循環(huán)訓(xùn)練直到駕駛員注意力的生成精度達(dá)到預(yù)設(shè)要求。

9.一種電子設(shè)備，其特征在于，包括：至少一個(gè)處理器、至少一個(gè)存儲(chǔ)器和通信接口；其中，所述處理器、存儲(chǔ)器和通信接口相互間進(jìn)行通信；所述存儲(chǔ)器存儲(chǔ)有被所述處理器執(zhí)行的程序指令，所述處理器調(diào)用所述程序指令，以執(zhí)行權(quán)利要求1至6任一項(xiàng)權(quán)利要求所述的方法。

10.一種非暫態(tài)計(jì)算機(jī)讀存儲(chǔ)介質(zhì)，其特征在于，所述非暫態(tài)計(jì)算機(jī)讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)指令，所述計(jì)算機(jī)指令使所述計(jì)算機(jī)執(zhí)行權(quán)利要求1至6中任一項(xiàng)權(quán)利要求所述的方法。

技術(shù)總結(jié)
本發(fā)明公開一種基于車載前視影像的駕駛員注意力預(yù)測(cè)方法及系統(tǒng)，方法包括：提取車載前視影像的顏色、紋理等視覺(jué)特征；提取車載前視影像的語(yǔ)義特征，包括道路、行人、車輛與交通設(shè)施等；結(jié)合視覺(jué)特征與語(yǔ)義特征獲得融合特征，映射車載前視影像對(duì)駕駛員注意力的吸引要素；對(duì)多幀的融合特征進(jìn)行記憶、推理，獲得預(yù)測(cè)幀的融合特征，并解碼預(yù)測(cè)幀的融合特征與使用生成對(duì)抗神經(jīng)網(wǎng)絡(luò)監(jiān)督獲得駕駛員注意力。本發(fā)明實(shí)現(xiàn)快速識(shí)別時(shí)序圖像關(guān)鍵信息，有助于設(shè)計(jì)自動(dòng)駕駛?cè)蝿?wù)、優(yōu)化視覺(jué)場(chǎng)景理解和提供決策知識(shí)。

技術(shù)研發(fā)人員：應(yīng)申,楊皓然,蘇俊如,何山,曾卓源
受保護(hù)的技術(shù)使用者：武漢大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9