本發(fā)明涉及圖像數(shù)據(jù)處理領(lǐng)域，尤其涉及一種ar消防頭盔圖像識別顯示方法及系統(tǒng)。

背景技術(shù)：

1、火災(zāi)現(xiàn)場的環(huán)境情況復(fù)雜，濃煙和高溫等惡劣環(huán)境條件增加消防人員的救援難度。具體而言，為了保護消防人員在火災(zāi)現(xiàn)場的人身安全，消防人員會穿戴防護服和防護頭盔。為了改善消防人員在火災(zāi)現(xiàn)場的觀看視野范圍的清晰度，現(xiàn)有的防護頭盔會配置具有ar顯示功能的護目鏡，護目鏡能夠拍攝火災(zāi)現(xiàn)場的真實場景圖像并對其加工處理，從而向消防人員提供具有動態(tài)指示和引導(dǎo)信息的虛擬場景圖像。消防人員只需要觀看來自護目鏡的虛擬場景圖像，能夠獲得實時的救援和行走指引信息，準確避開火災(zāi)現(xiàn)場的障礙物和快速尋找定位到救援對象。

2、但是火災(zāi)現(xiàn)場濃煙擴散范圍大以及高溫條件會導(dǎo)致真實場景圖像發(fā)生拍攝形變失真，使得生成的虛擬場景圖像存在畫面能見度低下和畫面物體嚴重扭曲變形等問題，降低護目鏡生成的虛擬場景圖像的全局可視性和精確性。可見如何根據(jù)火災(zāi)現(xiàn)場的環(huán)境條件，利用可見光和紅外光拍攝技術(shù)對火災(zāi)現(xiàn)場進行分區(qū)拍攝和圖像數(shù)據(jù)加工處理，以及利用紅外光圖像對可見光圖像的畫面模糊區(qū)域進行局部定向修正，對提高ar消防頭盔的圖像顯示清晰性和準確性具有十分重要的意義。

技術(shù)實現(xiàn)思路

1、為了降低火災(zāi)現(xiàn)場的濃煙和高溫等環(huán)境因素對真實場景可見光圖像的畫面質(zhì)量影響，識別真實場景內(nèi)可見光成像無效的空間區(qū)域，并對可見光成像無效的空間區(qū)域進行紅外光成像，借此消除濃煙和高溫等環(huán)境因素產(chǎn)生的可見光成像干擾；再利用紅外光圖像對可見光圖像進行局部畫面修正，實現(xiàn)ar消防頭盔對火災(zāi)現(xiàn)場的清晰準確虛擬圖像顯示和導(dǎo)航。本發(fā)明提供了一種ar消防頭盔圖像識別顯示方法，所述方法包括以下步驟：

2、采集ar消防頭盔所在真實場景的環(huán)境狀態(tài)數(shù)據(jù)，對所述環(huán)境狀態(tài)數(shù)據(jù)進行空域分析，得到所述真實場景的可見光成像干擾特征；基于所述可見光成像干擾特征，確定所述真實場景的可見光無效成像區(qū)域分布地圖；

3、獲取所述真實場景的可見光圖像，基于所述可見光無效成像區(qū)域分布地圖，確定所述可見光圖像的所有不可信畫面區(qū)域；基于所述不可信畫面區(qū)域，確定所述真實場景的紅外光拍攝導(dǎo)航信息；

4、基于所述紅外光拍攝導(dǎo)航信息，獲取所述真實場景內(nèi)相應(yīng)的空間范圍的紅外光圖像；對所述紅外光圖像進行識別，得到所述空間范圍的物體狀態(tài)信息；基于所述物體狀態(tài)信息，生成所述空間范圍對應(yīng)的物體形態(tài)圖像；

5、基于所述不可信畫面區(qū)域在所述可見光圖像的位置信息，融合所述可見光圖像和所述物體形態(tài)圖像，生成所述真實場景的全局導(dǎo)航地圖；基于所述ar消防頭盔的佩戴者的運動特征，調(diào)整所述全局導(dǎo)航地圖的顯示狀態(tài)。

6、優(yōu)選地，所述采集ar消防頭盔所在真實場景的環(huán)境狀態(tài)數(shù)據(jù)，對所述環(huán)境狀態(tài)數(shù)據(jù)進行空域分析，得到所述真實場景的可見光成像干擾特征；基于所述可見光成像干擾特征，確定所述真實場景的可見光無效成像區(qū)域分布地圖，具體為：

7、對ar消防頭盔所在真實場景進行空氣環(huán)境微粒和溫度檢測，得到所述真實場景的空氣環(huán)境微粒濃度數(shù)據(jù)和空氣環(huán)境溫度數(shù)據(jù)；對所述空氣環(huán)境微粒濃度數(shù)據(jù)和所述空氣環(huán)境溫度數(shù)據(jù)進行關(guān)于所述真實場景的三維空間空域分析，得到所述真實場景空氣環(huán)境的可見光透射率空間衰減特征和折射率空間變化梯度特征，以此作為所述可見光成像干擾特征；

8、基于所述可見光透射率空間衰減特征和所述折射率空間變化梯度特征，對所述真實場景進行可見光成像質(zhì)量參數(shù)分析，得到所述真實場景的可見光成像畫面的對比度與分辨率信息；基于所述對比度與分辨率信息，定位所述真實場景的所有可見光無效成像區(qū)域，從而生成所述真實場景的可見光無效成像區(qū)域分布地圖；其中，所述可見光無效成像區(qū)域分布地圖表征所述真實場景的所有可見光無效成像區(qū)域的空間分布位置

9、優(yōu)選地，所述獲取所述真實場景的可見光圖像，基于所述可見光無效成像區(qū)域分布地圖，確定所述可見光圖像的所有不可信畫面區(qū)域；基于所述不可信畫面區(qū)域，確定所述真實場景的紅外光拍攝導(dǎo)航信息，具體為：

10、對所述真實場景進行雙目可見光拍攝，得到所述真實場景的可見光雙目圖像；基于所述可見光雙目圖像的雙目視差，生成所述真實場景的可見光三維圖像；將所述可見光無效成像區(qū)域分布地圖映射到所述可見光三維圖像所在空間坐標系，確定所述可見光無效成像區(qū)域分布地圖表征的所有可見光無效成像區(qū)域各自在所述可見光三維圖像的映射畫面區(qū)域，從而確定所述可見光三維圖像的所有不可信畫面區(qū)域；

11、基于所述可見光三維圖像與所述真實場景之間的空間坐標變換關(guān)系，確定所有不可信畫面區(qū)域各自在所述真實場景的映射空間區(qū)域；基于所述映射空間區(qū)域的邊界位置，確定對所述真實場景內(nèi)所有映射空間區(qū)域進行紅外光拍攝的導(dǎo)航信息；其中，所述導(dǎo)航信息包括所述ar消防頭盔的紅外光攝像頭拍攝所述映射空間區(qū)域過程中的拍攝方位角改變導(dǎo)航信息。

12、優(yōu)選地，所述基于所述紅外光拍攝導(dǎo)航信息，獲取所述真實場景內(nèi)相應(yīng)的空間范圍的紅外光圖像；對所述紅外光圖像進行識別，得到所述空間范圍的物體狀態(tài)信息；基于所述物體狀態(tài)信息，生成所述空間范圍對應(yīng)的物體形態(tài)圖像，具體為：

13、基于所述紅外光拍攝導(dǎo)航信息，控制所述ar消防頭盔的紅外光攝像頭的拍攝方位角，對所述真實場景內(nèi)相應(yīng)的空間范圍拍攝，得到所述空間范圍的紅外光圖像；對所述紅外光圖像進行像素輪廓識別，得到所述空間范圍的真實物體外表面輪廓分布位置信息，以此作為所述空間范圍的物體狀態(tài)信息；

14、基于所述真實物體外表面輪廓分布位置信息，對所述紅外光圖像進行真實物體外表面輪廓像素銳化處理和背景環(huán)境虛化處理，生成所述空間范圍對應(yīng)的物體形態(tài)圖像。

15、優(yōu)選地，所述基于所述不可信畫面區(qū)域在所述可見光圖像的位置信息，融合所述可見光圖像和所述物體形態(tài)圖像，生成所述真實場景的全局導(dǎo)航地圖；基于所述ar消防頭盔的佩戴者的運動特征，調(diào)整所述全局導(dǎo)航地圖的顯示狀態(tài)，具體為：

16、基于所述不可信畫面區(qū)域在所述可見光圖像全局畫面中的區(qū)域邊界信息，確定所述不可信畫面區(qū)域在所述可見光圖像的位置信息；基于所述位置信息，將所述物體形態(tài)圖像定向融合至所述可見光圖像內(nèi)對應(yīng)的畫面區(qū)域；對所述可見光圖像內(nèi)所有融合物體形態(tài)圖像的畫面區(qū)域進行分辨率調(diào)整處理，生成所述真實場景的全局導(dǎo)航地圖；

17、采集所述ar消防頭盔的佩戴者的頭部動作姿態(tài)數(shù)據(jù)和運動速度數(shù)據(jù)；基于所述頭部動作姿態(tài)數(shù)據(jù)，確定所述佩戴者的視野方位角變化信息；基于所述運動速度數(shù)據(jù)，確定所述佩戴者在所述真實場景的平均運動速度信息；

18、基于所述視野方位角變化信息，調(diào)整所述全局導(dǎo)航地圖在所述ar消防頭盔的虛擬顯示空間的顯示方位角；基于所述平均運動速度信息，調(diào)整所述全局導(dǎo)航地圖中虛擬引導(dǎo)圖形的動態(tài)顯示刷新頻率。

19、另一方面，本發(fā)明提供了一種ar消防頭盔圖像識別顯示系統(tǒng)，所述系統(tǒng)包括以下模塊：

20、環(huán)境狀態(tài)檢測與分析模塊，用于采集ar消防頭盔所在真實場景的環(huán)境狀態(tài)數(shù)據(jù)，對所述環(huán)境狀態(tài)數(shù)據(jù)進行空域分析，得到所述真實場景的可見光成像干擾特征；

21、可見光無效成像區(qū)域確定模塊，用于基于所述可見光成像干擾特征，確定所述真實場景的可見光無效成像區(qū)域分布地圖；

22、不可信畫面區(qū)域確定模塊，用于獲取所述真實場景的可見光圖像，基于所述可見光無效成像區(qū)域分布地圖，確定所述可見光圖像的所有不可信畫面區(qū)域；

23、紅外光拍攝導(dǎo)航信息確定模塊，用于基于所述不可信畫面區(qū)域，確定所述真實場景的紅外光拍攝導(dǎo)航信息；

24、紅外光拍攝與識別模塊，用于基于所述紅外光拍攝導(dǎo)航信息，獲取所述真實場景內(nèi)相應(yīng)的空間范圍的紅外光圖像；對所述紅外光圖像進行識別，得到所述空間范圍的物體狀態(tài)信息；

25、物體形態(tài)圖像生成模塊，用于基于所述物體狀態(tài)信息，生成所述空間范圍對應(yīng)的物體形態(tài)圖像；

26、全局導(dǎo)航地圖生成模塊，用于基于所述不可信畫面區(qū)域在所述可見光圖像的位置信息，融合所述可見光圖像和所述物體形態(tài)圖像，生成所述真實場景的全局導(dǎo)航地圖；

27、導(dǎo)航地圖顯示調(diào)整模塊，用于基于所述ar消防頭盔的佩戴者的運動特征，調(diào)整所述全局導(dǎo)航地圖的顯示狀態(tài)。

28、優(yōu)選地，所述環(huán)境狀態(tài)檢測與分析模塊采集ar消防頭盔所在真實場景的環(huán)境狀態(tài)數(shù)據(jù)，對所述環(huán)境狀態(tài)數(shù)據(jù)進行空域分析，得到所述真實場景的可見光成像干擾特征，具體為：

29、對ar消防頭盔所在真實場景進行空氣環(huán)境微粒和溫度檢測，得到所述真實場景的空氣環(huán)境微粒濃度數(shù)據(jù)和空氣環(huán)境溫度數(shù)據(jù)；對所述空氣環(huán)境微粒濃度數(shù)據(jù)和所述空氣環(huán)境溫度數(shù)據(jù)進行關(guān)于所述真實場景的三維空間空域分析，得到所述真實場景空氣環(huán)境的可見光透射率空間衰減特征和折射率空間變化梯度特征，以此作為所述可見光成像干擾特征；

30、所述可見光無效成像區(qū)域確定模塊基于所述可見光成像干擾特征，確定所述真實場景的可見光無效成像區(qū)域分布地圖，具體為：

31、基于所述可見光透射率空間衰減特征和所述折射率空間變化梯度特征，對所述真實場景進行可見光成像質(zhì)量參數(shù)分析，得到所述真實場景的可見光成像畫面的對比度與分辨率信息；基于所述對比度與分辨率信息，定位所述真實場景的所有可見光無效成像區(qū)域，從而生成所述真實場景的可見光無效成像區(qū)域分布地圖；其中，所述可見光無效成像區(qū)域分布地圖表征所述真實場景的所有可見光無效成像區(qū)域的空間分布位置。

32、優(yōu)選地，所述不可信畫面區(qū)域確定模塊獲取所述真實場景的可見光圖像，基于所述可見光無效成像區(qū)域分布地圖，確定所述可見光圖像的所有不可信畫面區(qū)域，具體為：

33、對所述真實場景進行雙目可見光拍攝，得到所述真實場景的可見光雙目圖像；基于所述可見光雙目圖像的雙目視差，生成所述真實場景的可見光三維圖像；將所述可見光無效成像區(qū)域分布地圖映射到所述可見光三維圖像所在空間坐標系，確定所述可見光無效成像區(qū)域分布地圖表征的所有可見光無效成像區(qū)域各自在所述可見光三維圖像的映射畫面區(qū)域，從而確定所述可見光三維圖像的所有不可信畫面區(qū)域；

34、所述紅外光拍攝導(dǎo)航信息確定模塊基于所述不可信畫面區(qū)域，確定所述真實場景的紅外光拍攝導(dǎo)航信息，具體為：

35、基于所述可見光三維圖像與所述真實場景之間的空間坐標變換關(guān)系，確定所有不可信畫面區(qū)域各自在所述真實場景的映射空間區(qū)域；基于所述映射空間區(qū)域的邊界位置，確定對所述真實場景內(nèi)所有映射空間區(qū)域進行紅外光拍攝的導(dǎo)航信息；其中，所述導(dǎo)航信息包括所述ar消防頭盔的紅外光攝像頭拍攝所述映射空間區(qū)域過程中的拍攝方位角改變導(dǎo)航信息。

36、優(yōu)選地，所述紅外光拍攝與識別模塊基于所述紅外光拍攝導(dǎo)航信息，獲取所述真實場景內(nèi)相應(yīng)的空間范圍的紅外光圖像；對所述紅外光圖像進行識別，得到所述空間范圍的物體狀態(tài)信息，具體為：

37、基于所述紅外光拍攝導(dǎo)航信息，控制所述ar消防頭盔的紅外光攝像頭的拍攝方位角，對所述真實場景內(nèi)相應(yīng)的空間范圍拍攝，得到所述空間范圍的紅外光圖像；對所述紅外光圖像進行像素輪廓識別，得到所述空間范圍的真實物體外表面輪廓分布位置信息，以此作為所述空間范圍的物體狀態(tài)信息；

38、所述物體形態(tài)圖像生成模塊基于所述物體狀態(tài)信息，生成所述空間范圍對應(yīng)的物體形態(tài)圖像，具體為：

39、基于所述真實物體外表面輪廓分布位置信息，對所述紅外光圖像進行真實物體外表面輪廓像素銳化處理和背景環(huán)境虛化處理，生成所述空間范圍對應(yīng)的物體形態(tài)圖像。

40、優(yōu)選地，所述全局導(dǎo)航地圖生成模塊基于所述不可信畫面區(qū)域在所述可見光圖像的位置信息，融合所述可見光圖像和所述物體形態(tài)圖像，生成所述真實場景的全局導(dǎo)航地圖，具體為：

41、基于所述不可信畫面區(qū)域在所述可見光圖像全局畫面中的區(qū)域邊界信息，確定所述不可信畫面區(qū)域在所述可見光圖像的位置信息；基于所述位置信息，將所述物體形態(tài)圖像定向融合至所述可見光圖像內(nèi)對應(yīng)的畫面區(qū)域；對所述可見光圖像內(nèi)所有融合物體形態(tài)圖像的畫面區(qū)域進行分辨率調(diào)整處理，生成所述真實場景的全局導(dǎo)航地圖；

42、所述導(dǎo)航地圖顯示調(diào)整模塊基于所述ar消防頭盔的佩戴者的運動特征，調(diào)整所述全局導(dǎo)航地圖的顯示狀態(tài)，具體為：

43、采集所述ar消防頭盔的佩戴者的頭部動作姿態(tài)數(shù)據(jù)和運動速度數(shù)據(jù)；基于所述頭部動作姿態(tài)數(shù)據(jù)，確定所述佩戴者的視野方位角變化信息；基于所述運動速度數(shù)據(jù)，確定所述佩戴者在所述真實場景的平均運動速度信息；

44、基于所述視野方位角變化信息，調(diào)整所述全局導(dǎo)航地圖在所述ar消防頭盔的虛擬顯示空間的顯示方位角；基于所述平均運動速度信息，調(diào)整所述全局導(dǎo)航地圖中虛擬引導(dǎo)圖形的動態(tài)顯示刷新頻率。

45、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

46、采集ar消防頭盔所在真實場景的環(huán)境狀態(tài)數(shù)據(jù)，對環(huán)境狀態(tài)數(shù)據(jù)進行空域分析，得到真實場景的可見光成像干擾特征；基于可見光成像干擾特征，確定真實場景的可見光無效成像區(qū)域分布地圖。ar消防頭盔是供消防人員在火災(zāi)現(xiàn)場救援過程中佩戴，ar消防頭盔自帶可見光攝像頭會對火災(zāi)現(xiàn)場的真實場景進行拍攝，得到真實場景圖像并進行ar轉(zhuǎn)換，從而為消防人員提供關(guān)于火災(zāi)現(xiàn)場的虛擬場景圖像?？紤]到火災(zāi)現(xiàn)場內(nèi)部的環(huán)境復(fù)雜性，比如火災(zāi)現(xiàn)場彌漫的煙霧會遮擋可見光導(dǎo)致攝像頭無法清晰拍攝到相應(yīng)區(qū)域的圖像，還有火災(zāi)現(xiàn)場的高溫環(huán)境會使空氣折射率不均，導(dǎo)致拍攝的真實場景圖像發(fā)生畫面扭曲失真的情況，這樣火災(zāi)現(xiàn)場中被煙霧遮擋和高溫形成的空氣折射率不均區(qū)域成為可見光攝像頭無法清晰準確拍攝其中物體分布情況的區(qū)域（即可見光無效成像區(qū)域），而火災(zāi)現(xiàn)場中未被煙霧遮擋和空氣折射率均勻區(qū)域則能夠被可見光攝像頭清晰準確其中物體分布情況的區(qū)域（即可見光有效成像區(qū)域）。為了準確定位真實場景內(nèi)的可見光無效成像區(qū)域分布情況，根據(jù)火災(zāi)現(xiàn)場的煙霧和高溫等環(huán)境因素，對煙霧和高溫等環(huán)境因素產(chǎn)生的可見光成像干擾進行分區(qū)識別，準確限定火災(zāi)現(xiàn)場中需要額外進行紅外光拍攝的空間范圍。

47、獲取真實場景的可見光圖像，基于可見光無效成像區(qū)域分布地圖，確定可見光圖像的所有不可信畫面區(qū)域；基于不可信畫面區(qū)域，確定真實場景的紅外光拍攝導(dǎo)航信息。通常而言，ar消防頭盔的虛擬圖像顯示導(dǎo)航是以可見光攝像頭拍攝到火災(zāi)現(xiàn)場的可見光圖像為基礎(chǔ)實現(xiàn)，根據(jù)上述分析可知，受火災(zāi)現(xiàn)場內(nèi)煙霧和高溫等環(huán)境因素影響，拍攝到火災(zāi)現(xiàn)場的可見光圖像的局部畫面存在模糊不清或扭曲失真等缺陷，為了對可見光圖像內(nèi)相應(yīng)的局部畫面準確進行紅外光圖像融合修正，需要先獲取可見光圖像內(nèi)相應(yīng)的局部畫面在火災(zāi)現(xiàn)場的真實場景對應(yīng)的空間區(qū)域。為此將真實場景的可見光圖像與前述確定的可見光無效成像區(qū)域分布地圖進行對比，確定可見光圖像內(nèi)的所有不可信畫面區(qū)域（即可見光圖像內(nèi)模糊不清或扭曲失真的畫面區(qū)域）。再基于不可信畫面區(qū)域在真實場景的空間范圍，確定真實場景的紅外光拍攝導(dǎo)航信息，這樣ar消防頭盔的紅外光攝像頭只需要根據(jù)紅外光拍攝導(dǎo)航信息即可對真實場景內(nèi)的部分空間范圍進行紅外拍攝，而不需要對真實場景進行全局拍攝，有效降低紅外光攝像頭的拍攝控制難度和后續(xù)圖像數(shù)據(jù)處理工作量。

48、基于紅外光拍攝導(dǎo)航信息，獲取真實場景內(nèi)相應(yīng)的空間范圍的紅外光圖像；對紅外光圖像進行識別，得到空間范圍的物體狀態(tài)信息；基于物體狀態(tài)信息，生成空間范圍對應(yīng)的物體形態(tài)圖像。紅外光拍攝不受火災(zāi)現(xiàn)場的煙霧遮擋和高溫等環(huán)境因素的干擾影響，能夠?qū)梢姽鉄o法清晰拍攝的空間范圍進行輔助補充拍攝。根據(jù)紅外光拍攝導(dǎo)航信息，控制ar消防頭盔的紅外光攝像頭對火災(zāi)現(xiàn)場內(nèi)一些空間范圍拍攝，并對這些空間范圍的紅外光圖像進行識別，得到這些空間范圍的物體狀態(tài)信息，以此彌補上述可見光拍攝的拍攝不足缺陷。再基于物體狀態(tài)信息，生成空這些空間范圍對應(yīng)的物體形態(tài)圖像，這樣物體形態(tài)圖像全面反映這些空間范圍內(nèi)的物體存在位置等信息。

49、基于不可信畫面區(qū)域在可見光圖像的位置信息，融合可見光圖像和物體形態(tài)圖像，生成真實場景的全局導(dǎo)航地圖；基于ar消防頭盔的佩戴者的運動特征，調(diào)整全局導(dǎo)航地圖的顯示狀態(tài)。可見光圖像內(nèi)的不可信畫面區(qū)域是需要借助紅外光拍攝技術(shù)進行修正的畫面區(qū)域，為了對不可信畫面區(qū)域完整精確融合修正，以不可信畫面區(qū)域在可見光圖像的位置信息為基準，融合可見光圖像和物體形態(tài)圖像，生成真實場景的全局導(dǎo)航地圖，對真實場景進行全局化圖像導(dǎo)航表征，并通過ar消防頭盔將全局導(dǎo)航地圖轉(zhuǎn)換為虛擬圖像數(shù)據(jù)流并進行顯示，從而為消防人員提供全局的虛擬圖像導(dǎo)航指引信息。還基于佩戴ar消防頭盔的消防人員的頭部動作特征和身體運動速度特征，調(diào)整全局導(dǎo)航地圖在虛擬顯示空間的顯示方位角和全局導(dǎo)航地圖中虛擬引導(dǎo)圖像的動態(tài)顯示狀態(tài)，使得ar消防頭盔能夠與消防人員的運行狀態(tài)匹配，確保消防人員能夠獲取準確可靠的虛擬導(dǎo)航指引，提高消防救援效率。