本發(fā)明涉及煤礦監(jiān)控，尤其涉及一種煤礦井下綜采工作面視覺(jué)圖像信息提取方法及系統(tǒng)。

背景技術(shù)：

1、煤礦井下綜采工作面是煤炭開(kāi)采的主要場(chǎng)所，其特點(diǎn)是空間狹小、環(huán)境惡劣、作業(yè)人員密集，安全風(fēng)險(xiǎn)極高。為了提高開(kāi)采效率、降低安全事故發(fā)生率，近年來(lái)，煤礦行業(yè)大力推廣應(yīng)用綜采工作面技術(shù)。綜采工作面是指采用綜合機(jī)械化采煤方法進(jìn)行開(kāi)采的區(qū)域，其主要設(shè)備包括采煤機(jī)、刮板輸送機(jī)、液壓支架等。綜采工作面通常布置在煤層開(kāi)采的水平巷道中，采煤機(jī)沿煤層走向方向移動(dòng)，切削煤炭，刮板輸送機(jī)將切削下來(lái)的煤炭運(yùn)送到地面，其環(huán)境復(fù)雜多變，存在粉塵、水霧、光照不足等不利因素，給信息的獲取和處理帶來(lái)了極大挑戰(zhàn)。然而，傳統(tǒng)的煤礦井下綜采工作面視覺(jué)圖像信息提取方法受限于井下惡劣的光照條件，難以獲取清晰的圖像信息，導(dǎo)致圖像信息提取的準(zhǔn)確性不足。

技術(shù)實(shí)現(xiàn)思路

1、基于此，本發(fā)明提供一種煤礦井下綜采工作面視覺(jué)圖像信息提取方法及系統(tǒng)，以解決至少一個(gè)上述技術(shù)問(wèn)題。

2、為實(shí)現(xiàn)上述目的，一種煤礦井下綜采工作面視覺(jué)圖像信息提取方法，包括以下步驟：

3、步驟s1：對(duì)目標(biāo)煤礦井進(jìn)行光譜反射率測(cè)量，得到工作面反射特性數(shù)據(jù)；根據(jù)工作面反射特性數(shù)據(jù)進(jìn)行結(jié)構(gòu)光圖案制定，生成幾何結(jié)構(gòu)光圖案數(shù)據(jù)；

4、步驟s2：根據(jù)幾何結(jié)構(gòu)光圖案數(shù)據(jù)進(jìn)行工作面結(jié)構(gòu)光投影處理，生成工作面投影光數(shù)據(jù)；基于工作面投影光數(shù)據(jù)進(jìn)行工作面多視角圖像采集，生成多視角圖像幀數(shù)據(jù)；根據(jù)多視角圖像幀數(shù)據(jù)進(jìn)行三維點(diǎn)云重建處理，生成工作面點(diǎn)云光場(chǎng)模型；

5、步驟s3：基于工作面點(diǎn)云光場(chǎng)模型對(duì)多視角圖像幀數(shù)據(jù)進(jìn)行多視角陰影消除處理，得到無(wú)陰影圖像序列數(shù)據(jù)；根據(jù)無(wú)陰影圖像序列數(shù)據(jù)進(jìn)行體素單元柵格化處理，生成多視角體素柵格數(shù)據(jù)；

6、步驟s4：對(duì)多視角體素柵格數(shù)據(jù)進(jìn)行自適應(yīng)背景抑制處理，生成前景顯著體素特征數(shù)據(jù)；

7、步驟s5：基于前景顯著體素特征數(shù)據(jù)構(gòu)建目標(biāo)圖像語(yǔ)義識(shí)別模型；利用目標(biāo)圖像語(yǔ)義識(shí)別模型對(duì)無(wú)陰影圖像序列數(shù)據(jù)進(jìn)行智能語(yǔ)義實(shí)例識(shí)別，并進(jìn)行視覺(jué)圖像語(yǔ)義標(biāo)注處理，生成視覺(jué)圖像標(biāo)注數(shù)據(jù)。

8、本發(fā)明對(duì)目標(biāo)煤礦井進(jìn)行光譜反射率測(cè)量，能夠獲得工作面反射特性數(shù)據(jù)。這些反射特性數(shù)據(jù)提供了對(duì)工作面表面材料和光照條件的深入了解。根據(jù)工作面反射特性數(shù)據(jù)進(jìn)行結(jié)構(gòu)光圖案制定，確保所設(shè)計(jì)的幾何結(jié)構(gòu)光圖案能夠與工作面的實(shí)際光照條件和表面材質(zhì)特性完美匹配，從而提高了投影質(zhì)量和圖像采集的精準(zhǔn)度。基于得到的結(jié)構(gòu)光圖案數(shù)據(jù)進(jìn)行的工作面投影處理，不僅優(yōu)化了光照條件，還通過(guò)多角度圖像捕獲，全面覆蓋了工作面的各個(gè)細(xì)節(jié)。三維點(diǎn)云光場(chǎng)模型的構(gòu)建，是對(duì)這些多視角圖像數(shù)據(jù)進(jìn)行深度整合與解析的結(jié)果，它轉(zhuǎn)換了傳統(tǒng)的二維圖像信息至三維空間表達(dá)，極大地增強(qiáng)了對(duì)工作面復(fù)雜結(jié)構(gòu)與物體布局的可視化理解及測(cè)量精度。基于工作面點(diǎn)云光場(chǎng)模型對(duì)多視角圖像幀數(shù)據(jù)進(jìn)行多視角陰影消除處理，能夠有效消除陰影對(duì)圖像質(zhì)量的影響，得到的無(wú)陰影圖像序列數(shù)據(jù)更具清晰度和細(xì)節(jié)。通過(guò)去除陰影，圖像中的重要特征得以清晰呈現(xiàn)，增強(qiáng)了視覺(jué)信息的可用性和分析能力。根據(jù)無(wú)陰影圖像序列數(shù)據(jù)進(jìn)行體素單元柵格化處理，提供了規(guī)范化的三維數(shù)據(jù)結(jié)構(gòu)。對(duì)多視角體素柵格數(shù)據(jù)進(jìn)行自適應(yīng)背景抑制處理，能夠有效分離前景顯著體素特征數(shù)據(jù)。通過(guò)抑制背景噪聲，強(qiáng)調(diào)與目標(biāo)相關(guān)的前景特征，提升了數(shù)據(jù)的有效性和可靠性，消除了干擾信息，不僅提升了數(shù)據(jù)處理的效率，更重要的是強(qiáng)化了對(duì)目標(biāo)對(duì)象的關(guān)注，使得后續(xù)的目標(biāo)識(shí)別和分類(lèi)更加準(zhǔn)確和高效。通過(guò)利用前沿的機(jī)器學(xué)習(xí)或深度學(xué)習(xí)算法，模型能夠從經(jīng)過(guò)預(yù)處理的無(wú)陰影圖像序列數(shù)據(jù)中自動(dòng)學(xué)習(xí)并識(shí)別出具有特定語(yǔ)義含義的實(shí)例，如設(shè)備、人員或特定地質(zhì)構(gòu)造等。視覺(jué)圖像的語(yǔ)義標(biāo)注不僅為后續(xù)的自動(dòng)化監(jiān)控、安全評(píng)估或資源管理提供了即時(shí)可用的信息，也極大地提升了整個(gè)礦井作業(yè)的智能化水平，有助于實(shí)現(xiàn)更高效的決策支持和風(fēng)險(xiǎn)預(yù)防。因此，本發(fā)明的一種煤礦井下綜采工作面視覺(jué)圖像信息提取方法通過(guò)光譜引導(dǎo)的結(jié)構(gòu)光投影，實(shí)現(xiàn)多視角圖像采集；利用點(diǎn)云光場(chǎng)模型進(jìn)行陰影區(qū)域識(shí)別和修復(fù)，并結(jié)合時(shí)序信息進(jìn)行動(dòng)態(tài)背景抑制，消除環(huán)境干擾，通過(guò)深度學(xué)習(xí)技術(shù)訓(xùn)練圖像語(yǔ)義識(shí)別模型，對(duì)無(wú)陰影圖像進(jìn)行像素級(jí)語(yǔ)義標(biāo)注，有效解決了井下惡劣光照條件下圖像信息提取不準(zhǔn)確的問(wèn)題。

9、優(yōu)選地，步驟s1包括以下步驟：

10、步驟s11：對(duì)目標(biāo)煤礦井進(jìn)行工作面光譜反射率測(cè)量，得到工作面反射特性數(shù)據(jù)；

11、步驟s12：根據(jù)工作面反射特性數(shù)據(jù)進(jìn)行傅里葉頻譜分析，生成目標(biāo)煤礦頻譜特征數(shù)據(jù)；

12、步驟s13：根據(jù)目標(biāo)煤礦頻譜特征數(shù)據(jù)進(jìn)行主要頻率成分識(shí)別，并進(jìn)行頻率聚類(lèi)組合處理，生成煤礦優(yōu)選頻率序列數(shù)據(jù)；

13、步驟s14：利用預(yù)設(shè)的正弦波疊加函數(shù)對(duì)煤礦優(yōu)選頻率序列數(shù)據(jù)進(jìn)行多頻率周期光柵處理，生成煤礦周期光柵數(shù)據(jù)；

14、步驟s15：基于煤礦周期光柵數(shù)據(jù)進(jìn)行分形幾何結(jié)構(gòu)光圖案制定，生成幾何結(jié)構(gòu)光圖案數(shù)據(jù)。

15、本發(fā)明通過(guò)對(duì)煤礦井工作面實(shí)施光譜反射率測(cè)量，直接量化了工作面在不同波長(zhǎng)下的反射特性。將反射特性數(shù)據(jù)轉(zhuǎn)換至頻率域，通過(guò)這種轉(zhuǎn)換，可以揭示工作面反射光中隱含的周期性結(jié)構(gòu)信息。能有效分離出不同頻率成分。根據(jù)目標(biāo)煤礦頻譜特征數(shù)據(jù)進(jìn)行主要頻率成分識(shí)別，通過(guò)識(shí)別出最具代表性的頻率成分，能夠?qū)⒕哂邢嗨铺卣鞯念l率進(jìn)行分組，形成優(yōu)選頻率序列。通過(guò)將優(yōu)選頻率信息轉(zhuǎn)化為光柵圖案，使得不同頻率成分可以在工作面進(jìn)行有效地投射，實(shí)現(xiàn)多頻率光柵的疊加效果，這種光柵能夠增強(qiáng)特定頻率成分的對(duì)比度，使得在視覺(jué)圖像中特定結(jié)構(gòu)和特征更為突出，增強(qiáng)了光照的均勻性和特征表現(xiàn)力。基于煤礦周期光柵數(shù)據(jù)進(jìn)行分形幾何結(jié)構(gòu)光圖案制定，分形幾何因其自相似特性，在復(fù)雜結(jié)構(gòu)的表征上具有獨(dú)特優(yōu)勢(shì)，能夠更細(xì)致、更全面地覆蓋煤礦工作面的復(fù)雜幾何特征，生成的幾何結(jié)構(gòu)光圖案因此具備了更高的信息編碼能力和更強(qiáng)的環(huán)境適應(yīng)性，極大地增強(qiáng)了視覺(jué)信息的提取能力。

16、優(yōu)選地，步驟s2包括以下步驟：

17、步驟s21：對(duì)幾何結(jié)構(gòu)光圖案數(shù)據(jù)進(jìn)行結(jié)構(gòu)光編碼處理，生成編碼光信號(hào)數(shù)據(jù)；

18、步驟s22：基于編碼光信號(hào)數(shù)據(jù)利用投影儀設(shè)備進(jìn)行工作面結(jié)構(gòu)光投影處理，生成工作面投影光數(shù)據(jù)；

19、步驟s23：通過(guò)工作面投影光數(shù)據(jù)對(duì)綜采設(shè)備進(jìn)行多視角相機(jī)陣列部署，并通過(guò)網(wǎng)絡(luò)時(shí)間協(xié)議進(jìn)行多攝像同步觸發(fā)處理，從而構(gòu)建多視角同步攝像網(wǎng)絡(luò)；

20、步驟s24：通過(guò)多視角同步攝像網(wǎng)絡(luò)對(duì)工作面投影光數(shù)據(jù)進(jìn)行工作面多視角圖像采集，分別得到多視角圖像幀數(shù)據(jù)以及多相機(jī)攝像參數(shù)；

21、步驟s25：對(duì)多視角圖像幀數(shù)據(jù)進(jìn)行像素級(jí)光信號(hào)解碼處理，得到解碼光信號(hào)矩陣數(shù)據(jù)；

22、步驟s26：利用多相機(jī)攝像參數(shù)對(duì)解碼光信號(hào)矩陣數(shù)據(jù)進(jìn)行三維點(diǎn)云重建處理，生成工作面點(diǎn)云光場(chǎng)模型。

23、本發(fā)明對(duì)幾何結(jié)構(gòu)光圖案進(jìn)行編碼處理并生成編碼光信號(hào)數(shù)據(jù)，實(shí)質(zhì)上是將結(jié)構(gòu)光圖案轉(zhuǎn)換為攜帶特定信息的光信號(hào)，編碼技術(shù)的引入增強(qiáng)了信息的攜帶能力和抗干擾性。利用投影儀設(shè)備根據(jù)編碼光信號(hào)數(shù)據(jù)進(jìn)行工作面結(jié)構(gòu)光投影，將含有豐富信息的光圖案映射到復(fù)雜的煤礦工作面環(huán)境中，不僅為工作面提供了均勻且信息豐富的照明，還為后續(xù)的圖像采集和分析奠定了關(guān)鍵的視覺(jué)基礎(chǔ)。通過(guò)構(gòu)建多視角同步攝像網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)工作面投影光數(shù)據(jù)的全方位、同步記錄。多相機(jī)陣列的部署和網(wǎng)絡(luò)時(shí)間協(xié)議的使用確保了各視角圖像的時(shí)空一致性。通過(guò)多個(gè)同步攝像機(jī)同時(shí)捕捉工作面圖像，能夠生成豐富的多視角圖像幀數(shù)據(jù)。這些圖像幀數(shù)據(jù)包含了工作面在不同角度下的特征信息，還記錄了每幀圖像的拍攝條件。將編碼光信號(hào)轉(zhuǎn)化為可處理的矩陣數(shù)據(jù)。解碼處理能夠有效提取出投影光信號(hào)中的信息，并剔除噪聲干擾，從而提高信息的可用性。通過(guò)將解碼后的光信號(hào)數(shù)據(jù)與攝像機(jī)參數(shù)結(jié)合，生成三維點(diǎn)云模型，將二維圖像信息轉(zhuǎn)化為三維空間表達(dá)，極大地豐富了對(duì)工作面結(jié)構(gòu)的理解和表現(xiàn)，能夠真實(shí)地反映工作面的三維結(jié)構(gòu)和特征。

24、優(yōu)選地，步驟s26包括以下步驟：

25、步驟s261：根據(jù)解碼光信號(hào)矩陣數(shù)據(jù)進(jìn)行空間點(diǎn)云重建處理，生成高密度點(diǎn)云模型數(shù)據(jù)；對(duì)高密度點(diǎn)云模型數(shù)據(jù)進(jìn)行點(diǎn)云坐標(biāo)提取，生成點(diǎn)云坐標(biāo)數(shù)據(jù)；

26、步驟s262：利用多相機(jī)攝像參數(shù)對(duì)點(diǎn)云坐標(biāo)數(shù)據(jù)進(jìn)行光線方向向量計(jì)算，生成點(diǎn)云光線方向向量數(shù)據(jù)；

27、步驟s263：根據(jù)點(diǎn)云光線方向向量數(shù)據(jù)進(jìn)行光線投射追蹤處理，得到光線方向矩陣數(shù)據(jù)；

28、步驟s264：利用解碼光信號(hào)矩陣數(shù)據(jù)對(duì)光線方向矩陣數(shù)據(jù)進(jìn)行點(diǎn)云光強(qiáng)計(jì)算，生成點(diǎn)云光照強(qiáng)度數(shù)據(jù)；

29、步驟s265：通過(guò)點(diǎn)云光照強(qiáng)度數(shù)據(jù)以及點(diǎn)云光線方向向量數(shù)據(jù)對(duì)高密度點(diǎn)云模型數(shù)據(jù)進(jìn)行光照屬性整合處理，生成工作面點(diǎn)云光場(chǎng)模型。

30、本發(fā)明將二維圖像信息轉(zhuǎn)換為三維空間中的密集點(diǎn)集，大幅提高了模型的細(xì)節(jié)表現(xiàn)力和空間分辨率，進(jìn)一步的點(diǎn)云坐標(biāo)提取，為每個(gè)點(diǎn)云點(diǎn)分配了精確的空間位置信息。通過(guò)結(jié)合多相機(jī)的視角和點(diǎn)云坐標(biāo)，能夠?yàn)槊總€(gè)點(diǎn)計(jì)算出相應(yīng)的光線方向向量，反映光線的傳播方向。通過(guò)對(duì)光線方向進(jìn)行追蹤，能夠生成光線方向矩陣，描述光線在空間中的傳播路徑和特征。光線投射追蹤處理的重要性在于，能夠通過(guò)模擬光線的傳播過(guò)程，深入理解光照在工作面上的分布情況。通過(guò)結(jié)合解碼后的光信號(hào)和光線方向的信息，計(jì)算每個(gè)點(diǎn)在特定光線方向下的光照強(qiáng)度。光照強(qiáng)度數(shù)據(jù)為后續(xù)的光照屬性整合提供了關(guān)鍵參數(shù)，能夠?qū)崿F(xiàn)更精確的光照模擬和分析，確保生成的光照強(qiáng)度數(shù)據(jù)能夠真實(shí)反映工作面的光線分布情況。將光照強(qiáng)度與光線方向信息結(jié)合，形成完整的工作面點(diǎn)云光場(chǎng)模型，能夠真實(shí)地反映工作面在不同光照條件下的表現(xiàn)。

31、優(yōu)選地，步驟s3包括以下步驟：

32、步驟s31：根據(jù)工作面點(diǎn)云光場(chǎng)模型進(jìn)行光場(chǎng)屬性解耦處理，分別得到光場(chǎng)強(qiáng)度分布數(shù)據(jù)以及圖像光場(chǎng)方向數(shù)據(jù)；

33、步驟s32：通過(guò)光場(chǎng)強(qiáng)度分布數(shù)據(jù)對(duì)多視角圖像幀數(shù)據(jù)進(jìn)行圖像光強(qiáng)補(bǔ)償處理，生成光強(qiáng)補(bǔ)償圖像序列數(shù)據(jù)；

34、步驟s33：根據(jù)圖像光場(chǎng)方向數(shù)據(jù)以及光強(qiáng)補(bǔ)償圖像序列數(shù)據(jù)構(gòu)建多視角陰影修復(fù)策略；

35、步驟s34：利用多視角陰影修復(fù)策略對(duì)光強(qiáng)補(bǔ)償圖像序列數(shù)據(jù)進(jìn)行多視角陰影消除處理，得到無(wú)陰影圖像序列數(shù)據(jù)；

36、步驟s35：根據(jù)無(wú)陰影圖像序列數(shù)據(jù)進(jìn)行圖像金字塔特征提取，生成多尺度圖像特征數(shù)據(jù)；

37、步驟s36：基于多尺度圖像特征數(shù)據(jù)對(duì)工作面點(diǎn)云光場(chǎng)模型進(jìn)行空間反投影處理，生成圖像特征點(diǎn)云投影模型；

38、步驟s37：根據(jù)圖像特征點(diǎn)云投影模型進(jìn)行多視角特征點(diǎn)張量融合，并進(jìn)行體素單元柵格化處理，生成多視角體素柵格數(shù)據(jù)。

39、本發(fā)明通過(guò)將光場(chǎng)中的強(qiáng)度和方向進(jìn)行分離，能夠明確地識(shí)別出光在工作面上的強(qiáng)度分布特征以及光線傳播的方向信息，有助于獨(dú)立分析和控制光場(chǎng)的不同屬性。通過(guò)分析光場(chǎng)強(qiáng)度信息，對(duì)多視角圖像進(jìn)行補(bǔ)償，能夠消除由于光照不均勻造成的圖像亮度差異，光強(qiáng)補(bǔ)償圖像序列數(shù)據(jù)的生成使得后續(xù)分析能夠基于更一致的光照條件進(jìn)行，從而提高圖像的可比性和分析精度。通過(guò)結(jié)合光場(chǎng)方向信息和補(bǔ)償后的圖像數(shù)據(jù)，能夠識(shí)別出圖像中的陰影區(qū)域并制定相應(yīng)的修復(fù)策略，使得系統(tǒng)能夠更有效地處理復(fù)雜的光照環(huán)境。利用構(gòu)建的多視角陰影修復(fù)策略對(duì)光強(qiáng)補(bǔ)償圖像序列進(jìn)行處理，有效消除了圖像中的陰影，恢復(fù)了被遮擋部分的細(xì)節(jié)，增強(qiáng)了圖像的完整性和信息量。通過(guò)圖像金字塔特征提取技術(shù)，從無(wú)陰影圖像序列數(shù)據(jù)中提取出多尺度圖像特征數(shù)據(jù)，這種多層次的特征表達(dá)方式能夠兼顧局部細(xì)節(jié)與全局結(jié)構(gòu)，提高了特征描述的全面性和魯棒性。通過(guò)將圖像特征信息反投影到點(diǎn)云光場(chǎng)模型中，能夠形成一個(gè)包含特征信息的三維模型，圖像特征點(diǎn)云投影模型的生成使得系統(tǒng)可以將二維圖像特征與三維空間結(jié)構(gòu)相結(jié)合。通過(guò)將來(lái)自不同視角的特征點(diǎn)進(jìn)行融合，能夠綜合不同視角下的特征信息，從而提高點(diǎn)云數(shù)據(jù)的完整性和準(zhǔn)確性。特征點(diǎn)張量的融合過(guò)程確保了在不同視角下捕捉到的關(guān)鍵特征能夠得到有效整合，形成一個(gè)更具代表性的三維模型。

40、優(yōu)選地，步驟s32包括以下步驟：

41、步驟s321：對(duì)多視角圖像幀數(shù)據(jù)進(jìn)行像素灰度值亮度提取，生成圖像初始亮度分布數(shù)據(jù)；

42、步驟s322：利用光場(chǎng)強(qiáng)度分布數(shù)據(jù)對(duì)多視角圖像幀數(shù)據(jù)進(jìn)行像素點(diǎn)光場(chǎng)強(qiáng)度映射，得到圖像光強(qiáng)映射數(shù)據(jù)；

43、步驟s323：根據(jù)圖像光強(qiáng)映射數(shù)據(jù)進(jìn)行工作面平均亮度值計(jì)算，得到平均亮度參考值；

44、步驟s324：通過(guò)圖像初始亮度分布數(shù)據(jù)對(duì)平均亮度參考值進(jìn)行光強(qiáng)差異系數(shù)計(jì)算，生成亮度補(bǔ)償因子數(shù)據(jù)；

45、步驟s325：基于光強(qiáng)補(bǔ)償因子數(shù)據(jù)對(duì)多視角圖像幀數(shù)據(jù)進(jìn)行圖像亮度補(bǔ)償調(diào)整，生成光強(qiáng)亮度補(bǔ)償圖像數(shù)據(jù)；

46、步驟s326：根據(jù)光強(qiáng)亮度補(bǔ)償圖像數(shù)據(jù)進(jìn)行對(duì)比度增強(qiáng)處理，生成光強(qiáng)補(bǔ)償圖像序列數(shù)據(jù)。

47、本發(fā)明通過(guò)提取每個(gè)像素的灰度值，能夠形成圖像的亮度分布特征，有助于明確圖像中各區(qū)域的明暗分布狀況。通過(guò)將光場(chǎng)的強(qiáng)度信息映射到圖像的每個(gè)像素，能夠反映工作面在不同光照條件下的實(shí)際光強(qiáng)分布。通過(guò)準(zhǔn)確的光強(qiáng)映射，確保了圖像處理過(guò)程中能夠針對(duì)不同光照條件進(jìn)行有效調(diào)整。通過(guò)對(duì)整個(gè)圖像的光強(qiáng)映射數(shù)據(jù)進(jìn)行分析，計(jì)算出工作面的平均亮度，提供了一個(gè)重要的參考標(biāo)準(zhǔn)。有助于統(tǒng)一不同視角圖像間的亮度水平，避免因視角變化引起的亮度突變，保證了視覺(jué)信息的一致性。通過(guò)比較圖像初始亮度分布與平均亮度參考值，確保了對(duì)每個(gè)像素點(diǎn)的亮度調(diào)整都是基于其與平均亮度的差異，達(dá)到了精確補(bǔ)償?shù)哪康?。通過(guò)應(yīng)用計(jì)算得到的補(bǔ)償因子，對(duì)每個(gè)像素進(jìn)行亮度調(diào)整，消除光照不均勻所帶來(lái)的影響。光強(qiáng)亮度補(bǔ)償圖像數(shù)據(jù)的生成確保了圖像在亮度上的一致性。對(duì)光強(qiáng)亮度補(bǔ)償圖像數(shù)據(jù)進(jìn)行對(duì)比度增強(qiáng)處理，對(duì)比度增強(qiáng)不僅提升了圖像的細(xì)節(jié)表現(xiàn)力，還使得圖像中的目標(biāo)和背景之間的界限更加分明，使得工作面的重要信息更加突出。

48、優(yōu)選地，步驟s33包括以下步驟：

49、步驟s331：通過(guò)圖像光場(chǎng)方向數(shù)據(jù)對(duì)光強(qiáng)補(bǔ)償圖像序列數(shù)據(jù)進(jìn)行光照方向一致性計(jì)算，生成圖像光照方向數(shù)據(jù)；對(duì)光強(qiáng)補(bǔ)償圖像序列數(shù)據(jù)進(jìn)行鄰域像素光強(qiáng)差異計(jì)算，生成圖像光強(qiáng)差異數(shù)據(jù)；

50、步驟s332：利用預(yù)設(shè)的圖像陰影判斷閾值對(duì)圖像光照方向數(shù)據(jù)以及圖像光強(qiáng)差異數(shù)據(jù)進(jìn)行圖像陰影區(qū)域識(shí)別，生成圖像陰影區(qū)域候選數(shù)據(jù)；

51、步驟s333：基于圖像陰影區(qū)域候選數(shù)據(jù)對(duì)光強(qiáng)補(bǔ)償圖像序列數(shù)據(jù)進(jìn)行多視角圖像配準(zhǔn)處理，得到多視角陰影配準(zhǔn)數(shù)據(jù)；

52、步驟s334：對(duì)多視角陰影配準(zhǔn)數(shù)據(jù)以及圖像陰影區(qū)域候選數(shù)據(jù)進(jìn)行陰影紋理特征分析，分別生成多視角配準(zhǔn)紋理數(shù)據(jù)以及陰影候選紋理數(shù)據(jù)；

53、步驟s335：基于多視角配準(zhǔn)紋理數(shù)據(jù)進(jìn)行紋理豐富程度評(píng)估，并進(jìn)行紋理權(quán)重分配，生成配準(zhǔn)紋理權(quán)重?cái)?shù)據(jù)；

54、步驟s336：利用多視角配準(zhǔn)紋理數(shù)據(jù)對(duì)陰影候選紋理數(shù)據(jù)進(jìn)行紋理比對(duì)評(píng)估處理，生成紋理比對(duì)評(píng)估數(shù)據(jù)；

55、步驟s337：通過(guò)配準(zhǔn)紋理權(quán)重?cái)?shù)據(jù)對(duì)多視角紋理比對(duì)評(píng)估數(shù)據(jù)進(jìn)行陰影置信度加權(quán)計(jì)算，生成候選陰影置信度數(shù)據(jù)；當(dāng)候選陰影置信度數(shù)據(jù)低于預(yù)設(shè)的陰影置信閾值時(shí)，將圖像陰影區(qū)域候選數(shù)據(jù)標(biāo)記為低置信陰影數(shù)據(jù)；當(dāng)候選陰影置信度數(shù)據(jù)高于或者等于預(yù)設(shè)的陰影置信閾值時(shí)，將圖像陰影區(qū)域候選數(shù)據(jù)標(biāo)記為高置信陰影候選數(shù)據(jù)；

56、步驟s338：對(duì)高置信陰影候選數(shù)據(jù)進(jìn)行陰影區(qū)域邊界精細(xì)化處理，并進(jìn)行陰影修復(fù)區(qū)域掩膜生成，生成陰影區(qū)域掩膜數(shù)據(jù)；

57、步驟s339：基于配準(zhǔn)紋理權(quán)重?cái)?shù)據(jù)進(jìn)行最高權(quán)重紋理特征提取，得到陰影填充紋理數(shù)據(jù)；利用陰影填充紋理數(shù)據(jù)對(duì)陰影區(qū)域掩膜數(shù)據(jù)進(jìn)行精細(xì)化陰影修復(fù)處理，生成精細(xì)化陰影修復(fù)數(shù)據(jù)；

58、步驟s3310：基于低置信陰影數(shù)據(jù)以及精細(xì)化陰影修復(fù)數(shù)據(jù)構(gòu)建多視角陰影修復(fù)策略。

59、本發(fā)明通過(guò)計(jì)算圖像中不同像素的光照方向，能夠確保不同視角下的光照信息具有一致性。對(duì)光照補(bǔ)償圖像數(shù)據(jù)進(jìn)行鄰域像素光強(qiáng)差異計(jì)算，能夠識(shí)別出圖像中光照變化較大的區(qū)域。通過(guò)結(jié)合光照方向和光強(qiáng)差異的信息進(jìn)行定量分析，有效地將潛在的陰影區(qū)域從整個(gè)圖像中區(qū)分出來(lái)。通過(guò)對(duì)多個(gè)視角的圖像進(jìn)行配準(zhǔn)，能夠確保陰影區(qū)域在不同視角下的一致性和準(zhǔn)確性，通過(guò)圖像配準(zhǔn)，減少了因視角變化帶來(lái)的誤差。通過(guò)分析陰影區(qū)域的紋理特征，能夠深入理解陰影區(qū)域的視覺(jué)特性和結(jié)構(gòu)，還特別關(guān)注了陰影候選區(qū)域的紋理特征，為陰影修復(fù)提供了必要的細(xì)節(jié)信息。通過(guò)評(píng)估紋理的豐富程度，能夠?yàn)椴煌募y理區(qū)域分配合適的權(quán)重，確保在陰影修復(fù)過(guò)程中，能夠優(yōu)先使用那些紋理豐富且相關(guān)性強(qiáng)的區(qū)域，提高修復(fù)效果的準(zhǔn)確性和視覺(jué)質(zhì)量。對(duì)比不同視角下的紋理特征實(shí)現(xiàn)陰影區(qū)域驗(yàn)證，通過(guò)加權(quán)計(jì)算得到候選陰影置信度數(shù)據(jù)，實(shí)現(xiàn)了對(duì)陰影識(shí)別結(jié)果的置信度評(píng)估，有效區(qū)分了高置信度和低置信度的陰影區(qū)域。針對(duì)高置信度陰影候選數(shù)據(jù)進(jìn)行的邊界精細(xì)化處理和陰影修復(fù)區(qū)域掩膜生成，進(jìn)一步細(xì)化了陰影區(qū)域的邊界，確保了修復(fù)的精確性。而精細(xì)化陰影修復(fù)數(shù)據(jù)的生成，則是基于準(zhǔn)確的掩膜和合適的紋理填充，提高了修復(fù)質(zhì)量，能夠有效填補(bǔ)陰影區(qū)域，消除陰影對(duì)圖像整體視覺(jué)效果的干擾，確保在處理復(fù)雜光照條件下的陰影時(shí)，能夠靈活應(yīng)對(duì)并優(yōu)化修復(fù)效果。

60、優(yōu)選地，步驟s4包括以下步驟：

61、步驟s41：通過(guò)預(yù)設(shè)的時(shí)序周期采樣窗口對(duì)多視角體素柵格數(shù)據(jù)進(jìn)行時(shí)序采樣處理，得到時(shí)序體素柵格序列數(shù)據(jù)；

62、步驟s42：基于時(shí)序體素柵格序列數(shù)據(jù)構(gòu)建三維時(shí)空特征圖；

63、步驟s43：對(duì)三維時(shí)空特征圖進(jìn)行體素級(jí)時(shí)空變化分析，得到體素動(dòng)態(tài)特征矩陣數(shù)據(jù)；

64、步驟s44：根據(jù)體素動(dòng)態(tài)特征矩陣數(shù)據(jù)進(jìn)行軌跡穩(wěn)定性評(píng)估，生成體素時(shí)空變化評(píng)估數(shù)據(jù)；

65、步驟s45：通過(guò)體素時(shí)空變化評(píng)估數(shù)據(jù)對(duì)多視角體素柵格數(shù)據(jù)進(jìn)行動(dòng)態(tài)特征區(qū)域識(shí)別，并進(jìn)行動(dòng)態(tài)體素特征模糊處理，從而得到靜態(tài)背景體素?cái)?shù)據(jù)；

66、步驟s46：利用靜態(tài)背景體素?cái)?shù)據(jù)對(duì)多視角體素柵格數(shù)據(jù)進(jìn)行自適應(yīng)背景抑制處理，生成前景顯著體素特征數(shù)據(jù)。

67、本發(fā)明通過(guò)對(duì)體素柵格數(shù)據(jù)進(jìn)行定期采樣，能夠提取出在特定時(shí)間間隔內(nèi)的體素信息，形成一個(gè)時(shí)序數(shù)據(jù)序列，提供了時(shí)間維度上的連續(xù)樣本。通過(guò)將時(shí)序體素?cái)?shù)據(jù)映射到三維空間中，形成一個(gè)具有時(shí)間維度的特征圖，能夠直觀地展示體素在空間和時(shí)間上的變化情況。通過(guò)對(duì)體素動(dòng)態(tài)特征進(jìn)行系統(tǒng)分析，能夠評(píng)估出各個(gè)體素在時(shí)空變化過(guò)程中的穩(wěn)定性，確保能夠準(zhǔn)確識(shí)別出變化顯著的區(qū)域。通過(guò)分析時(shí)空變化評(píng)估結(jié)果，能夠識(shí)別出屬于動(dòng)態(tài)目標(biāo)（例如移動(dòng)設(shè)備）的特征，并對(duì)這些區(qū)域進(jìn)行模糊處理，以便將動(dòng)態(tài)特征與靜態(tài)背景區(qū)分開(kāi)來(lái)，剔除了背景中的動(dòng)態(tài)干擾。通過(guò)將靜態(tài)背景信息應(yīng)用于體素柵格數(shù)據(jù)，能夠有效抑制背景干擾，增強(qiáng)前景目標(biāo)的顯著性，使得重要的作業(yè)面活動(dòng)、設(shè)備狀態(tài)等信息更加易于識(shí)別和分析。

68、優(yōu)選地，步驟s5包括以下步驟：

69、步驟s51：獲取煤礦工作面標(biāo)注樣本數(shù)據(jù)；對(duì)煤礦工作面標(biāo)注樣本數(shù)據(jù)進(jìn)行隨機(jī)數(shù)據(jù)劃分，分別得到訓(xùn)練集以及驗(yàn)證集；

70、步驟s52：利用訓(xùn)練集對(duì)預(yù)設(shè)的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行模型訓(xùn)練處理，并進(jìn)行注意力機(jī)制嵌入處理，得到初始圖像語(yǔ)義識(shí)別模型；

71、步驟s53：通過(guò)初始圖像語(yǔ)義識(shí)別模型中注意力機(jī)制對(duì)前景顯著體素特征數(shù)據(jù)進(jìn)行特征注意力聚焦處理，得到聚焦圖像語(yǔ)義識(shí)別模型；

72、步驟s54：通過(guò)驗(yàn)證集對(duì)聚焦圖像語(yǔ)義識(shí)別模型進(jìn)行模型驗(yàn)證，并進(jìn)行超參數(shù)調(diào)優(yōu)處理，得到目標(biāo)圖像語(yǔ)義識(shí)別模型；

73、步驟s55：利用前景顯著體素特征數(shù)據(jù)對(duì)無(wú)陰影圖像序列數(shù)據(jù)進(jìn)行圖像特征重采樣處理，生成工作面特征重采樣數(shù)據(jù)；

74、步驟s56：將工作面特征重采樣數(shù)據(jù)傳輸至目標(biāo)圖像語(yǔ)義識(shí)別模型進(jìn)行智能語(yǔ)義實(shí)例識(shí)別，生成語(yǔ)義圖像實(shí)例識(shí)別數(shù)據(jù)；

75、步驟s57：通過(guò)語(yǔ)義圖像實(shí)例識(shí)別數(shù)據(jù)對(duì)多視角圖像幀數(shù)據(jù)進(jìn)行視覺(jué)圖像語(yǔ)義標(biāo)注處理，生成視覺(jué)圖像標(biāo)注數(shù)據(jù)。

76、本發(fā)明通過(guò)收集和標(biāo)注樣本數(shù)據(jù)，為后續(xù)模型的訓(xùn)練和驗(yàn)證提供了基礎(chǔ)數(shù)據(jù)。隨機(jī)數(shù)據(jù)劃分確保了訓(xùn)練集和驗(yàn)證集的代表性，使得模型能夠在不同的數(shù)據(jù)上進(jìn)行學(xué)習(xí)和驗(yàn)證。確保模型訓(xùn)練能夠覆蓋不同的情況，從而提高模型的泛化能力和準(zhǔn)確性。通過(guò)使用標(biāo)注的訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，使得卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到圖像中的特征和模式。利用模型中的注意力機(jī)制，使得處理過(guò)程中能夠優(yōu)先關(guān)注對(duì)任務(wù)最重要的特征，增強(qiáng)了模型對(duì)關(guān)鍵區(qū)域的敏感性，通過(guò)特征聚焦，顯著提升了圖像語(yǔ)義識(shí)別的精確度。通過(guò)對(duì)聚焦模型在驗(yàn)證集上的表現(xiàn)進(jìn)行評(píng)估，能夠識(shí)別出模型的優(yōu)缺點(diǎn)，并根據(jù)驗(yàn)證結(jié)果進(jìn)行超參數(shù)的調(diào)整，確保最終模型能夠適應(yīng)實(shí)際工作環(huán)境的需求。通過(guò)對(duì)圖像數(shù)據(jù)進(jìn)行重采樣，能夠在不同分辨率下提取出更為精確的特征信息，增強(qiáng)圖像特征的表達(dá)能力。通過(guò)將重采樣數(shù)據(jù)輸入到經(jīng)過(guò)訓(xùn)練和驗(yàn)證的模型，能夠自動(dòng)識(shí)別圖像中的語(yǔ)義實(shí)例，提取出關(guān)鍵信息，能夠?qū)崿F(xiàn)自動(dòng)化的圖像分析，為煤礦井下各種目標(biāo)和場(chǎng)景提供了準(zhǔn)確的語(yǔ)義標(biāo)簽，實(shí)現(xiàn)了對(duì)煤礦井下綜采工作面的高精度視覺(jué)信息提取與智能分析。

77、本發(fā)明還提供一種煤礦井下綜采工作面視覺(jué)圖像信息提取系統(tǒng)，執(zhí)行如上所述的煤礦井下綜采工作面視覺(jué)圖像信息提取方法，該煤礦井下綜采工作面視覺(jué)圖像信息提取系統(tǒng)包括：

78、光譜引導(dǎo)圖案生成模塊，用于對(duì)目標(biāo)煤礦井進(jìn)行光譜反射率測(cè)量，得到工作面反射特性數(shù)據(jù)；根據(jù)工作面反射特性數(shù)據(jù)進(jìn)行結(jié)構(gòu)光圖案制定，生成幾何結(jié)構(gòu)光圖案數(shù)據(jù)；

79、多視角圖像采集模塊，用于根據(jù)幾何結(jié)構(gòu)光圖案數(shù)據(jù)進(jìn)行工作面結(jié)構(gòu)光投影處理，生成工作面投影光數(shù)據(jù)；基于工作面投影光數(shù)據(jù)進(jìn)行工作面多視角圖像采集，生成多視角圖像幀數(shù)據(jù)；根據(jù)多視角圖像幀數(shù)據(jù)進(jìn)行三維點(diǎn)云重建處理，生成工作面點(diǎn)云光場(chǎng)模型；

80、多視角圖像處理模塊，用于基于工作面點(diǎn)云光場(chǎng)模型對(duì)多視角圖像幀數(shù)據(jù)進(jìn)行多視角陰影消除處理，得到無(wú)陰影圖像序列數(shù)據(jù)；根據(jù)無(wú)陰影圖像序列數(shù)據(jù)進(jìn)行體素單元柵格化處理，生成多視角體素柵格數(shù)據(jù)；

81、圖像前景特征提取模塊，用于對(duì)多視角體素柵格數(shù)據(jù)進(jìn)行自適應(yīng)背景抑制處理，生成前景顯著體素特征數(shù)據(jù)；

82、智能圖像標(biāo)注模塊，用于基于前景顯著體素特征數(shù)據(jù)構(gòu)建目標(biāo)圖像語(yǔ)義識(shí)別模型；利用目標(biāo)圖像語(yǔ)義識(shí)別模型對(duì)無(wú)陰影圖像序列數(shù)據(jù)進(jìn)行智能語(yǔ)義實(shí)例識(shí)別，并進(jìn)行視覺(jué)圖像語(yǔ)義標(biāo)注處理，生成視覺(jué)圖像標(biāo)注數(shù)據(jù)。