本發(fā)明屬于圖像識別技術(shù)領(lǐng)域，涉及一種巡檢方法，尤其涉及一種基于增強現(xiàn)實的結(jié)構(gòu)表面病害巡檢和分析方法。

背景技術(shù)：

圖像識別，是指利用計算機對圖像進行處理、分析和理解，以識別各種不同模式的目標(biāo)和對象的技術(shù)。

由于智能移動終端的高速普及與發(fā)展，用戶對智能設(shè)備的依賴變得越來越大，對智能設(shè)備的功能需求也是從原來的簡單使用發(fā)展到如今的多樣化。增強現(xiàn)實(Augmented Real ity，簡稱AR)技術(shù)是在虛擬現(xiàn)實技術(shù)的基礎(chǔ)上發(fā)展起來的一種新興的人機交互技術(shù)，它借助于可視化技術(shù)，將虛擬現(xiàn)實信息應(yīng)用到現(xiàn)實世界，把不能直接在現(xiàn)實世界獲取的虛擬現(xiàn)實信息疊加到現(xiàn)實世界的畫面上，并使用戶可以與增強現(xiàn)實應(yīng)用進行互動，擴大了用戶對真實世界的感知。在隧道中，一般都是通過人肉眼識別病害，在復(fù)檢的時候大多是校對之前的病害信息，從而進行對比，這樣做并不直觀，信息容易遺漏。因此，在此功能上拓展也深受用戶的關(guān)注。面前市面上并沒有相關(guān)軟件。

基于圖像處理的增強現(xiàn)實主要有如下幾種實現(xiàn)方式：

1)自動圖像識別系統(tǒng)的過程分為五部分：圖像輸入、圖像處理、特征點提取、分類和匹配，圖像輸入通過智能終端攝像頭，掃描設(shè)備輸入，圖像處理和特征提取數(shù)字處理技術(shù)實現(xiàn)，即通過計算機對圖像進行去噪聲、增強、復(fù)原、分割、提取特征等處理方法和技術(shù)，分類和匹配即圖像配準(zhǔn)。

2)特征提取時，基于灰度圖的信息最主要的特點是實現(xiàn)簡單，但是對視頻流中的每一幀圖片進行處理需要很大的內(nèi)存空間需求和比較長的時間要求，所以主要方法有兩種：一類根據(jù)視頻的時序?qū)傩詠矸指钸\動目標(biāo)，主要有光流法、相鄰幀差法、背景差分法和統(tǒng)計模型分類法。而另一類方法是根據(jù)視頻的時序?qū)傩詠矸指钸\動目標(biāo)，主要有光流法、相鄰幀差法、背景差分法和統(tǒng)計模型分類法。

4)通過全球定位系統(tǒng)(GPS)、地磁傳感器和加速度傳感器來確定用戶終端的地理位置、朝向以及傾斜角度等，然后根據(jù)所確定的位置信息來獲取相關(guān)信息后疊加顯示。

5)預(yù)先保存標(biāo)記(marker)圖像的信息，然后通過圖像識別技術(shù)，在當(dāng)前圖像中查找并識別標(biāo)記圖像，然后在標(biāo)記圖像上疊加相關(guān)信息。

6)對攝影圖像進行解析，識別出風(fēng)景、物體和空間，然后疊加相關(guān)信息。

7)AR與VR結(jié)合，借助VR讓AR所反饋出來的增強信息實時地出現(xiàn)在用戶所聚焦的物體旁邊，得到該物體的詳細信息。在所提及的實現(xiàn)方式之中，通過對標(biāo)記進行識別來實現(xiàn)信息疊加的技術(shù)被越來越廣泛地使用。這種實現(xiàn)方式能夠通過使用攝像機對真實圖像中的標(biāo)記進行識別來加入虛擬的3D物件，從而造成虛實結(jié)合的視覺效果。

由于智能移動終端的高速普及與發(fā)展，用戶對智能設(shè)備的依賴變得越來越大，對智能設(shè)備的功能需求也是從原來的簡單使用發(fā)展到如今的多樣化。在隧道中，一般都是通過人肉眼識別病害，在復(fù)檢的時候大多是校對之前的病害信息，從而進行對比，這樣做并不直觀，信息容易遺漏。因此，在此功能上拓展也深受用戶的關(guān)注。面前市面上并沒有相關(guān)軟件。

目前國內(nèi)外關(guān)于隧道結(jié)構(gòu)病害分析和增強現(xiàn)實技術(shù)還存在著不少有待解決的問題：

1)圖像識別方面：狹窄空間中，狹窄空間中的病害識別存在低識別度。

2)增強現(xiàn)實方面：對于隧道中光線較弱的問題，目前沒有同類效果良好的軟件。

3)隧道結(jié)構(gòu)病害分析方面：大多采用人工進行病害分析，效率較低；而通過文字形式展現(xiàn)，直觀度不夠。

有鑒于此，如今迫切需要設(shè)計一種結(jié)構(gòu)表面病害的巡檢和分析方法，以便克服現(xiàn)有系統(tǒng)的上述缺陷。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是：提供一種基于增強現(xiàn)實的結(jié)構(gòu)表面病害巡檢和分析方法，可有效且直觀的復(fù)現(xiàn)隧道病害歷史信息。

為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案：

一種基于增強現(xiàn)實的結(jié)構(gòu)表面病害巡檢和分析方法，所述方法包括：

步驟1：獲取隧道內(nèi)某一環(huán)管片的編號，即環(huán)號；

步驟2：根據(jù)環(huán)號從數(shù)據(jù)庫中獲取對應(yīng)隧道管片環(huán)號隧道管片的病害信息；

步驟3：使用移動設(shè)備的攝像頭捕獲視頻流；

步驟4：識別隧道管片上的病害類型；

步驟5：將掃描到的病害與數(shù)據(jù)庫中的病害數(shù)據(jù)進行匹配，并疊加圖標(biāo)，顯示病害信息。

作為本發(fā)明的一種優(yōu)選方案，步驟1中，通過掃描隧道管片上的二維碼獲取隧道管片環(huán)號；

步驟2中，根據(jù)掃描二維碼獲取的隧道管片環(huán)號，調(diào)用本地病害數(shù)據(jù)庫，讀取數(shù)據(jù)庫中的病害信息，包括病害位置坐標(biāo)，病害類型，病害日期和病害歷史，以結(jié)構(gòu)體數(shù)組的形式緩存在本地。本地數(shù)據(jù)庫中的病害信息在每次進入隧道前下載到手機app中，確保該病害信息是最新的。

作為本發(fā)明的一種優(yōu)選方案，步驟3中，Android系統(tǒng)提供了兩種使用手機相機資源實現(xiàn)拍攝功能的方法，一種是直接通過I ntent調(diào)用系統(tǒng)相機組件，這種方法快速方便，適用于直接獲得照片的場景。另一種是使用相機API來定制自定義相機，這種方法適用于需要定制相機界面或者開發(fā)特殊相機功能的場景。由于在本實施例中，相機另有圖像處理，坐標(biāo)定位的功能，選擇使用相機API定制自定義相機。創(chuàng)建一個類，用于繪制相機預(yù)覽圖像的類，提供給用戶實時的預(yù)覽圖像，編寫一個抽象接口控制機預(yù)覽類,該接口能夠控制相機拍攝的尺寸和格式，修改拍攝的像素，監(jiān)視相機的狀態(tài)變化等等。然后編寫方法使圖像預(yù)覽類通過該方法獲得圖像實例。在隧道中，打開該自定義相機，即可進行相機預(yù)覽，捕獲視頻流。

作為本發(fā)明的一種優(yōu)選方案，步驟4中，在已有的相機實例中，添加方法得到當(dāng)前時刻的bitmap，并將它顯示在屏幕上，完成視頻流轉(zhuǎn)化為bmp格式的過程。將當(dāng)前圖像進行灰度化處理，考慮到隧道環(huán)境特點以及灰度化過程不能丟失重要信息的要求，采用國際標(biāo)準(zhǔn)符合肉眼習(xí)慣的灰度圖來進行處理，對灰度圖像進行灰度拉伸，將無效信息屏蔽，并使病害區(qū)域和邊界處灰度區(qū)分更加明顯，有助于后續(xù)病害提取。然后對灰度圖設(shè)置闕值，進行二值分割。由于隧道管片圖像中存在著大量不同種類，不同形狀，且分布無規(guī)律的噪聲，這些噪聲嚴(yán)重影響了隧道病害的檢測，因此需要將圖像中復(fù)雜的噪聲去除，確定病害區(qū)域。為了確定病害位置，使用Canny算子作為邊緣檢測算法提取管片邊緣，確定病害位置，同時將滲漏水區(qū)域的信息，包括病害類型，病害位置等存儲方便后續(xù)處理。

作為本發(fā)明的一種優(yōu)選方案，步驟5中，將得到的病害類型以及病害位置以數(shù)組的形式保存下來，與該隧道環(huán)面數(shù)據(jù)庫中記錄的病害類型逐一匹配，即通過循環(huán)判斷其中的每個病害是否在該隧道環(huán)面數(shù)據(jù)庫中有記錄，若匹配成功，即數(shù)據(jù)庫中已有該病害，獲取該病害在數(shù)據(jù)庫中的病害信息，以newBitmap創(chuàng)建Canvas類，Canvas類相當(dāng)于一個畫布，使用該類即可將當(dāng)前圖片設(shè)置為畫布，在調(diào)用paint類，paint類相當(dāng)于畫筆，可以在畫布上繪制圖形、著色等。在本發(fā)明中，使用paint類將代表病害類型的病害標(biāo)簽疊加在使用canvas類創(chuàng)建的畫布上，并根據(jù)病害位置的信息，將病害位置相對于相機的坐標(biāo)確定下來，即可完成在攝像圖像上疊加病害標(biāo)簽。并在標(biāo)簽上添加監(jiān)聽器，通過intent實現(xiàn)病害歷史界面的跳轉(zhuǎn)，I ntent機制能夠協(xié)助不同應(yīng)用間的交互與通訊；若數(shù)據(jù)庫沒有該病害，則將該病害定義為新病害，在病害上疊加提示符號，并進入手動添加病害模塊將病害圖標(biāo)貼在攝像圖像上，并將病害信息，包括病害類型，病害坐標(biāo)，發(fā)現(xiàn)日期等同步到數(shù)據(jù)庫。

一種基于增強現(xiàn)實系統(tǒng)結(jié)構(gòu)表面病害的巡檢和分析系統(tǒng)，其特征在于，所述系統(tǒng)包括：

二維碼模塊，用于獲取目標(biāo)管片的隧道管片環(huán)號；

病害信息模塊，用于獲取病害數(shù)據(jù)庫中相應(yīng)的病害信息；

圖像處理模塊，用于在視頻流中識別目標(biāo)管片上的病害類型；

病害顯示模塊，對目標(biāo)圖片做增強實現(xiàn)。

作為本發(fā)明的一種優(yōu)選方案，在隧道管片上設(shè)置二維碼標(biāo)簽，二維碼標(biāo)簽內(nèi)儲存該管片的隧道管片環(huán)號，二維碼模塊通過解析二維碼獲得管片隧道管片環(huán)號；

所述病害信息模塊根據(jù)獲得的隧道管片環(huán)號調(diào)用數(shù)據(jù)庫，獲取病害數(shù)據(jù)庫中相應(yīng)的病害信息，并將該病害信息緩存在本地；

所述圖像處理模塊識別輸入視頻中的管片病害類型，；

所述病害顯示模塊在輸入視頻上疊加病害標(biāo)簽，顯示病害的歷史信息。

本發(fā)明的有益效果在于：本發(fā)明提出的基于增強現(xiàn)實的結(jié)構(gòu)表面病害巡檢和分析方法，可有效且直觀的復(fù)現(xiàn)隧道病害歷史信息。

傳統(tǒng)的無標(biāo)識的增強現(xiàn)實技術(shù)大多是基于關(guān)鍵幀匹配的跟蹤定位算法，或者是基于模型的跟蹤定位算法。前者的核心是選擇與當(dāng)前幀視點最接近的關(guān)鍵幀，利用當(dāng)前幀和關(guān)鍵幀圖像間的特征匹配計算進行模型疊加，該方法對于圖像匹配的計算量較大；而后者要求對目標(biāo)物體或者場景事先建模，根據(jù)每幀中得到的目標(biāo)特征2D投影圖像與其在空間中的3D坐標(biāo)間的對應(yīng)，求解目標(biāo)或者攝像機的姿態(tài)，該算法建模工作量大且繁瑣。不同于傳統(tǒng)的無標(biāo)識增強現(xiàn)實技術(shù)，本發(fā)明中，增強現(xiàn)實技術(shù)直接使用圖像識別技術(shù)檢測出隧道管片上的特征點從而識別出病害類型，之后與數(shù)據(jù)庫進行匹配，然后進行疊加，因此無需事先建模或者計算特征匹配，大大減少了前期工作量以及處理器的計算量。此外，本發(fā)明中，對于新出現(xiàn)的病害設(shè)置了病害提示符號，讓用戶對實時病害進行檢測，并將新病害添加到數(shù)據(jù)庫中進行數(shù)據(jù)更新，相比于傳統(tǒng)的增強現(xiàn)實技術(shù)，更強調(diào)即時性和完整性。

附圖說明

圖1為本發(fā)明基于增強現(xiàn)實的結(jié)構(gòu)表面病害巡檢和分析方法的流程圖。

具體實施方式

下面結(jié)合附圖詳細說明本發(fā)明的優(yōu)選實施例。

實施例一

請參閱圖1，本發(fā)明揭示了一種基于增強現(xiàn)實的結(jié)構(gòu)表面病害巡檢和分析方法，所述方法包括：

【步驟1】獲取隧道管片環(huán)號；

本實施例中，通過掃描二維碼的方式獲取隧道管片環(huán)號；

【步驟2】從數(shù)據(jù)庫中獲取對應(yīng)隧道管片環(huán)號隧道管片的病害信息；

本實施例中，根據(jù)掃描二維碼獲取的隧道管片環(huán)號，讀取病害數(shù)據(jù)庫中的病害信息，包括病害位置坐標(biāo)，病害類型，病害日期和病害描述，以結(jié)構(gòu)體數(shù)組的形式緩存在本地。

【步驟3】使用移動設(shè)備的攝像頭捕獲視頻流；

本實施例中，使用相機API定制自定義相機。創(chuàng)建一個類，用于繪制相機預(yù)覽圖像的類，提供給用戶實時的預(yù)覽圖像，編寫一個抽象接口控制機預(yù)覽類,該接口能夠控制相機拍攝的尺寸和格式，修改拍攝的像素，監(jiān)視相機的狀態(tài)變化等等。然后編寫方法使圖像預(yù)覽類通過該方法獲得圖像實例。在隧道中，打開該自定義相機，即可進行相機預(yù)覽，捕獲視頻流。

【步驟4】識別隧道管片上的病害類型；

本實施例中，在已有的相機實例中，添加方法得到當(dāng)前時刻的bitmap，并將它顯示在屏幕上，完成視頻流轉(zhuǎn)化為bmp格式的過程。將當(dāng)前圖像進行灰度化處理，考慮到隧道環(huán)境特點以及灰度化過程不能丟失重要信息的要求，采用國際標(biāo)準(zhǔn)符合肉眼習(xí)慣的灰度圖來進行處理，對灰度圖像進行灰度拉伸，將無效信息屏蔽，并使病害區(qū)域和邊界處灰度區(qū)分更加明顯，有助于后續(xù)病害提取。然后對灰度圖設(shè)置闕值，進行二值分割。由于隧道管片圖像中存在著大量不同種類，不同形狀，且分布無規(guī)律的噪聲，這些噪聲嚴(yán)重影響了隧道病害的檢測，因此需要將圖像中復(fù)雜的噪聲去除，確定病害區(qū)域。為了確定病害位置，使用Canny算子作為邊緣檢測算法提取管片邊緣，確定病害位置，同時將滲漏水區(qū)域的信息，包括病害類型，病害位置等存儲方便后續(xù)處理。

【步驟5】掃描到的病害與數(shù)據(jù)庫中的病害數(shù)據(jù)進行匹配，并疊加圖標(biāo)，顯示病害信息；

本實施例中，將得到的病害類型以及病害位置以數(shù)組的形式保存下來，與該隧道環(huán)面數(shù)據(jù)庫中記錄的病害類型逐一匹配，即通過循環(huán)判斷其中的每個病害是否在該隧道環(huán)面數(shù)據(jù)庫中有記錄，若匹配成功，即數(shù)據(jù)庫中已有該病害，獲取該病害在數(shù)據(jù)庫中的病害信息，以newBitmap創(chuàng)建Canvas類，Canvas類相當(dāng)于一個畫布，使用該類即可將當(dāng)前圖片設(shè)置為畫布，在調(diào)用paint類，paint類相當(dāng)于畫筆，可以在畫布上繪制圖形、著色等。在本發(fā)明中，使用paint類將代表病害類型的病害標(biāo)簽疊加在使用canvas類創(chuàng)建的畫布上，并根據(jù)病害位置的信息，將病害位置相對于相機的坐標(biāo)確定下來，即可完成在攝像圖像上疊加病害標(biāo)簽。并在標(biāo)簽上添加監(jiān)聽器，通過intent實現(xiàn)病害歷史界面的跳轉(zhuǎn)，I ntent機制能夠協(xié)助不同應(yīng)用間的交互與通訊；若數(shù)據(jù)庫沒有該病害，則將該病害定義為新病害，在病害上疊加提示符號，并進入手動添加病害模塊將病害圖標(biāo)貼在攝像圖像上，并將病害信息，包括病害類型，病害坐標(biāo)，發(fā)現(xiàn)日期等同步到數(shù)據(jù)庫。

本發(fā)明還揭示一種基于增強現(xiàn)實系統(tǒng)結(jié)構(gòu)表面病害的巡檢和分析系統(tǒng)，所述系統(tǒng)包括：二維碼模塊、病害信息模塊、圖像處理模塊、病害顯示模塊。

二維碼模塊用于獲取目標(biāo)管片的隧道管片環(huán)號；在隧道管片上設(shè)置二維碼標(biāo)簽，二維碼標(biāo)簽內(nèi)儲存該管片的隧道管片環(huán)號，通過解析二維碼獲得管片隧道管片環(huán)號；

病害信息模塊，用于獲取病害數(shù)據(jù)庫中相應(yīng)的病害信息；根據(jù)獲得的隧道管片環(huán)號調(diào)用數(shù)據(jù)庫，獲取病害數(shù)據(jù)庫中相應(yīng)的病害信息，并將該病害信息緩存在本地；

圖像處理模塊，用于在視頻流中識別目標(biāo)管片上的病害類型；

病害顯示模塊，對目標(biāo)圖片做增強實現(xiàn)；在輸入視頻上疊加病害標(biāo)簽，顯示病害的歷史信息。

綜上所述，本發(fā)明提出的基于增強現(xiàn)實的結(jié)構(gòu)表面病害巡檢和分析方法及系統(tǒng)，可有效且直觀的復(fù)現(xiàn)隧道病害信息。

這里本發(fā)明的描述和應(yīng)用是說明性的，并非想將本發(fā)明的范圍限制在上述實施例中。這里所披露的實施例的變形和改變是可能的，對于那些本領(lǐng)域的普通技術(shù)人員來說實施例的替換和等效的各種部件是公知的。本領(lǐng)域技術(shù)人員應(yīng)該清楚的是，在不脫離本發(fā)明的精神或本質(zhì)特征的情況下，本發(fā)明可以以其它形式、結(jié)構(gòu)、布置、比例，以及用其它組件、材料和部件來實現(xiàn)。在不脫離本發(fā)明范圍和精神的情況下，可以對這里所披露的實施例進行其它變形和改變。