基于圖像的高鐵線路線桿斷裂與聯(lián)接結(jié)構(gòu)體異常檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機視覺領(lǐng)域，具體涉及一種基于圖像的高鐵線路線桿斷裂與聯(lián)接 結(jié)構(gòu)體異常檢測方法。
【背景技術(shù)】
[0002] 中國已經(jīng)成為世界上高速鐵路技術(shù)發(fā)展最快的國家。我國高速鐵路的線路里程、 運營時速、在建規(guī)模等在世界上均處于領(lǐng)先水平，高速鐵路日漸成為一種現(xiàn)代化的交通方 式。目前，我國已經(jīng)研發(fā)并投入使用了新型的線路檢測車輛，這類檢測車輛沿鐵路線路行 駛，并由車上的攝像頭拍攝線路圖像，記錄線路的實時狀態(tài)，對于拍攝的線路圖像數(shù)據(jù)則多 采用人工判讀的方式進行異常檢查。人工判讀高鐵線路圖片存在著諸多問題，例如檢測周 期長、人力資源消耗大、檢測標準不一致等，如果可以用機器視覺的相關(guān)算法，自動地進行 相應(yīng)檢測，則由于機器工作具有速度快、可長時間運行、人力勞動強度低等優(yōu)點，檢測效率 會有極大地提升。目前對于高鐵線路中存在的某些種類的異常，已存在相應(yīng)的自動化檢測 方法，例如申請?zhí)枮?01310721802. 7、名稱為"基于圖像的鐵路接觸網(wǎng)鳥窩異常情況檢測方 法"的中國專利申請中提出了一種鐵路接觸網(wǎng)鳥窩異常檢測的方法，該方法采用一種多窗 口自適應(yīng)二值化的算法，對線路結(jié)構(gòu)進行提取，并通過定位鳥窩可疑區(qū)域與特征提取等手 段來定位鳥窩異常。相對于線桿斷裂異常（如承重線斷開）與聯(lián)接結(jié)構(gòu)體異常（如支撐架 聯(lián)接處變形開裂），鳥窩異常的定位并不需要精確的線路結(jié)構(gòu)，故上述發(fā)明所采用的二值化 算法與線路結(jié)構(gòu)的提取方法均不適用于線桿斷裂與聯(lián)接結(jié)構(gòu)體異常檢測。相對于上述發(fā) 明，本發(fā)明采用了不同的線路圖像二值化與結(jié)構(gòu)提取策略，在二值化過程中采用固定大小 的局部窗口，將線路圖像下采樣至不同的尺度下進行二值化操作，并在每個尺度下選擇合 適大小的前景目標進行保留，最后統(tǒng)一至同一尺度進行合并。該算法不但能精確提取各種 尺寸的線路結(jié)構(gòu)，而且能夠避免因采用小尺寸窗口而產(chǎn)生的噪聲等問題。在線路結(jié)構(gòu)提取 上，由于斷裂與聯(lián)接結(jié)構(gòu)體檢測需要獲得完整的鐵路線路結(jié)構(gòu)信息，本發(fā)明采用了一種骨 架提取算法，對鐵路線路二值圖進行骨架提取，從而得到清晰而便于處理的線路結(jié)構(gòu)信息。 最后針對線路中存在的線桿斷裂異常，通過對骨架結(jié)構(gòu)進行斷裂點檢測，發(fā)現(xiàn)并定位可能 出現(xiàn)斷裂的位置，針對聯(lián)接結(jié)構(gòu)體異常，利用骨架結(jié)構(gòu)對聯(lián)接體局部圖像進行提取，并利用 卷積神經(jīng)網(wǎng)絡(luò)進行異常的檢測與判定。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明所要解決的技術(shù)問題是高速鐵路線路巡檢圖像中線桿斷裂異常與聯(lián)接結(jié) 構(gòu)體異常的自動識別，該問題的核心是線路結(jié)構(gòu)信息的精確提取與斷裂位置的確定。為了 解決上述問題，本發(fā)明采取了一種基于圖像的高鐵線路線桿斷裂與聯(lián)接結(jié)構(gòu)體異常檢測方 法，包括如下步驟，
[0004] 采用一種多尺度局部二值化算法對待檢測的高速鐵路沿線拍攝圖像進行二值化 處理并得到二值圖像，突出線路主體，并有效排除背景干擾；
[0005] 利用一種骨架提取算法對所述的二值圖像進行處理，得到線路的骨架結(jié)構(gòu)；
[0006] 針對線路中存在的線桿斷裂異常，通過分析所述線路的骨架結(jié)構(gòu)進行斷裂點檢 測，發(fā)現(xiàn)并定位可能出現(xiàn)斷裂的位置；
[0007] 針對聯(lián)接結(jié)構(gòu)體異常，利用線路骨架結(jié)構(gòu)圖對聯(lián)接體局部圖像進行提取，并利用 卷積神經(jīng)網(wǎng)絡(luò)進行異常的檢測與判定。
[0008] 進一步地，采用一種多尺度局部二值化算法對待檢測的高速鐵路沿線拍攝圖像進 行二值化處理并得到二值圖像，突出線路主體，并有效排除背景干擾，還包括，將輸入圖像 向下采樣，形成包括原圖在內(nèi)的共四張尺寸不同的子圖；利用一種固定窗口大小的局部二 值化算法分別對四張子圖進行二值化處理，得到四張二值圖像；依據(jù)圖像的尺度，分別在上 述四張二值圖像中選擇一定大小范圍內(nèi)的前景物體進行保留；將選擇出的前景目標統(tǒng)一合 并到同一尺度，得到包含精確結(jié)構(gòu)信息的二值圖。
[0009] 進一步地，針對線路中存在的線桿斷裂異常，通過分析所述線路的骨架結(jié)構(gòu)進行 斷裂點檢測，發(fā)現(xiàn)并定位可能出現(xiàn)斷裂的位置，還包括，通過多次迭代操作，逐漸剝離二值 圖中圖形的邊緣，并最終留下骨架圖像。
[0010] 進一步地，針對線路中存在的線桿斷裂異常，通過分析所述線路的骨架結(jié)構(gòu)進行 斷裂點檢測，發(fā)現(xiàn)并定位可能出現(xiàn)斷裂的位置，還包括，通過分析骨架圖中的骨架像素點及 其周圍八個像素點，確定圖中每個骨架像素點的類型；通過對像素點的類型進行檢查，確定 可疑斷裂點；通過對可疑斷裂點進行篩選，排除誤檢，得到最終異常檢測結(jié)果。
[0011] 進一步地，針對聯(lián)接結(jié)構(gòu)體異常，利用線路骨架結(jié)構(gòu)圖對聯(lián)接體局部圖像進行提 取，并利用卷積神經(jīng)網(wǎng)絡(luò)進行異常的檢測與判定，還包括，通過提取骨架圖中特定類型像素 點周圍的區(qū)域，得到高鐵線路中聯(lián)接結(jié)構(gòu)體的局部圖像；通過提取局部圖像的HOG特征，并 用K-means聚類算法對聯(lián)接結(jié)構(gòu)體圖像進行聚類，得到大量同類聯(lián)接結(jié)構(gòu)體的局部圖像； 將聯(lián)接結(jié)構(gòu)體的正常與異常的局部圖像送入卷積神經(jīng)網(wǎng)絡(luò)進行訓練，得到能夠區(qū)分聯(lián)接結(jié) 構(gòu)體異常與否的卷積神經(jīng)網(wǎng)絡(luò)模型；利用訓練好的卷積神經(jīng)網(wǎng)絡(luò)模型對待檢測圖像中的聯(lián) 接結(jié)構(gòu)體進行異常檢測。
[0012] 進一步地，還包括，對輸入圖像進行向下采樣，首先將輸入圖像轉(zhuǎn)換成灰度圖像， 然后在三個不同的尺度上進行下采樣操作，得到三張子圖；計算待采樣灰度圖像的積分圖 像，得到積分圖像后計算像素值，得到四張不同尺度的灰度圖像；在得到四張灰度圖像后， 利用一種固定窗口大小的局部二值化算法分別對四張灰度圖像進行二值化處理，得到四張 不同尺度的二值圖像；在得到四張二值圖像后，進行前景物體的選擇；在完成前景物體選 擇后，算法接下來將上一步的結(jié)果合并至一張圖上。
[0013] 進一步地，還包括，將二值圖簡化成用一個矩陣來進行表示，在算法的迭代過程 中，某次迭代賦予像素點的新值由上一次迭代完成后該像素點的八個鄰居像素點的值決 定，迭代后二值圖中的所有像素點都能夠被更新；算法的一次迭代分為兩個子迭代過程； 經(jīng)過這兩個子迭代過程，圖形的邊緣點會被逐漸刪除，將這兩個子迭代過程一直重復下去 直到圖像不發(fā)生改變，此時圖中留下的就是最終的骨架。
[0014] 進一步地，還包括，對于任意某個像素點，其周圍的八個像素點按順時針的順序可 以組成一個首尾相連的環(huán)狀結(jié)構(gòu)，在該環(huán)狀結(jié)構(gòu)中可能存在一個或幾個由連續(xù)的0像素點 構(gòu)成的子片段，依據(jù)這些子片段的數(shù)量可以將像素點分為三類；在線路骨架圖中，斷裂的斷 口處屬于第三類點，既該點僅有一端與骨架的其余部分相連接；對骨架圖進行掃描操作，并 篩選出具有上述特征的點，即可作為可疑斷裂點；檢查與其連接的線段的長度，如果小于某 個閾值，則認為其是正常的，如果線段超過了一定長度，則認為該處是異常。
[0015] 進一步地，還包括，將聯(lián)接體結(jié)構(gòu)周圍一定大小的矩形區(qū)域的圖像內(nèi)容進行單獨 保存，即可得到聯(lián)接體結(jié)構(gòu)的局部圖像；構(gòu)造只包含這類聯(lián)接體結(jié)構(gòu)圖像的數(shù)據(jù)集，利用 K-means聚類算法對聯(lián)接體結(jié)構(gòu)圖像進行聚類操作，實現(xiàn)聯(lián)接體結(jié)構(gòu)圖像的聚類；采用卷 積神經(jīng)網(wǎng)絡(luò)進行聯(lián)接體結(jié)構(gòu)圖像的識別與異常檢測；在訓練過程中采用兩類訓練樣本，一 類為某種聯(lián)接體結(jié)構(gòu)在正常情況下的圖像，另一類為同種聯(lián)接體結(jié)構(gòu)發(fā)生異常時的圖像， 訓練完畢后即可得到能夠區(qū)分聯(lián)接結(jié)構(gòu)體異常與否的卷積神經(jīng)網(wǎng)絡(luò)模型；在訓練完畢后， 利用訓練后的網(wǎng)絡(luò)對包含正常與異常聯(lián)接體結(jié)構(gòu)圖像的測試數(shù)據(jù)集進行測試，若網(wǎng)絡(luò)對某 一張聯(lián)接體結(jié)構(gòu)圖像的識別結(jié)果為正常，則可以認為該聯(lián)接體結(jié)構(gòu)沒有問題，否則認為該 聯(lián)接體結(jié)構(gòu)存在異常狀況。
[0016] 本發(fā)明的益處在于：適用性廣，可針對多種線路的高速鐵路沿線拍攝圖像進行檢 測；檢測效率高，相對于人工檢測，本發(fā)明利用機器視覺相關(guān)方法實現(xiàn)異常的自動檢測，檢 測速度快，可以提高巡檢工作人員的工作效率并縮短巡檢時間。
【附圖說明】
[0017] 圖1是本發(fā)明基于圖像的高鐵線路線桿斷裂異常與聯(lián)接結(jié)構(gòu)體異常檢測方法流 程不意圖；
[0018] 圖2是本發(fā)明存在線桿斷裂異常的線路結(jié)構(gòu)的示例圖；
[0019] 圖3是本發(fā)明聯(lián)接結(jié)構(gòu)體局部圖像及其異常情況的示例圖；
[0020] 圖4是本發(fā)明所述的多尺度局部二值化算法的基本框架；
[0021] 圖5是本發(fā)明線路骨架結(jié)構(gòu)圖中不同像素點類型的示意圖；
[0022] 圖6是本發(fā)明線桿斷裂異常檢測方法的基本框架；
[0023] 圖7是本發(fā)明聯(lián)接結(jié)構(gòu)體異常檢測方法的基本框架。
【具體實施方式】
[0024] 當結(jié)合附圖考慮時，通過參照下面的詳細描述，能夠更完整更好地理解本發(fā)明以 及容易得知其中許多伴隨的優(yōu)點，但此處所說明的附圖用來提供對本發(fā)明的進一步理解， 構(gòu)成本發(fā)明的一部分。
[0025] 為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和具體實 施方式對本發(fā)明作進一步詳細說明。
[0026] 實施例1 :如圖1至圖7所示，本發(fā)明所采用的圖像數(shù)據(jù)為鐵路接觸網(wǎng)巡檢車輛上 的CCD攝像機所拍攝的線路圖像，其分辨率為2448 X 2050 (500W像素）。圖2是存在線桿斷 裂異常的線路結(jié)構(gòu)的示例圖，可以看到圖中存在著連接線、桿斷開的現(xiàn)象。圖3是聯(lián)接結(jié)構(gòu) 體局部圖像及其異常情況的示例圖，可以看到圖中支撐桿連接部分存在開裂的現(xiàn)象。針對 上述異常，本發(fā)明提出一種基于圖像的高鐵線路線桿斷裂與聯(lián)接結(jié)構(gòu)體異常檢測方法，包 括如下步驟，
[0027] 步驟1)圖像二值化，采用一種多尺度局部二值化算法對待檢測的高速鐵路沿線 拍攝圖像進行二值化處理并得到二值圖像，突出線路主體，并有效排除背景干擾；
[0028] 步驟2)二值圖像骨架提取，利用一種骨架提取算法對步驟1)得到的二值圖像進 行處理，得到線路的骨架結(jié)構(gòu)；
[0029] 步驟3)可疑斷裂點檢測，針對線路中存在的線