基于條件隨機場模型的無人機圖像目標(biāo)類檢測方法
【專利摘要】本發(fā)明公開了一種基于條件隨機場模型的無人機圖像目標(biāo)類檢測方法，其步驟為：(1)對特定區(qū)域的場景圖片進行采集作為訓(xùn)練樣本；(2)通過空間金字塔方法進行SVM分類器訓(xùn)練；(3)通過SVM分類器對特定區(qū)域內(nèi)進行場景識別；(4)對無人機得到的圖像進行超像素分割；(5)通過ORB算法提取特征，并在每個超像素塊中進行融合作為該超像素塊的特征；(6)構(gòu)建條件隨機場模型，將步驟(3)中的場景對目標(biāo)類的限制加入建模過程；(7)進行參數(shù)學(xué)習(xí)；(8)進行模型推斷，基于步驟(7)采用最大后驗準(zhǔn)則為每一個節(jié)點分配一個使其邊緣概率最大的標(biāo)記，最終實現(xiàn)目標(biāo)類檢測。本發(fā)明具有適用范圍廣、能夠提高檢測準(zhǔn)確度和處理速度等優(yōu)點。
【專利說明】基于條件隨機場模型的無人機圖像目標(biāo)類檢測方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明主要涉及到無人機系統(tǒng)的設(shè)計領(lǐng)域，特指一種基于條件隨機場模型的無人 機圖像目標(biāo)類檢測方法。

【背景技術(shù)】
[0002] 目前，無人機系統(tǒng)在各個行業(yè)領(lǐng)域都發(fā)揮著越來越重要的作用，但是隨著無人機 系統(tǒng)傳感器獲取的圖像信息數(shù)據(jù)量急劇膨脹，迫切需要智能化的處理手段輔助，甚至替代 操作員完成基本的圖像分析任務(wù)，處理目標(biāo)信息。目標(biāo)類檢測中圖像表現(xiàn)出的不確定性和 模糊性是兩個急需解決的重要問題。為了減少這些不確定性和模糊性對目標(biāo)檢測的影響， 一個重要的辦法是在檢測過程中盡可能多地利用圖像中包含的信息，包括圖像特征和圖像 成分之間的上下文信息。一方面場景信息是一種重要的上下文信息，如飛機出現(xiàn)在機場的 概率要比在曠野中大很多，輪船一般出現(xiàn)在水域附近；另一方面目標(biāo)不同的目標(biāo)部件區(qū)域 可以由不同的結(jié)構(gòu)和紋理基元構(gòu)成，不僅同一部件的不同觀測具有一定的紋理或結(jié)構(gòu)相似 性，而且相鄰的部件之間在空間上也存在相關(guān)性。這種多層次的上下文信息對于實現(xiàn)目標(biāo) 類檢測有很大幫助。特別是對于存在環(huán)境干擾或遮擋的情況，根據(jù)對目標(biāo)部件分布情況的 分析可以從概率的角度推斷出目標(biāo)的出現(xiàn)?；诓考臈l件隨機場模型直接對后驗概率建 模，既能融合多特征又可以利用上下文信息?；谙袼丶墑e的處理往往導(dǎo)致需要處理的基 本單元過多，這大大影響了圖像分類的效率，以超像素塊為節(jié)點建立圖模型可以極大減小 圖模型規(guī)模，降低圖像處理的復(fù)雜度。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明要解決的技術(shù)問題就在于：針對現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明提供一 種適用范圍廣、能夠提高檢測準(zhǔn)確度和處理速度的基于條件隨機場模型的無人機圖像目標(biāo) 類檢測方法。
[0004] 為解決上述技術(shù)問題，本發(fā)明采用以下技術(shù)方案：
[0005] -種基于條件隨機場模型的無人機圖像目標(biāo)類檢測方法，其步驟為：
[0006] (1)對特定區(qū)域的場景圖片進行采集作為訓(xùn)練樣本；
[0007] (2)通過空間金字塔方法進行SVM分類器訓(xùn)練；
[0008] (3)通過SVM分類器對特定區(qū)域內(nèi)進行場景識別；
[0009] (4)對無人機得到的圖像進行超像素分割；
[0010] (5)通過0RB算法提取特征，并在每個超像素塊中進行融合作為該超像素塊的特 征；
[0011] (6)針對目標(biāo)類檢測特點基于部件模型原理進行條件隨機場勢函數(shù)和鄰域設(shè)計， 構(gòu)建條件隨機場模型，同時將步驟（3)中的場景對目標(biāo)類的限制加入建模過程；
[0012] (7)進行參數(shù)學(xué)習(xí)；采用極大似然估計方法實現(xiàn)求解條件隨機場模型的參數(shù)問 題，通過學(xué)習(xí)訓(xùn)練出分類模型；
[0013] (8)進行模型推斷，基于步驟（7)采用最大后驗準(zhǔn)則為每一個節(jié)點分配一個使其 邊緣概率最大的標(biāo)記，最終實現(xiàn)目標(biāo)類檢測。
[0014] 作為本發(fā)明的進一步改進：所述步驟（2)中，采用規(guī)則網(wǎng)格將圖像分塊，并提取每 個塊的SIFT特征；通過Kmeans聚類形成塊類型的碼本，利用交叉直方圖，選擇適合的核函 數(shù)對SVM分類器進行訓(xùn)練。
[0015] 作為本發(fā)明的進一步改進：所述步驟（4)中，對測試圖像進行過分割；采用SLIC 算法進行超像素分割，SLIC算法利用5維特征進行過分割，3維的CIELAB顏色空間的L、a、 b和2維x、y的位置信息，任意設(shè)定分割的超像素塊數(shù)。
[0016] 作為本發(fā)明的進一步改進：所述步驟（5)中，對超像素塊通過0RB算法提取角點特 征，同時提取RGB顏色特征、紋理特征、灰度值特征共同構(gòu)成特征向量，并對目標(biāo)內(nèi)的超像 素塊特征進行整合構(gòu)成特征向量。
[0017] 作為本發(fā)明的進一步改進：所述步驟（6)的具體步驟為：
[0018] (6. 1)定義鄰域結(jié)構(gòu)；計算節(jié)點周圍最近鄰的n個鄰節(jié)點，作為該節(jié)點的鄰域系 統(tǒng)；其中最近鄰的依據(jù)采用圖像空間內(nèi)的二維距離進行判斷；由圖G = (V，E)表示概率分 布，即在圖G中，結(jié)點v G V表示一個隨機變量Yv，邊e G E表示隨機變量之間的概率依賴 關(guān)系；若兩個超像素塊相鄰，則在CRF模型中他們對應(yīng)的結(jié)點上加入一條邊，用來表示兩個 結(jié)點是相鄰的；
[0019] (6. 2)構(gòu)建雙層模型；
[0020] 第一層模型：建立觀測y和部件標(biāo)記h的關(guān)聯(lián)，采用觀測圖像的顏色特征、紋理 特征和局部不變性特征作為輸入 yi，融合不同特征的超像素塊在圖像空間中的位置對應(yīng)于 CRF圖模型中頂點的概念；超像素塊之間通過實線連接，表示存在著相互依賴的關(guān)系；多個 超像素塊在物理上可能對應(yīng)于同一個目標(biāo)部件；
[0021] 第二層模型：建立部件標(biāo)記h和目標(biāo)標(biāo)記X之間的關(guān)聯(lián)；采用多類別的部件標(biāo)記 作為觀測，衡量變量X在給定h下的后驗概率；同樣，hi與h存在物理相關(guān)性，X與整個h 相關(guān)。模型的訓(xùn)練和推斷在一個整體的框架下進行，通過數(shù)學(xué)手段略去對h的直接使用。
[0022] 與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于：
[0023] 1、本發(fā)明的基于條件隨機場模型的無人機圖像目標(biāo)類檢測方法，將采集到的圖像 作為訓(xùn)練圖像，通過空間金字塔方法對SVM分類器進行訓(xùn)練，而后通過分類器對測試圖像 進行場景分類。下一步對圖像進行超像素分割，以超像素為節(jié)點建立圖模型，而后對圖像進 行特征提取與描述，并基于部件模型建立條件隨機場，同時將場景對目標(biāo)類的限制融入模 型的構(gòu)建中，并將提取的特征向量作為輸入對目標(biāo)建模，然后進行參數(shù)估計和模型推斷，最 后實現(xiàn)對目標(biāo)類的檢測。在本發(fā)明的處理過程中，模型可以快速提取圖像局部特征，并能 充分利用上下文信息，相比于基于像素的條件隨機場模型在訓(xùn)練和推導(dǎo)速度上具有明顯優(yōu) 勢。
[0024] 2、本發(fā)明的基于條件隨機場模型的無人機圖像目標(biāo)類檢測方法，首先基于已經(jīng)采 集的圖像，尤其是特定區(qū)域的圖像通過空間金字塔（Spatial Pyramid)方法訓(xùn)練SVM分類 器，實現(xiàn)對場景尤其是特定區(qū)域場景的判斷。而后結(jié)合已知特定場景這個上下文信息，對基 于部件建立條件隨機場模型進行限制，從而提高檢測的準(zhǔn)確度。
[0025] 3、本發(fā)明為了減少計算復(fù)雜度和空間復(fù)雜度，首先通過SLIC算法對圖像進行超 像素分割，以超像素為單位建立節(jié)點，快速融合多種圖像特征。其中一種提取特征的方法是 利用ORB算法實現(xiàn)對角點特征的快速提取與描述。
[0026] 4、本發(fā)明的基于條件隨機場模型的無人機圖像目標(biāo)類檢測方法，整體訓(xùn)練推理速 度較快，對目標(biāo)類檢測精度較高。

【專利附圖】

【附圖說明】
[0027] 圖1是本發(fā)明方法的流程示意圖。
[0028] 圖2是本發(fā)明在具體應(yīng)用實例中空中無人機目標(biāo)類檢測結(jié)果的示意圖。
[0029] 圖3是本發(fā)明在具體應(yīng)用實例中以海洋背景進行目標(biāo)類檢測結(jié)果的示意圖。
[0030] 圖4是本發(fā)明在另一個具體應(yīng)用實例中以海洋背景進行目標(biāo)類檢測結(jié)果的示意 圖。

【具體實施方式】
[0031] 以下將結(jié)合說明書附圖和具體實施例對本發(fā)明做進一步詳細(xì)說明。
[0032] 如圖1所示，本發(fā)明的基于條件隨機場模型的無人機圖像目標(biāo)類檢測方法，其步 驟為：
[0033] (1)對特定區(qū)域所場景圖片進行采集作為訓(xùn)練樣本；
[0034] 采集訓(xùn)練圖像，針對無人機在特定區(qū)域執(zhí)行任務(wù)的特點，預(yù)先采集該區(qū)域的所必 須出現(xiàn)的場景圖像作為后期的訓(xùn)練圖像。
[0035] (2)通過空間金字塔方法進行SVM分類器訓(xùn)練；
[0036] 基于經(jīng)典的空間金字塔方法對SVM分類器進行訓(xùn)練，用規(guī)則網(wǎng)格將圖像分塊，并 提取每個塊的SIFT特征，通過Kmeans聚類形成塊類型的碼本；利用交叉直方圖，同時選擇 適合的核函數(shù)對SVM分類器進行訓(xùn)練。
[0037] (3)通過SVM分類器實現(xiàn)對特定區(qū)域內(nèi)場景的識別；
[0038] (4)超像素分割和提取特征。
[0039] 對圖像進行超像素分割，實現(xiàn)方法采用SLIC算法將圖像過分割為多個超像素塊， 盡可能的保留目標(biāo)的邊緣特征。
[0040] 采用現(xiàn)有的SLIC算法進行超像素分割。SLIC算法利用5維特征進行過分割，3維 的CIELAB顏色空間的L、a、b和2維x、y的位置信息，可以任意設(shè)定分割的超像素塊數(shù)，能 夠較好的保持目標(biāo)的邊緣特征，同時速度較快。
[0041] 對超像素塊通過0RB算法提取角點特征，同時提取RGB顏色特征、紋理柱狀圖提取 的紋理特征、灰度值等特征共同構(gòu)成特征向量，并對目標(biāo)內(nèi)的超像素塊特征進行整合構(gòu)成 特征向量。
[0042] (5)構(gòu)建條件隨機場模型。
[0043] 第一步，鄰域結(jié)構(gòu)定義方法采用n-Lattice方法。其基本思想是：計算節(jié)點周圍最 近鄰的n個鄰節(jié)點，作為該節(jié)點的鄰域系統(tǒng)。其中，最近鄰的依據(jù)可以采用圖像空間內(nèi)的二 維距離進行判斷。
[0044] 第二步，建立圖模型。圖G = (V，E)表示概率分布，即在圖G中，結(jié)點v G V表示 一個隨機變量Yv，邊e G E表示隨機變量之間的概率依賴關(guān)系。若兩個超像素塊相鄰，則在 CRF模型中它們對應(yīng)的結(jié)點上加入一條邊，用來表示兩個結(jié)點是相鄰的。
[0045] 第三步，基于部件模型思想建立條件隨機場。1)第一層模型建立觀測y和部件標(biāo) 記h的關(guān)聯(lián)，采用觀測圖像的顏色特征、紋理特征和局部不變性特征作為輸入 yi，融合不同 特征的超像素塊在圖像空間中的位置對應(yīng)于CRF圖模型中頂點的概念。超像素塊之間通過 實線連接，表示存在著相互依賴的關(guān)系。多個超像素塊在物理上可能對應(yīng)于同一個目標(biāo)部 件，因此部件標(biāo)記h依賴于多個觀測 yi。相鄰的部件標(biāo)記匕與h存在物理結(jié)構(gòu)上的相關(guān) 性，因而也使用實線連接。2)第二層模型建立部件標(biāo)記h和目標(biāo)標(biāo)記x之間的關(guān)聯(lián)。采用 多類別的部件標(biāo)記作為觀測，衡量變量x在給定h下的后驗概率。同樣，h與h存在物理 相關(guān)性，x與整個h相關(guān)。模型的訓(xùn)練和推斷在一個整體的框架下進行，通過數(shù)學(xué)手段略去 對h的直接使用。
[0046] 第一層模型考慮單位置關(guān)聯(lián)勢函數(shù)和雙位置交互勢函數(shù)，后驗概率P (h | y，入）可 以建模為：

【權(quán)利要求】
1. 一種基于條件隨機場模型的無人機圖像目標(biāo)類檢測方法，其特征在于，步驟為： (1) 對特定區(qū)域的場景圖片進行采集作為訓(xùn)練樣本； (2) 通過空間金字塔方法進行SVM分類器訓(xùn)練； (3) 通過SVM分類器對特定區(qū)域內(nèi)進行場景識別； (4) 對無人機得到的圖像進行超像素分割； (5) 通過ORB算法提取特征，并在每個超像素塊中進行融合作為該超像素塊的特征； (6) 針對目標(biāo)類檢測特點基于部件模型原理進行條件隨機場勢函數(shù)和鄰域設(shè)計，構(gòu)建 條件隨機場模型，同時將步驟（3)中的場景對目標(biāo)類的限制加入建模過程； (7) 進行參數(shù)學(xué)習(xí)；采用極大似然估計方法實現(xiàn)求解條件隨機場模型的參數(shù)問題，通 過學(xué)習(xí)訓(xùn)練出分類模型； (8) 進行模型推斷，基于步驟（7)采用最大后驗準(zhǔn)則為每一個節(jié)點分配一個使其邊緣 概率最大的標(biāo)記，最終實現(xiàn)目標(biāo)類檢測。
2. 根據(jù)權(quán)利要求1所述的基于條件隨機場模型的無人機圖像目標(biāo)類檢測方法，其特征 在于，所述步驟（2)中，采用規(guī)則網(wǎng)格將圖像分塊，并提取每個塊的SIFT特征；通過Kmeans 聚類形成塊類型的碼本，利用交叉直方圖，選擇適合的核函數(shù)對SVM分類器進行訓(xùn)練。
3. 根據(jù)權(quán)利要求1所述的基于條件隨機場模型的無人機圖像目標(biāo)類檢測方法，其特征 在于，所述步驟（4)中，對測試圖像進行過分割；采用SLIC算法進行超像素分割，SLIC算法 利用5維特征進行過分割，3維的CIELAB顏色空間的L、a、b和2維x、y的位置信息，任意 設(shè)定分割的超像素塊數(shù)。
4. 根據(jù)權(quán)利要求3所述的基于條件隨機場模型的無人機圖像目標(biāo)類檢測方法，其特征 在于，所述步驟（5)中，對超像素塊通過ORB算法提取角點特征，同時提取RGB顏色特征、紋 理特征、灰度值特征共同構(gòu)成特征向量，并對目標(biāo)內(nèi)的超像素塊特征進行整合構(gòu)成特征向 量。
5. 根據(jù)權(quán)利要求1?4中任意一項所述的基于條件隨機場模型的無人機圖像目標(biāo)類檢 測方法，其特征在于，所述步驟￠)的具體步驟為： (6. 1)定義鄰域結(jié)構(gòu)；計算節(jié)點周圍最近鄰的n個鄰節(jié)點，作為該節(jié)點的鄰域系統(tǒng)；其 中最近鄰的依據(jù)采用圖像空間內(nèi)的二維距離進行判斷；由圖G = (V，E)表示概率分布，即在 圖G中，結(jié)點v G V表示一個隨機變量Yv，邊e G E表示隨機變量之間的概率依賴關(guān)系；若 兩個超像素塊相鄰，則在CRF模型中他們對應(yīng)的結(jié)點上加入一條邊，用來表示兩個結(jié)點是 相鄰的； (6. 2)構(gòu)建雙層模型； 第一層模型：建立觀測y和部件標(biāo)記h的關(guān)聯(lián)，采用觀測圖像的顏色特征、紋理特征和 局部不變性特征作為輸入yi，融合不同特征的超像素塊在圖像空間中的位置對應(yīng)于CRF圖 模型中頂點的概念；超像素塊之間通過實線連接，表示存在著相互依賴的關(guān)系；多個超像 素塊在物理上可能對應(yīng)于同一個目標(biāo)部件； 第二層模型：建立部件標(biāo)記h和目標(biāo)標(biāo)記x之間的關(guān)聯(lián)；采用多類別的部件標(biāo)記作為 觀測，衡量變量x在給定h下的后驗概率；同樣，h與hj存在物理相關(guān)性，x與整個h相關(guān)。
【文檔編號】G06K9/34GK104392228SQ201410798297
【公開日】2015年3月4日 申請日期:2014年12月19日 優(yōu)先權(quán)日:2014年12月19日
【發(fā)明者】牛軼峰, 朱華勇, 吳雪松, 吳立珍 申請人:中國人民解放軍國防科學(xué)技術(shù)大學(xué)