對(duì)應(yīng)子直方圖的相似性
.其中t =1，2,…，N，z = l，2,…，Ns,然后計(jì)算總體相似性巫t = 1- n ;候選目標(biāo)區(qū)域與目 標(biāo)的相似性用O =max{ O t，t}表示，則目標(biāo)丟失判斷式為：
其 中g(shù)s為人為設(shè)定的判失閥值;當(dāng)U = 1時(shí)目標(biāo)被穩(wěn)定跟蹤，當(dāng)U = O時(shí)，目標(biāo)丟失；
[0140] 當(dāng)目標(biāo)丟失時(shí)，定義仿射變換模型：
其中（xt，yt)和(xt-i，yt-i)分別為當(dāng)前帖目標(biāo)中某個(gè)SITF特征點(diǎn)的位置坐標(biāo)和前一個(gè)帖目標(biāo) 中對(duì)應(yīng)匹配特征點(diǎn)的位置坐標(biāo)，兩者均為已知量;S為尺度系數(shù)，0為旋轉(zhuǎn)系數(shù)，e和f代表了 平移系數(shù)
為溫度旋轉(zhuǎn)修正系數(shù)：
為溫度平移修正系數(shù)，山和化用于修正因?yàn)榄h(huán)境溫度偏差造成的圖像旋轉(zhuǎn)和平移誤差，I'd為 人為設(shè)定的標(biāo)準(zhǔn)溫度，設(shè)為20度，T為由溫度傳感器實(shí)時(shí)監(jiān)測(cè)得到的溫度值;采用Ransac估 計(jì)算法求取仿射變換模型的參數(shù)，最后在新的尺度S和旋轉(zhuǎn)系數(shù)0下采集正負(fù)樣本，更新分 類(lèi)器；
[0141] 更新子模塊23,用于視覺(jué)字典的更新：
[0142] 在每帖圖像獲得目標(biāo)位置W后，根據(jù)仿射變換參數(shù)的計(jì)算結(jié)果，收集所有滿(mǎn)足結(jié) 果參數(shù)的SIFT特征點(diǎn){篇語(yǔ)=1，經(jīng)過(guò)F = 7帖W后，獲得新的特征點(diǎn)集撫爲(wèi)去其中St-F代表 了從F帖圖像中得到的總特征點(diǎn)數(shù)；利用下式對(duì)新舊特征點(diǎn)重新進(jìn)行K聚類(lèi)：{心始=1 =
其中{^}Li表示新的視覺(jué)字典，視覺(jué)字典的大小保 持不變；巧€積，巧是遺忘因子，表明了舊字典所占的比重，(jO越小，新特征對(duì)目標(biāo)丟失的判 斷貢獻(xiàn)越多，取取=0.20;
[0143] (3)識(shí)別輸出模塊3,用于圖像的識(shí)別和輸出：在待識(shí)別的圖像序列中利用跟蹤算 法獲取目標(biāo)區(qū)域，將目標(biāo)區(qū)域映射到已知訓(xùn)練數(shù)據(jù)形成的子空間，計(jì)算子空間中目標(biāo)區(qū)域 與訓(xùn)練數(shù)據(jù)之間的距離，獲得相似性度量，判定目標(biāo)類(lèi)別，并輸出識(shí)別結(jié)果。
[0144] 優(yōu)選的，采用維納濾波來(lái)進(jìn)行一級(jí)濾除后，此時(shí)圖像信息還包含有殘余的噪音，采 用W下的二級(jí)濾波器進(jìn)行二次濾波：
[0145]
[0146] 其中，J(x，y)為經(jīng)過(guò)濾波后的圖像;Pg(x+i，y+k)代表尺度為mXn的函數(shù)，且PgU+ i，y+k)=qXe邱(-(x2+y2)/?)，其中q是將函數(shù)歸一化的系數(shù)，即 JJqXexp(-(x2+y2)/?) dxdy=1O
[0147] 此實(shí)施例的無(wú)人機(jī)，在圖像預(yù)處理階段，增強(qiáng)的圖像能夠根據(jù)模板的大小自適應(yīng) 調(diào)整，提高增強(qiáng)效果，且在在不同模板大小時(shí)判斷條件能自動(dòng)修正，且考慮了視覺(jué)習(xí)慣W及 人眼對(duì)不同色彩的感知度同色彩強(qiáng)度的非線(xiàn)性關(guān)系；充分利用了圖像的局部特征和全局特 征，具有自適應(yīng)性，可W抑制過(guò)度增強(qiáng)，對(duì)復(fù)雜光照環(huán)境下獲取的圖像增強(qiáng)效果明顯;將MX N個(gè)幕指數(shù)運(yùn)算降低為256個(gè)，提高了計(jì)算效率，2 = 8術(shù)=7，<^=〇.2〇，計(jì)算平均帖率為19尸口5， 計(jì)算量小于同類(lèi)型的字典算法;在目標(biāo)檢測(cè)和跟蹤階段，能夠消除不同溫度導(dǎo)致圖像的旋 轉(zhuǎn)和平移造成的誤差，提高識(shí)別率，經(jīng)處理后的圖像細(xì)節(jié)更加清晰，且計(jì)算量相對(duì)于傳統(tǒng)方 法大幅度減少，能夠有效適應(yīng)目標(biāo)尺度變化，并能夠準(zhǔn)確判定目標(biāo)是否發(fā)生丟失，在目標(biāo)重 新回到視場(chǎng)后能夠被重新檢測(cè)并穩(wěn)定跟蹤，直至130帖后仍能穩(wěn)定跟蹤目標(biāo)。此外，該無(wú)人 機(jī)具有實(shí)時(shí)性好、定位準(zhǔn)確和魯棒性強(qiáng)的優(yōu)點(diǎn)，且在快速有遮擋的目標(biāo)檢測(cè)和跟蹤方面有 很好的效果，取得了意想不到的效果。
【主權(quán)項(xiàng)】
1. 一種基于視覺(jué)特征的無(wú)人機(jī)，包括無(wú)人機(jī)和安裝在無(wú)人機(jī)上的監(jiān)測(cè)裝置，監(jiān)測(cè)裝置 用于對(duì)無(wú)人機(jī)附近的活動(dòng)進(jìn)行視頻圖像監(jiān)測(cè)，其特征是，監(jiān)測(cè)裝置包括預(yù)處理模塊、檢測(cè)跟 蹤模塊、識(shí)別輸出模塊； (1) 預(yù)處理模塊，用于對(duì)接收到的圖像進(jìn)行預(yù)處理，具體包括圖像轉(zhuǎn)化子模塊、圖像濾 波子模塊和圖像增強(qiáng)子模塊： 圖像轉(zhuǎn)化子模塊，用于將彩色圖像轉(zhuǎn)化為灰度圖像：其中，1?(1，7)、6(1，7)、8(1，7)分別代表像素(1，7)處的紅綠藍(lán)強(qiáng)度值，!1(1，7)代表坐標(biāo) (x，y)處的像素灰度值;圖像大小為mXn; 圖像濾波子模塊，用于對(duì)灰度圖像進(jìn)行濾波： 采用維納濾波來(lái)進(jìn)行一級(jí)濾除后，定義svlm圖像，記為Msvim(x，y)，具體定義公式為： Msvim(x，y) = aiji(x，y)+a2j2(x，y)+a3j3(x，y)+a4j4(x，y)，其中ai、a2、a3、a4為可變權(quán)值， Η2^+?4, i = l，2,3,4;J(x，y)為經(jīng)濾波后的圖像； 圖像增強(qiáng)子模塊： 當(dāng)其中，L(x，y)為增強(qiáng)后的 V Z ：·> / 灰度值;iKx，y)是包含有局部信息的伽馬校正系數(shù)，此時(shí)，是范 圍為0到1的可變參數(shù)，a = 1 _ ΙΤΙ; ω為模板尺度大小參量，尺度越大則模板中包含的 鄰域像素信息就越多，輸入圖像經(jīng)過(guò)不同尺度ω,的模板，得到的圖像心將會(huì)包含不同范圍 的鄰域信息； 蘭1ω >500^，其中Φ (叉，5〇=禮(1^1七，5〇)，《二1 - |^^^|.是圖像中灰度值高于128的所有像素的 均值，mL是灰度值低于128的所有像素的均值，且此時(shí)m = min(mH，mL)，在α值已知的情況下， 計(jì)算出256個(gè)Φ校正系數(shù)作為查找表，記為{氣((0}gt其中i為索引值，利用M svlm(x，y)的灰 度值作為索引，根據(jù)iKx，y)=iK(Msvlm(X，y))快速獲得圖像中每個(gè)像素的伽馬校正系數(shù) Φ (X, y); 1 - 為模板修正系數(shù)； (2) 檢測(cè)跟蹤模塊，具體包括構(gòu)建子模塊、丟失判別子模塊和更新子模塊： 構(gòu)建子模塊，用于視覺(jué)字典的構(gòu)建： 在初始幀獲取跟蹤目標(biāo)的位置和尺度，在其周?chē)x取正負(fù)樣本訓(xùn)練跟蹤器，將跟蹤結(jié) 果作為訓(xùn)練集X = {XI，X2，......χΝ}τ;并對(duì)訓(xùn)練集中的每幅目標(biāo)圖像提取128維的SIFT特征 ，其中st表示訓(xùn)練集中第t幅目標(biāo)圖像中SIFT特征的個(gè)數(shù);跟蹤N幀以后，通過(guò)聚類(lèi) 算法將這些特征劃分為K個(gè)簇，每個(gè)簇的中心構(gòu)成特征單詞，記為{仏說(shuō)=1;能夠提取到的特 征總量fw = EfUA，其中K<<FN，且1< ? 視覺(jué)字典構(gòu)建好以后，每幅訓(xùn)練圖像表 示為特征包的形式，用于表示視覺(jué)字典中特征單詞出現(xiàn)的頻率，用直方圖h(xt)表示，h(xt) 通過(guò)以下方式獲取:將一幅訓(xùn)練圖像Xt中的每一個(gè)特征fs(t)向視覺(jué)字典投影，用投影距離最 短的特征單詞表示該特征，對(duì)所有特征投影完畢后，統(tǒng)計(jì)每個(gè)特征單詞的出現(xiàn)頻率，并歸一 化得到訓(xùn)練圖像Xt的特征直方圖h( xt); 丟失判別子模塊，用于判別目標(biāo)的丟失與否： 當(dāng)新一幀圖像到來(lái)時(shí)，從K個(gè)直方圖柱中隨機(jī)選取Z〈K個(gè)直方圖柱，且Z = 4,形成新的大 小為Z的子直方圖h(z)(Xt)，子直方圖的個(gè)數(shù)最多為iVs = Q個(gè);計(jì)算候選目標(biāo)區(qū)域和訓(xùn)練集 中某個(gè)目標(biāo)區(qū)域?qū)?yīng)子直方圖的相似性φ，其中t = 1， 2，...，1'^ = 1，2，...具，然后計(jì)算總體相似性〇*=1-112(1-(1)1;_2) ;候選目標(biāo)區(qū)域與目標(biāo) 的相似性用Φ =max{ 〇t，t}表示，則目標(biāo)丟失判斷式為：其中 gs為人為設(shè)定的判失閥值;當(dāng)u=l時(shí)目標(biāo)被穩(wěn)定跟蹤，當(dāng)u = 0時(shí)，目標(biāo)丟失；當(dāng)目標(biāo)丟失時(shí)， 定義仿射變換模型其中（xt，yt)和（xt-i， yt-i)分別為當(dāng)前幀目標(biāo)中某個(gè)SITF特征點(diǎn)的位置坐標(biāo)和前一個(gè)幀目標(biāo)中對(duì)應(yīng)匹配特征點(diǎn) 的位置坐標(biāo)，兩者均為已知量；s為尺度系數(shù)，Θ為旋轉(zhuǎn)系數(shù)，e和f代表了平移系數(shù)，〇 為溫度旋轉(zhuǎn)修正系數(shù) I溫度 J 平移修正系數(shù)，μ#Ρμ2用于修正因?yàn)榄h(huán)境溫度偏差造成的圖像旋轉(zhuǎn)和平移誤差，To為人為設(shè) 定的標(biāo)準(zhǔn)溫度，設(shè)為20度，T為由溫度傳感器實(shí)時(shí)監(jiān)測(cè)得到的溫度值;采用Ransac估計(jì)算法 求取仿射變換模型的參數(shù)，最后在新的尺度s和旋轉(zhuǎn)系數(shù)Θ下采集正負(fù)樣本，更新分類(lèi)器； 更新子模塊，用于視覺(jué)字典的更新： 在每幀圖像獲得目標(biāo)位置以后，根據(jù)仿射變換參數(shù)的計(jì)算結(jié)果，收集所有滿(mǎn)足結(jié)果參 數(shù)的SIFT特征點(diǎn)，經(jīng)過(guò)F = 3幀以后，獲得新的特征點(diǎn)集其中St-F代表了從F 幀圖像中得到的總特征點(diǎn)數(shù)；利用下式對(duì)新舊特征點(diǎn)重新進(jìn)行K聚類(lèi)：{?：( ] f=1 =t示新的視覺(jué)字典，視覺(jué)字典的大小保 持不變；φ e {0,1}是遺忘因子，表明了舊字典所占的比重，φ:越小，新特征對(duì)目標(biāo)丟失的判 斷貢獻(xiàn)越多，取免=0· 12; (3)識(shí)別輸出模塊，用于圖像的識(shí)別和輸出：在待識(shí)別的圖像序列中利用跟蹤算法獲取 目標(biāo)區(qū)域，將目標(biāo)區(qū)域映射到已知訓(xùn)練數(shù)據(jù)形成的子空間，計(jì)算子空間中目標(biāo)區(qū)域與訓(xùn)練 數(shù)據(jù)之間的距離，獲得相似性度量，判定目標(biāo)類(lèi)別，并輸出識(shí)別結(jié)果。2.根據(jù)權(quán)利要求1所述的一種基于視覺(jué)特征的無(wú)人機(jī)，其特征是，采用維納濾波來(lái)進(jìn)行 一級(jí)濾除后，此時(shí)圖像信息還包含有殘余的噪音，采用以下的二級(jí)濾波器進(jìn)行二次濾波：其中，J(x，y)為經(jīng)過(guò)濾波后的圖像;Pg(x+i，y+j)代表尺度為mXn的函數(shù)，且Pg(x+i，y+ j) = qXexp(_(x2+y2)/〇 )，其中q是將函數(shù)歸一化的系數(shù)，即:JJqXexp(_(x2+y2)/ω )dxdy =1〇
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于視覺(jué)特征的無(wú)人機(jī)，包括無(wú)人機(jī)和安裝在無(wú)人機(jī)上的監(jiān)控裝置，監(jiān)控裝置具體包括預(yù)處理模塊、檢測(cè)跟蹤模塊、識(shí)別輸出模塊，其中預(yù)處理模塊包含圖像轉(zhuǎn)化、圖像濾波、圖像增強(qiáng)三個(gè)子模塊，檢測(cè)跟蹤模塊包含構(gòu)建、丟失判別、更新三個(gè)子模塊。本無(wú)人機(jī)將視頻圖像技術(shù)運(yùn)用在無(wú)人機(jī)上，能有效監(jiān)控記錄惡意破壞行為，具有實(shí)時(shí)性好、定位準(zhǔn)確、自適應(yīng)能力強(qiáng)、圖像細(xì)節(jié)保留完整和魯棒性強(qiáng)等優(yōu)點(diǎn)。
【IPC分類(lèi)】G06K9/62, G06K9/00
【公開(kāi)號(hào)】CN105718895
【申請(qǐng)?zhí)枴緾N201610045878
【發(fā)明人】張健敏
【申請(qǐng)人】張健敏
【公開(kāi)日】2016年6月29日
【申請(qǐng)日】2016年1月22日