專利名稱：基于特征的動態(tài)視覺注意區(qū)域提取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的方法，具體地說，涉及的是一種基于特征的動態(tài)的視覺注意區(qū)域提取方法。

背景技術(shù)：
隨著人工智能技術(shù)地不斷發(fā)展，機器視覺在現(xiàn)實生活中的應(yīng)用越來越多，其主要用計算機來模擬人的視覺功能，但并非僅僅是人眼的簡單延伸，更重要的是具有人腦的一部分功能——從客觀事物的圖像中提取信息，進行處理并加以理解，最終用于實際檢測、測量和控制。由于機器視覺具有速度快、信息量大、功能多的特點，其在質(zhì)量檢測，身份認證，物體檢測與識別，機器人，自動小車等的應(yīng)用十分廣泛。
目前工程上已經(jīng)可以做出在各個方面(包括視角，視銳度，廣譜性，動態(tài)特性)都超過人眼能力的傳感器，可以說對“視”的探索已經(jīng)到達一定程度了，但機器視覺系統(tǒng)不僅需要“視”，還需要“覺”。由于人的選擇性注意機制保證了人眼獲取信息的高效性，吸引了人們的關(guān)注和研究，各種視覺注意區(qū)域的提取技術(shù)被提出并得到了廣泛的應(yīng)用。例如，利用基于選擇性注意機制的視覺注意區(qū)域的提取技術(shù)來找到圖像中的感興趣區(qū)域，然后優(yōu)先在這些區(qū)域中進行搜索，從而提高了物體檢測和識別的效率；利用找到的感興趣區(qū)域，進行高效的圖片壓縮(感興趣的區(qū)域壓縮比低，其他區(qū)域壓縮比高)，和圖片縮放(感興趣的區(qū)域的放縮比例大于其他區(qū)域)，等等。視覺注意區(qū)域的提取技術(shù)在獲取信息的高效性有著巨大的優(yōu)勢，因而經(jīng)常出現(xiàn)中機器視覺系統(tǒng)處理過程中。
經(jīng)對現(xiàn)有技術(shù)的文獻檢索發(fā)現(xiàn)，視覺注意區(qū)域的提取技術(shù)是Koch和Ullman于1985年提出的顯著地圖(Saliency Map)，后來該技術(shù)經(jīng)Itti和Koch完善，形成一整套關(guān)于顯著地圖的體系。具體可以參考文獻″LAURENT I，CHRISTOF K，ERNST N.A model of saliency-based visual attention for rapid sceneanlysis[J].IEEE Transactions on PAMI，1998，20(11)1254-1259″，(作者LAURENTI，CHRISTOF K，ERNST N，題目一個可用于快速場景分析的基于顯著度(saliency)的視覺注意模型，雜志模式分析和機器智能IEEE會刊，1998年20卷，第11期，1254-1259頁)。該方法是基于空間的提取技術(shù)，首先將圖片分成顏色，方向，亮度，紋理等幾個平行的通道，然后對于每個通道分別抽取信息，形成一張保留了圖片拓撲結(jié)構(gòu)，但同時對特征的響應(yīng)強弱有記錄的特征地形圖(feature maps)，接下來，每個特征地形圖都經(jīng)過一系列尺度的“墨西哥帽(Difference of Gaussian)”函數(shù)進行濾波，它是對兩個不同尺度的高斯函數(shù)求差之后得到的函數(shù)。該函數(shù)對于檢測變化非常敏感，而對于一而彌撒的信號反映非常弱，具有普遍的生物意義。接下來，使用競爭網(wǎng)絡(luò)的勝者全贏(Winner-Take-All)模型對于不同的注意區(qū)域進行比較，最終生成一個關(guān)于全局每個點顯著度的地圖，稱為顯著地圖。該方法以及后來的基于空間的分析技術(shù)雖然在很多場景中有很好的表現(xiàn)，但幾乎都無可避免的面臨著下面的問題1)只能關(guān)注特定一部分視覺線索，2)注意力的分配在時間上是不連續(xù)的。例如，在對連續(xù)影像進行觀測時，系統(tǒng)就無法考慮多幀的情況，這就導(dǎo)致每個時刻都需要單獨地重新分析顯著地圖，使得系統(tǒng)的連續(xù)性，可靠性都大幅下降。而且，當視角以及物體的位置發(fā)生變化的時候，由于沒有對特征的追蹤機制，新的顯著地圖的預(yù)測很有可能與前幀發(fā)生偏移。此外，一系列視覺注意行為，例如返回抑制，以及視點轉(zhuǎn)移等，都無法在基于空間的分析技術(shù)中得到很好的實現(xiàn)。


發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于特征的動態(tài)視覺注意區(qū)域提取方法，該方法對顯著度的定義是基于特征本身，而非特征的空間分布差異，可以消除“時間片”，連續(xù)的采樣，從而不同幀(時間)的數(shù)據(jù)可以一起指導(dǎo)顯著度的處理，解決了不同幀(時間)的顯著度需要獨立處理的問題，實現(xiàn)了動態(tài)性。
本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，包括以下步驟 第一步，采用獨立成分分析方法對大量的自然圖像進行稀疏分解，得到一組濾波基函數(shù)和對應(yīng)的一組重構(gòu)基函數(shù)，將輸入的圖像分成m×m的RGB小塊，并投影到這組基上，得到該圖的特征； 第二步，利用有效編碼原理，即當一個系統(tǒng)是有效編碼時，其熵最大的原理，為每個特征衡量增量編碼長度指標； 第三步，依據(jù)這些增量編碼長度指標，通過對各個特征的能量重新分配來處理各個小塊的顯著度，從而最終得到顯著地圖。
所述的第一步，具體如下 ①將訓(xùn)練圖片分成若干個m×m像素大小的RGB彩色小塊，并將每個小塊向量化。對自然圖片進行采樣，得到大量的m×m的RGB彩色小塊，將其作為訓(xùn)練樣本。m的取值可以是8，16或32。m為每個RGB彩色小塊的邊長。
②通過標準的獨立成分分析(ICA)方法，訓(xùn)練出基函數(shù)(A，W)?；瘮?shù)的個數(shù)為m×m×3＝3m2，即其中wi為第i個濾波基函數(shù)(A的大小與W一樣，1≤i≤3m2)。A，W是ICA方法訓(xùn)練出來的基函數(shù)，其值可以取任意范圍，由輸入決定。
③對于任意一幅圖片X，將其分成n個m×m的RGB小塊，形成采樣矩陣X＝[x1，x2，…xn]，其中xk是第k個圖像塊的向量化表示(1≤k≤n)，對xk進行線性變換其中W是訓(xùn)練好的濾波基函數(shù)。則Sk為基函數(shù)的對應(yīng)系數(shù)，也就是圖片小塊xk的特征，sk，i為第i個基函數(shù)的對應(yīng)系數(shù)，即為第i個特征的值。對所有的xk都做同樣的處理，得到X的特征S＝[S1，S2，...，Sn]。n是輸入圖片X被分成RGB小塊的個數(shù)，其值是由輸入圖片X的大小和m的取值所確定的。
第一步處理結(jié)束后，對于輸入圖片X，已經(jīng)構(gòu)造出3m2個特征S，接下來進行第二步。
所述第二步，具體如下 ①對于每個特征，計算激活率pi 這個量代表了該特征的平均能量發(fā)放水平。
②考慮熵在第i個特征的激活率pi上的變化，即第i個特征的增量編碼長度指標，令為隨機變量的概率分布。假設(shè)，某個特定時刻的特征激活率分布為p，當?shù)趇個特征被激活時會對pi帶來一個微小的擾動ε，因此新的分布

變成 因此，第i個特征的增量編碼長度為 本發(fā)明借助預(yù)測編碼的原理，將能量、特征與顯著度掛鉤。增量編碼長度(ICL)衡量了每個特征的對感知的熵變化率。這一指標用來指導(dǎo)能量分配，從而實現(xiàn)系統(tǒng)整體上實現(xiàn)預(yù)測編碼——即常見的信息會盡量少的使得系統(tǒng)產(chǎn)生響應(yīng)，而稀有的信息通常會觸發(fā)系統(tǒng)的強烈響應(yīng)。
所述第三步，具體如下 ①根據(jù)所得到出的各個特征的增量編碼長度指標，劃分顯著特征集合SF SF＝{i|ICL(pi)＞0}(3.1) 劃分{SF，SF}唯一確定了會導(dǎo)致整體系統(tǒng)的熵增的特征。并且該劃分有著明確的數(shù)學(xué)意義，對于一個特征，只有當其它在特征分布上是稀有的，也就是說，當對該特征進行新的觀測，會導(dǎo)致整體特征分布p的熵增加。
②依照預(yù)測編碼原則，在各個特征之間重新分配能量，對于顯著特征集合內(nèi)的特征i，分配權(quán)重di(i∈SF) 而對于非顯著特征，定義其 ③對于圖片小塊xk，其顯著度定義為mk ④有了各個圖片小塊的顯著度之后，通過重構(gòu)基A，生成整幅圖片的顯著地圖M 其中Ak表示重構(gòu)基A的第k個列向量。
從公式(3.3)中可以看出，對于圖片小塊的顯著度不是常量，而是會隨著時間而發(fā)生變化。并且，由于在本發(fā)明的方法中，采樣是一種連續(xù)過程，特征的權(quán)重會隨著采樣的增加連續(xù)變化，那么就可以成功地把采樣變化理解為上下文對特征注意權(quán)重的影響。所謂“顯著特征”，之所以顯著，都是相對于當前上下文的特征分布而言的。
本發(fā)明的有益效果是(1)由于采用的過濾基是預(yù)先訓(xùn)練好的，因此在處理一張新的輸入圖片時，不需要重新訓(xùn)練基函數(shù)，使得處理速度非?？?，效率高，可以做到實時處理。(2)由于采用了基于特征本身，而非特征的空間分布差異的方式來對顯著度進行分析，消除了對圖片空間結(jié)構(gòu)上的限制。在處理上，由于連續(xù)的采樣，消除了“時間片”，從而不同幀(時間)的數(shù)據(jù)可以一起指導(dǎo)顯著度的處理，解決了不同幀(時間)的顯著度需要獨立處理的問題，實現(xiàn)了動態(tài)性。



圖1.靜態(tài)圖片的顯著地圖； 其中(a)、(d)、(g)為輸入圖片，(b)、(e)、(h)為本發(fā)明生成的顯著地圖，(c)、(f)、(i)為標注的眼動數(shù)據(jù)。
圖2.視屏(動態(tài)視覺)的顯著地圖。

具體實施例方式 下面結(jié)合附圖對本發(fā)明的實施例作詳細說明本實施例在以本發(fā)明技術(shù)方案為前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述的實施例。
1.特征構(gòu)造 (1)采用的RGB彩色小塊大小為8×8，通過對大量的自然圖片進行采樣，得到120000個8×8的RGB彩色小塊，這些RGB彩色小塊為基函數(shù)的訓(xùn)練數(shù)據(jù)。
(2)利用ICA方法來訓(xùn)練基函數(shù)(A，W)，由于采用8×8的RGB彩色小塊來作為訓(xùn)練樣本，即m＝8，因此基函數(shù)的個數(shù)為3×82＝192。
(3)對于輸入彩色圖片，例如圖片的大小為800×640，將其分成8000個8×8的RGB彩色小塊，即n＝8000，形成采樣矩陣X＝[x1，x1，...，x8000]，其中xk是第k個圖像塊的向量化表示，對其進行線性變換Sk＝Wxk＝[sk，1，sk，2，...，sk，192]，其中W是訓(xùn)練好的濾波基函數(shù)。則Sk為基函數(shù)的對應(yīng)系數(shù)，也就是圖片小塊xk的特征。sk，i為第i基函數(shù)對應(yīng)系數(shù)，即為第i個特征。
2.衡量增量編碼長度(ICL)指標 (1)對各個特征，依據(jù)公式(2.1)計算其激活率p。
(2)根據(jù)各個特征的激活率，根據(jù)公式(2.3)衡量其增量編碼長度指標 3.生成顯著地圖 (1)根據(jù)2中得到的各個特征的增量編碼長度指標，利用公式(3.1)劃分顯著特征集合SF。
(2)利用公式(3.2)，重新分配顯著特征集合內(nèi)的各特征的能量。
(3)對于圖片小塊xk，根據(jù)公式(3.3)，處理其顯著度mk (4)有了輸入圖片的各個小塊的顯著度，利用公式(3.3)，得到輸入圖片的顯著地圖M。
實例一靜止圖片的顯著地圖 采用8×8的RGB小塊來訓(xùn)練基函數(shù)(A，W)，它們的維數(shù)為192。
對于大小為800×640的輸入圖片，將其分成8000個8×8的RGB彩色小塊，即n＝8000，形成采樣矩陣X＝[x1，x1，...，x8000]。并通過公式S＝WX來計算基函數(shù)對應(yīng)系數(shù)，即X的特征。
通過公式(2.1)得到各個特征激活率p，并依據(jù)p和公式(2.3)衡量各個特征的增量編碼長度指標。
根據(jù)各個特征的增量編碼長度指標和公式(3.1)劃分顯著特征集合SF，并利用公式(3.2)，重新分配顯著特征集合內(nèi)的各特征的能量。那么對于圖片小塊xk，根據(jù)公式(3.3)，處理其顯著度mk，并最終利用公式(3.4)，生成輸入圖片的顯著地圖M。
當順序地對一張靜態(tài)圖片上的每個圖像小塊采樣的時候，就可以估計該圖片的特征分布特性，從而構(gòu)筑出顯著地圖，將生成出的顯著地圖會進一步和人的眼動數(shù)據(jù)進行對比分析，以驗證模型的正確性。圖1中，(a)、(d)、(g)為輸入圖片，(b)、(e)、(h)為本發(fā)明生成的顯著地圖，(c)、(f)、(i)為標注的眼動數(shù)據(jù)。在實施例中，采用了文獻″BRUCE N，TSOTSOS J.Saliency Basedon Information Maximization[J]，Advances in Neural InformationProcessing Systems，2006，18155-162″(作者BRUCE N，TSOTSOS J.題目基于信息量最大化的顯著度，雜志高級神經(jīng)信息處理系統(tǒng)，2006年18期，第155-162頁)所提供的眼動數(shù)據(jù)作為基準，比較了的模型與傳統(tǒng)的模型，結(jié)果表明本發(fā)明取得了最佳成績。
實例二視屏中的顯著地圖 相比以往同類方法，本發(fā)明的方法的一大優(yōu)點在于它是連續(xù)的。增量編碼長度是一個連續(xù)更新的過程。特征激活率的分布的變化可以是基于空域的，也可以是居于時域的。如果考慮時域變化是一個拉普拉斯分布的話，假定pt是第t幀，那么可以認為pt是以前特征響應(yīng)的累積和 其中λ是半衰期，是標準化函數(shù)。
在對視屏做視覺注意提取的時候，通常面臨目標運動和觀測視角運動的問題。然而，在的基于特征的注意模型框架下，這些問題都迎刃而解，因為特征總會隨著物體在視野中的位置而移動。
分析圖像的信噪比(SNR)，其定義如下 其中F是手工標注的“前景”。當分別對250幀畫面進行手工標注后，就對每一幀處理其顯著度，其過程除了特征激活率p不同外，其他過程與生成靜止圖片的顯著地圖是一致的。之后，可以將生成的顯著地圖與手工標注進行對比，分析信噪比值。圖2反映了結(jié)果，圖中第一行為視頻的截圖，第二行反應(yīng)了本發(fā)明的信噪比，最后一行則為Itti模型的信噪比，從圖中可以看出，本發(fā)明的平均信噪比為0.4803，遠好于現(xiàn)主流的Itti模型的0.1680。
權(quán)利要求
1、一種基于特征的動態(tài)視覺注意區(qū)域提取方法，其特征在于包括以下步驟
第一步，采用獨立成分分析方法對大量的自然圖像進行稀疏分解，得到一組濾波基函數(shù)和對應(yīng)的一組重構(gòu)基函數(shù)，將輸入的圖像分成m×m的RGB小塊，并投影到這組基上，得到該圖的特征；
第二步，為每個特征衡量增量編碼長度指標；
第三步，依據(jù)這些增量編碼長度指標，通過對各個特征的能量重新分配來處理各個小塊的顯著度，從而最終得到顯著地圖。
2、根據(jù)權(quán)利要求1所述的基于特征的動態(tài)視覺注意區(qū)域提取方法，其特征是，所述的第一步，具體如下
①將訓(xùn)練圖片分成若干個m×m像素大小的RGB彩色小塊，并將每個小塊向量化，對自然圖片進行采樣，得到大量的m×m的RGB彩色小塊，將其作為訓(xùn)練樣本，m的取值是8，16或32，m為每個RGB彩色小塊的邊長；
②通過標準的獨立成分分析方法，訓(xùn)練出基函數(shù)(A，W)，基函數(shù)的個數(shù)為m×m×3＝3m2，即其中wi為第i個濾波基函數(shù)，A的大小與W一樣，1≤i≤3m2，A，W是ICA方法訓(xùn)練出來的基函數(shù)；
③對于任意一幅圖片X，將其分成n個m×m的RGB小塊，形成采樣矩陣X＝[x1，x2，…xn]，其中xk是第k個圖像塊的向量化表示，1≤k≤n，對xk進行線性變換其中W是訓(xùn)練好的濾波基函數(shù)，則Sk為基函數(shù)的對應(yīng)系數(shù)，也就是圖片小塊xk的特征，sk，i為第i基函數(shù)對應(yīng)系數(shù)，即為第i個特征的值，對所有的xk都做同樣的處理，得到X的特征S＝[S1，S2，...，Sn]，n是輸入圖片X被分成RGB小塊的個數(shù)，其值是由輸入圖片X的大小和m的取值所確定的。
3、根據(jù)權(quán)利要求1所述的基于特征的動態(tài)視覺注意區(qū)域提取方法，其特征是，所述第二步，具體如下
①對于每個特征i，計算其激活率pi，并令則p為一個隨機變量的概率密度分布，其熵為H(p)；
②計算第i個特征的增量編碼長度ICL(pi)
4、根據(jù)權(quán)利要求1所述的基于特征的動態(tài)視覺注意區(qū)域提取方法，其特征是，所述第三步，具體如下
①根據(jù)所得到出的各個特征的增量編碼長度指標，劃分顯著特征集合SF
SF＝{i|ICL(pi)＞0}
②依照預(yù)測編碼原則，在各個特征之間重新分配能量，對于顯著特征集合內(nèi)的特征i，分配權(quán)重di，i∈SF
而對于非顯著特征，定義其權(quán)重
③那么對于圖片小塊xk，其顯著度定義為mk其中di為②步中所分配給第i個特征的權(quán)重；
④有了各個圖片小塊的顯著度之后，通過重構(gòu)基A，生成整幅圖片的顯著地圖M其中Ak表示重構(gòu)基A的第k個列向量。
全文摘要
本發(fā)明涉及的是一種機器視覺技術(shù)領(lǐng)域的基于特征的動態(tài)視覺注意區(qū)域提取方法。步驟為采用獨立成分分析方法對大量的自然圖像進行稀疏分解，得到一組濾波基函數(shù)和對應(yīng)的一組重構(gòu)基函數(shù)，將輸入的圖像分成m×m的RGB小塊，并投影到這組基上，得到該圖的特征；利用有效編碼原理，為每個特征衡量增量編碼長度指標；第三步，依據(jù)這些增量編碼長度指標，通過對各個特征的能量重新分配來處理各個小塊的顯著度，從而最終得到顯著地圖。本發(fā)明可以消除“時間片”，連續(xù)的采樣，從而不同幀的數(shù)據(jù)可以一起指導(dǎo)顯著度的處理，解決了不同幀的顯著度需要獨立處理的問題，實現(xiàn)了動態(tài)性。
文檔編號G06K9/46GK101493890SQ200910046688
公開日2009年7月29日 申請日期2009年2月26日 優(yōu)先權(quán)日2009年2月26日
發(fā)明者侯小笛, 航 祁, 張麗清, 祝文駿 申請人:上海交通大學(xué)