一種基于層次化稀疏建模的圖像顯著性檢測方法
【專利摘要】本發(fā)明公開了一種基于層次化稀疏建模的圖像顯著性檢測方法，主要解決在計算機視覺領(lǐng)域內(nèi)通過模擬靈長類動物的視覺注意機制，在復(fù)雜場景中迅速定位感興趣區(qū)域以進行快速場景分析的問題，其主要步驟包括：(1)構(gòu)造基于顏色和方向信息的多尺度特征圖；(2)創(chuàng)建基于逐層自表示建模的顏色顯著圖；(3)形成基于多尺度信息融合的顯著圖；(4)提取基于Otsu最優(yōu)閾值分割的顯著物體。本發(fā)明具有較高的檢測率和較低的虛警率，并取得了較經(jīng)典顯著檢測方法更優(yōu)的性能，可以用于圖像分割等領(lǐng)域。
【專利說明】-種基于層次化稀疏建模的圖像顯著性檢測方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算機視覺研究領(lǐng)域，具體是一種基于層次化稀疏建模的圖像顯著性 檢測方法，可用于模擬靈長類動物的視覺注意機制，對場景的顯著區(qū)域進行提取和分析。

【背景技術(shù)】
[0002] 靈長類動物在有限的神經(jīng)元處理速度下可以對復(fù)雜場景實現(xiàn)實時高效的解譯，歸 因于它們所特有的視覺注意機制。Itti等人的視覺注意理論將視覺注意模型分為兩個階 段：快速的、潛意識的、自底向上的、數(shù)據(jù)驅(qū)動的顯著性提?。灰约奥俚?、基于任務(wù)的、自 頂向下的、目標驅(qū)動的顯著性提取。本發(fā)明受生物視覺注意機制中層次化感知特點的啟發(fā)， 通過逐層稀疏建模的方式建立起視覺顯著性的計算框架。在計算機視覺領(lǐng)域，顯著圖可以 對感興趣物體的提取、目標識別、自適應(yīng)壓縮和圖像檢索等應(yīng)用提供支持，具有重要的意 義。
[0003] 目前，顯著性檢測可大致分為3個研究方向，即基于人眼跟蹤的聚焦點預(yù)測、顯著 物體提取和顯著物體估計。人眼聚焦模型旨在預(yù)測人在觀察場景時所關(guān)注的特定點，顯著 物體檢測旨在從場景中發(fā)現(xiàn)感興趣物體并且將其從整個內(nèi)容中分割出來，顯著物體估計旨 在用一小組邊界盒來定位出顯著物體的區(qū)域，以提高傳統(tǒng)滑動窗口的在物體定位上的效 率。顯著物體提取的現(xiàn)有方法可以被大致分為基于生物啟發(fā)的、基于純計算的和兩者結(jié)合 的。多數(shù)的方法一般都通過比較圖像區(qū)域和它們周圍區(qū)域在亮度、顏色和方向上的相對差 異來進行顯著性的度量。
[0004] 生物啟發(fā)的顯著性檢測方法中最具代表性的是1998年Itti等人所提出的模型。 Itti的顯著檢測方法基于Koch等人提出的用特征集成理論來解釋人類視覺搜索策略的生 物結(jié)構(gòu)模型。視覺輸入被分為亮度通道、紅綠和藍黃顏色通道、Gabor方向通道，不同的空間 位置在每幅圖中競爭顯著性使得只有與局部相比突出的位置可以被保持。所有通道上得到 的特征圖依據(jù)自底向上的方式來融合成最終的顯著圖。這種模型用動態(tài)高斯金字塔來產(chǎn)生 9個尺度的圖像，通過線性的中心周圍差異操作來模擬視覺接收場的特性，并提出了符合視 覺皮層的顯著圖歸一化方法，得到了較為理想的結(jié)果。
[0005] 純計算的顯著性檢測方法沒有太多生物視覺原理上的支持，但大多都有堅實的理 論框架支持，其中以Hou等人在2007年所提出的基于譜殘差和2012年基于圖像符號的譜 理論最具代表性。譜殘差從信息論的觀點出發(fā)將圖像分為Innovation和Prior Knowledge 兩部分，并結(jié)合自然圖像在log-log尺度上所呈現(xiàn)出的線性特性，認為顯著性部分是平滑 的log-log曲線以外的部分。借助于對圖像譜域的平滑結(jié)果來逼近Prior Knowledge的譜， 最終的顯著部分的譜是原圖的譜和Prior Knowledge的譜之差，并取殘差譜的傅里葉逆變 換來得到最終的顯著圖。這種方法計算得到的為低分辨的顯著圖，并且傾向于突出圖像中 的邊緣部分。給定一幅輸入圖像I (X)，其計算過程如下。
[0006]

【權(quán)利要求】
1. 一種基于層次化稀疏建模的圖像顯著性檢測方法，其特征在于：包括如下步驟： (1) 基于顏色和方向信息的多尺度特征圖構(gòu)造： la) 將一幅輸入圖像在水平方向和垂直方向上隔行隔列采樣，形成大小為原圖1/2的 低分辨率圖像，對此低分辨率圖像繼續(xù)進行下采樣，得到大小為原圖1/4的更低分辨率的 圖像，將原圖和這兩幅降采樣后的圖像作為3個尺度上的輸入圖像； lb) 對于3個尺度上的輸入圖像，將紅綠藍三個彩色通道作為顏色特征圖的元素，用于 稀疏建模的特征，對于每一個尺度上輸入圖像的亮度圖，使用Gabor濾波器在0, 45, 90和 135度四個方向上對其進行方向濾波得到描述圖像方向信息的四幅方向濾波圖，作為后續(xù) 方向顯著圖的基礎(chǔ)； (2) 基于逐層自表示建模的顏色顯著圖創(chuàng)建： 2a)將3個尺度上輸入圖像的顏色特征圖按照16*16的分塊大小無重疊地分為大小相 同的子塊，每一個子塊作為顯著性描述的基本單元； 2b)按照自表示模型的數(shù)據(jù)組織形式，把每個子塊的所有顏色特征組合起來并形成一 個代表子塊結(jié)構(gòu)特性的特征向量，所有子塊的特征向量依次排列成為一個大的矩陣作為自 表示模型中的原始數(shù)據(jù)矩陣Y ; 2c)將數(shù)據(jù)矩陣Y作為優(yōu)化問題 min專 L+全 ||<-樹以 lrC = lT 的輸入，使用交替乘子方向ADMM優(yōu)化算法求解此自表示模型的解，優(yōu)化算法中對系數(shù) 矩陣C施加行稀疏的約束，以用盡量少的元素來表示所有數(shù)據(jù)；經(jīng)過多次迭代之后便會得 到自表示模型的解；按照所提出的顯著性和稀疏系數(shù)之間的求解公式得到每個子塊在第一 層次的顯著描述， eiiqi / = 1,2, I j=i 其中，Si表示第i個子塊的顯著值，Cu為系數(shù)矩陣中第i行j列的元素，V為子塊的個 數(shù)； 2d)對于第1個尺度上的各子塊，將其顯著值和所有子塊顯著值均值的2倍做比較，如 果小于均值的2倍則認為此子塊在第1個尺度上是非顯著的，否則認為是顯著的；在第2個 層次上丟棄那些被認為是非顯著的子塊，對每一個顯著的子塊進行進一步的自表示建模； 2e)將每個顯著子塊進一步分割為大小為8*8的更小的子塊，并將對應(yīng)的顏色特征組 織成自表示模型的數(shù)據(jù)矩陣，經(jīng)過ADMM優(yōu)化算法優(yōu)化求解之后會得到進一步分割后的各 子塊的稀疏系數(shù)； (3) 基于多尺度信息融合的顯著圖形成： 3a)經(jīng)過以上步驟之后，在每個尺度上形成了兩幅顏色顯著圖和四幅方向濾波圖，將兩 幅不同層次上得到的顏色顯著圖相加形成每個尺度上的顏色顯著圖，代表圖像逐層遞進的 顏色顯著信息；同時將四幅方向濾波圖也相加形成每個尺度上的方向顯著圖，代表每個尺 度上圖像的邊緣顯著信息； 3b)將每個尺度上得到的顏色顯著圖和方向顯著圖進行歸一化操作，使得兩者具有相 同的描述范圍，之后對以上結(jié)果相加形成每個尺度上融合后的顯著圖，用以表示特定尺度 上所得到的顯著描述結(jié)果； 3c)最后將3個尺度上的顯著圖進行尺度上的統(tǒng)一，亦即將每一幅顯著圖調(diào)整到原始 圖像的大小，通過對所有的結(jié)果按位置求平均便可以得到最終的顯著圖； (4)基于Otsu最優(yōu)閾值分割的顯著物體提取： 4a)將通過以上步驟所得顯著圖的灰度級范圍調(diào)整在0到255的8位灰度級下，運用具 有二值分割效果的Otsu算法對其進行分割，得到前景和背景區(qū)域，前景區(qū)域為在此規(guī)則下 得到的顯著區(qū)域，背景是非顯著區(qū)域； 4b)根據(jù)分割后的索引圖像，從原圖中提取出前景部分的區(qū)域，將背景部分的區(qū)域設(shè)為 黑色，自此便完成了顯著檢測的所有階段，之后用受試者運行曲線、正確率召回率曲線和平 均正確率、召回率及F-measure值常用數(shù)字評價指標對所得顯著圖的好壞進行客觀評價， 并和經(jīng)典的顯著檢測算法進行比較驗證其有效性。
2.如權(quán)利要求1所述的一種基于層次化稀疏建模的圖像顯著性檢測方法，其特征在 于：步驟（2)中的2d)步驟所述的對每一個顯著的子塊進行進一步的自表示建模，其具體方 法如下： 將顯著值大于平均值Th倍的子塊保留用作下一層的自表示建模，并舍棄其余子塊，按 照如下的準則進行子塊的取舍： if -%->Th label. ιΔΣ? i-i else 13-be 1 ^ - 0 其中，Th為預(yù)設(shè)的閾值，將其設(shè)定為2, labeli表示第i個子塊是否被保留，如果為1則 表明保留，并進行下一層的自表示建模，為〇則表示舍棄此子塊。
【文檔編號】G06T7/00GK104240256SQ201410499111
【公開日】2014年12月24日 申請日期:2014年9月25日 優(yōu)先權(quán)日:2014年9月25日
【發(fā)明者】楊淑媛, 焦李成, 王士剛, 張凱, 侯彪, 劉紅英, 馬晶晶, 馬文萍, 熊濤, 劉趙強 申請人:西安電子科技大學