本發(fā)明屬于圖像處理和計算機視覺領(lǐng)域，尤其涉及一種基于全局先驗和局部上下文的深度學習顯著性檢測方法。

背景技術(shù)：

人眼在感知外部環(huán)境時，總能從包含有大量信息的場景中提取出感興趣的內(nèi)容，這種能力被稱為視覺注意。視覺注意是計算機視覺中的一個研究熱點，主要有兩個方面的研究：一是研究基于視覺注意機制的眼睛注視，二是研究顯著性目標區(qū)域的提取，也就是顯著性檢測。顯著性檢測的目的是從圖像中將比較引人注目的目標區(qū)域與背景分離開，然后提取目標及其攜帶的信息，其廣泛應用于圖像分割、圖像識別、視頻異常檢測等領(lǐng)域。

目前關(guān)于顯著性檢測的研究比較豐富，特征的對比是顯著性檢測的一個重要手段，從對比范圍來說，顯著性檢測方法可分為局部對比和全局對比。局部對比方法通過計算檢測區(qū)域與其鄰域之間在顏色、紋理、邊緣、方向等特征上的不同來突顯檢測區(qū)域，其強調(diào)顯著區(qū)域的邊緣但缺乏圖像全局信息。全局對比方法通過將檢測區(qū)域與圖像中所有其它區(qū)域進行對比檢測顯著性，其能較好地突出顯著區(qū)域的內(nèi)部，但是當顯著目標較大或者背景較復雜時，全局對比方法反而容易突出背景區(qū)域。最近，已有一些方法將局部對比和全局對比相結(jié)合，進行顯著性檢測。這些方法采用手工設定的特征和一些先驗知識來計算顯著性，其在簡單場景下檢測效果較好，但是對于具有復雜場景的圖像，就很難設定有效的檢測特征，因此，其檢測結(jié)果中往往存在比較多的漏檢和誤檢區(qū)域。

深度學習通過構(gòu)建多層人工神經(jīng)網(wǎng)絡，能自動有效地提取圖像的檢測特征，并在圖像分類和目標檢測等任務中獲得了優(yōu)秀的性能。最近，也有一些方法將深度學習技術(shù)應用到顯著性檢測中。然而，這些方法都是僅將原圖像或者原圖像的局部區(qū)域作為深度學習模型的輸入，對顯著性檢測來說，這些輸入所包含的信息并不都是有用的，無用的信息會干擾高層特征的提取，影響深度學習模型的性能。

為了解決上述問題，當前需要一種新的基于深度學習的顯著性檢測方法。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的問題是：在圖像的顯著性物體檢測技術(shù)中，單純依靠手工設定的特征和一些先驗知識來計算顯著性，無法有效檢測到復雜背景圖像中的顯著物體；而現(xiàn)有的基于深度學習的顯著性檢測方法，僅將原圖像或者原圖像的局部區(qū)域作為深度學習模型的輸入，由于提取出的高層特征存在噪聲而導致誤檢。需要提出一種新的基于深度學習的顯著性檢測方法，提高檢測效果。

為了解決上述問題，本發(fā)明提供了一種基于全局先驗和局部上下文的深度學習顯著性檢測方法，以超像素為檢測單位，融合全局先驗和局部上下文信息，基于深度學習進行圖像的顯著性檢測，包括以下步驟：

1)將彩色圖像和深度圖像進行超像素分割；

2)基于超像素的分割結(jié)果構(gòu)建圖模型，將每個超像素作為圖模型中的頂點，構(gòu)建無向圖，每個超像素不僅和它相鄰的超像素相連，而且和它相鄰超像素的鄰域超像素相連，并且位于邊界的每個超像素互相連接，邊的權(quán)值為兩個超像素間的特征差異；

3)生成全局先驗顯著圖，具體為：首先，基于每個超像素的顏色、紋理、深度等底層特征，計算其緊湊性、獨特性和背景性等中層特征，并計算每個超像素與所有超像素之間的中層特征差異，得到每個超像素對應的緊湊性、獨特性和背景性特征圖，組合這些特征圖，生成其對應的全局先驗特征圖，進一步將所有超像素對應的全局先驗特征圖作為深度學習模型的輸入，得到全局先驗顯著圖；

4)結(jié)合全局先驗和局部上下文信息生成初始顯著圖，具體為：首先，將所有超像素在彩色圖像上的局部鄰域和全局先驗顯著圖作為一個卷積神經(jīng)網(wǎng)絡的輸入，計算得到彩色局部上下文顯著圖，然后，將其與所有超像素在深度圖像上的局部鄰域作為另一個卷積神經(jīng)網(wǎng)絡的輸入，最后得到初始顯著圖；

5)結(jié)合空間一致性和外觀相似性優(yōu)化初始顯著圖，得到最終顯著圖。

作為進一步的優(yōu)選方式，步驟3)具體步驟為：

3.1)生成緊湊性特征圖時，首先，基于每個超像素的顏色、深度和紋理等底層特征，計算其緊湊性特征，每個超像素的緊湊性特征用一個三維特征向量表示:顏色緊湊性、深度緊湊性、紋理緊湊性；以顏色緊湊性為例，對于超像素ri，計算其與其它超像素之間的顏色相似性加權(quán)的距離平均,作為ri基于顏色的緊湊性特征值，類似可以計算得到ri的深度緊湊性和紋理緊湊性,即得到ri的緊湊性特征，其為顏色緊湊性、深度緊湊性、紋理緊湊性；然后計算每個超像素與圖像中所有超像素之間的緊湊性特征差異，將所有超像素與該超像素的緊湊性特征差異值作為該超像素的緊湊性特征圖中對應超像素區(qū)域的灰度值，即可得到每個超像素對應的緊湊性特征圖；

3.2)生成獨特性特征圖時，首先，基于每個超像素的顏色、深度和紋理等底層特征，計算其獨特性特征，每個超像素的獨特性特征用一個三維特征向量表示為:顏色獨特性、深度獨特性、紋理獨特性；以顏色獨特性為例，對于超像素ri，計算其與其它超像素之間的空間距離加權(quán)的顏色差異和，作為ri基于顏色的獨特性特征值，類似可以計算得到ri的深度獨特性和紋理獨特性,即得到ri的獨特性特征，其為：顏色獨特性、深度獨特性、紋理獨特性；然后計算每個超像素與圖像中所有超像素之間的獨特性特征差異，將所有超像素與該超像素的獨特性特征差異值作為該超像素的獨特性特征圖中對應超像素區(qū)域的灰度值，即可得到每個超像素對應的獨特性特征圖；

3.3)生成背景性特征圖時，首先，基于每個超像素的顏色、深度和紋理等底層特征，計算其背景性特征，每個超像素的背景性特征用一個三維特征向量表示為:顏色背景性、深度背景性、紋理背景性；以顏色背景性為例，對于超像素ri，計算其擴展區(qū)域面積，以此得到ri所屬區(qū)域位于邊界的長度，進一步基于超像素之間的顏色差異，計算ri的邊界連通性，根據(jù)背景性與邊界連通性的反比例關(guān)系，得到ri基于顏色的背景性特征值，類似可以計算得到ri的深度背景性和紋理背景性,即得到ri的背景性特征，其為顏色背景性、深度背景性、紋理背景性；計算ri的對象性特征值，基于其對象性特征優(yōu)化得到ri的背景性特征；然后計算每個超像素與圖像中所有超像素之間的背景性特征差異，將所有超像素與該超像素的背景性特征差異值作為該超像素的背景性特征圖中對應超像素區(qū)域的灰度值，即可得到每個超像素對應的背景性特征圖；

3.4)生成全局先驗特征圖時，將每個超像素對應的緊湊性特征圖、獨特性特征圖和背景性特征圖，組合為其對應的三通道的全局先驗特征圖，且和原圖像大小相同。具體為：對于超像素ri來說，將其緊湊性特征圖、獨特性特征圖和背景性特征圖，分別作為其對應的全局先驗特征圖的r通道、g通道和b通道，即得到ri對應的全局先驗特征圖；

3.5)采用imagenet比賽中圖像分類任務的冠軍模型clarifai構(gòu)建深度學習模型dcnn_gp,將圖像中所有超像素所對應的全局先驗特征圖，作為dcnn_gp的輸入，分別進行前向運算，得到每個超像素對應的顯著值，將其作為顯著圖中對應位置像素點的灰度值，最終得到全局先驗顯著圖。

作為進一步的優(yōu)選方式，步驟4)具體步驟為：

4.1)生成彩色局部上下文顯著圖時，首先，用彩色圖像訓練集中所有像素點的灰度值均值擴充彩色圖，在擴充后的彩色圖像上選取每個超像素對應的鄰域矩形框，將其和全局先驗顯著圖作為卷積神經(jīng)網(wǎng)絡dcnn_lc的輸入，進行前向運算得到超像素的顯著值，如果全局先驗顯著圖中，該超像素的顯著值大于0.8或者小于0.2，顯著值不變，否則用dcnn_lc計算出來的顯著值進行替換，對每個超像素都做同樣的操作，最終得到彩色局部上下文顯著圖；

4.2)生成初始顯著圖時，首先，用深度圖訓練集中所有像素點的深度值均值擴充深度圖像，在擴充后的圖像上選取每個超像素對應的鄰域矩形框，將其和彩色局部上下文顯著圖作為卷積神經(jīng)網(wǎng)絡dcnn_ld的輸入，得到初始顯著圖。

作為進一步的優(yōu)選方式，步驟5)具體為：相鄰區(qū)域之間具有相似的顯著值，并且顯著區(qū)域之間外觀十分相似，基于此，構(gòu)建代價函數(shù)，最小化代價函數(shù)優(yōu)化初始顯著性圖，得到最終顯著圖，其數(shù)學表述為：

其中，s為優(yōu)化得到的顯著圖，θi表示在初始顯著圖sld中如果超像素的顯著值接近于0或者1，則在優(yōu)化后的顯著圖中這個超像素越有可能是背景或者顯著區(qū)域，wij表示無向圖中每條邊的權(quán)重，c表示超像素內(nèi)像素點在lab空間內(nèi)的均值，t表示超像素的紋理特征，d表示超像素內(nèi)像素點深度的均值，σ²＝0.1。

作為進一步的優(yōu)選方式，步驟1)為：利用slic對彩色圖進行超像素分割，基于彩色圖的分割區(qū)域標記匹配深度圖，得到深度圖的超像素分割區(qū)域。

本發(fā)明提供了一種基于全局先驗和局部上下文的深度學習顯著性檢測方法，該方法首先對彩色圖像和深度圖像進行超像素分割，基于每個超像素的緊湊性、獨特性和背景性等中層特征，獲得每個超像素的全局先驗特征圖，并進一步通過深度學習模型，得到全局先驗顯著圖；然后，結(jié)合全局先驗顯著圖和彩色圖像與深度圖像中的局部上下文信息，通過深度學習模型，得到初始顯著圖；最后，依據(jù)空間一致性和外觀相似性優(yōu)化初始顯著圖，得到最終顯著圖。應用本發(fā)明，解決了傳統(tǒng)顯著性檢測方法無法有效檢測到復雜背景圖像中的顯著物體，還解決了現(xiàn)有的基于深度學習的顯著性檢測方法由于提取出的高層特征存在噪聲而導致誤檢的問題。本發(fā)明適用于圖像的顯著性檢測，具有很好的魯棒性，檢測結(jié)果準確。

本發(fā)明的優(yōu)點是：首先，本發(fā)明以圖像的中層特征作為全局先驗深度學習模型的輸入，充分利用顯著性的先驗知識；其次，本發(fā)明通過結(jié)合全局先驗和局部上下文檢測顯著性，采用全局先驗作為深度學習模型的輸入，不僅使其能關(guān)注待檢測圖像的全局顯著性，而且還會減少模型的學習模糊性，采用局部上下文作為深度學習模型的輸入，可以使模型學習顯著物體的局部細節(jié)；最后，利用區(qū)域之間的空間一致性和外觀相似性優(yōu)化初始顯著性圖，提高顯著性檢測結(jié)果。

附圖說明

圖1是本發(fā)明基于全局先驗和局部上下文的深度學習顯著性檢測方法的流程圖；

圖2是本發(fā)明生成全局先驗顯著圖的流程圖；

圖3是本發(fā)明生成初始顯著圖的流程圖。

具體實施方式

本發(fā)明提供了一種基于全局先驗和局部上下文的深度學習顯著性檢測方法，該方法首先對彩色圖像和深度圖像進行超像素分割，基于超像素的緊湊性、獨特性和背景性等中層特征，通過全局先驗深度學習模型，計算得到全局先驗顯著圖；結(jié)合全局先驗顯著圖和彩色圖像與深度圖像中的局部上下文信息，通過深度學習模型，得到初始顯著圖；最后，依據(jù)空間一致性和外觀相似性優(yōu)化初始顯著圖，得到最終顯著圖。本發(fā)明適用于圖像的顯著性檢測，具有很好的魯棒性，檢測結(jié)果準確。

如圖1所示，本發(fā)明包括以下步驟：

1)采用slic超像素分割算法對彩色圖像和深度圖像進行分割，得到圖像對應的區(qū)域標記。

2)基于超像素的分割結(jié)果構(gòu)建圖模型，將每個超像素作為圖模型中的頂點，構(gòu)建無向圖，每個超像素不僅和它相鄰的超像素相連，而且和它相鄰超像素的鄰域超像素相連，并且位于邊界的每個超像素互相連接，邊的權(quán)值為兩個超像素間的特征差異。

3)計算每個超像素的全局先驗特征圖時，首先基于每個超像素的顏色、紋理、深度等底層特征，分別計算其緊湊性、獨特性和背景性等中層特征，然后計算每個超像素與圖像中所有超像素之間的中層特征差異，得到每個超像素對應的緊湊性、獨特性和背景性特征圖，最后，將每個超像素對應的緊湊性、獨特性和背景性特征圖，分別作為圖像的三個通道，即可得到每個超像素對應的全局先驗特征圖；將每個超像素的全局先驗特征圖作為全局先驗深度學習模型的輸入，分別進行前向運算，得到每個超像素對應的顯著值，將其作為顯著圖中對應位置像素點的灰度值，最終得到全局先驗顯著圖。

3.1)一般來說，顯著目標上的顏色、紋理、深度等底層特征都基本相似，因此，顯著目標在顏色、紋理、深度這三個特征空間的分布是比較緊湊的，而背景區(qū)域在這三個特征空間的分布往往是比較發(fā)散的。

基于這一特性，本發(fā)明采用緊湊性表示超像素的顯著性特征，每個超像素的緊湊性特征用一個三維特征向量表示:(顏色緊湊性，深度緊湊性，紋理緊湊性)。

以顏色緊湊性為例，超像素ri的顏色緊湊性為：

其中，n表示圖像中超像素的個數(shù)，nj表示超像素rj中像素點的個數(shù)，aij表示兩個超像素之間的顏色相似性，ci和cj分別表示超像素ri和rj中所有像素lab顏色特征的均值，表示超像素rj的幾何中心，σc控制顏色相似性權(quán)值強度，σc²＝0.1。

同理，分別得到超像素ri的深度緊湊性dc(ri)和紋理緊湊性tc(ri)，即超像素ri的緊湊性特征為：

cp(ri)＝(cc(ri),dc(ri),tc(ri))

為了有效地對物體進行準確定位，本發(fā)明基于超像素之間的緊湊性特征差異，生成每個超像素對應的緊湊性特征圖。

在超像素ri對應的緊湊性特征圖cmap(ri)中，超像素rj(j＝1,2,...,n)中每個像素p的灰度值均為：

其中，norm(x)是一個歸一化函數(shù)，將x歸一化到[0,1]區(qū)間。

3.2)如果一個區(qū)域與其鄰域，或與圖像中所有其它區(qū)域相比是比較獨特的，則認為該區(qū)域是顯著的?；谶@一特性，本發(fā)明基于顏色、深度和紋理等底層特征計算每個超像素的獨特性特征，則每個超像素的獨特性特征用一個三維特征向量表示:(顏色獨特性，深度獨特性，紋理獨特性)。

以顏色獨特性為例，采用全局對比的方式計算超像素ri的顏色獨特性為：

其中，n表示圖像中超像素的個數(shù)，nj表示超像素rj中像素點的個數(shù)，wij表示空間距離權(quán)重，xi和xj分別表示超像素和rj的質(zhì)心點，ci和cj分別表示超像素ri和rj中所有像素的lab顏色特征均值，σd＝0.3。

同理，分別得到超像素ri的深度獨特性du(ri)和紋理獨特性tu(ri)，即超像素ri的獨特性特征為：

up(ri)＝(cu(ri),du(ri),tu(ri))

基于超像素之間的獨特性特征差異，生成每個超像素對應的獨特性特征圖。在超像素ri對應的獨特性特征圖umap(ri)中，超像素rj(j＝1,2,...,n)中每個像素p的灰度值均為：

3.3)通過觀察發(fā)現(xiàn)，顯著物體極大可能位于圖像的內(nèi)部而不是圖像邊界，且背景區(qū)域之間具有較強的連通性。基于這一特性，本發(fā)明基于顏色、深度和紋理等底層特征計算每個超像素的初始背景性特征，則每個超像素的初始背景性特征用一個三維特征向量表示:(顏色背景性，深度背景性，紋理背景性)。

以顏色背景性為例，計算超像素ri的顏色背景性cb(ri)為：

其中，bndcon(r)表示超像素r的邊界連通性，lenbnd(r)表示超像素r所屬區(qū)域位于圖像邊界的長度，當rj位于圖像的邊界，則δ(rj∈bnd)＝1，否則其為0，area(r)表示超像素r的擴展區(qū)域面積，dgeo(r′,r″)表示超像素r′與r″之間的最短路徑代價，dapp(r′,r″)為相連兩個超像素r′、r″之間的顏色特征差異，

同理，分別得到超像素ri的深度背景性db(ri)和紋理背景性tb(ri)。但是，當顯著物體位于圖像的邊界時，此背景性特征會將圖像中位于邊界的目標區(qū)域誤判為背景區(qū)域。一般，圖像中的顯著目標通常是真實物體，因此，本發(fā)明計算每個超像素的對象性，以修正其背景性特征，即超像素ri的背景性特征為：

bp(ri)＝(cb(ri),db(ri),tb(ri))·(1-obj(ri))

其中，obj(ri)表示超像素ri的對象性。

基于超像素之間的背景性特征差異，生成每個超像素對應的背景性特征圖。在超像素ri對應的背景性特征圖bmap(ri)中，超像素rj(j＝1,2,...,n)中每個像素p的灰度值均為：

3.4)對于具有n個超像素區(qū)域的圖像i，可以分別得到每個超像素ri(i＝1,2,...,n)對應的緊湊性特征圖cmap(ri)、獨特性特征圖umap(ri)和背景性特征圖bmap(ri)?；诿總€超像素的緊湊性特征圖、獨特性特征圖和背景性特征圖，生成每個超像素對應的全局先驗特征圖。在超像素ri對應的全局先驗特征圖gpmap(ri)中，超像素rj(j＝1,2,...,n)中每個像素p的值均為：

3.5)本發(fā)明采用imagenet比賽中圖像分類任務的冠軍模型clarifai構(gòu)建深度學習模型dcnn_gp,檢測超像素的全局先驗顯著值，其主要包含5層卷積層和3層全連接層。在顯著性檢測時，首先需將圖像進行超像素分割，對于得到的每一個超像素，生成對應的全局先驗特征圖，然后將這些特征圖輸入到模型中分別進行前向運算，得到每個超像素對應的顯著值，將其作為顯著圖中對應位置像素點的灰度值，最終得到全局先驗顯著圖sg。

4)為了結(jié)合全局先驗和局部上下文信息，本發(fā)明采用包含有兩個卷積神經(jīng)網(wǎng)絡(dcnn_lc、dcnn_ld)的深度學習模型生成初始顯著圖。

4.1)首先，采用彩色圖像訓練集中所有像素點的灰度值均值擴充原彩色圖的四周，擴充后圖像的寬和高變?yōu)樵瓉淼娜叮跀U充后的圖像上分別獲取以每個超像素質(zhì)心點為中心的固定大小的鄰域矩形框，將這些鄰域矩形框調(diào)整為227×227×3的大小作為卷積神經(jīng)網(wǎng)絡dcnn_lc的輸入。dcnn_lc的結(jié)構(gòu)、訓練集的標注方式與dcnn_gp一致，只是網(wǎng)絡中參數(shù)不同。為了融合全局先驗和局部上下文，本文還將全局階段得到的顯著圖sg作為dcnn_lc的輸入。在訓練dcnn_lc的過程中，sg不需要參與卷積運算，只需將其下采樣為64×64，然后通過flatten層調(diào)整為4096維向量，其和第二層全連接層提取的4096維向量相結(jié)合共同判斷超像素屬于哪一類。在檢測的時候?qū)⒊袼氐泥徲蚓匦慰蜃鳛檩斎?，其?jīng)過dcnn_lc進行前向運算得到超像素的顯著值，如果在顯著圖sg中，該超像素的顯著值大于0.8或者小于0.2，顯著值不變，否則用dcnn_lc計算出來的顯著值進行替換，對每個超像素都做同樣的操作，最終得到顯著圖slc。

4.2)采用深度圖訓練集中所有像素點的深度值均值擴充原深度圖的四周，擴充后圖像的寬和高變?yōu)樵瓉淼娜?，在擴充后的圖像上分別獲取以每個超像素質(zhì)心點為中心的固定大小的鄰域矩形框，將這些鄰域矩形框調(diào)整為227×227×3的大小作為卷積神經(jīng)網(wǎng)絡dcnn_ld的輸入。dcnn_ld的結(jié)構(gòu)、訓練集的標注方式與dcnn_gp一致，只是網(wǎng)絡中參數(shù)不同，本文還將顯著圖slc作為dcnn_ld的輸入。在訓練dcnn_ld的過程中，slc不需要參與卷積運算，只需將其下采樣為64×64大小，然后通過flatten層調(diào)整為4096維向量，其和第二層全連接層提取的4096維向量相結(jié)合共同判斷超像素屬于哪一類。在檢測的時候?qū)⒊袼氐泥徲蚓匦慰蜃鳛檩斎耄浣?jīng)過dcnn_ld進行前向運算得到超像素的顯著值，對每個超像素都做同樣的操作，最終得到初始顯著圖sld。

5)本發(fā)明利用圖像中區(qū)域間的空間一致性和顯著區(qū)域間的外觀相似性優(yōu)化初始顯著性圖，從而得到最終顯著圖s?；谝褬?gòu)建好的無向圖，本發(fā)明提出一個代價函數(shù)，通過最小化代價函數(shù)優(yōu)化各區(qū)域的顯著值，其數(shù)學表述為：

其中，s為優(yōu)化得到的顯著圖，θi表示在初始顯著圖sld中如果超像素的顯著值接近于0或者1，則在優(yōu)化后的顯著圖中這個超像素越有可能是背景或者顯著區(qū)域，wij表示無向圖中每條邊的權(quán)重，c表示超像素內(nèi)像素點在lab空間內(nèi)的均值，t表示超像素的紋理特征，d表示超像素內(nèi)像素點深度的均值，σ²＝0.1。

本發(fā)明在圖像處理和計算機視覺領(lǐng)域有著廣泛的應用，例如：圖像分割、圖像識別、視頻異常檢測等。下面參照附圖，對本發(fā)明進行詳盡的描述。

(1)在本發(fā)明的實施例中，采用slic超像素分割算法對彩色圖像和深度圖像進行分割，得到圖像對應的區(qū)域標記。

(2)基于超像素的分割結(jié)果構(gòu)建圖模型，將每個超像素作為圖模型中的頂點，構(gòu)建無向圖，每個超像素不僅和它相鄰的超像素相連，而且和它相鄰超像素的鄰域超像素相連，并且位于邊界的每個超像素互相連接，邊的權(quán)值為兩個超像素間的特征差異。

(3)將每個超像素的全局先驗特征圖作為全局先驗深度學習模型的輸入，生成全局先驗顯著圖，具體做法如圖2所示。首先，基于每個超像素的顏色、紋理、深度等底層特征，計算其緊湊性、獨特性和背景性等中層特征；計算每個超像素與圖像中所有超像素之間的中層特征差異，得到每個超像素對應的緊湊性、獨特性和背景性特征圖；組合這些特征圖，生成每個超像素對應的全局先驗特征圖；將每個超像素對應的全局先驗特征圖作為全局先驗深度學習模型的輸入，得到全局先驗顯著圖。

(4)結(jié)合全局先驗和局部上下文信息生成初始顯著圖，具體做法如圖3所示。首先，用彩色圖像訓練集中所有像素點的灰度值均值擴充彩色圖，在擴充后的彩色圖像上選取每個超像素對應的局部鄰域，將其和全局先驗顯著圖一起作為卷積神經(jīng)網(wǎng)絡dcnn_lc的輸入，得到彩色局部上下文顯著圖，然后用深度圖訓練集中所有像素點的深度值均值擴充深度圖，在擴充后的深度圖像上獲取每個超像素對應的局部鄰域，將其和彩色局部上下文顯著圖一起作為卷積神經(jīng)網(wǎng)絡dcnn_ld的輸入，得到初始顯著圖。

(5)利用空間一致性和外觀相似性優(yōu)化初始顯著性圖，從而得到最終的顯著性檢測結(jié)果?；跇?gòu)建好的無向圖，計算相連超像素之間的顏色、紋理和深度特征相似性，然后以其為權(quán)重，求得最終顯著圖中所有超像素顯著值之間的加權(quán)差異之和，并計算所有超像素優(yōu)化之前顯著值和優(yōu)化之后顯著值之間的加權(quán)差異之和，將這兩個差異之和相加構(gòu)建代價函數(shù)，最后通過最小化代價函數(shù)得到最終顯著圖。

在nvidiaquadrok2200和ubuntu14.0464位操作系統(tǒng)下，采用caffe和matlab2015編程實現(xiàn)該方法。

本發(fā)明提供了一種基于全局先驗和局部上下文的深度學習顯著性檢測方法，適用于圖像的顯著性檢測，魯棒性好，檢測結(jié)果準確。實驗表明該方法能夠有效地進行顯著性檢測。