本發(fā)明涉及圖像處理技術領域，特別是涉及一種以三維空間邊界為背景先驗的rgb-d圖像顯著性計算方法。

背景技術：

人類通過各種途徑獲取信息，如視覺、聽覺、觸覺、嗅覺等，而其中有83％是通過視覺系統(tǒng)得到的，可想而知，視覺對于人類的生活是多么重要，進一步的研究表明，人們通常趨向于對視覺信息進行選擇性地過濾，而不是把所有信息全部放入大腦進行處理。這個選擇性的過程在計算機圖像領域就叫做顯著性檢測。計算機在對圖像進行處理時，可以使用類似的策略，先對圖像進行預處理，選擇重要的、容易引起人們注意的部分，過濾掉不重要的、不容易引起人們注意的部分，這對于圖像的后期處理具有很重要的意義，可以為后期處理提供基礎，簡化后期處理的復雜度。基于這些性質，顯著性檢測被用在很多高層次的圖像處理中，如圖像分類、目標識別、視頻跟蹤、圖像分割、圖像檢索、目標重定位等。

傳統(tǒng)的顯著性檢測都是基于二維的顏色圖片，準確度有限，對于簡單的場景檢測結果比較好，但是對于復雜的場景結果都不如人意，很難用于圖像的后期處理。然而隨著雙目立體攝像頭和rgb-d攝像頭在計算機圖像領域的廣泛使用，為顯著性檢測提供了除去顏色信息之外的另一重要數據來源——深度信息，rgb-d圖像使得計算機視覺更加貼近生物學上的視覺系統(tǒng)，同時也大大提高了顯著性檢測的準確度。

2013年yang等人《saliencydetectionviagraph-basedmanifoldranking》假設rgb彩色圖像的四條邊為背景，應用manifoldranking(流形排序算法)排序所有超像素節(jié)點的相關性完成顯著性計算；2015年xue等《rgb-dsaliencydetectionviamutualguidedmanifoldranking》在yang基礎上，假設rgb彩色圖像的四個角為背景，以顏色和深度的共同特征實施rgb彩色圖像的顯著性檢測，再以其結果作為前景種子節(jié)點對depth深度圖實施manifoldranking排序，最后融合二者完成rgb-d圖像顯著性檢測。該方法將rgb-d圖像看作一副rgb彩色圖像和一副depth深度圖像，將二者獨立開來，分別進行圖像處理。而實際上，一副rgb彩色圖像加上深度值后，展現出來的是一個立體的三維世界，在這個三維場景中，顯著物體通常是遠離三維空間邊界的，也就是說顯著物體通常很少接觸到三維場景的空間邊界。

因此亟需提供一種新型的以三維空間邊界為背景先驗的rgb-d圖像顯著性計算方法來解決上述問題。

技術實現要素：

本發(fā)明所要解決的技術問題是提供一種以三維空間邊界為背景先驗的rgb-d圖像顯著性計算方法，能夠準確檢測rgb-d圖像的顯著性。

為解決上述技術問題，本發(fā)明采用的一個技術方案是：提供一種rgb-d圖像顯著性計算方法，將rgb-d圖像的背景定義為三維空間中的上、下、左、右、前、后六個面，并以此為先驗知識進行rgb-d圖像顯著性計算。

在本發(fā)明一個較佳實施例中，所述rgb-d圖像顯著性計算方法，包括以下步驟：

s1：對rgb-d圖像采用slic算法進行融入深度特征的超像素分割，建立圖模型g＝＜v,e＞，v為所有的超像素節(jié)點，e為超像素節(jié)點之間連接的邊，每個超像素節(jié)點不僅與鄰居節(jié)點連接，而且與鄰居節(jié)點有共邊的鄰居節(jié)點連接；

s2：定義三維空間邊界，選取上、下、左、右、前、后六個面上的超像素節(jié)點，并將選取的超像素節(jié)點連接起來；

s3：以三維空間邊界所在超像素節(jié)點為假設的背景種子節(jié)點，以顏色、深度為共同的特征，應用流形排序算法排序所有超像素節(jié)點的相關性完成顯著性計算。

進一步的，在步驟s3中，顯著性具體計算方法如下：

s3.1：按照公式(1)應用流形排序算法排序所有超像素節(jié)點，形成ftop,fdown,fleft,fright,ffront,fback。

其中，w＝[wij]n×n為權重矩陣，其中c表示超像素節(jié)點在cielab顏色空間的特征值，d表示超像素節(jié)點深度特征值，σc和σd為控制顏色和深度之間比例的常量，d＝diag{d11,l,dnn}為度數矩陣，其中dii＝∑jwij，α控制光滑約束和擬合約束的平衡，y3dbg為指示向量，指示三維空間邊界上的超像素節(jié)點為背景種子；

s3.2：按照公式(2)對以上、下、左、右、前、后六個面為假設的背景種子排序后形成的結果ftop,fdown,fleft,fright,ffront,fback進行歸一化及取反操作，得到六個基于每個邊界平面的顯著圖，分別為stop,sdown,sleft,sright,sfront,sback。

s3.3：按照公式(3)將所述六個基于每個邊界平面的顯著圖stop,sdown,sleft,sright,sfront,sback進行相乘操作，得到基于三維空間邊界先驗的顯著圖sbg。

s3.4：將顯著圖sbg采用ostu算法進行二值化，得到的顯著區(qū)域作為前景種子，再一次按照公式(4)應用流形排序算法排序超像素節(jié)點間的相關性，按照公式(5)歸一化后得到最終的顯著圖s。

f^*＝(d-αw)^-1yfg(4)

s＝f^*(5)

其中，yfg為指示向量，指示sbg二值化后的顯著區(qū)域為前景種子。

在本發(fā)明一個較佳實施例中，定義三維空間通過建立三維空間坐標系來實現：以rgb-d圖像中rgb彩色圖像左上角為三維空間坐標原點，沿水平向右方向建立x軸，沿垂直向下方向建立y軸，沿垂直于xy屏幕向內方向建立z軸；在所述三維空間坐標系中，xy平面定義為前面、與xy平面平行往z軸正方向平移depth距離的平面為后面，yz平面定義為左面，與yz平面平行往x正方向平移width距離的平面為右面，xz平面定義為上面，與xz平面平行往y正方向平移height距離的平面為下面，其中width取rgb-d圖像中rgb彩色圖像的寬，height取rgb-d圖像中rgb彩色圖像的高，depth取rgb-d圖像中depth圖像的最大深度絕對值。

在本發(fā)明一個較佳實施例中，所述前、后兩個面上的超像素節(jié)點，定義為rgb-d圖像中所有超像素節(jié)點根據歸一化的深度值從小到大排序后的序列中最小的2％部分、最大的30％部分。

本發(fā)明的有益效果是：本發(fā)明所述rgb-d圖像顯著性計算方法，將rgb-d圖像看成是三維空間內的立體圖像，充分利用了rgb-d圖像的深度信息，準確地定義了三維空間邊界，更加真實地反映了人類視覺注意機制，提高了顯著性檢測的準確率。

附圖說明

圖1是本發(fā)明一種rgb-d圖像顯著性計算方法一較佳實施例中定義的三維空間邊界示意圖；

圖2是所述rgb-d圖像顯著性計算方法中建立的圖模型示意圖；

圖3是所述rgb-d圖像顯著性計算方法與現有的背景先驗方法在數據集rgbd1000上的顯著性檢測結果pr曲線比對圖；

圖4是所述rgb-d圖像顯著性計算方法與現有的背景先驗方法在數據集rgbd1000上的顯著性檢測結果準確率—召回率—f值柱狀比對圖；

圖5是所述rgb-d圖像顯著性計算方法與現有的背景先驗方法在數據集njuds2000上的顯著性檢測結果pr曲線比對圖；

圖6是所述rgb-d圖像顯著性計算方法與現有的背景先驗方法在數據集njuds2000上的顯著性檢測結果準確率—召回率—f值柱狀比對圖。

具體實施方式

下面結合附圖對本發(fā)明的較佳實施例進行詳細闡述，以使本發(fā)明的優(yōu)點和特征能更易于被本領域技術人員理解，從而對本發(fā)明的保護范圍做出更為清楚明確的界定。

本發(fā)明實施例包括：

一種rgb-d圖像顯著性計算方法，將rgb-d圖像的背景定義為三維空間中的上、下、左、右、前、后六個面，并以此為先驗知識進行rgb-d圖像顯著性計算。在本方法中，rgb-d圖像是由一副rgb彩色圖像和一副depth深度圖像組成。

請參閱圖1，rgb彩色圖像進行超像素分割之后，每個超像素都根據depth深度圖提供的深度信息而具有一個深度值，這樣每個超像素將不再是rgb彩色平面內的超像素，而是具有一定深度值的超像素，從而形成一個三維空間場景。在這個三維空間場景內，顯著物體通常很少接觸到三維空間邊界，即上、下、左、右、前、后六個面，而不僅僅是在rgb彩色圖像所在平面內遠離四條邊或四個角。

為了便于理解，建立三維空間坐標系：以rgb-d圖像中rgb彩色圖像左上角為三維空間坐標原點，沿水平向右方向建立x軸，沿垂直向下方向建立y軸，沿垂直于xy屏幕向內方向建立z軸。在所述三維空間坐標系中，xy平面定義為前面、與xy平面平行往z軸正方向平移depth距離的平面為后面，yz平面定義為左面，與yz平面平行往x正方向平移width距離的平面為右面，xz平面定義為上面，與xz平面平行往y正方向平移height距離的平面為下面。本實施例中width取rgb-d圖像中rgb彩色圖像的寬，height取rgb-d圖像中rgb彩色圖像的高，depth取rgb-d圖像中depth圖像的最大深度絕對值。由于不同的rgb-d圖像有不同的景深，使用深度絕對值能夠反映真實的三維場景，但是其數值與圖像傳感器成像后形成的rgb彩色圖像的寬和高差距甚遠，而且他們之間的比例關系很難計算。不過，從立體幾何角度分析圖1所示三維空間邊界的上、下、左、右、前、后六個面后發(fā)現，左面的超像素節(jié)點就是rgb圖像的左邊超像素節(jié)點，右面的超像素節(jié)點就是rgb圖像的右邊超像素節(jié)點，上面的超像素節(jié)點就是rgb圖像的上邊超像素節(jié)點，下面的超像素節(jié)點就是rgb圖像的下邊超像素節(jié)點，而前面的超像素節(jié)點即為深度值較小的超像素節(jié)點，后面的超像素節(jié)點即為深度值較大的超像素節(jié)點，從而無須精確計算depth的取值了。

依據所述rgb-d圖像的背景為三維空間中的上、下、左、右、前、后六個面的定義，并以此為背景先驗知識開展rgb-d圖像顯著性計算過程，rgb-d圖像顯著性計算方法很多，在本發(fā)明一個較佳實施例中，以三維空間邊界所在超像素節(jié)點為假設的背景種子節(jié)點，以顏色、深度為共同的特征，應用manifoldranking(流形排序算法)排序所有超像素節(jié)點的相關性完成顯著性計算。

具體地講，顯著性計算方法如下：

首先，對rgb-d圖像采用slic算法進行融入深度特征的超像素分割，建立圖模型g＝＜v,e＞，v為所有的超像素節(jié)點，e為超像素節(jié)點之間連接的邊。請參閱圖2，因為鄰居節(jié)點更可能具有相似的表現和顯著值，因此，使用k正則圖來探索空間關系，其中，每個超像素節(jié)點不僅與鄰居節(jié)點連接，而且與鄰居節(jié)點有共邊的鄰居節(jié)點連接。

其次，定義三維空間邊界，選取上、下、左、右、前、后六個面上的超像素節(jié)點，并將選取的超像素節(jié)點連接起來。所述上、下、左、右四個面上的超像素節(jié)點，即為rgb-d圖像中rgb彩色圖像所在的前面四條邊上的超像素節(jié)點；所述前、后兩個面上的超像素節(jié)點，定義為rgb-d圖像中所有超像素節(jié)點根據歸一化的深度值從小到大排序后的序列中最小的2％部分、最大的30％部分。原因是：顯著物體通常比較接近rgb-d圖像中rgb彩色圖像所在的前面，但是通常又不是最近的部分，因此，根據實驗前面僅取2％；而顯著物體通過會遠離后面，而且景深差距會比較大，因此根據實驗后面取30％。

接著，以三維空間邊界所在超像素節(jié)點為假設的背景種子節(jié)點，以顏色、深度為共同的特征，按照公式(1)應用manifoldranking排序所有超像素節(jié)點，形成ftop,fdown,fleft,fright,ffront,fback。

其中，w＝[wij]n×n為權重矩陣，其中c表示超像素節(jié)點在cielab顏色空間的特征值，d表示超像素節(jié)點深度特征值，σc和σd為控制顏色和深度之間比例的常量，為度數矩陣，其中dii＝∑jwij，α控制光滑約束和擬合約束的平衡，y3dbg為指示向量，指示三維空間邊界上的超像素節(jié)點為背景種子；

按照公式(2)對以上、下、左、右、前、后六個面為假設的背景種子排序后形成的結果ftop,fdown,fleft,fright,ffront,fback進行歸一化及取反操作，得到六個基于每個邊界平面的顯著圖，分別為stop,sdown,sleft,sright,sfront,sback。

按照公式(3)將所述六個基于每個邊界平面的顯著圖stop,sdown,sleft,sright,sfront,sback進行相乘操作，得到基于三維空間邊界先驗的顯著圖sbg。

最后，為了進一步優(yōu)化結果，將顯著圖sbg采用ostu算法進行二值化，得到的顯著區(qū)域作為前景種子，再一次按照公式(4)應用manifoldranking排序超像素節(jié)點間的相關性，按照公式(5)歸一化后得到最終的顯著圖s。

f^*＝(d-αw)^-1yfg(4)

s＝f^*(5)

其中，yfg為指示向量，指示sbg二值化后的顯著區(qū)域為前景種子。

在本實施例中，通過圖像庫測試對比證明了其有效性以及在效果上明顯的優(yōu)勢。測試對比在公開數據集rgbd1000、nju2000ds上進行。測試對比結果以準確率-召回率(precision-recall)曲線及準確率-召回率-f值(precision-recall-f-measure)柱狀圖表示。對比的方法中，本發(fā)明所述以三維空間邊界為背景先驗的rgb-d圖像顯著性計算方法表示為ours；yang等人《saliencydetectionviagraph-basedmanifoldranking》假設rgb圖像的四條邊為背景先驗的方法表示為mr；xue等《rgb-dsaliencydetectionviamutualguidedmanifoldranking》所述方法表示為mgmr。測試對比結果請參閱圖3至圖6。從圖中可以看出本實施例以三維空間邊界為背景先驗的rgb-d圖像顯著性計算方法明顯優(yōu)于現有的背景先驗方法，從而證明本發(fā)明所述方法的優(yōu)越性。

以上所述僅為本發(fā)明的實施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發(fā)明的專利保護范圍內。