本發(fā)明涉及深度圖像自動分層方法，特別涉及一種rgbd序列場景流計算中深度圖像優(yōu)化方法。

背景技術：

場景流是空間場景或物體運動所形成的三維運動場，場景流將場景或物體的運動估計由二維拓展到三維，在機器人視覺、無人機導航、虛擬現(xiàn)實以及遠程控制等方面具有重要的應用價值。隨著消費級深度傳感器變得廣泛普及，用rgbd序列估計場景流越來越受關注。雖然深度圖像信息可以從單視點rgb圖像還原場景或物體的3d運動與結(jié)構(gòu)，但是當深度圖中場景或物體的邊緣沒有準確地與rgb圖像邊緣匹配，會導致基于rgbd序列的場景流計算模型無法確定場景或物體的運動邊界。因此，采用rgbd序列估計場景流技術首先需要根據(jù)深度圖像的分層信息確定深度圖像與rgb圖像中場景或物體的邊緣匹配結(jié)果。

現(xiàn)有的場景流計算深度圖像分層方法通常是采用人工設定分層數(shù)量，由于不同類型rgbd序列圖像的運動與場景信息千差萬別，使其在實際應用中受到極大限制。

技術實現(xiàn)要素：

本發(fā)明的目的是利用rgbd序列圖像幀間光流優(yōu)化深度圖像的分層與分割，實現(xiàn)rgbd序列場景流計算中深度圖像的自動分層與分割，優(yōu)化深度圖像分割。

為了解決上述技術問題，本發(fā)明采取以下技術方案。rgbd序列場景流計算中深度圖像優(yōu)化方法，其步驟如下：

1)首先設定任意初始分層層數(shù)；

2)計算rgb圖像序列連續(xù)兩幀圖像間的光流，并根據(jù)初始分層層數(shù)對深度圖進行k均值聚類，得到初始的分割圖；

3)利用rgb序列圖像幀間的光流，判定分割圖的相鄰層是否滿足合并條件，判斷規(guī)則如下：

a)檢測初始分層的各層區(qū)域是否相鄰，如果不相鄰，則不是同一運動物體，保留初始分層結(jié)果；

b)檢測初始分層結(jié)果中相鄰層平均光流的角誤差ae和點誤差ee，滿足式(1)中任意一個判定公式則將初始分層結(jié)果中的相鄰層進行合并：

式中：和表示初始分層結(jié)果中第k層和第k+1層水平方向上的光流平均值；和表示初始分層結(jié)果中第k層和第k+1層垂直方向的光流平均值；ae和ee表示初始分層結(jié)果中相鄰兩層執(zhí)行合并的閾值；

4)對執(zhí)行完合并的分割圖進行重新排序，得到自動分層層數(shù)n_auto和深度圖像分割優(yōu)化結(jié)果；

5)將得到的自動分層層數(shù)n_auto和深度圖像分割優(yōu)化結(jié)果，作為初始分層數(shù)和初始深度圖像循環(huán)執(zhí)行步驟3)和步驟4)，當深度圖像自動分層層數(shù)n_auto不再改變時，停止循環(huán)，得到最終的深度圖像自動分層層數(shù)n_auto和深度圖像分割優(yōu)化結(jié)果。

進一步，所述初始分層的層數(shù)為1～10層。

進一步，所述步驟3)的判斷規(guī)則b)中閾值0＜ae≤1，0＜ee≤1。

本發(fā)明方法利用rgb序列圖像幀間光流對深度圖像進行自動分層與分割優(yōu)化，首先人工設定任意初始分層層數(shù)，然后對深度圖像進行k均值聚類，使得深度圖像中每一層最多只包含一個運動物體，深度圖像分層與目標分割充分體現(xiàn)圖像序列運動邊界，避免一個運動目標分割到多層或者是多個運動目標分割到同一層，最后利用圖像序列幀間光流對深度圖像相鄰層進行判斷合并，從而實現(xiàn)自動分層，最終達到優(yōu)化深度圖像分割的目的。

附圖說明

圖1a和圖1b是bear_back圖像序列連續(xù)兩幀圖像(其中：圖1a是第一幀圖像，圖1b是第二幀圖像)；

圖1c是圖1a對應的深度圖像；

圖2a是由bear_back圖像序列計算得到的光流圖；

圖2b是對圖1c深度圖像進行k均值聚類得到的深度圖像初始分割結(jié)果圖；

圖3是本發(fā)明專利的深度圖像自動分層與優(yōu)化分割步驟圖；

圖4是本發(fā)明得到深度圖像自動分層與優(yōu)化分割結(jié)果圖。

具體實施方式

以下結(jié)合附圖和實施例對本發(fā)明作進一步說明。參見圖1a至圖4，rgbd序列場景流計算中深度圖像優(yōu)化方法，使用bear_back圖像序列對深度圖像自動分層和優(yōu)化分割進行實驗說明：

1)由于圖像場景通常都分解為少量的獨立運動物體，如圖1a和圖1b是bear_back圖像序列連續(xù)兩幀圖像(其中：圖1a是第一幀圖像，圖1b是第二幀圖像)，圖1c是圖1a對應的深度圖像；首先設定初始分層層數(shù)n＝8；

2)計算bear_back圖像序列連續(xù)兩幀間的光流，如圖2a所示；并根據(jù)初始分層層數(shù)對bear_back圖像序列對應的深度圖像進行k均值聚類得到初始的深度圖像分割結(jié)果，如圖2b所示；

3)利用rgb圖像序列幀間的光流判定分割圖相鄰層是否滿足合并條件，判斷規(guī)則如下：

a)檢測初始分層的各層區(qū)域是否相鄰，如果不相鄰則不是同一運動物體，保留初始分層結(jié)果；

b)檢測初始分層結(jié)果中相鄰層平均光流的角誤差ae和點誤差ee，滿足式(1)中任意一個判定公式則將初始分層結(jié)果中的相鄰層進行合并：

式中：和表示初始分層結(jié)果中第k層和第k+1層水平方向上的光流平均值；和表示初始分層結(jié)果中第k層和第k+1層垂直方向的光流平均值；ae和ee表示初始分層結(jié)果中相鄰兩層執(zhí)行合并的閾值，取ae＝0.5，ee＝1；

4)如圖3所示，對執(zhí)行完合并的分割圖進行重新排序，得到自動分層層數(shù)n_auto和深度圖像分割優(yōu)化結(jié)果；

5)將得到的自動分層層數(shù)n_auto和深度圖像分割優(yōu)化結(jié)果作為初始分層數(shù)和初始深度圖像循環(huán)執(zhí)行步驟(3)～(4)，當深度圖像自動分層層數(shù)n_auto不再改變時，停止循環(huán)，得到最終的深度圖像自動分層層數(shù)n_auto和深度圖像分割優(yōu)化結(jié)果，如圖4所示。

由圖4深度圖像分層與分割優(yōu)化結(jié)果可以看出，本發(fā)明能夠?qū)崿F(xiàn)深度圖像自動分層，并可以準確地對圖像中的不同景深運動物體進行分層分割，在無人機避障、汽車自主駕駛以及機器人等領域具有廣泛的應用前景。