專利名稱：一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多目數(shù)字圖像的處理方法，特別涉及一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法。
背景技術(shù)：
隨著多媒體技術(shù)的不斷發(fā)展，圖像和視頻技術(shù)也由二維向三維發(fā)展，交互性將成為未來多媒體技術(shù)的一個主要特征。交互式三維視頻系統(tǒng)的關(guān)鍵技術(shù)之一就是虛擬視點繪制合成。虛擬視點繪制合成是所有立體顯示系統(tǒng)終端不可缺少的模塊，在遠(yuǎn)程視頻會議、自由視點立體電視等高端多媒體領(lǐng)域中也具有至關(guān)重要的作用。為了使用戶可以在場景中漫游，實現(xiàn)“連續(xù)的環(huán)視”，在多視點視頻采集的過程中，攝像機的數(shù)量應(yīng)盡可能多，但由于放置無限個攝像機以實現(xiàn)視點無縫切換的不現(xiàn)實性，為了顯示任意視點的視圖，必須在客戶端進(jìn)行虛擬視點的合成，通過對已有視點的分析，合成用戶所要觀察的視點。因此，虛擬視點合成技術(shù)是多媒體領(lǐng)域一項非常重要的新興技術(shù)。首先需要有精確的立體匹配方法獲得視差圖或深度圖才能完成虛擬視點合成技術(shù)。與灰度圖像相比，深度圖像具有物體三維特征信息，即深度信息。由于深度圖像不受光源照射方向及物體表面的發(fā)射特性的影響，而且不存在影響，可以得到三維物體更可靠的幾何信息，所以更準(zhǔn)確地表現(xiàn)物體目標(biāo)表面的三維深度信息。深度圖在視頻編碼中的作用很大，可以有效的提高多視像傳輸和多視圖視頻傳輸?shù)木幋a效率。正因為如此，深度圖像分析越來越受到計算機視覺、圖像分析等研究領(lǐng)域的重視，在工業(yè)領(lǐng)域特別是在機器人視覺、自動導(dǎo)航、工業(yè)零件的自動檢測和自動裝配等領(lǐng)域，得到了越來越廣泛的應(yīng)用。對于深度圖的獲取方面，圖割作為一種基于圖論的組合優(yōu)化技術(shù)，在用來最小化計算機視覺中的能量函數(shù)問題上被眾多研究者所使用，目前已有許多新技術(shù)應(yīng)用于該領(lǐng)域。RichardSzeliski等人把當(dāng)前常用的幾種能量函數(shù)最小化方法在解的質(zhì)量和運行時間等方面進(jìn)行了比較，發(fā)現(xiàn)與傳統(tǒng)的8種方法(模擬退火方法、M-估計法等)相比，圖割方法不僅總體精度高，而且在不連續(xù)區(qū)域和低紋理區(qū)域的精度也比其它方法都高° (參見 D Scharstein, R Szelisk1. Ataxonomy and evaluation of densetwo-frame stereo correspondence algorithms[J]·InternationalJournal ofComputer Vision, 2002,47(1) :7-42.)不僅如此，即使有些方法(如模擬退化方法)的精度和圖割方法的精度接近，但圖割方法在優(yōu)化過程中收斂更快(參見R Szelisk, IR Zabih. Anexperimental comparison of stereo algorithms[A]. Proceedings ofthe International Workshop onVision Algorithms: Theory and Practice[C].Springer-Verlag London, UK. Lecture Notes inComputer Science,2000，1883:1-19. X利用圖割方法最小化能量方程函數(shù)可以將圖像映射為網(wǎng)絡(luò)圖，圖像的特征就可以用圖論的方法進(jìn)行處理，在優(yōu)化能量函數(shù)時，運用圖割的方法在二值標(biāo)號問題中可以得到能量函數(shù)的全局最?。辉诙鄻?biāo)號問題中可以得到帶有很強特征的局部最小，圖割方法還可以保證能量函數(shù)的解收斂到全局最小，且實際效率較高，得到的數(shù)值解有很強的魯棒性。
在Middlebury網(wǎng)站中幾乎所有的這些好的方法在立體匹配時都使用圖像分害I]。基于分割的立體匹配方法能夠很好實現(xiàn)平坦區(qū)域的重建。這些方法的出現(xiàn)有一個潛在的問題就是在應(yīng)用在動態(tài)視頻序列中。圖像分割在視頻幀間是相互矛盾的，深度估計的結(jié)果常常呈現(xiàn)不連續(xù)的跳躍現(xiàn)象。例如，Hai Tao, Harpreet S，Sawhney I, RakeshKumar提出了將3D場景通過圖像分割將顏色或分為不同平面，他們假設(shè)同一顏色的圖像區(qū)域與三維表面一致。這個想法鼓舞了很多現(xiàn)有的有關(guān)立體匹配的研究。這種模型使用一個遞增方程來進(jìn)行估計。這個方程能夠優(yōu)化與空間顏色相關(guān)的一致性和平滑項的倉泛量方程(參見 H. Tao, H. S. Sawhney, R. Kumar. Dynamic depth recovery from multiplesynchronized video streams [A]. CVPR[C], 2001. ) 0. J. Woodford, P. H. S. Torr,1.D. Reid, A. ff. Fitzgibbon提出基于“QPB0”方法的擴展法來有效的優(yōu)化能量方程，但是這會帶來三倍于二階約束項的計算量。然而這種方法對于平坦區(qū)域能夠有很好的效果，對于處理紋理表面比如有折疊在不同方向上有不同紋理區(qū)域效果并不好(參見0. J. Woodford, P.
H.S.Torr,1. D. Reid, A. ff. Fitzgibbon. Global stereo reconstruction undersecondorder smoothness priors [A]. CVPR[C], 2008.)。又如 Tsin 的方法核心是使用 3D 點作為無參數(shù)平滑約束。但是，沒有提出全局方法來最小化它們的能量方程。相反，他們使用每個像素“winner-take-all”的估計策略,其對初始深度估計敏感(參見Y. Tsin. Kernelcorrelation as anaffinity measure in point-sampled vision problems[D]. PhDthesis, Robotics Institute, CarnegieMellon University, September 2003·)。王年，范益政，鮑文霞等提出一種基于圖割的匹配方法。相對于以往的基于圖割的方法該方法不需要攝像機的位置信息以及運動信息，并把標(biāo)號從一維推廣到二維，從而使本方法適用于更一般情形下的匹配問題，此外，為了更利于網(wǎng)絡(luò)的構(gòu)造和方法的實現(xiàn)，此文獻(xiàn)中通過用像素的梯度向量的距離來代替平滑項(參見王年，范益政，鮑文霞等.基于圖割的圖像匹配方法[J]·電子學(xué)報，2006，34 (2) :232-235.)。張令濤，曲道奎，徐方提出了一種基于圖割的改進(jìn)立體匹配方法，方法通過區(qū)域匹配方法得到每個像素的初始視差值，然后只保留完整網(wǎng)格圖的部分可能的視差值，去除其余大部分的節(jié)點和邊緣，建立簡化的網(wǎng)格圖，該方法大大縮減了網(wǎng)格圖的容量，縮短匹配所用的時間，并且能夠選用更大的視差范圍(參見張令濤，曲道奎，徐方.一種基于圖割的改進(jìn)立體匹配方法[J].機器人，2010，32 (I) :104-108.)。朱程輝，任冉冉提出一種快速立體匹配方法，把圖像分割成顏色單一的不同區(qū)域；計算初始視差圖，利用可靠點求取各分割區(qū)域的平面模板參數(shù)，對模板參數(shù)相同的相鄰區(qū)域進(jìn)行融合；構(gòu)造全局能量方程，采用圖割方法求取全局能量最小的視差最優(yōu)分配。該方法對低紋理區(qū)域和遮擋區(qū)域有較好的匹配結(jié)果(參見朱程輝，任冉冉.一種基于圖割理論的快速立體 匹配方法[J].微型機與應(yīng)用，2010，10:35-38.)。虛擬視點繪制中立體匹配技術(shù)還有諸多環(huán)節(jié)和關(guān)鍵方法上存在較大的改進(jìn)空間?；诜指畹牧Ⅲw匹配方法能夠很好實現(xiàn)平坦區(qū)域的重建。這些方法在應(yīng)用在動態(tài)視頻序列中就不能解決視頻幀間相互矛盾的問題，深度估計的結(jié)果常常呈現(xiàn)不連續(xù)的跳躍現(xiàn)象。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是為克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，實現(xiàn)一種在稀疏圖下的像素匹配，使不連續(xù)的邊界保留得很好而不需要圖像分割作為預(yù)處理項。本發(fā)明避免了預(yù)處理中使用分割，并且在動態(tài)視頻序列中能夠恢復(fù)實時穩(wěn)定的深度值，在每一幀單獨處理時也能得到很好的效果。本發(fā)明的約束項模型是大領(lǐng)域無參數(shù)的。無參數(shù)模型將圖像特征用深度值表示不需要使用明確的固定階的約束項，這樣計算量就大大降低。大鄰域能夠使本文方法更靈活地獲得更好的目標(biāo)邊界，在不連續(xù)的邊界和高折疊紋理區(qū)域都得到很好的效果。在不影響合成視圖質(zhì)量的同時解決了靜態(tài)圖像和動態(tài)視頻序列的矛盾性，深度估計的結(jié)果不會呈現(xiàn)不連續(xù)的跳躍現(xiàn)象。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案包括一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，其特征在于包括以下步驟(I)輸入拍攝自同一場景，同一時刻的五幅圖像，這五幅圖像在拍攝視角上和平行度上都可以存在差異；
(2)判斷五幅輸入圖像與攝像機個數(shù)是否匹配，若不同，提示錯誤并跳出；若相同，讀取相關(guān)數(shù)據(jù)，加載圖像，對圖像進(jìn)行修正，并執(zhí)行步驟(3)；(3) —種自適應(yīng)分水嶺方法，提出了新的自適應(yīng)局部閾值方法，并將其應(yīng)用于分水嶺結(jié)合Prim方法的區(qū)域融合中。具體是這個方法包括兩個主要步驟首先，使用分水嶺分割方法將圖像分割成大量的區(qū)域；第二步是一個重復(fù)的過程，在此區(qū)域被融合且達(dá)到局部閾值停止融合。融合過程的順序參照Prim最小生成樹方法，在圖表中找出最小值生長樹的方法，在融合過程中我們追蹤每個區(qū)域的變化并將變化的特征保存下來；(4)根據(jù)步驟(3)中求出的融合區(qū)域作為標(biāo)號，建立能量方程，使用大領(lǐng)域無參數(shù)深度平滑模型來建立圖割的能量方程的立體匹配方法；(5)為一種能量函數(shù)最小化的方法即立體匹配的方法，具體是對于步驟(4)中的能量方程進(jìn)行最小化過程。使用優(yōu)化的α-擴展法，尋找匹配點時不需要對整幅圖進(jìn)行搜索，而是利用最小生成樹的區(qū)域中像素范圍來搜索，在范圍內(nèi)搜索區(qū)域像素，尋找匹配點，否則不搜索。上述所述步驟(3)中的基于自適應(yīng)分水嶺建立標(biāo)號，采用以下步驟實現(xiàn)( i )對加載的圖像應(yīng)用Canny邊緣檢測算子來得到梯度度量的圖像；(ii)經(jīng)過分水嶺分割，并使其投影到彩色圖像，輸出即是將IwateQ，Iwaterl, Iwter2^Iwater3^ Iwatert分別分割成η個不重疊的過分割的區(qū)域圖像；(iii)使用Prim方法來生成最小生成樹，令G= (V，E)為RAG結(jié)構(gòu)，表示對圖像Iwatotl的初始分割，其中e(i，j)的權(quán)值為函數(shù)/(砰，#；7)的值。產(chǎn)生MST的過程即融合區(qū)域的過程;(iv) —般的融合方法都是只設(shè)置單個閾值，達(dá)到這個值就停止融合，但是這樣容易造成不必要的誤差，本發(fā)明提出一種自動計算局部閾值(即自適應(yīng)局部閾值)，這樣經(jīng)過Prim方法后得到的每個區(qū)域由于閾值不同所以大小是不同的，并且可以根據(jù)所需精度進(jìn)行調(diào)整。由于融合不同區(qū)域時，區(qū)域的同一性質(zhì)就會產(chǎn)生比較大的變化，本發(fā)明利用這個變化來確定局部閾值，簡單來說就是融合過程中，一旦融合的區(qū)域不同就停止融合。(V)通過(i ) - (iv)步驟獲得一個T樹。繼續(xù)使用Prim方法和自適應(yīng)局部閾值方法得到最小生成樹來完成估計最初密集圖。從原始圖排除樹邊界，剩余圖仍然很密集。為了更好的估計，在剩余圖的第二個樹仍然使用Prim方法。此外，反復(fù)尋找T樹，并且合并所有這些樹去合成稀疏圖以估計原始密集圖，這樣一個稀疏圖Gs至多有T(L-1)個邊界。上述所述步驟(4)中，基于步驟(3)建立能量方程，方法如下( i )圖的一致項^^叫，A.) =’其中dp = D1(P)是

圖11中像素P的
視差，Q=P+D1是圖1r■中P的相對應(yīng)的像素，dq=Dr(q)是Ir■中q的視差。( ii )選用的平滑項如下
權(quán)利要求
1.一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，其特征在于包括以下步驟(1)輸入拍攝自同一場景，同一時刻的五幅圖像，這五幅圖像在拍攝視角上和平行度上都可以存在差異；(2)判斷五幅輸入圖像與攝像機個數(shù)是否匹配，若不同，提示錯誤并跳出；若相同，讀取相關(guān)數(shù)據(jù)，加載圖像，對圖像進(jìn)行修正，將攝像機分別設(shè)置為O至4號相機，其中以攝像機2 為中點，將其與其它四個攝像機分別配對進(jìn)行匹配計算，執(zhí)行步驟(3 );(3)—種自適應(yīng)分水嶺方法，提出了新的自適應(yīng)局部閾值方法，并將其應(yīng)用于分水嶺結(jié)合Prim算法的區(qū)域融合中。具體這個方法包括兩個主要步驟首先，使用分水嶺分割方法將圖像分割成大量的區(qū)域；第二步是一個重復(fù)的過程，在此區(qū)域被融合且達(dá)到局部閾值停止融合。融合過程的順序參照Prim最小生成樹方法，在圖表中找出最小值生長樹的方法， 在融合過程中我們追蹤每個區(qū)域的變化并將變化的特征保存下來；(4)根據(jù)步驟(3)中求出的融合區(qū)域作為標(biāo)號，建立能量方程，使用大領(lǐng)域無參數(shù)深度平滑模型來建立圖割的能量方程的立體匹配方法；(5)為一種能量函數(shù)最小化的方法即立體匹配的方法，具體是對于步驟(4)中的能量方程進(jìn)行最小化過程。使用優(yōu)化的α-擴展法，尋找匹配點時不需要對整幅圖進(jìn)行搜索，而是利用最小生成樹的區(qū)域中像素范圍來搜索，在范圍內(nèi)搜索區(qū)域像素，尋找匹配點，否則不搜索。
2.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，其特征在于所述步驟(3)中的基于自適應(yīng)分水嶺建立標(biāo)號，采用以下步驟實現(xiàn)(i )對加載的圖像應(yīng)用Canny邊緣檢測算子來得到梯度度量的圖像；(ii )經(jīng)過分水嶺分割，并使其投影到彩色圖像，輸出即是將IwaterO，Iwaterl，^water2 ^water3 Iwater4分別分割成η個不重疊的過分割的區(qū)域圖像；(iii)經(jīng)典最小生成樹方法有Kruskal方法和Prim方法。通過比較，兩者都屬于貪心方法，而運行時間上，Prim方法優(yōu)于Kruskal方法。本發(fā)明使用Prim方法來生成最小生成樹， 令G= (V, E)為相鄰區(qū)域曲線圖(RAG:Region Adjacency Graph)結(jié)構(gòu)，表示對圖像Iwaterfl的初始分割，其中e(i，j)的權(quán)值為函數(shù)/(巧斫)的值。產(chǎn)生MST的過程即融合區(qū)域的過程；(iv)一般的融合方法都是只設(shè)置單個閾值，達(dá)到這個值就停止融合，但是這樣容易造成不必要的誤差，本發(fā)明提出一種自動計算局部閾值(即自適應(yīng)局部閾值)，這樣經(jīng)過Prim 算法后得到的每個區(qū)域由于閾值不同所以大小是不同的，并且可以根據(jù)所需精度進(jìn)行調(diào)整。由于融合不同區(qū)域時，區(qū)域的同一性質(zhì)就會產(chǎn)生比較大的變化，本發(fā)明利用這個變化來確定局部閾值，簡單來說就是融合過程中，一旦融合的區(qū)域不同就停止融合。(V)通過(i)- (iv)步驟獲得一個T樹。繼續(xù)使用Prim方法和自適應(yīng)局部閾值方法得到最小生成樹來完成估計最初密集圖。從原始圖排除樹邊界，剩余圖仍然很密集。為了更好的估計，在剩余圖的第二個樹仍然使用Prim方法。此外，反復(fù)尋找T樹，并且合并所有這些樹去合成稀疏圖以估計原始密集圖，這樣一個稀疏圖Gs至多有T(L-1)個邊界。
3.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，其特征在于所述步驟(4)中基于步驟(3)建立能量方程，方法如下(i )圖的一致項
4.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，其特征在于所述步驟(5)中在能量方程最小化的方法即優(yōu)化后的α-擴展方法實現(xiàn)為 (i )初始化能量函數(shù)的值為0，根據(jù)視差范圍設(shè)置緩沖區(qū)的個數(shù)，并初始化迭代次數(shù)為O ； (ii)產(chǎn)生標(biāo)號的隨機排列，依次選擇標(biāo)號進(jìn)行α-擴展操作，利用最小生成樹的區(qū)域中像素范圍來搜索，在范圍內(nèi)搜索區(qū)域像素，尋找匹配點，否則匹配點不在該區(qū)域內(nèi)，不進(jìn)行搜索； (iii)標(biāo)號集中的標(biāo)號循環(huán)一次后輸出一個能量值，迭代次數(shù)增加1，重復(fù)(ii)的操作； (iv)直到迭代次數(shù)達(dá)到最大值或者緩沖區(qū)個數(shù)減為O時，方法結(jié)束； (V)根據(jù)步驟(i ) - (iv)完成能量函數(shù)最小化的過程之后，根據(jù)得到的視差分布最終得到深度圖1QD，I1D，I2D，I3D，I4D。
全文摘要
本發(fā)明提出一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，本發(fā)明提出了新的自適應(yīng)局部閾值方法，并將其應(yīng)用于分水嶺結(jié)合Prim方法的區(qū)域融合中。使用自適應(yīng)分水嶺對圖像進(jìn)行處理，使圖中像素以一定關(guān)系將圖像分割成不同的區(qū)域并分配標(biāo)號來建立能量方程，并提出新的大領(lǐng)域無參數(shù)的平滑約束模型。最后通過優(yōu)化的α-擴展法，利用最小生成樹的區(qū)域中像素范圍來搜索，在范圍內(nèi)搜索區(qū)域像素，尋找匹配點，否則不搜索。大鄰域能夠使本發(fā)明更靈活地獲得更好的目標(biāo)邊界，在不連續(xù)的邊界和高折疊紋理區(qū)域都得到很好的效果。在不影響合成視圖質(zhì)量的同時解決了靜態(tài)圖像和動態(tài)視頻序列的矛盾性，深度估計的結(jié)果不會呈現(xiàn)不連續(xù)的跳躍現(xiàn)象。
文檔編號G06T7/00GK103020963SQ20121050068
公開日2013年4月3日 申請日期2012年11月29日 優(yōu)先權(quán)日2012年11月29日
發(fā)明者祝世平, 楊柳 申請人:北京航空航天大學(xué)