專利名稱：基于方向集的泛化置信度傳播的雙目立體視覺匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理、計(jì)算機(jī)視覺、計(jì)算方法、數(shù)學(xué)、數(shù)值方法領(lǐng)域，尤其是計(jì)算機(jī) 視覺的雙目立體視覺匹配方法。
背景技術(shù)：
目前，立體視覺匹配問題的研究已經(jīng)取得了很大的進(jìn)展。特別是基于全局優(yōu)化的 匹配算法，已經(jīng)成為了解決匹配問題的主要方法，得到了廣泛的運(yùn)用。其能得到如此關(guān)注的 原因是因?yàn)槠ヅ鋯栴}可以很好地被建模為一個(gè)馬爾可夫隨機(jī)場(chǎng)(MRF)或條件隨機(jī)場(chǎng)(CRF) 的優(yōu)化問題。這類問題在許多學(xué)科中都有設(shè)計(jì)，由此產(chǎn)生的很多算法都可以運(yùn)用到匹配問 題的解決當(dāng)中來。其中，基于置信度傳播(Belief Propagation)的算法是一種目前受到廣泛關(guān)注 的方法。它的主要思想是通過節(jié)點(diǎn)之間置信度的傳播實(shí)現(xiàn)整個(gè)模型的逐步收斂。其最初 是在文獻(xiàn)(Pearl J. . Probabilistic reasoningin intelligent systems networks of plausible inference[M](智能系統(tǒng)中的概率推演可信度推演網(wǎng)絡(luò))，San Francisco Morgan KaufmannPublishers Inc.，1988.)中提出的，然后在文獻(xiàn)(Sun Jian, Zheng Nan-Ning, et al. . Stereo matching using belief propagation [J](使用置信度傳播的 匹配算法).IEEE transactions on Pattern Analysis and Machine Intelligence. 2003, 25(7) :787-800.)中第一次引入到求解匹配問題中。置信度傳播算法的一個(gè)最大的問題是只有在無環(huán)的圖結(jié)構(gòu)中才被證明可以收 斂，而像匹配問題中使用到的網(wǎng)格狀的馬爾可夫隨機(jī)場(chǎng)模型具有大量的環(huán)狀結(jié)構(gòu)，這樣就 會(huì)造成結(jié)果的不穩(wěn)定。對(duì)于這個(gè)問題主要有三種解決方法，第一種是將迭代的次數(shù)設(shè)定 在一個(gè)比較小的次數(shù)上，不用等到算法收斂就直接停止迭代。這也是最簡(jiǎn)單，最常用的一 種解決方法；第二種是將鄰近兩次迭代過程中置信度變化不大或沒有變化的節(jié)點(diǎn)移除出 迭代過程，使得當(dāng)?shù)^程的不斷進(jìn)行，節(jié)點(diǎn)數(shù)量逐漸減少，當(dāng)沒有節(jié)點(diǎn)參與迭代時(shí)，迭 代自動(dòng)終止；第三種方法是在每次迭代中都先構(gòu)造一棵生成樹，迭代在該生成樹中進(jìn)行， 如文獻(xiàn)(Wainwright M. J.，Jaakkola T. S.，et al. . MAP estimation via agreementon trees :message_passing and linear programming [J](使用樹的統(tǒng)一性的最大后驗(yàn) 概率估計(jì)信息傳遞和線性規(guī)劃) IEEE Transactions onlnformation Theory. 2005， 51 (11) :3697_3717.)禾口(Kolmogorov V.. Convergent tree-reweighted message passing for energy minimization [J](使用收斂的樹型信息傳遞的能量最小化方法).IEEE Transactions onPattern Analysis and Machine Intelligence.2006. 10，28 (10) 1568-1583.)中所示。由于生成樹中沒有環(huán)狀結(jié)構(gòu)，所以不會(huì)產(chǎn)生不收斂的結(jié)果。而且文獻(xiàn) (Szeliski R. ,Zabih R. , et al. . A comparative study of energyminimization methods for markov random fields with smoothness—basedpriors[J](對(duì)基于光滑先驗(yàn)才既率 的馬爾可夫隨機(jī)場(chǎng)進(jìn)行能量最小化的算法的比較研究).IEEE Transactions on Pattern Analysis and Machinelntelligence. 2008,30(6) 1068-1080.)中的實(shí)驗(yàn)表明，該方法在匹配問題中可以得到比傳統(tǒng)的置信度傳播算法更穩(wěn)定的匹配結(jié)果。另外一種置信度傳播算法的擴(kuò)展是泛化置信度傳播算法。該算法是傳統(tǒng)置信度 傳播算法的一種擴(kuò)展。它最早是由Yedidia及其他研究者提出的(Yedidia J. S. ,Freeman ff. T. , et al. . Generalized beliefpropagation[J](泛化置信度傳播算法) Neural Information ProcessingSystems. 2000,13 :689_695.)。泛化置信度傳播算法的總體思 想是將圖結(jié)構(gòu)中的各節(jié)點(diǎn)進(jìn)行聚類，在各聚類間進(jìn)行信息傳播。它并沒有制定具體的聚類 或者說分塊策略，只是一個(gè)框架性的算法。文獻(xiàn)(YedidiaJ. S.，F(xiàn)reeman ff. T.，et al.. Constructing free-energy approximations andgeneralized belief propagation algorithms [J](構(gòu)造自由能估計(jì)算法和泛化置信度傳播算法).IEEE transactions on information theory, 2005, 51 (7) :2282_2312.)對(duì)泛化置信度傳播算法的聚類方式進(jìn)行了 討論，提出了用一種區(qū)域圖的圖結(jié)構(gòu)來表示各種不同的聚類結(jié)果，同時(shí)還在區(qū)域圖上討論 了泛化置信度傳播算法的收斂性質(zhì)。由于該算法計(jì)算量較大，所以在匹配問題中還沒有出 現(xiàn)應(yīng)用實(shí)例。

發(fā)明內(nèi)容
為了克服現(xiàn)有的針對(duì)泛化置信度傳播算法的雙目圖像匹配方法的較高復(fù)雜度，較 大計(jì)算量的不足，本發(fā)明提出了基于最小和的緩存加速策略，使得泛化置信度傳播算法的 性能得到了很大加強(qiáng)，從而成功將其應(yīng)用于雙目視覺中匹配問題的求解過程中，提供了一 種有效降低復(fù)雜度、減少計(jì)算量的基于方向集的泛化置信度傳播的雙目立體視覺匹配方 法。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是一種基于方向集的泛化置信度傳播的雙目立體視覺匹配方法，所述雙目立體視覺 匹配方法包括以下步驟1)采集雙目的左右兩幅圖像，將左圖中的每一個(gè)像素點(diǎn)都作為一個(gè)變量，然后保 持這些變量在圖像坐標(biāo)中的相對(duì)位置不變，進(jìn)行4鄰域連接，得到馬爾可夫隨機(jī)場(chǎng)的拓?fù)?結(jié)構(gòu)，然后按公式(1)和公式(2)分別計(jì)算馬爾可夫隨機(jī)場(chǎng)中的各變量的各狀態(tài)代價(jià)值，以 及各連接邊的代價(jià)值
(,-)D(^) = A-min ^~ fP))2J(1)V(fp, fq) =min(|fp-fq|,K)(2)其中，A表示代價(jià)權(quán)重，它影響到點(diǎn)代價(jià)在整個(gè)能量函數(shù)中所占有的比重；fp*fq 分別表示變量P和q的狀態(tài)序號(hào)；T表示截?cái)嘀担活伾蛄烤嚯x采用歐氏距離來表征，K表 示截?cái)嘀?；I。l(P)和I。K(P)分別表示左圖和右圖中P點(diǎn)處的c通道的顏色值；2)產(chǎn)生多尺度馬爾可夫隨機(jī)場(chǎng)，第k層的大小是第k+1層大小的四分之一；3)設(shè)在多尺度馬爾可夫隨機(jī)場(chǎng)中共有n層，按從1到n的順序分別對(duì)n個(gè)馬爾可 夫隨機(jī)場(chǎng)進(jìn)行求解；首先，使用泛化置信度傳播算法對(duì)每一層的馬爾可夫隨機(jī)場(chǎng)分別求解， 原始的泛化置信度傳播算法使用公式(3)和公式(4)來進(jìn)行信息傳遞 其中，(j5s= (j5s(xs) = D(xs)，％ = (xx,xa) = r(xx,xa)，ms —U = ms —u(xu)表示當(dāng) 變量U選定狀態(tài)xu時(shí)，變量s向變量u傳遞的點(diǎn)信息，mstiV = mstiV(xu，xv)表示當(dāng)變量 u和變量v選定狀態(tài)xu和xu時(shí)，變量s和變量t之間的邊向變量u和變量v之間的邊傳遞 的邊信息；對(duì)公式(3)和公式(4)進(jìn)行負(fù)對(duì)數(shù)操作，并對(duì)其中的獨(dú)立計(jì)算進(jìn)行緩存，得到兩條 新的公式，即公式(5)和公式(6) 其中，上標(biāo)表示當(dāng)前的迭代序號(hào)。 +均是緩存變量；將公式(6)的計(jì)算過程描述成一個(gè)在二維網(wǎng)格中搜索最小值的問題，首先選取sini = min{Q' su(xs，xu)}(7)tini = min{Q' tv(xt, xv)}(8)(7)、(8)作為搜索的起始點(diǎn)，然后使點(diǎn)P在水平方向上移動(dòng)，搜索在該方向上的最 小值，找到最小值后，將點(diǎn)P移動(dòng)到該位置；接著將點(diǎn)P沿垂直方向進(jìn)行搜索，同樣找到該方 向上的最小值，然后移到該位置，反復(fù)循環(huán)迭代以上步驟，直到P點(diǎn)不再移動(dòng)位置時(shí)，其所 處位置的值即被認(rèn)定為該二維網(wǎng)格中的最小值；然后分點(diǎn)傳遞和邊傳遞兩部分分別進(jìn)行信息傳遞，在點(diǎn)傳遞過程中，首先選擇所 有非相鄰的變量同步進(jìn)行上下左右四個(gè)方向的傳遞，再選擇在前一步中沒有進(jìn)行傳遞的變 量進(jìn)行同樣方式的傳遞；在邊傳遞過程中，分為水平邊傳遞和垂直邊傳遞兩部分，其中，水 平邊傳遞分過程中，首先選擇非相鄰的水平邊進(jìn)行同步上下兩個(gè)方向的傳遞，再選擇在前 一步中沒有進(jìn)行傳遞的水平邊按同樣方式進(jìn)行傳遞；然后進(jìn)行垂直邊傳遞，其傳遞方式和 水平邊傳遞相同；每一層次設(shè)定迭代次數(shù)，迭代完成后，將第i層的計(jì)算結(jié)果傳遞繼承到第 i+1 層；4)在最底層馬爾可夫隨機(jī)場(chǎng)求解完成后，按下式計(jì)算每個(gè)變量的代價(jià)值Z 心⑷(9)然后取代價(jià)值最小的那個(gè)狀態(tài)作為該變量的最終狀態(tài)，即為該變量所對(duì)應(yīng)圖像中點(diǎn)的視差值。進(jìn)一步，所述步驟1)中，點(diǎn)代價(jià)計(jì)算是在CIELAB顏色空間中進(jìn)行。再進(jìn)一步，所述步驟3)中，第i層的計(jì)算結(jié)果傳遞繼承到第i+1層的繼承過程分 為點(diǎn)信息繼承和邊信息繼承兩部分，在點(diǎn)信息繼承中，第i層中的任意一個(gè)變量都有4條點(diǎn) 信息需要繼承，每一條點(diǎn)信息由第i+1層中相對(duì)應(yīng)的4個(gè)變量繼承；在邊信息繼承中，分為 水平邊信息繼承和垂直邊信息繼承兩部分，水平邊信息繼承中，第i層中的任意一條水平 邊都有2條邊信息需要繼承，每一條邊信息由第i+1層中相應(yīng)的2條邊繼承，垂直邊的繼承 過程和水平邊繼承過程相同。本發(fā)明的技術(shù)構(gòu)思為本發(fā)明針對(duì)泛化置信度傳播算法具有較高復(fù)雜度，較大計(jì) 算量的問題，提出了基于方向集的復(fù)雜度降低策略，使得該算法的性能得到了很大加強(qiáng)。從 而成功將其應(yīng)用于雙目視覺中匹配問題的求解過程中。本發(fā)明的有益效果主要表現(xiàn)在大大加速了泛化置信度傳播算法的計(jì)算速度。


圖1是多尺度馬爾可夫隨機(jī)場(chǎng)的建立過程的示意圖。圖2和圖3分別是在泛化置信度傳播算法的一次迭代過程中兩種信息的傳遞順序 的示意圖。圖4、圖5、以及圖6是多尺度馬爾可夫隨機(jī)場(chǎng)層次之間的信息繼承過程的示意圖。圖7是使用方向集算法進(jìn)行復(fù)雜度降低的流程圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步描述。參照?qǐng)D1 圖7，一種基于方向集的泛化置信度傳播的雙目圖像匹配方法，所述計(jì) 算機(jī)雙目立體視覺匹配方法包括以下步驟1)使用左右兩幅圖像，計(jì)算得到相對(duì)應(yīng)的馬爾可夫隨機(jī)場(chǎng)。2)產(chǎn)生多尺度馬爾可夫隨機(jī)場(chǎng)，第k層的大小是第k+1層大小的四分之一。3)設(shè)在多尺度馬爾可夫隨機(jī)場(chǎng)中共有n層，按從1到n的順序分別對(duì)n個(gè)馬爾可 夫隨機(jī)場(chǎng)進(jìn)行求解。在計(jì)算過程中，將第i層的計(jì)算結(jié)果傳遞到第i+1層。4)在最底層馬爾可夫隨機(jī)場(chǎng)求解完成后，計(jì)算每個(gè)點(diǎn)最終狀態(tài)值，即每個(gè)像素點(diǎn) 的視差值。在步驟1)中，將左圖中的每一個(gè)像素點(diǎn)都作為一個(gè)變量，然后保持這些變量在圖 像坐標(biāo)中的相對(duì)位置不變，進(jìn)行4鄰域連接，得到的就是馬爾可夫隨機(jī)場(chǎng)的拓?fù)浣Y(jié)構(gòu)。然后 按公式(1)和公式(2)分別計(jì)算馬爾可夫隨機(jī)場(chǎng)中的各變量的各狀態(tài)代價(jià)值，以及各連接 邊的代價(jià)值。D(^) = A-min ^~ fP))\T(1)V(fp, fq) =min(|fp-fq|,K)(2)其中，\表示代價(jià)權(quán)重，它影響到點(diǎn)代價(jià)在整個(gè)能量函數(shù)中所占有的比重；‘和 fq分別表示變量P和q的狀態(tài)序號(hào)；T表示截?cái)嘀担活伾蛄烤嚯x采用歐氏距離來表征，K表示截?cái)嘀担籌。L(p)和I。K(p)分別表示左圖和右圖中P點(diǎn)處的C通道的顏色值；需要提 及的是，為了使代價(jià)計(jì)算更精確，這里的點(diǎn)代價(jià)計(jì)算是在CIELAB(the L*a*b* standardof Commission Internationale de L' Eclairage)顏色空間中進(jìn)行的。顏色向量距離采用 歐氏距離來表征。K表示截?cái)嘀?。在步驟2)中，將馬爾可夫隨機(jī)場(chǎng)按圖1產(chǎn)生多尺度結(jié)構(gòu)。將每個(gè)4點(diǎn)變量集合中 的左上變量作為上一層次馬爾可夫隨機(jī)場(chǎng)中的變量。在步驟3)中，首先，使用泛化置信度傳播算法對(duì)每一層的馬爾可夫隨機(jī)場(chǎng)分別求 解。原始的泛化置信度傳播算法使用公式(3)和公式(4)來進(jìn)行信息傳遞。
ms^u (xu) = max {<Pnsmbub“sum — )( 3 )
xs 其中，=(ts(xs) = D(xs)，％ = (xx,xa) = nX,xa)，ms —u = ms —u(Xu)表示當(dāng) 變量U選定狀態(tài)xu時(shí)，變量s向變量u傳遞的點(diǎn)信息，mstiV = mstiV(xu，xv)表示當(dāng)變量 u和變量v選定狀態(tài)xu和xu時(shí)，變量s和變量t之間的邊向變量u和變量v之間的邊傳遞 的邊信息；為了避免使用計(jì)算量較大的乘法和除法操作，本發(fā)明對(duì)以上兩條公式進(jìn)行負(fù)對(duì)數(shù) 操作，并對(duì)其中的獨(dú)立計(jì)算進(jìn)行緩存，得到兩條新的公式，即公式(5)和公式(6)。 都是緩存變量。通過分析公式(6)，發(fā)現(xiàn)其計(jì)算復(fù)雜度為0(n4)，是泛化置信度傳播算法的主要復(fù) 雜度。本發(fā)明通過將一個(gè)在二維空間中搜索最小值的問題分解到多個(gè)一維空間中搜索最小 值的問題，將其復(fù)雜度從0(n4)降低到0(n3)。使用的方法為方向集方法，也被稱為Powell 方法，在文獻(xiàn)(Press ff. H.，Teukolsky S. A.，et al. . Numerical Recipes in C[M] (C 語(yǔ)言 數(shù)值計(jì)算摘要)，second edition. Cambridge Cambridge UniversityPress, 1992.)中有 詳細(xì)描述。該方法的思想是將一個(gè)N維的搜索問題轉(zhuǎn)化到多個(gè)一維搜索問題，實(shí)現(xiàn)問題規(guī) 模的線性化。將公式(6)的計(jì)算過程描述成一個(gè)在二維網(wǎng)格中搜索最小值的問題，首先選取sini = min{Q' su(xs，xu)}(7)tini = min{Q' tv(xt, xv)}(8)(7)、⑶作為搜索的起始點(diǎn)，然后使點(diǎn)P在水平方向上移動(dòng)，搜索在該方向上的最 小值，找到最小值后，將點(diǎn)P移動(dòng)到該位置；接著將點(diǎn)P沿垂直方向進(jìn)行搜索，同樣找到該方 向上的最小值，然后移到該位置，反復(fù)循環(huán)迭代以上步驟，直到P點(diǎn)不再移動(dòng)位置時(shí)，其所 處位置的值即被認(rèn)定為該二維網(wǎng)格中的最小值；圖7顯示了以上所述過程。然后分點(diǎn)傳遞和邊傳遞兩部分分別進(jìn)行信息傳遞，在點(diǎn)傳遞過程中，首先選擇所 有非相鄰的變量同步進(jìn)行上下左右四個(gè)方向的傳遞，再選擇在前一步中沒有進(jìn)行傳遞的變 量進(jìn)行同樣方式的傳遞；在邊傳遞過程中，分為水平邊傳遞和垂直邊傳遞兩部分，其中，水 平邊傳遞分過程中，首先選擇非相鄰的水平邊進(jìn)行同步上下兩個(gè)方向的傳遞，再選擇在前 一步中沒有進(jìn)行傳遞的水平邊按同樣方式進(jìn)行傳遞；然后進(jìn)行垂直邊傳遞，其傳遞方式和 水平邊傳遞相同，即按圖2和圖3方式進(jìn)行順序計(jì)算，其中，箭頭方向表明消息的傳遞起始 點(diǎn)。每一層次設(shè)定一定的迭代次數(shù)，迭代完成后，相關(guān)信息由下一層次繼承。第i層的計(jì)算 結(jié)果傳遞繼承到第i+1層的繼承過程分為點(diǎn)信息繼承和邊信息繼承兩部分，在點(diǎn)信息繼承 中，第i層中的任意一個(gè)變量都有4條點(diǎn)信息需要繼承，每一條點(diǎn)信息由第i+1層中相對(duì)應(yīng) 的4個(gè)變量繼承；在邊信息繼承中，分為水平邊信息繼承和垂直邊信息繼承兩部分，水平邊 信息繼承中，第i層中的任意一條水平邊都有2條邊信息需要繼承，每一條邊信息由第i+1 層中相應(yīng)的2條邊繼承，垂直邊的繼承過程和水平邊繼承過程相同，繼承過程如圖4，圖5， 圖6所示。再在步驟4)中，按下式計(jì)算每個(gè)變量的代價(jià)值Z 心⑷(9)然后取代價(jià)值最小的那個(gè)狀態(tài)作為該變量的最終狀態(tài)，即為該變量所對(duì)應(yīng)圖像中 點(diǎn)的視差值。表1給出了使用本發(fā)明進(jìn)行加速和不使用本發(fā)明時(shí)的泛化置信度傳播算法的運(yùn) 行效率的比較
耗時(shí)收斂能量值663秒不使用方向集算法176850(11分鐘3秒)使用方向集算法361秒 (6分鐘1秒)176996 表 1
本實(shí)驗(yàn)的實(shí)驗(yàn)環(huán)境為具有1. 6GHz主頻CPU和1G內(nèi)存的個(gè)人電腦。圖像對(duì)為由 Middlebury提供(D. Scharstein and R. Szeliski."Ataxonomy and evaluation of dense two-frame stereo correspondencealgorithms ( —種對(duì)雙目密集點(diǎn)匹配算法的分類和評(píng) ) Internationaljournal of Computer Vision, 2002,47 (1), pp. 7-42.) ^"Tsukuba" 實(shí)驗(yàn)圖像對(duì)，大小為384X288像素。參數(shù)設(shè)置為T = 30.0，A = 0. 87，K = 10. 0，每個(gè)變 量的狀態(tài)數(shù)為16，以及多尺度空間的層數(shù)為5，每個(gè)層次的迭代次數(shù)為4次。
權(quán)利要求
一種基于方向集的泛化置信度傳播的雙目立體視覺匹配方法，其特征在于所述雙目立體視覺匹配方法包括以下步驟1)采集雙目的左右兩幅圖像，將左圖中的每一個(gè)像素點(diǎn)都作為一個(gè)變量，然后保持這些變量在圖像坐標(biāo)中的相對(duì)位置不變，進(jìn)行4鄰域連接，得到馬爾可夫隨機(jī)場(chǎng)的拓?fù)浣Y(jié)構(gòu)，然后按公式(1)和公式(2)分別計(jì)算馬爾可夫隨機(jī)場(chǎng)中的各變量的各狀態(tài)代價(jià)值，以及各連接邊的代價(jià)值 <mrow><mi>D</mi><mrow> <mo>(</mo> <msub><mi>f</mi><mi>p</mi> </msub> <mo>)</mo></mrow><mo>=</mo><mi>&lambda;</mi><mo>&CenterDot;</mo><mi>min</mi><mrow> <mo>(</mo> <msqrt><munder> <mi>&Sigma;</mi> <mrow><mi>c</mi><mo>&Element;</mo><mo>{</mo><mi>L</mi><mo>,</mo><mi>a</mi><mo>,</mo><mi>b</mi><mo>}</mo> </mrow></munder><msup> <mrow><mo>(</mo><msubsup> <mi>I</mi> <mi>c</mi> <mi>L</mi></msubsup><mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo></mrow><mo>-</mo><msubsup> <mi>I</mi> <mi>c</mi> <mi>R</mi></msubsup><mrow> <mo>(</mo> <mi>p</mi> <mo>-</mo> <msub><mi>f</mi><mi>p</mi> </msub> <mo>)</mo></mrow><mo>)</mo> </mrow> <mn>2</mn></msup> </msqrt> <mo>,</mo> <mi>T</mi> <mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo></mrow> </mrow>V(fp，fq)＝min(|fp-fq|，K) (2)其中，λ表示代價(jià)權(quán)重，它影響到點(diǎn)代價(jià)在整個(gè)能量函數(shù)中所占有的比重；fp和fq分別表示變量p和q的狀態(tài)序號(hào)；T表示截?cái)嘀?；顏色向量距離采用歐氏距離來表征，K表示截?cái)嘀担籌cL(p)和IcR(p)分別表示左圖和右圖中p點(diǎn)處的c通道的顏色值；2)產(chǎn)生多尺度馬爾可夫隨機(jī)場(chǎng)，第k層的大小是第k+1層大小的四分之一；3)設(shè)在多尺度馬爾可夫隨機(jī)場(chǎng)中共有n層，按從1到n的順序分別對(duì)n個(gè)馬爾可夫隨機(jī)場(chǎng)進(jìn)行求解；首先，使用泛化置信度傳播算法對(duì)每一層的馬爾可夫隨機(jī)場(chǎng)分別求解，原始的泛化置信度傳播算法使用公式(3)和公式(4)來進(jìn)行信息傳遞其中，φs＝φs(xs)＝D(xs)，ms→u＝ms→u(xu)表示當(dāng)變量u選定狀態(tài)xu時(shí)，變量s向變量u傳遞的點(diǎn)信息，mst→uv＝mst→uv(xu，xv)表示當(dāng)變量u和變量v選定狀態(tài)xu和xu時(shí)，變量s和變量t之間的邊向變量u和變量v之間的邊傳遞的邊信息；對(duì)公式(3)和公式(4)進(jìn)行負(fù)對(duì)數(shù)操作，并對(duì)其中的獨(dú)立計(jì)算進(jìn)行緩存，得到兩條新的公式，即公式(5)和公式(6) <mrow><msubsup> <mi>m</mi> <mrow><mi>s</mi><mo>&RightArrow;</mo><mi>u</mi> </mrow> <mi>t</mi></msubsup><mrow> <mo>(</mo> <msub><mi>x</mi><mi>u</mi> </msub> <mo>)</mo></mrow><mo>=</mo><munder> <mi>min</mi> <msub><mi>x</mi><mi>s</mi> </msub></munder><mrow> <mo>(</mo> <msub><mi>P</mi><mi>s</mi> </msub> <mrow><mo>(</mo><msub> <mi>x</mi> <mi>s</mi></msub><mo>)</mo> </mrow> <mo>+</mo> <msub><mi>Q</mi><mi>su</mi> </msub> <mrow><mo>(</mo><msub> <mi>x</mi> <mi>s</mi></msub><mo>,</mo><msub> <mi>x</mi> <mi>u</mi></msub><mo>)</mo> </mrow> <mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo></mrow> </mrow> <mrow><msubsup> <mi>m</mi> <mrow><mi>st</mi><mo>&RightArrow;</mo><mi>uv</mi> </mrow> <mi>t</mi></msubsup><mrow> <mo>(</mo> <msub><mi>x</mi><mi>u</mi> </msub> <mo>,</mo> <msub><mi>x</mi><mi>v</mi> </msub> <mo>)</mo></mrow><mo>=</mo><munder> <mi>min</mi> <mrow><msub> <mi>x</mi> <mi>s</mi></msub><mo>,</mo><msub> <mi>x</mi> <mi>t</mi></msub> </mrow></munder><mrow> <mo>(</mo> <msup><msub> <mi>Q</mi> <mi>su</mi></msub><mo>&prime;</mo> </msup> <mrow><mo>(</mo><msub> <mi>x</mi> <mi>s</mi></msub><mo>,</mo><msub> <mi>x</mi> <mi>u</mi></msub><mo>)</mo> </mrow> <mo>+</mo> <msup><msub> <mi>Q</mi> <mi>tv</mi></msub><mo>&prime;</mo> </msup> <mrow><mo>(</mo><msub> <mi>x</mi> <mi>t</mi></msub><mo>,</mo><msub> <mi>x</mi> <mi>v</mi></msub><mo>)</mo> </mrow> <mo>+</mo> <msup><msub> <mi>Q</mi> <mi>st</mi></msub><mo>&prime;</mo> </msup> <mrow><mo>(</mo><msub> <mi>x</mi> <mi>s</mi></msub><mo>,</mo><msub> <mi>x</mi> <mi>t</mi></msub><mo>)</mo> </mrow> <mo>)</mo></mrow><mo>-</mo><msubsup> <mi>m</mi> <mrow><mi>s</mi><mo>&RightArrow;</mo><mi>u</mi> </mrow> <mrow><mi>t</mi><mo>-</mo><mn>1</mn> </mrow></msubsup><mo>-</mo><msubsup> <mi>m</mi> <mrow><mi>t</mi><mo>&RightArrow;</mo><mi>v</mi> </mrow> <mrow><mi>t</mi><mo>-</mo><mn>1</mn> </mrow></msubsup><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo></mrow> </mrow>其中，上標(biāo)表示當(dāng)前的迭代序號(hào)。
<mrow><msub> <mi>P</mi> <mi>s</mi></msub><mrow> <mo>(</mo> <msub><mi>x</mi><mi>s</mi> </msub> <mo>)</mo></mrow><mo>=</mo><mi>D</mi><mrow> <mo>(</mo> <msub><mi>x</mi><mi>s</mi> </msub> <mo>)</mo></mrow><mo>+</mo><munder> <mi>&Sigma;</mi> <mrow><mi>i</mi><mo>=</mo><mo>{</mo><mi>a</mi><mo>,</mo><mi>b</mi><mo>,</mo><mi>c</mi><mo>}</mo> </mrow></munder><msubsup> <mi>m</mi> <mrow><mi>i</mi><mo>&RightArrow;</mo><mi>s</mi> </mrow> <mrow><mi>t</mi><mo>-</mo><mn>1</mn> </mrow></msubsup><mrow> <mo>(</mo> <msub><mi>x</mi><mi>s</mi> </msub> <mo>)</mo></mrow><mo>;</mo> </mrow> <mrow><msub> <mi>Q</mi> <mi>su</mi></msub><mrow> <mo>(</mo> <msub><mi>x</mi><mi>s</mi> </msub> <mo>,</mo> <msub><mi>x</mi><mi>u</mi> </msub> <mo>)</mo></mrow><mo>=</mo><mi>V</mi><mrow> <mo>(</mo> <msub><mi>x</mi><mi>s</mi> </msub> <mo>,</mo> <msub><mi>x</mi><mi>u</mi> </msub> <mo>)</mo></mrow><mo>+</mo><munder> <mi>&Sigma;</mi> <mrow><mi>i</mi><mo>=</mo><mo>{</mo><mi>bd</mi><mo>,</mo><mi>ce</mi><mo>}</mo> </mrow></munder><msubsup> <mi>m</mi> <mrow><mi>i</mi><mo>&RightArrow;</mo><mi>su</mi> </mrow> <mrow><mi>t</mi><mo>-</mo><mn>1</mn> </mrow></msubsup><mrow> <mo>(</mo> <msub><mi>x</mi><mi>s</mi> </msub> <mo>,</mo> <msub><mi>x</mi><mi>u</mi> </msub> <mo>)</mo></mrow><mo>;</mo> </mrow> <mrow><msup> <msub><mi>Q</mi><mi>su</mi> </msub> <mo>&prime;</mo></msup><mo>=</mo><mi>D</mi><mrow> <mo>(</mo> <msub><mi>x</mi><mi>s</mi> </msub> <mo>)</mo></mrow><mo>+</mo><mi>V</mi><mrow> <mo>(</mo> <msub><mi>x</mi><mi>s</mi> </msub> <mo>,</mo> <msub><mi>x</mi><mi>u</mi> </msub> <mo>)</mo></mrow><mo>+</mo><msubsup> <mi>m</mi> <mrow><mi>a</mi><mo>&RightArrow;</mo><mi>s</mi> </mrow> <mrow><mi>t</mi><mo>-</mo><mn>1</mn> </mrow></msubsup><mrow> <mo>(</mo> <msub><mi>x</mi><mi>s</mi> </msub> <mo>)</mo></mrow><mo>+</mo><msubsup> <mi>m</mi> <mrow><mi>c</mi><mo>&RightArrow;</mo><mi>s</mi> </mrow> <mrow><mi>t</mi><mo>-</mo><mn>1</mn> </mrow></msubsup><mrow> <mo>(</mo> <msub><mi>x</mi><mi>s</mi> </msub> <mo>)</mo></mrow><mo>+</mo><msubsup> <mi>m</mi> <mrow><mi>ce</mi><mo>&RightArrow;</mo><mi>su</mi> </mrow> <mrow><mi>t</mi><mo>-</mo><mn>1</mn> </mrow></msubsup><mrow> <mo>(</mo> <msub><mi>x</mi><mi>s</mi> </msub> <mo>,</mo> <msub><mi>x</mi><mi>u</mi> </msub> <mo>)</mo></mrow><mo>;</mo> </mrow> <mrow><msup> <msub><mi>Q</mi><mi>tv</mi> </msub> <mo>&prime;</mo></msup><mo>=</mo><mi>D</mi><mrow> <mo>(</mo> <msub><mi>x</mi><mi>t</mi> </msub> <mo>)</mo></mrow><mo>+</mo><mi>V</mi><mrow> <mo>(</mo> <msub><mi>x</mi><mi>t</mi> </msub> <mo>,</mo> <msub><mi>x</mi><mi>v</mi> </msub> <mo>)</mo></mrow><mo>+</mo><msubsup> <mi>m</mi> <mrow><mi>b</mi><mo>&RightArrow;</mo><mi>t</mi> </mrow> <mrow><mi>t</mi><mo>-</mo><mn>1</mn> </mrow></msubsup><mrow> <mo>(</mo> <msub><mi>x</mi><mi>t</mi> </msub> <mo>)</mo></mrow><mo>+</mo><msubsup> <mi>m</mi> <mrow><mi>d</mi><mo>&RightArrow;</mo><mi>t</mi> </mrow> <mrow><mi>t</mi><mo>-</mo><mn>1</mn> </mrow></msubsup><mrow> <mo>(</mo> <msub><mi>x</mi><mi>t</mi> </msub> <mo>)</mo></mrow><mo>+</mo><msubsup> <mi>m</mi> <mrow><mi>df</mi><mo>&RightArrow;</mo><mi>tv</mi> </mrow> <mrow><mi>t</mi><mo>-</mo><mn>1</mn> </mrow></msubsup><mrow> <mo>(</mo> <msub><mi>x</mi><mi>t</mi> </msub> <mo>,</mo> <msub><mi>x</mi><mi>v</mi> </msub> <mo>)</mo></mrow><mo>;</mo> </mrow>均是緩存變量；將公式(6)的計(jì)算過程描述成一個(gè)在二維網(wǎng)格中搜索最小值的問題，首先選取sini＝min{Qsu′(xs，xu)} (7)tini＝min{Wtv′(xt，xv)} (8)(7)、(8)作為搜索的起始點(diǎn)，然后使點(diǎn)P在水平方向上移動(dòng)，搜索在該方向上的最小值，找到最小值后，將點(diǎn)P移動(dòng)到該位置；接著將點(diǎn)P沿垂直方向進(jìn)行搜索，同樣找到該方向上的最小值，然后移到該位置，反復(fù)循環(huán)迭代以上步驟，直到P點(diǎn)不再移動(dòng)位置時(shí)，其所處位置的值即被認(rèn)定為該二維網(wǎng)格中的最小值；然后分點(diǎn)傳遞和邊傳遞兩部分分別進(jìn)行信息傳遞，在點(diǎn)傳遞過程中，首先選擇所有非相鄰的變量同步進(jìn)行上下左右四個(gè)方向的傳遞，再選擇在前一步中沒有進(jìn)行傳遞的變量進(jìn)行同樣方式的傳遞；在邊傳遞過程中，分為水平邊傳遞和垂直邊傳遞兩部分，其中，水平邊傳遞分過程中，首先選擇非相鄰的水平邊進(jìn)行同步上下兩個(gè)方向的傳遞，再選擇在前一步中沒有進(jìn)行傳遞的水平邊按同樣方式進(jìn)行傳遞；然后進(jìn)行垂直邊傳遞，其傳遞方式和水平邊傳遞相同；每一層次設(shè)定迭代次數(shù)，迭代完成后，將第i層的計(jì)算結(jié)果傳遞繼承到第i+1層；4)在最底層馬爾可夫隨機(jī)場(chǎng)求解完成后，按下式計(jì)算每個(gè)變量的代價(jià)值 <mrow><msubsup> <mi>C</mi> <mi>s</mi> <mi>t</mi></msubsup><mrow> <mo>(</mo> <msub><mi>x</mi><mi>s</mi> </msub> <mo>)</mo></mrow><mo>=</mo><munder> <mi>&Sigma;</mi> <mrow><mi>i</mi><mo>=</mo><mo>{</mo><mi>a</mi><mo>,</mo><mi>b</mi><mo>,</mo><mi>c</mi><mo>,</mo><mi>d</mi><mo>}</mo> </mrow></munder><msubsup> <mi>m</mi> <mrow><mi>i</mi><mo>&RightArrow;</mo><mi>s</mi> </mrow> <mi>t</mi></msubsup><mrow> <mo>(</mo> <msub><mi>x</mi><mi>s</mi> </msub> <mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo></mrow> </mrow>然后取代價(jià)值最小的那個(gè)狀態(tài)作為該變量的最終狀態(tài)，即為該變量所對(duì)應(yīng)圖像中點(diǎn)的視差值。FDA0000022116660000012.tif,FDA0000022116660000013.tif,FDA0000022116660000021.tif,FDA0000022116660000028.tif
2.如權(quán)利要求1所述的基于方向集的泛化置信度傳播的雙目立體視覺匹配方法，其特 征在于所述步驟1)中，點(diǎn)代價(jià)計(jì)算是在CIELAB顏色空間中進(jìn)行。
3.如權(quán)利要求1或2所述的基于方向集的泛化置信度傳播的雙目立體視覺匹配方法， 其特征在于所述步驟3)中，第i層的計(jì)算結(jié)果傳遞繼承到第i+1層的繼承過程分為點(diǎn)信 息繼承和邊信息繼承兩部分，在點(diǎn)信息繼承中，第i層中的任意一個(gè)變量都有4條點(diǎn)信息需 要繼承，每一條點(diǎn)信息由第i+1層中相對(duì)應(yīng)的4個(gè)變量繼承；在邊信息繼承中，分為水平邊 信息繼承和垂直邊信息繼承兩部分，水平邊信息繼承中，第i層中的任意一條水平邊都有2 條邊信息需要繼承，每一條邊信息由第i+1層中相應(yīng)的2條邊繼承，垂直邊的繼承過程和水 平邊繼承過程相同。
全文摘要
一種基于方向集的泛化置信度傳播的雙目立體視覺匹配方法，包括以下步驟1)采集雙目的左右兩幅圖像，建立馬爾可夫隨機(jī)場(chǎng)；2)產(chǎn)生多尺度馬爾可夫隨機(jī)場(chǎng)，第k層的大小是第k+1層大小的四分之一；3)設(shè)在多尺度馬爾可夫隨機(jī)場(chǎng)中共有n層，按從1到n的順序分別對(duì)n個(gè)馬爾可夫隨機(jī)場(chǎng)進(jìn)行求解，通過將一個(gè)在二維空間中搜索最小值的問題分解到多個(gè)一維空間中搜索最小值，將第i層的計(jì)算結(jié)果傳遞到第i+1層；4)在最底層馬爾可夫隨機(jī)場(chǎng)求解完成后，取代價(jià)值最小的那個(gè)狀態(tài)作為該變量的最終狀態(tài)，即為該變量所對(duì)應(yīng)圖像中點(diǎn)的視差值。本發(fā)明有效降低復(fù)雜度、減少計(jì)算量。
文檔編號(hào)G06T7/00GK101853508SQ20101019372
公開日2010年10月6日 申請(qǐng)日期2010年6月8日 優(yōu)先權(quán)日2010年6月8日
發(fā)明者劉盛, 李友福, 王萬(wàn)良, 王中杰, 童漢陽(yáng), 管秋, 陳勝勇 申請(qǐng)人:浙江工業(yè)大學(xué)