一種穩(wěn)定高效的高分辨率立體匹配方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種穩(wěn)定高效的高分辨率立體匹配方法，包括如下步驟：利用高分辨率數(shù)碼攝像機(jī)獲取場(chǎng)景的立體圖像對(duì)；對(duì)所述立體圖像對(duì)構(gòu)建圖像金字塔；在所述圖像金字塔的最低分辨率層提取可靠的匹配種子像素點(diǎn)；在所述圖像金字塔的最低分辨率層基于所述種子像素點(diǎn)利用種子像素?cái)U(kuò)張算法得到致密視差圖；對(duì)所述致密視差圖用圖像濾波技術(shù)消除誤匹配的像素點(diǎn)；基于所述濾波后的視差圖結(jié)合圖像金字塔技術(shù)提升視差圖的分辨率得到最終的高分辨率立體匹配視差圖。所述立體匹配方法可以處理傳統(tǒng)方法不能處理的高分辨率立體圖像對(duì)，獲得穩(wěn)定高準(zhǔn)確度的視差圖。
【專(zhuān)利說(shuō)明】一種穩(wěn)定高效的高分辨率立體匹配方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理和圖像匹配領(lǐng)域，具體地涉及一種穩(wěn)定高效的高分辨率立體 匹配方法。

【背景技術(shù)】
[0002] 近年來(lái)，隨著硬件技術(shù)的發(fā)展和計(jì)算機(jī)處理能力的提高，人們對(duì)三維數(shù)據(jù)獲取的 需求在不斷增長(zhǎng)，其中運(yùn)用低成本的設(shè)備方便快速地獲取高精度場(chǎng)景三維模型數(shù)據(jù)成為一 個(gè)熱門(mén)的研究和應(yīng)用方向。因此立體視覺(jué)技術(shù)逐漸廣泛運(yùn)用起來(lái)。立體視覺(jué)一般需要兩臺(tái) 攝像機(jī)，因此價(jià)格較為低廉。立體視覺(jué)技術(shù)重建場(chǎng)景三維結(jié)構(gòu)一般分為如下三步：1、攝像 機(jī)內(nèi)外參數(shù)標(biāo)定過(guò)程；2、通過(guò)立體匹配算法獲得視差圖像3、結(jié)合標(biāo)定參數(shù)和視差圖像計(jì) 算場(chǎng)景的三維結(jié)構(gòu)。立體視覺(jué)技術(shù)提高其三維重建準(zhǔn)確度的一個(gè)核心問(wèn)題是通過(guò)可靠立體 匹配算法得到高質(zhì)量的視差圖像。目前立體匹配方法一般可以分為局部匹配和全局匹配方 法?？偟膩?lái)說(shuō)，基于窗口的局部匹配算法速度較快、資源消耗較低但是產(chǎn)生的視差圖誤匹配 區(qū)域較多，影響最終三維重建結(jié)果的準(zhǔn)確率；基于優(yōu)化預(yù)設(shè)能量函數(shù)的全局優(yōu)化匹配算法 雖能夠產(chǎn)生質(zhì)量較高的視差圖但是算法復(fù)雜度高，資源消耗很大，需要配置10G以上的內(nèi) 存且耗時(shí)較長(zhǎng)，難以在普通個(gè)人電腦（PC)上處500萬(wàn)像素以上的高分辨率立體圖像對(duì)。


【發(fā)明內(nèi)容】

[0003] 有鑒于此，有必要提供一種算法復(fù)雜度和資源利用較低，能夠處理高分辨率立體 圖像對(duì)，穩(wěn)定高效的高分辨率立體匹配方法。
[0004] 本發(fā)明的目的是提供一種穩(wěn)定高效的高分辨率立體匹配方法，包括如下步驟：
[0005] S1 :利用高分辨率數(shù)碼攝像機(jī)獲取場(chǎng)景的立體圖像對(duì)；
[0006] S2 :對(duì)所述立體圖像對(duì)構(gòu)建圖像金字塔；
[0007] S3 :在所述圖像金字塔的最低分辨率層提取可靠的匹配種子像素點(diǎn)；
[0008] S4:在所述圖像金字塔的最低分辨率層基于所述匹配種子像素點(diǎn)利用種子像素?cái)U(kuò) 張算法得到致密視差圖；
[0009] S5 :對(duì)所述致密視差圖用圖像濾波技術(shù)消除誤匹配的像素點(diǎn)；
[0010] S6:根據(jù)濾波后的視差圖結(jié)合圖像金字塔相鄰塔層之間的分辨率差將低分辨層的 視差圖提升到相鄰高分辨率層的致密視差圖；
[0011] S7 :判斷步驟S6中得到的致密視差圖是否為最底層最高分辨率致密視差圖，如否 則回到步驟S5,如是則獲得最終的高分辨率立體匹配視差圖并結(jié)束。
[0012] 其中，利用高分辨率數(shù)碼攝像機(jī)獲取場(chǎng)景的立體圖像對(duì)步驟通過(guò)兩臺(tái)高分辨率數(shù) 碼攝像機(jī)水平或垂直架設(shè)后同時(shí)拍攝場(chǎng)景的一對(duì)圖像后結(jié)合圖像校正技術(shù)獲得用于后續(xù) 立體匹配步驟的立體圖像對(duì)。
[0013] 其中，對(duì)所述立體圖像對(duì)構(gòu)建圖像金字塔步驟分別對(duì)立體圖像對(duì)的兩幅圖像構(gòu)建 高斯金字塔。
[0014] 優(yōu)選的，在所述圖像金字塔的最低分辨率層提取可靠的匹配種子像素點(diǎn)步驟包 括：
[0015] 將圖像金字塔的最低分辨率層的圖像對(duì)作為待匹配的立體圖像對(duì)，分別用歸一 化交叉相關(guān)（NCC)和Census變換結(jié)合勝者全取策略（WTA)得到兩幅初始視差圖DispNCC 和DispCensus，然后構(gòu)建如下匹配種子像素點(diǎn)集合：Seed= {(x，y)|DispNCC(x，y)= DispCensus(x, y)}〇
[0016] 其中，在所述圖像金字塔的最低分辨率層基于所述種子像素點(diǎn)利用種子像素?cái)U(kuò)張 算法得到致密視差圖步驟通過(guò)種子像素?cái)U(kuò)張算法基于上述步驟得到的稀疏種子像素點(diǎn)集 合得到致密視差圖像。
[0017] 優(yōu)選的，對(duì)所述致密視差圖用圖像濾波技術(shù)消除誤匹配的像素點(diǎn)步驟包括：
[0018] 利用加權(quán)中值濾波技術(shù)(Weighted Median Filter)對(duì)視差圖像進(jìn)行濾波，消除錯(cuò) 誤匹配的區(qū)域。加權(quán)中值濾波技術(shù)通過(guò)結(jié)合引導(dǎo)濾波技術(shù)（Guided Filter)高效實(shí)現(xiàn)。
[0019] 在所述步驟S3中進(jìn)一步包括：
[0020] 利用兩種不同的匹配代價(jià)函數(shù)分別結(jié)合勝者全取策略（WTA)得到兩幅初始視差 圖，然后比較兩幅初始視差圖中每個(gè)像素位置處的視差值，將視差值相等的像素點(diǎn)設(shè)定為 所述可靠的匹配種子像素點(diǎn)。
[0021] 在每一金字塔視差圖像層均使用圖像濾波技術(shù)對(duì)初始視差圖像進(jìn)行濾波從而得 到可靠且高準(zhǔn)確度的視差圖像。
[0022] 除了在圖像金字塔的最低分辨率層通過(guò)掃描整體視差搜索空間的方式得到視差 圖像外，在其它分辨率層均首先通過(guò)上層低分辨率的視差圖像結(jié)合超分辨率技術(shù)獲得與本 層分辨率相同的視差圖，然后對(duì)所述視差圖的視差值附近進(jìn)行微調(diào)優(yōu)化得到本層的初始視 差圖像，其中超分辨率技術(shù)是將低分辨率的圖像通過(guò)技術(shù)手段提升到高分辨率圖像。
[0023] 優(yōu)選的，基于所述濾波后的視差圖結(jié)合圖像金字塔技術(shù)提升視差圖的分辨率得到 最終的高分辨率立體匹配視差圖步驟包括：
[0024] 對(duì)于緊鄰的上層低分辨率視差圖像首先通過(guò)線性插值技術(shù)得到與本層分辨率相 同的視差圖像Dispi，然后以Dispi為基礎(chǔ)，對(duì)于每個(gè)像素在其視差取值范圍附近進(jìn)行局 部搜索得到優(yōu)化的視差圖像Dispr，最后同樣利用加權(quán)中值濾波技術(shù)（Weighted Median Filter)對(duì)視差圖像進(jìn)行濾波，消除錯(cuò)誤匹配的區(qū)域，得到本層最終的視差圖像Dispf。
[0025] 本發(fā)明優(yōu)點(diǎn)是：
[0026] 相對(duì)于現(xiàn)有技術(shù)，所述立體匹配方法由于借助了圖像金字塔立體匹配技術(shù)，因此 可以處理高分辨率立體圖像對(duì)。由于本方法通過(guò)兩幅不同的初始視差圖對(duì)比獲得匹配種子 像素點(diǎn)集合，結(jié)合受約束的種子像素?cái)U(kuò)張立體匹配算法能夠得到可靠高準(zhǔn)確度的初始視差 圖。此外本方法在圖像金字塔的每一層均對(duì)視差圖進(jìn)行濾波操作更進(jìn)步增強(qiáng)了輸出視差圖 的可靠性，算法復(fù)雜度和資源利用較低，能夠方便普通的個(gè)人電腦處理500萬(wàn)像素以上的 高分辨率立體圖像對(duì)。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0027] 下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述：
[0028] 圖1是本發(fā)明的工作流程示意圖。

【具體實(shí)施方式】
[0029] 實(shí)施例：如圖1所示，本發(fā)明提供一種穩(wěn)定高效的高分辨率立體匹配方法的具體 實(shí)施例，其包括如下步驟：
[0030] 步驟01，利用高分辨率數(shù)碼攝像機(jī)獲取場(chǎng)景的立體圖像對(duì)，本實(shí)施方式中，兩臺(tái)高 分辨率數(shù)碼攝像機(jī)水平或垂直架設(shè)后同時(shí)拍攝場(chǎng)景的一對(duì)圖像。然后對(duì)所獲取的一對(duì)圖像 進(jìn)行重采樣使得極線平行，具體，可以利用Fusiello等人提出的方法（Fusiello A，Trucco E,. Verri A. A Compact Algorithm for Rectification of Stereo Pairs. Machine Vision and Applications, 2000,12 :16-22.)來(lái)實(shí)現(xiàn)所述立體圖像對(duì)校正，其中高分辨率數(shù)碼攝像 機(jī)的分辨率在500萬(wàn)像素以上。
[0031] 步驟02,對(duì)所述立體圖像對(duì)構(gòu)建圖像金字塔，本實(shí)施方式中，分別對(duì)立體圖像對(duì)的 兩幅圖像構(gòu)建兩組高斯圖像金字塔，使得金字塔最頂層的圖像分辨率在10萬(wàn)像素左右，也 即最低分辨率層。
[0032] 步驟03,在所述圖像金字塔的最低分辨率層提取可靠的匹配種子像素點(diǎn)。
[0033] 具體的，將圖像金字塔的最低分辨率層的圖像對(duì)作為待匹配的立體圖像對(duì)，分別 用歸一化交叉相關(guān)（NCC)和Census變換，當(dāng)然不限于上述兩種，還可以利用SAD和SSD 等變換方法，參見(jiàn) Brown M，Burschka D，Hager G. Advances in Computational Stereo. IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25 (8)： 993-1008.)結(jié)合勝者全取策略（WTA)得到兩幅初始視差圖DispNCC和DispCensus。
[0034] 具體來(lái)說(shuō)，首先根據(jù)選定的匹配代價(jià)函數(shù)和一對(duì)立體圖像構(gòu)建一個(gè)三維張量視差 空間圖DSI，其中DSI (u，V，d)為圖像中像素位置（u，v)處視差值取d時(shí)的匹配代價(jià)函數(shù) 值（DSI 的具體構(gòu)建方法參見(jiàn) Scharstein D，Szelis ki R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International Journal of Computer Vision，2002,47 (1/2/3)，7-42·)。則勝者全取策略（WTA)通過(guò)下式計(jì)算得到：
[0035]

【權(quán)利要求】
1. 一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于，其依次包括如下步驟： 51 :利用高分辨率數(shù)碼攝像機(jī)獲取場(chǎng)景的立體圖像對(duì)； 52 :對(duì)所述立體圖像對(duì)構(gòu)建圖像金字塔； 53 :在所述圖像金字塔的最低分辨率層提取可靠的匹配種子像素點(diǎn)； S4:在所述圖像金字塔的最低分辨率層基于所述匹配種子像素點(diǎn)利用種子像素?cái)U(kuò)張算 法得到致密視差圖； S5 :對(duì)所述致密視差圖用圖像濾波技術(shù)消除誤匹配的像素點(diǎn)； S6:根據(jù)濾波后的視差圖結(jié)合圖像金字塔相鄰塔層之間的分辨率差將低分辨層的視差 圖提升到相鄰高分辨率層的致密視差圖； S7 :判斷步驟S6中得到的致密視差圖是否為最底層最高分辨率致密視差圖，如否則回 到步驟S5,如是則獲得最終的高分辨率立體匹配視差圖并結(jié)束。
2. 如權(quán)利要求1所述的一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于：在所述 步驟S3中進(jìn)一步包括： 利用兩種不同的匹配代價(jià)函數(shù)分別結(jié)合勝者全取策略（WTA)得到兩幅初始視差圖，然 后比較兩幅初始視差圖中每個(gè)像素位置處的視差值，將視差值相等的像素點(diǎn)設(shè)定為所述可 靠的匹配種子像素點(diǎn)。
3. 如權(quán)利要求2所述的一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于：在每一 金字塔視差圖像層均使用圖像濾波技術(shù)對(duì)初始視差圖像進(jìn)行濾波從而得到可靠且高準(zhǔn)確 度的視差圖像。
4. 如權(quán)利要求3所述的一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于：除了在 圖像金字塔的最低分辨率層通過(guò)掃描整體視差搜索空間的方式得到視差圖像外，在其它分 辨率層均首先通過(guò)上層低分辨率的視差圖像結(jié)合超分辨率技術(shù)獲得與本層分辨率相同的 視差圖，然后對(duì)所述視差圖的視差值附近進(jìn)行微調(diào)優(yōu)化得到本層的初始視差圖像。
5. 如權(quán)利要求4所述的一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于：所述步 驟S3具體如下： 將圖像金字塔的最低分辨率層的圖像對(duì)作為待匹配的立體圖像對(duì)，分別用歸一化 交叉相關(guān)（NCC)和Census變換結(jié)合勝者全取策略（WTA)得到兩幅初始視差圖DispNCC 和DispCensus，然后構(gòu)建如下匹配種子像素點(diǎn)集合：Seed= {(X，y)|DispNCC(x，y)= DispCensus(x, y)}〇
6. 如權(quán)利要求5所述的一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于：所述步 驟S5具體如下： 利用加權(quán)中值濾波技術(shù)(Weighted Median Filter)對(duì)視差圖像進(jìn)行濾波，消除錯(cuò)誤匹 配的區(qū)域，且加權(quán)中值濾波技術(shù)通過(guò)結(jié)合引導(dǎo)濾波技術(shù)（Guided Filter)高效實(shí)現(xiàn)。
7. 如權(quán)利要求5所述的一種穩(wěn)定高效的高分辨率立體匹配方法，其特征在于：所述步 驟S6具體如下： 對(duì)于緊鄰的上層低分辨率視差圖像首先通過(guò)線性插值技術(shù)得到與本層分辨率相同的 視差圖像Dispi，然后以Dispi為基礎(chǔ)，對(duì)于每個(gè)像素在其視差取值范圍附近進(jìn)行局部搜索 得到優(yōu)化的視差圖像Dispr，最后同樣利用加權(quán)中值濾波技術(shù)（Weighted Median Filter) 對(duì)視差圖像進(jìn)行濾波，消除錯(cuò)誤匹配的區(qū)域，得到本層最終的視差圖像Dispf。
【文檔編號(hào)】G06T7/00GK104156957SQ201410384020
【公開(kāi)日】2014年11月19日 申請(qǐng)日期:2014年8月6日 優(yōu)先權(quán)日:2014年8月6日
【發(fā)明者】陳洪, 林文光 申請(qǐng)人:昆山天工智能科技有限公司