一種基于自適應(yīng)特征窗口的立體視覺匹配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像信息處理技術(shù)領(lǐng)域，具體涉及一種基于自適應(yīng)特征窗口的立體視 覺匹配方法。
【背景技術(shù)】
[0002] 立體視覺旨在基于攝像頭所獲得的圖像信息的基礎(chǔ)上，通過圖像匹配、空間幾何 運算等方法，獲取環(huán)境的距離信息。立體視覺在安防監(jiān)控、人機(jī)交互、智能交通等領(lǐng)域有著 廣泛的應(yīng)用，近年來吸引了眾多研宄者的注意，成為當(dāng)前計算機(jī)視覺領(lǐng)域中的研宄熱點之 一。雙目立體視覺是應(yīng)用和研宄最為廣泛的一種配置，其利用左右兩個攝像頭分別獲取同 一場景的左右兩幀圖像，通過計算左右兩幀圖像的視差，再應(yīng)用相應(yīng)的幾何變換，得到場景 的深度距離信息。
[0003] 傳統(tǒng)的立體視覺匹配方法分為兩類，全局方法和局部方法。其中，全局方法將立體 匹配問題轉(zhuǎn)化為優(yōu)化問題來解決，通過動態(tài)規(guī)劃、信念傳播、圖割等方法，求解最優(yōu)視差。局 部方法則通常包含四個步驟，匹配代價計算、匹配代價聚合、視差計算和視差細(xì)化。全局方 法和局部方法的共同之處在于，兩者都需要根據(jù)某種圖像特征（例如像素灰度、邊緣等）， 計算左右兩幀圖像之間的匹配代價，從而進(jìn)一步搜索或者優(yōu)化得到具有最優(yōu)匹配的像素 對，從而得到最優(yōu)視差。研宄表明，采用不同的圖像特征，將會獲得不同質(zhì)量的匹配效果，從 而影響最終的視差準(zhǔn)確率。因此，如何選擇合適的圖像特征進(jìn)行立體匹配計算是立體視覺 中的一個關(guān)鍵問題。
[0004] 現(xiàn)有的方法中，多集中于討論如何通過改進(jìn)的匹配代價聚合方法，來提高視差計 算精度。近年來提出的方法，主要包括雙邊濾波法、最小支持樹法、分割樹法、以及多尺度匹 配代價聚合方法等。匹配聚合方法根據(jù)某些特征的立體匹配代價計算結(jié)果，將鄰近像素或 者同處于某一顏色區(qū)域內(nèi)的像素的代價值進(jìn)行聚合。然而，匹配代價聚合是在得到匹配代 價計算的結(jié)果之后進(jìn)行的，匹配代價結(jié)果的性能優(yōu)劣在很大程度上決定了匹配代價聚合所 能改善的程度。因此，如何選擇合適的圖像特征，包括特征計算的尺度，從而提高匹配代價 本身的計算性能是提高立體匹配最終的視差計算準(zhǔn)確率的關(guān)鍵環(huán)節(jié)。
[0005] 此外，現(xiàn)有的特征選擇方法通常將特征選擇結(jié)果直接應(yīng)用到其他相似的問題中 去，這建立在特征選擇結(jié)果具有優(yōu)秀的泛化能力的基礎(chǔ)上。然而，在實際應(yīng)用中，通過訓(xùn)練 學(xué)習(xí)所得的結(jié)果的泛化能力并沒有辦法保證，類似的問題往往需要不同的途徑才能得到好 的解決。

【發(fā)明內(nèi)容】

[0006] 為了克服上述現(xiàn)有技術(shù)存在的缺陷，本發(fā)明的目的在于提供一種基于自適應(yīng)特征 窗口的立體視覺匹配方法，該方法能夠根據(jù)實際應(yīng)用場景選擇合適特征進(jìn)行立體匹配，有 效提高匹配性能和視差計算精度。
[0007] 本發(fā)明是通過以下技術(shù)方案來實現(xiàn)：
[0008] 一種基于自適應(yīng)特征窗口的立體視覺匹配方法，包括以下步驟：
[0009] 將特征選擇與圖像的本質(zhì)特征相關(guān)聯(lián)，基于邏輯回歸法訓(xùn)練特征選擇分類器；將 獲得的訓(xùn)練特征選擇分類器應(yīng)用到實際場景的立體匹配中，選擇合適的特征窗口，并結(jié)合 顏色特征進(jìn)行匹配代價計算，再基于分割樹的方法進(jìn)行匹配代價聚合，最后，根據(jù)留取勝者 的方式計算得到立體匹配的視差結(jié)果。
[0010] 包括以下步驟：
[0011] 步驟一：構(gòu)建特征選擇訓(xùn)練庫
[0012] 采集標(biāo)準(zhǔn)立體視覺圖像庫中的圖像對（每個圖像對包括一幀左圖、一幀右圖），將 圖像對中的左圖分割為若干子圖像塊，組成標(biāo)準(zhǔn)圖像訓(xùn)練庫；
[0013] 米集實際應(yīng)用場景相關(guān)圖像庫中的圖像對（每個圖像對包括一幀左圖、一幀右 圖），將圖像對中的左圖分割為若干子圖像塊，組成實際應(yīng)用圖像訓(xùn)練庫；
[0014] 對采樣得到的標(biāo)準(zhǔn)圖像訓(xùn)練庫和實際應(yīng)用訓(xùn)練庫，基于Sobel算子計算梯度圖 像，并對橫向梯度x方向和縱向梯度y方向分別施加不同的權(quán)重，所得梯度圖像構(gòu)成特征選 擇訓(xùn)練庫，并表示為：
[0015] {X(i)}，i= 1，2, ...，n，
[0016] 其中，X(i)表示第i個子圖像塊，n表示子圖像塊的數(shù)量，即訓(xùn)練樣本的數(shù)目；
[0017] 步驟二：構(gòu)建特征選擇訓(xùn)練庫的最終訓(xùn)練集
[0018] 分別采用尺度為3、6、9、12、15的Census特征，對步驟一中采樣所得的子圖像塊進(jìn) 行立體匹配代價計算，再應(yīng)用分割樹方法對所得的立體匹配代價進(jìn)行聚合，對匹配代價聚 合結(jié)果采用留取勝者的方法進(jìn)行最終的匹配視差選擇；
[0019] 根據(jù)實際視差結(jié)果，對不同尺度下計算得到的視差結(jié)果統(tǒng)計其準(zhǔn)確度，然后選擇 準(zhǔn)確度最高的尺度作為對應(yīng)子圖像塊梯度圖對應(yīng)的標(biāo)識，表示為：
[0020] {y』}，j= 1，2,…，5
[0021] 其中，yf3,y2= 6,y3= 9,y4= 12,y5= 15,分別對應(yīng)Census特征的 5 個尺 度；再結(jié)合步驟一中獲得的特征選擇訓(xùn)練庫，得到特征選擇訓(xùn)練庫的最終訓(xùn)練集，表示為：
[0022] {X⑴，y⑴}，i= 1，2,…，n;
[0023] 步驟三：構(gòu)建特征選擇分類器
[0024] 采用邏輯回歸算法，使用一對其他策略，并基于步驟二獲得的特征選擇訓(xùn)練庫的 最終訓(xùn)練集構(gòu)造多類分類器優(yōu)化目標(biāo)函數(shù)為：
[0025]
【主權(quán)項】
1. 一種基于自適應(yīng)特征窗口的立體視覺匹配方法，其特征在于，包括以下步驟： 步驟一：構(gòu)建特征選擇訓(xùn)練庫 采集標(biāo)準(zhǔn)立體視覺圖像庫中的圖像對，將圖像對中的左圖分割為若干子圖像塊，組成 標(biāo)準(zhǔn)圖像訓(xùn)練庫； 采集實際應(yīng)用場景相關(guān)圖像庫中的圖像對，將圖像對中的左圖分割為若干子圖像塊， 組成實際應(yīng)用圖像訓(xùn)練庫； 對采樣得到的標(biāo)準(zhǔn)圖像訓(xùn)練庫和實際應(yīng)用訓(xùn)練庫，基于Sobel算子計算梯度圖像，并 對橫向梯度x方向和縱向梯度y方向分別施加不同的權(quán)重，所得梯度圖像構(gòu)成特征選擇訓(xùn) 練庫，并表示為： {X(i)}，i= 1，2,…，n， 其中，X(i)表示第i個子圖像塊，n表示子圖像塊的數(shù)量，即訓(xùn)練樣本的數(shù)目； 步驟二：構(gòu)建特征選擇訓(xùn)練庫的最終訓(xùn)練集 分別采用尺度為3、6、9、12、15的Census特征，對步驟一中采樣所得的子圖像塊進(jìn)行立 體匹配代價計算，再應(yīng)用分割樹方法對所得的立體匹配代價進(jìn)行聚合，對匹配代價聚合結(jié) 果采用留取勝者的方法進(jìn)行最終的匹配視差選擇； 根據(jù)實際視差結(jié)果，對不同尺度下計算得到的視差結(jié)果統(tǒng)計其準(zhǔn)確度，然后選擇準(zhǔn)確 度最高的尺度作為對應(yīng)子圖像塊梯度圖對應(yīng)的標(biāo)識，表示為： {yj}，j= 1，2,…，5 其中，yi= 3,y2= 6,y3= 9,y4= 12,y5= 15,分別對應(yīng)Census特征的5個尺度；再 結(jié)合步驟一中獲得的特征選擇訓(xùn)練庫，得到特征選擇訓(xùn)練庫的最終訓(xùn)練集，表示為： {X⑴，y(i)}，i= 1，2,…，n; 步驟三：構(gòu)建特征選擇分類器 采用邏輯回歸算法，使用一對其他策略，并基于步驟二獲得的特征選擇訓(xùn)練庫的最終 訓(xùn)練集構(gòu)造多類分類器優(yōu)化目標(biāo)函數(shù)為：
其中，n表示訓(xùn)練樣本的數(shù)目
是由X(i)映射到y(tǒng)(1)的Sigmoid函 數(shù)，l〇g( ?)為對數(shù)函數(shù)，{ 0」}，j= 〇, 1，…，1483是由訓(xùn)練得到的分類器參數(shù)，A是稀疏 性約束的重要性系數(shù)，設(shè)為1或者根據(jù)實驗效果設(shè)定，應(yīng)用梯度下降法求解上述優(yōu)化目標(biāo) 函數(shù)，得到特征選擇分類器； 步驟四，針對實際應(yīng)用場景相關(guān)圖像庫中的圖像對，采集左右兩幀圖像，將左圖分解成 子圖像塊，求解各子圖像塊對應(yīng)的梯度圖，應(yīng)用訓(xùn)練步驟三所得的特征選擇分類器，對子圖 像塊進(jìn)行分類，選擇對應(yīng)的特征尺度： 首先，應(yīng)用所選擇的特征尺度計算Census特征匹配代價； 其次，應(yīng)用顏色絕對差特征計算顏色匹配代價； 再次，將兩種匹配代價求和，得到最終的立體匹配代價； 最后，基于分割樹方法進(jìn)行立體匹配代價聚合，采取留取勝者的方式計算得到視差結(jié) 果，完成立體匹配。
2. 根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)特征窗口的立體視覺匹配方法，其特征在 于，步驟一中所述的采集標(biāo)準(zhǔn)立體視覺圖像庫中的圖像對，將圖像對中的左圖分割為若干 子圖像塊是以Middlebury標(biāo)準(zhǔn)圖像庫來采集，實際應(yīng)用場景相關(guān)圖像庫在實際應(yīng)用中采 集。
3. 根據(jù)權(quán)利要求2所述的一種基于自適應(yīng)特征窗口的立體視覺匹配方法，其特征在 于，對于Middlebury標(biāo)準(zhǔn)圖像庫，每幀圖像采集100幅子圖像，Middlebury圖像庫包含38 個圖像對，組成大小為3800幅的標(biāo)準(zhǔn)圖像訓(xùn)練庫。
4. 一種基于自適應(yīng)特征窗口的立體視覺匹配方法，其特征在于，包括： 將特征選擇與圖像的本質(zhì)特征相關(guān)聯(lián)，基于邏輯回歸法訓(xùn)練特征選擇分類器；將獲得 的訓(xùn)練特征選擇分類器應(yīng)用到實際場景的立體匹配中，選擇合適的特征窗口，并結(jié)合顏色 特征進(jìn)行匹配代價計算，再基于分割樹的方法進(jìn)行匹配代價聚合，最后，根據(jù)留取勝者的方 式計算得到立體匹配的視差結(jié)果。
【專利摘要】本發(fā)明公開了一種基于自適應(yīng)特征窗口的立體視覺匹配方法，屬于圖像信息處理技術(shù)領(lǐng)域。包括：將特征選擇與圖像的本質(zhì)特征相關(guān)聯(lián)，基于邏輯回歸法訓(xùn)練特征選擇分類器；將獲得的訓(xùn)練特征選擇分類器應(yīng)用到實際場景的立體匹配中，選擇合適的特征窗口，并結(jié)合顏色特征進(jìn)行匹配代價計算，再基于分割樹的方法進(jìn)行匹配代價聚合，最后，根據(jù)留取勝者的方式計算得到立體匹配的視差結(jié)果。該方法能夠根據(jù)實際應(yīng)用場景選擇合適特征進(jìn)行立體匹配，能夠有效得提高匹配性能，提高視差計算精度。
【IPC分類】G06T7-00
【公開號】CN104574391
【申請?zhí)枴緾N201410840802
【發(fā)明人】呂娜, 羅靖, 尹濤, 李騰飛
【申請人】西安交通大學(xué)
【公開日】2015年4月29日
【申請日】2014年12月29日