本申請涉及圖像處理技術領域，尤其涉及一種基于圖像的立體匹配方法及裝置。

背景技術：

作為多視點成像最重要的應用，自由視點電視給用戶提供了可以任意選擇場景視角的能力，打破了只能從拍攝角度看場景的限制，增強了用戶體驗，越來越受到人們的廣泛關注。然而從傳統(tǒng)上來看要實現(xiàn)任意視角觀看三維場景需要無數(shù)個從不同視角拍攝的幀，用戶才可以自由地在現(xiàn)實世界中轉(zhuǎn)換場景視角，由于相機數(shù)量有限和存儲空間缺乏，這似乎是不切實際的。因此，虛擬視點合成技術應運而生，該技術基于有限個拍攝視圖進行映射得到中間虛擬視點視圖，這樣就可以通過有限個攝像機實現(xiàn)場景視角的自由轉(zhuǎn)換。這種圖像映射被稱為立體匹配。

立體匹配算法分可以分為兩類：局部算法和全局算法。局部算法是在支持窗口內(nèi)根據(jù)顏色值差異估算窗口中心像素的視差值，進而得到圖像的整體視差圖，是利用局部信息解決匹配問題。全局算法是利用圖像的全局約束信息，對局部圖像的模糊不敏感，通過構建全局能量函數(shù)，再通過優(yōu)化方法最小化全局能量函數(shù)以得到致密視差圖。

由于現(xiàn)有的立體匹配算法默認圖像中顏色值相同的像素點處于同一視差平面或平滑變化的視差表面上，且像素點之間的空間距離越小處在同一視差平面上的可能性越大。因此，現(xiàn)有的許多立體匹配算法對圖像中低曲率或正面平行的場景的處理效果較好，但對圖像中存在較多傾斜或高度彎曲的無紋理表面的處理效果不佳。

技術實現(xiàn)要素：

有鑒于此，本申請?zhí)峁┝艘环N基于圖像的立體匹配方法及裝置，能夠解決現(xiàn)有技術中對圖像中無紋理區(qū)域的處理效果不佳，視差圖中存在錯誤的問題。

本申請實施例提供的一種基于圖像的立體匹配方法，包括：

獲取待處理圖像，并獲取所述待處理圖像中每個像素點的初始視差；

評估所述初始視差的可信度，根據(jù)所述初始視差的可信度確定所述待處理圖像中可信像素點和不可信像素點；

根據(jù)所述待處理圖像中可信像素點和不可信像素點，得到第一集合和第二集合，所述第一集合包括該可信像素點，所述第二集合包括該不可信像素點，所述第一集合中像素點的第一視差為該像素點的初始視差；

根據(jù)所述待處理圖像的顏色值對其進行分割，得到多個分割塊；

以分割塊中第一像素點的坐標和第一視差為依據(jù)，確定該分割塊中第二像素點的第一視差，所述第一集合包括所述第一像素點，所述第二集合包括所述第二像素點。

可選的，所述方法還包括：

根據(jù)所述待處理圖像中每個像素點的第一視差，將所述待處理圖像的場景分割為多個三維實體；

分別根據(jù)每個所述三維實體上像素點的坐標和第一視差，擬合該三維實體的曲面方程；

根據(jù)所述曲面方程和預先設定的比例尺，獲得所述待處理圖像中每個像素點的第二視差；

綜合所述第二視差，得到所述待處理圖像的視差圖。

可選的，所述獲取所述待處理圖像中每個像素點的初始視差，具體包括：

獲取與所述待處理圖像對應的參考圖像，所述參考圖像與所述待處理圖像的場景相同；

根據(jù)預設的備選視差范圍，獲得至少兩個備選視差；

分別根據(jù)每個所述備選視差，在所述參考圖像中確定與所述待處理圖像中待匹配像素點對應的參考像素點；

分別獲得所述待匹配像素點和對應的每個所述參考像素點之間的總匹配代價，將所述總匹配代價最小值對應的參考像素點所對應的備選視差確定為該待匹配像素點的初始視差。

可選的，所述評估所述初始視差的可信度，具體包括：

查找所述待匹配像素點對應的總匹配代價中，最小的總匹配代價和次最小的總匹配代價；

根據(jù)所述最小的總匹配代價和所述次最小的總匹配代價，評估所述待匹配像素點初始視差的可信度。

可選的，所述根據(jù)所述待處理圖像的顏色值對其進行分割，得到多個分割塊，之前還包括：

更新所述第二像素點和對應的每個所述參考像素點之間的總匹配代價，將更新后總匹配代價的最小值對應的參考像素點所對應的備選視差確定為該第二像素點的第三視差；

評估所述第二像素點的第三視差的可信度，根據(jù)所述第三視差的可信度區(qū)分所述第二像素點中的可信像素點和不可信像素點；

根據(jù)所述第二像素點中的可信像素點和不可信像素點更新所述第一集合和所述第二集合，更新后的第一集合包括所述第一像素點和所述第二像素點中的可信像素點，更新后的第二集合包括所述第二像素點中的不可信像素點。

可選的，所述更新所述第二像素點和對應的每個所述參考像素點之間的總匹配代價，具體包括：

根據(jù)目標備選視差，在所述參考圖像中找出與所述第二像素點對應的參考像素點，并獲取該參考像素點的參考視差所述目標備選視差落在所述備選視差范圍內(nèi)；

確定所述待處理圖像中的第一支持窗口和所述參考圖像中的第二支持窗口，所述第一支持窗口的中心為所述第二像素點，所述第二支持窗口的中心為所述第二像素點對應的參考像素點；

根據(jù)兩個對應的支持像素點的顏色值以及所述目標備選視差和所述參考視差，更新該兩個支持像素點之間的匹配代價，所述兩個對應的支持像素點分別落在所述第一支持窗口和所述第二支持窗口內(nèi)；

根據(jù)所述第一支持窗口和所述第二支持窗口之間對應的兩個支持像素點更新后的匹配代價以及這兩個支持像素點的權重，更新所述第二像素點和對應的參考像素點之間的總匹配代價。

可選的，確定可信像素點和不可信像素點的方法，具體為：

根據(jù)所述待處理圖像的類型，確定可信度閾值；

若像素點對應的可信度大于或等于所述可信度閾值，則將該像素點確定為可信像素點；

若像素點對應的可信度小于所述可信度閾值，則將該像素點確定為不可信像素點。

本申請實施例提供的一種基于圖像的立體匹配裝置，包括：圖像獲取模塊、視差獲取模塊、可信度評估模塊、集合確定模塊和圖像分割模塊；

所述圖像獲取模塊，用于獲取待處理圖像；

所述視差獲取模塊，用于獲取所述待處理圖像中每個像素點的初始視差；

所述可信度評估模塊，用于評估所述初始視差的可信度，根據(jù)所述初始視差的可信度確定所述待處理圖像中可信像素點和不可信像素點；

所述集合確定模塊，用于根據(jù)所述待處理圖像中可信像素點和不可信像素點，得到第一集合和第二集合，所述第一集合包括該可信像素點，所述第二集合包括該不可信像素點，所述第一集合中像素點的第一視差為該像素點的初始視差；

所述圖像分割模塊，用于根據(jù)所述待處理圖像的顏色值對其進行分割，得到多個分割塊；

所述視差獲取模塊，還用于以分割塊中第一像素點的坐標和第一視差為依據(jù)，確定該分割塊中第二像素點的第一視差，所述第一集合包括所述第一像素點，所述第二集合包括所述第二像素點。

可選的，所述裝置還包括：曲面擬合模塊和視差圖獲取模塊；

所述圖像分割模塊，還用于根據(jù)所述待處理圖像中每個像素點的第一視差，將所述待處理圖像的場景分割為多個三維實體；

所述曲面擬合模塊，用于分別根據(jù)每個所述三維實體上像素點的坐標和第一視差，擬合該三維實體的曲面方程；

所述視差獲取模塊，還用于根據(jù)所述曲面方程和預先設定的比例尺，獲得所述待處理圖像中每個像素點的第二視差；

所述視差圖獲取模塊，用于綜合所述第二視差，得到所述待處理圖像的視差圖。

可選的，

所述圖像獲取模塊，還用于獲取與所述待處理圖像對應的參考圖像，所述參考圖像與所述待處理圖像的場景相同；

所述視差獲取模塊，具體包括：第一獲取子模塊、第二獲取子模塊、第一確定子模塊和第二確定子模塊；

所述第一獲取子模塊，用于根據(jù)預設的備選視差范圍，獲得至少兩個備選視差；

所述第一確定子模塊，用于分別根據(jù)每個所述備選視差，在所述參考圖像中確定與所述待處理圖像中待匹配像素點對應的參考像素點；

所述第二獲取子模塊，用于分別獲得所述待匹配像素點和對應的每個所述參考像素點之間的總匹配代價；

所述第二確定子模塊，用于將所述總匹配代價最小值對應的參考像素點所對應的備選視差確定為該待匹配像素點的初始視差。

可選的，所述可信度評估模塊，具體包括：查找子模塊和第三獲取子模塊；

所述查找子模塊，用于查找所述待匹配像素點對應的總匹配代價中，最小的總匹配代價和次最小的總匹配代價；

所述第三獲取子模塊，用于根據(jù)所述最小的總匹配代價和所述次最小的總匹配代價，評估所述待匹配像素點初始視差的可信度。

可選的，所述視差獲取模塊，還包括：更新子模塊；

所述更新子模塊，用于更新所述第二像素點和對應的每個所述參考像素點之間的總匹配代價；

所述第二確定子模塊，還用于將更新后總匹配代價的最小值對應的參考像素點所對應的備選視差確定為該第二像素點的第三視差；

所述可信度評估模塊，還用于評估所述第二像素點的第三視差的可信度，根據(jù)所述第三視差的可信度區(qū)分所述第二像素點中的可信像素點和不可信像素點；

所述集合確定模塊，還用于根據(jù)所述第二像素點中的可信像素點和不可信像素點更新所述第一集合和所述第二集合，更新后的第一集合包括所述第一像素點和所述第二像素點中的可信像素點，更新后的第二集合包括所述第二像素點中的不可信像素點。

可選的，所述更新子模塊，具體包括：第三確定子模塊、第四確定子模塊、第四獲取模塊和第五獲取模塊；

所述第三確定子模塊，用于根據(jù)目標備選視差，在所述參考圖像中找出與所述第二像素點對應的參考像素點，所述目標備選視差落在所述備選視差范圍內(nèi)；

所述視差獲取模塊，還用于獲得所述第二像素點對應的參考像素點的參考視差；

所述第四確定子模塊，用于確定所述待處理圖像中的第一支持窗口和所述參考圖像中的第二支持窗口，所述第一支持窗口的中心為所述第二像素點，所述第二支持窗口的中心為所述第二像素點對應的參考像素點；

所述第四獲取子模塊，用于根據(jù)兩個對應的支持像素點的顏色值以及所述目標備選視差和所述參考視差，更新該兩個支持像素點之間的匹配代價，所述兩個對應的支持像素點分別落在所述第一支持窗口和所述第二支持窗口內(nèi)；

所述第五獲取子模塊，用于根據(jù)所述第一支持窗口和所述第二支持窗口之間對應的兩個支持像素點的匹配代價以及這兩個支持像素點更新后的權重，更新所述第二像素點和對應的參考像素點之間的總匹配代價。

可選的，所述可信度評估模塊，還包括：閾值獲取子模塊、第六確定子模塊和第七確定子模塊；

所述閾值獲取子模塊，用于根據(jù)所述待處理圖像的類型，確定可信度閾值；

所述第六確定子模塊，用于當像素點對應的可信度大于或等于所述可信度閾值時，將該像素點確定為可信像素點；

所述第七確定子模塊，用于當像素點對應的可信度小于所述可信度閾值時，則將該像素點確定為不可信像素點。

與現(xiàn)有技術相比，本申請至少具有以下優(yōu)點：

在本申請實施例中，首先獲取待處理圖像中每個像素點的初始視差，再對初始視差進行可信度評估，確定待處理圖像中初始視差可信的可信像素點以及初始視差不可信的不可信像素點。然后，將待處理圖像的像素點及其視差放在一個由像素點坐標和視差構成的三維空間中時，處于同一無紋理區(qū)域內(nèi)的可信像素點可以形成光滑的曲面，而該區(qū)域中不可信像素點則位于該曲面以外。因此，先對待處理圖像進行顏色分割得到多個分割塊，再根據(jù)分割塊中可信像素點的坐標及初始視差，確定該分割塊中不可信像素點的可信視差。最后，根據(jù)可信像素點的初始視差和不可信像素點的可信視差，即可得到待處理圖像中每個像素點的準確的視差，從而得到待處理圖像的視差圖。本申請實施例基于可信像素點的可信的初始視差推導出不可信像素點的可信視差，糾正了初始視差中不可信像素點對應的視差，能夠得到待處理圖像中無紋理區(qū)域的準確視差，提高了對圖像中無紋理區(qū)域的處理效果。

附圖說明

為了更清楚地說明本申請實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其它的附圖。

圖1為傳統(tǒng)立體匹配算法得到的視差圖及其真實視差圖；

圖2為本申請實施例提供的一種基于圖像的立體匹配方法的流程示意圖；

圖3a-3c為待匹配圖像及其真實視差圖和傳統(tǒng)算法所得視差圖的三維示意圖；

圖4為本申請實施例中一種得到待處理圖像視差圖的流程示意圖；

圖5為本申請實施例提供的另一種基于圖像的立體匹配方法的流程示意圖；

圖6為本申請實施例中一種更新第一集合和第二集合的流程示意圖；

圖7為本申請實施例中一種更新總匹配代價的流程示意圖；

圖8為本申請實施例提供的又一種基于圖像的立體匹配方法的流程示意圖；

圖9為本申請實施例提供的一種基于圖像的立體匹配裝置的結(jié)構示意圖。

具體實施方式

為了使本技術領域的人員更好地理解本申請方案，下面將結(jié)合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本申請一部分實施例，而不是全部的實施例?；诒旧暾堉械膶嵤├绢I域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護的范圍。

現(xiàn)有的局部立體匹配算法，是在支持窗口內(nèi)根據(jù)顏色值估算窗口中心像素點的視差，是利用局部信息解決匹配問題。許多局部方法嘗試使用更高效的算法架構以減少計算復雜度。例如，通過在成本域中傳播視差來解決立體匹配問題實現(xiàn)實時的局部立體匹配；對多種空間平滑約束進行歸一化處理，實現(xiàn)高效立體匹配；設計新的代價聚合算法，以降低計算復雜度和內(nèi)存使用等。另外一些算法致力于獲取更精確的視差圖。例如，使用基于多斜面假設的直方圖聚集方法改進傳統(tǒng)的匹配算法，既能提高匹配精度，又能保持較低的計算復雜度；設計高效的一次性局部算法，提高相似性度量的準確性和代價聚合的可靠性等。

在諸多局部立體匹配算法中，最值得一提的方法是自適應權重的立體匹配算法，該算法的核心是邊界保持性能好。通過在自適應權重算法的基礎上引入迭代優(yōu)化，可以迭代消除視差誤差同時又不會增加計算復雜度；通過遞歸加權使計算復雜度與支持窗口大小無關；通過使用迭代塊減少計算復雜度；使用各向異性濾波器(各向異性中值濾波是中值濾波器和邊緣保持各向異性濾波器的結(jié)合)得到更精確的視差圖等。

傳統(tǒng)的立體匹配算法有缺陷，是因為算法默認顏色相同的像素點在同一視差平面或平滑變化的視差曲面上，且像素點之間的空間距離越小處在同一視差平面上的可能性越大。因此，現(xiàn)有的許多立體匹配算法對圖像中低曲率或正面平行的場景的處理效果較好，但對圖像中存在較多傾斜或高度彎曲的無紋理表面的處理效果不佳。圖1示出了現(xiàn)有的立體匹配算法得到的tsukuba圖像中頭部模型的視差信息及其實際的視差信息，通過圖1可發(fā)現(xiàn)，現(xiàn)有的立體匹配算法對圖像中無紋理但存在較多傾斜或高度彎曲的表面的處理效果不佳。

為此，本申請實施例嘗試將初始視差結(jié)構放到一個由像素坐標和視差值構成的三維空間中。在這個空間中，處于無紋理區(qū)域的匹配正確的像素點可以形成光滑的曲面，而匹配錯誤的像素點則不會。因此，在本申請實施例中，基于匹配正確的像素視差值推斷出匹配錯誤的像素點的視差值。首先，通過像素級匹配得到待處理圖像的初始視差和初始視差的可靠度。之后，基于彩色圖像分割，根據(jù)分割塊中可信像素點的視差糾正不可信像素點的視差，最終得到準確的視差，解決了圖像中無紋理區(qū)域匹配效果不佳的問題。

基于上述思想，為使本申請的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖對本申請的具體實施方式做詳細的說明。

首先需要說明的是，本申請實施例提供的立體匹配方法，基于對同一場景在不同位置拍攝的兩幅彩色圖像進行，例如同一攝像設備在不同位置對同一場景拍攝的兩幅圖像，還例如雙目攝像機(或兩個攝像頭)對一場景拍攝得到的雙目序列中圖像的左視圖和右視圖。下面以對左視圖進行立體匹配(即獲得左視圖的視差圖)為例進行說明，對右視圖進行立體匹配的方法類似，具體說明參見對左視圖進行立體匹配的相關說明即可，在本申請實施例中不再贅述。

參見圖2，該圖為本申請實施例提供的一種基于圖像的立體匹配方法的流程示意圖。

本實施例提供的立體匹配方法，包括以下步驟s201-s205。

s201：獲取待處理圖像，并獲取待處理圖像中每個像素點的初始視差。

可以理解的是，待處理圖像可以為雙目攝像機拍攝的校正后的彩色圖像中的左視圖或右視圖，也可以是該圖像的原始圖像。

在實際應用中，本領域技術人員可以采用上述任意一種現(xiàn)有的立體匹配算法，得到待處理圖像的初始視差圖，本申請實施例中并不對此做任何限定，這里也不再一一贅述。

s202：評估初始視差的可信度，根據(jù)初始視差的可信度確定待處理圖像中可信像素點和不可信像素點。

初始視差的可信度，即立體匹配結(jié)果的可信度，用于確定得到的視差是否準確。當初始視差可信時，該像素點(即可信像素點)的初始視差接近真實視差；當初始視差不可信時，該像素點(即不可信像素點)的視差與初始視差時間存在較大的誤差，需要對不可信的視差進行調(diào)整，以得到待處理圖像準確的視差圖。

s203：根據(jù)待處理圖像中可信像素點和不可信像素點，得到第一集合和第二集合。

其中，第一集合包括該可信像素點，第二集合包括該不可信像素點，第一集合中像素點的第一視差為該像素點的初始視差。

即，根據(jù)初始視差的可信度，將待處理圖像的像素點分為兩類，一類為初始視差可信的像素點(即第一集合中的像素點)，另一類為初始視差不可信的像素點(即第二集合中的像素點)。

s204：根據(jù)待處理圖像的顏色對其進行分割，得到多個分割塊。

通過現(xiàn)有的立體匹配算法得到的視差，默認相同顏色的像素點處于同一視差平面或平滑變化的視差表面上，且像素點之間的空間距離越小處在同一視差平面上的可能性越大。因此，在處理待處理圖像的無紋理區(qū)域時，效果不佳。在本實施例中，認為處于無紋理區(qū)域的像素點可以形成一個在由像素坐標及其視差組成的三維空間內(nèi)的光滑平面。因此，根據(jù)顏色將待處理圖像分割多個分割塊，將無紋理區(qū)域劃分為一個分割塊，分別處理每個分割塊中像素點的視差，可以保證無紋理區(qū)域中視差的準確。

可以理解的是，步驟s204可以在獲取待處理圖像之后與步驟s205之前任意時刻執(zhí)行，本申請實施例對此不做任何限定。

在實際應用中，可以采用均值漂移算法，根據(jù)圖像的顏色對圖像進行分割。每個分割塊可以由至少500個像素點組成。

s205：以分割塊中第一像素點的坐標和第一視差為依據(jù)，確定該分割塊中第二像素點的第一視差。

其中，第一集合包括第一像素點，第二集合包括第二像素點。

由于在本實施例中，認為處于無紋理區(qū)域的像素點可以形成一個在由像素坐標及其視差組成的三維空間內(nèi)的光滑平面，則分割塊中可信像素點(即第一集合中處于同一分隔塊內(nèi)的像素點)可以形成光滑的表面(即曲面)，而分割塊中不可信像素點(即第二集合中處于該分割塊內(nèi)的像素點)則不在該表面上。因此，可以根據(jù)分隔塊中第一像素點的坐標和初始視差(即第一視差)，確定其形成的曲面，再根據(jù)該曲面，可以得到該分隔塊中第二像素點的準確視差(即第一視差)。根據(jù)分割塊中可信像素點的視差，糾正不可信像素點的視差，提高了對圖像中無紋理區(qū)域的處理效果。

作為一個示例，為了確保分隔塊內(nèi)第一像素點可以形成的表面平滑連續(xù)，可以根據(jù)公式(1)所示的可導的二元三次方程來擬合曲線。

d(x,y)＝a1+a2·x+a3·y+a4·x²+a5·xy+a6·y²+a7·x³+a8·x²y+a9·xy²+a10·y³

(1)

其中，a1,a2,…,a10為系數(shù)，(x,y)為像素點坐標，d(x,y)為視差。

將第一像素點的坐標和初始視差代入公式(1)可以得到系數(shù)a1,a2,…,a10，從而得到該表面的曲面方程，再將第二像素點的坐標代入曲面方程，即可得到該第二像素點位于該表面時的第一視差。

這里還需要說明的是，待處理圖像中像素點的第一視差組成的視差圖可以在實際操作中直接應用。但是，若視差圖比例不為1時，該視差圖將像積木而不是連貫的表面，從而影響視差圖的主觀舒適度和立體匹配結(jié)果的真實性。舉例而言，待處理圖像如圖3a所示，步驟s205得到的視差圖的三維效果如圖3b所示，但真實視差圖的三維效果應該如圖3c所示。

因此，為了提高立體匹配結(jié)果的主觀舒適性，使立體匹配的結(jié)果更加真實，在本實施例可能的實現(xiàn)方式中，還可以基于像素點的第一視差分割待處理圖像，將待處理圖像中的場景分割為一組三維實體，就像人類理解場景一樣，對每個三維實體進行曲面擬合。具體的，如圖4所示，在步驟s205之后，還包括步驟s206-s209。

s206：根據(jù)待處理圖像中每個像素點的第一視差，將待處理圖像的場景分割為多個三維實體。

三維實體需滿足以下條件：其一，每個三維實體的視差服從緊湊分布；其二，每個三維實體的視差過度平穩(wěn)。在實際操作中，可以根據(jù)上述條件，采用均值漂移算法，根據(jù)像素點的第一視差對待處理圖像中的三維實體進行分割。

s207：分別根據(jù)每個三維實體上像素點的坐標和第一視差，擬合該三維實體的曲面方程。

可以理解的是，三維實體在待處理圖像中表現(xiàn)為光滑的表面。因此，在實際應用中，也可以將三維實體上像素點的坐標及其第一視差代入公式(1)，從而擬合出該三維實體的曲面方程。

s208：根據(jù)曲面方程和預先設定的比例尺，獲得待處理圖像中每個像素點的第二視差。

s209：綜合像素點的第二視差，得到待處理圖像的視差圖。

可以理解的是，比例尺可以由現(xiàn)有技術確定，這里不再贅述。

在實際應用中，可以根據(jù)視差比例尺，對三維實體的曲面方程中系數(shù)進行修改，進而得到修改后待處理圖像中每個像素點的期望視差，以滿足主觀舒適性的要求，使處理結(jié)果更加真實。

在本實施例中，首先獲取待處理圖像中每個像素點的初始視差，再對初始視差進行可信度評估，確定待處理圖像中初始視差可信的可信像素點以及初始視差不可信的不可信像素點。然后，將待處理圖像的像素點及其視差放在一個由像素點坐標和視差構成的三維空間中時，處于同一無紋理區(qū)域內(nèi)的可信像素點可以形成光滑的曲面，而該區(qū)域中不可信像素點則位于該曲面以外。因此，先對待處理圖像進行顏色分割得到多個分割塊，再根據(jù)分割塊中可信像素點的坐標及初始視差，確定該分割塊中不可信像素點的可信視差。最后，根據(jù)可信像素點的初始視差和不可信像素點的可信視差，即可得到待處理圖像中每個像素點的準確的視差，從而得到待處理圖像的視差圖。本實施例基于可信像素點的可信的初始視差推導出不可信像素點的可信視差，糾正了初始視差中不可信像素點對應的視差，能夠得到待處理圖像中無紋理區(qū)域的準確視差，提高了對圖像中無紋理區(qū)域的處理效果。

下面舉例說明如何獲取待處理圖像中每個像素點的初始視差。

參見圖5，該圖為本申請實施例提供的另一種基于圖像的立體匹配方法的流程示意圖。

在本實施例中，步驟s202具體包括以下步驟s501-s504。

s501：獲取與待處理圖像對應的參考圖像，參考圖像與待處理圖像的場景相同。

可以理解的是，參考圖像可以是為雙目攝像機拍攝的校正后的除待處理圖像之外的另一張彩色圖像，也可以是該圖像的原始圖像。例如，待處理圖像為雙目攝像機拍攝的左視圖，則參考圖像為同時拍攝的右視圖。

s502：根據(jù)預設的備選視差范圍，獲得至少兩個備選視差。

在本實施例中，預先設定了待處理圖像的備選視差范圍。例如，備選視為差范圍1-5，則備選視差可以是[1,5]中的任意一個整數(shù)。

s503：分別根據(jù)每個備選視差，在參考圖像中確定與待處理圖像中待匹配像素點對應的參考像素點。

每個備選視差下，待處理圖像中像素點均可以在參考圖像上找到一個匹配的像素點(即參考像素點)。由于選出了至少兩個備選視差，則待處理圖像中每個像素點匹配至少兩個參考像素點。即，每個備選視差下，均存在匹配對(pc,qc)，其中pc為待處理圖像中像素點，qc為該備選視差下與pc匹配的參考像素點。

s504：分別獲得待匹配像素點和對應的每個參考像素點之間的總匹配代價，將總匹配代價最小值對應的參考像素點所對應的備選視差確定為該待匹配像素點的初始視差。

在實際操作中，可以根據(jù)如下公式(2)、公式(3)和公式(4)獲得待處理圖像中像素點和對應的每個參考像素點之間的總匹配代價。

其中，cost(pc,qc)為匹配對(pc,qc)的總匹配代價，pc為待處理圖像中像素點，qc為參考圖像中像素點，wl為待處理圖像中以pc為中心的固定窗口，wr為參考圖像中以qc為中心的固定窗口，ωl(pi,pc)和ωr(qi,qc)分別是pi和qi的權重，pi和qi分別是wl和wr中的像素點，e0(pi,qi)為pi和qi之間的匹配代價，ic是彩色圖像的顏色值(rgb值)，t為預設的匹配代價上限，dp(pi,pc)為待處理圖像中pi和pc之間的空間距離，dc(ic(pi),ic(pc))為待處理圖像中pi和pc之間的顏色相似性，γp和γc為常量。

這里需要說明的是，權重與像素點間的顏色和空間距離有關，代表窗口內(nèi)像素點服務中心像素點的能力，對與窗口內(nèi)與中心點顏色相似、距離接近的像素點賦予較大的權重，反之則賦予較小的權重。

然后，通過勝者為王(winner-takes-all，wta)算法得到待處理圖像中像素點的初始視差，如公式(5)所示。

其中，為pc的初始視差，d為備選視差，sd為備選視差范圍。

可以理解的是，最小的總匹配代價對應的匹配對，該匹配對對應的備選視差即為待處理圖像中像素點的初始視差。

為了提高遮擋和視差不連續(xù)區(qū)域中立體匹配的效果，在本實施例可能的實現(xiàn)方式中，可以采用捆綁優(yōu)化的方法，進一步優(yōu)化像素點的視差，從第一集合中篩選出優(yōu)化視差后的可信像素點和不可信像素點。捆綁優(yōu)化，即同時約束色彩一致性和視差值約束，從而實現(xiàn)以下三個目標：第一，每個候選視差值的代價差異加大；第二，降低因圖像噪聲和遮擋對立體匹配結(jié)果的影響；第三，使視差圖邊界得以保留。因此，步驟s204之前，還可以包括更新第一集合和第二集合的過程，如圖6所示，具體包括以下步驟s601-s603。

s601：更新第二像素點和對應的每個參考像素點之間的總匹配代價，將更新后總匹配代價的最小值對應的參考像素點所對應的備選視差確定為該第二像素點的第三視差。

作為一個示例，如圖7所示，更新總匹配代價的過程可以具體包括以下步驟s701-s704。

s701：根據(jù)目標備選視差，在參考圖像中找出與第二像素點對應的參考像素點，并獲取該參考像素點的參考視差，目標備選視差落在備選視差范圍內(nèi)。

這里需要說明的是，可以采用與獲取待處理圖像中初始視差時相同的方法獲取參考像素點的參考視差，這里不再贅述。

s702：確定待處理圖像中的第一支持窗口和參考圖像中的第二支持窗口，第一支持窗口的中心為第二像素點，第二支持窗口的中心為第二像素點對應的參考像素點。

s703：根據(jù)兩個對應的支持像素點的顏色值以及目標備選視差和參考視差，更新該兩個支持像素點之間的匹配代價，兩個對應的支持像素點分別落在第一支持窗口和第二支持窗口內(nèi)。

在理想狀態(tài)下，第二像素點的視差和對應的參考像素點的視差相同。因此，為了提高遮擋和視差不連續(xù)區(qū)域中立體匹配的效果，在本實施例中考慮第二像素點和對應的參考像素點的匹配偏差，定義了一個新的代價聚合函數(shù)，對匹配代價e的計算方法做了修改，即用公式(6)替換公式(3)

e(pi,qi)＝e0(pi,qi)+(d-d')²(6)

其中，d為目標備選視差，d'為參考視差。

在實際應用中，為了方便計算，可以先根據(jù)待處理圖像，確定參考圖像中每個像素點的視差(即參考視差)，再根據(jù)目標備選視差在待處理圖像中找出參考像素點對應的第二像素點。

s704：根據(jù)第一支持窗口和第二支持窗口之間對應的兩個支持像素點更新后的匹配代價以及這兩個支持像素點的權重，更新第二像素點和對應的參考像素點之間的總匹配代價。

即，用公式(7)替換公式(2)。

然而，根據(jù)公式(4)可看出，由于在計算總匹配代價時，與中心像素點的空間距離和顏色距離都較小的像素點將得到更高的權重，但在視差不連續(xù)的地區(qū)，由于兩側(cè)顏色相近，這些像素與中心像素可能不在同一視差平面，會導致視差估算出錯。因此，在本實施例可能的實現(xiàn)方式中，需要重新確定這些像素點的權重。具體的，本實施例在根據(jù)權重獲取總匹配代價之前：先根據(jù)其顏色信息，將待匹配圖像分割成多個分隔塊；再判斷像素點pi與像素點pc是否位于同一顏色分割塊，像素點pc對應的匹配窗口包括像素點pi。若是，則根據(jù)像素點pi與像素點pc之間的顏色相似性和空間距離，獲得像素點pi的權重。若否，則確定像素點pi的權重為零。

即，其中，sc為像素點pc所在的顏色分隔塊。

簡言之，即重新賦予第一匹配窗內(nèi)和第二匹配窗口內(nèi)像素點權重，引入幾何形狀信息，而不僅僅依靠顏色相似性和空間鄰近性。若像素點與匹配窗口的中心點處于同一個分割塊上的像素點的視差值相同，則賦予它的權重應為最大值(即1.0)；若否，則確定其權重為零。

這里需要說明的是，可以在更新第二像素點的對應的每個參考像素點之間的總匹配代價之前，更新公式(2)所用的權重后重新第二像素點的對應的每個參考像素點之間的總匹配代價對第二集合進行篩選；也可以在更新第二像素點的對應的每個參考像素點之間的總匹配代價的過程中，同時更新公式(7)所用的權重；還可以在更新第二像素點的對應的每個參考像素點之間的總匹配代價，更新第二集合后，更新公式(2)所用的權重后重新獲取第二集合中像素點的權重再次對第二集合進行篩選，本申請對此不做限定。

s602：評估第二像素點的第三視差的可信度，根據(jù)第三視差的可信度區(qū)分第二像素點中的可信像素點和不可信像素點。

評估第三視差的可信度的方法與評估初始視差可信度類似，具體可以參見對評估初始視差可信度的說明，這里不再贅述。

s603：根據(jù)第二像素點中的可信像素點和不可信像素點更新第一集合和第二集合，更新后的第一集合包括第一像素點和第二像素點中的可信像素點，更新后的第二集合包括第二像素點中的不可信像素點。

即，更新后的第一集合包括初始視差可信的像素點以及第三視差可信的像素點，第二集合包括第三視差不可信的像素點。

在本實施例中，采用捆綁優(yōu)化的方式優(yōu)化了匹配代價的計算方式，并結(jié)合圖像分割對像素點的權重進行了自適應的設置，解決了圖像噪聲和遮擋對立體匹配結(jié)果的造成影響的問題，縮短了流程的整體耗時，并使得最終得到的視差圖更加精確。

下面舉例說明如何評估初始視差的可信度。參見圖8，該圖為本申請實施例提供的又一種立體匹配算法的流程示意圖。

在本實施例中，步驟s202具體可以包括以下步驟s801-s805。

s801：查找待匹配圖像中待匹配像素點對應的總匹配代價中，最小的總匹配代價和次最小的總匹配代價。

可以理解的是，若備選視差有5個，則存在5個匹配對(pc,qc(i))，i為1、2、3、4或5，有5個總匹配代價，從小到大排序為：

cost1＜cost2＜cost3＜cost4＜cost5

則，對于待處理圖像中像素點pc，cost1為最小的匹配代價，cost2為次最小的匹配代價。

s802：根據(jù)最小的總匹配代價和次最小的總匹配代價，評估待匹配像素點初始視差的可信度。

立體匹配的可信度可以定義為：所求視差值越準確，則第一候選視差與第二候選視差的代價差距越大。

因此，在本實施例中，可以根據(jù)公式(8)獲得待處理圖像中每個像素點初始視差的可信度。

其中，r(d)為初始視差d的可信度，為像素點p的第一候選視差，為像素點p的第二候選視差，tc為閾值，為了防止公式(8)中的除數(shù)為0。

在實際應用中，為了便于觀察立體匹配的效果，可以根據(jù)視差的可信度繪制可信度圖譜。具體的，當像素點初始視差的可信度r(d)滿足0.8≤r(d)≤1時，在可信度圖譜中以紅色代表該像素點；當像素點初始視差的可信度r(d)滿足0.8≤r(d)≤1時，在可信度圖譜中以紅色代表該像素點；當像素點初始視差的可信度r(d)滿足0.6≤r(d)＜0.8時，在可信度圖譜中以黃色代表該像素點；當像素點初始視差的可信度r(d)滿足0.4≤r(d)＜0.6時，在可信度圖譜中以綠色代表該像素點；當像素點初始視差的可信度r(d)滿足0.2≤r(d)＜0.4時，在可信度圖譜中以青色代表該像素點；當像素點初始視差的可信度r(d)滿足0.1≤r(d)＜0.2時，在可信度圖譜中以藍色代表該像素點；當像素點初始視差的可信度r(d)滿足0≤r(d)＜0.1時，在可信度圖譜中以黑色代表該像素點。

s803：根據(jù)待處理圖像的類型，確定可信度閾值。

在實際應用中，本領域技術人員可以根據(jù)數(shù)據(jù)經(jīng)驗，對不同類型圖像的可信度閾值進行設定。例如，類型為tsukuba的圖像其可信度閾值設定為0.2，類型為venus的圖像其可信度閾值設定為0，類型為teddy的圖像其可信度閾值設定為0.1，類型為cones的圖像其可信度閾值設定為0.1。

s804：若像素點對應的可信度大于或等于可信度閾值，則將該像素點確定為可信像素點。

s805：若像素點對應的可信度小于可信度閾值，則將該像素點確定為不可信像素點。

可以理解的是，當初始視差的可靠度低于可信度閾值時，說明該像素點的視差估算錯誤，為不可信像素點；當初始視差的可靠度大于或等于可信度閾值時，說明該像素點的視差估算正確，為可信像素點。

上述實施例中的步驟s602與步驟s202類似，具體方法的說明參照本上述s701-s705即可，這里不再贅述。

基于上述實施例提供的立體匹配方法，本申請實施例還提供了一種立體匹配裝置。

參見圖9，該圖為本申請實施例提供的一種立體匹配裝置的結(jié)構示意圖。

本實施例提供的基于圖像的立體匹配裝置，包括：圖像獲取模塊100、視差獲取模塊200、可信度評估模塊300、集合確定模塊400和圖像分割模塊500。

圖像獲取模塊100，用于獲取待處理圖像。

視差獲取模塊200，用于獲取待處理圖像中每個像素點的初始視差。

可信度評估模塊300，用于評估初始視差的可信度，根據(jù)初始視差的可信度確定待處理圖像中可信像素點和不可信像素點。

集合確定模塊400，用于根據(jù)待處理圖像中可信像素點和不可信像素點，得到第一集合和第二集合，第一集合包括該可信像素點，第二集合包括該不可信像素點，所述第一集合中像素點的第一視差為該像素點的初始視差。

圖像分割模塊500，用于根據(jù)待處理圖像的顏色值對其進行分割，得到多個分割塊。

視差獲取模塊200，還用于以分割塊中第一像素點的坐標和第一視差為依據(jù)，確定該分割塊中第二像素點的第一視差，第一集合包括第一像素點，第二集合包括第二像素點。

在本實施例可能的實現(xiàn)方式中，該裝置還包括：曲面擬合模塊和視差圖獲取模塊。

圖像分割模塊500，還用于根據(jù)待處理圖像中每個像素點的第一視差，將待處理圖像的場景分割為多個三維實體。

曲面擬合模塊，用于分別根據(jù)每個三維實體上像素點的坐標和第一視差，擬合該三維實體的曲面方程。

視差獲取模塊200，還用于根據(jù)曲面方程和預先設定的比例尺，獲得待處理圖像中每個像素點的第二視差。

視差圖獲取模塊，用于綜合第二視差，得到待處理圖像的視差圖。

在本實施例可能的實現(xiàn)方式中，圖像獲取模塊100，還用于獲取與待處理圖像對應的參考圖像，參考圖像與待處理圖像的場景相同。

視差獲取模塊200，具體包括：第一獲取子模塊、第二獲取子模塊、第一確定子模塊和第二確定子模塊。

第一獲取子模塊，用于根據(jù)預設的備選視差范圍，獲得至少兩個備選視差。

第一確定子模塊，用于分別根據(jù)每個備選視差，在參考圖像中確定與待處理圖像中待匹配像素點對應的參考像素點。

第二獲取子模塊，用于分別獲得待匹配像素點和對應的每個參考像素點之間的總匹配代價。

第二確定子模塊，用于將總匹配代價最小值對應的參考像素點所對應的備選視差確定為該待匹配像素點的初始視差。

在本實施例可能的實現(xiàn)方式中，可信度評估模塊300，具體包括：查找子模塊和第三獲取子模塊。

查找子模塊，用于查找待匹配像素點對應的總匹配代價中，最小的總匹配代價和次最小的總匹配代價。

第三獲取子模塊，用于根據(jù)最小的總匹配代價和次最小的總匹配代價，評估待匹配像素點初始視差的可信度。

在本實施例可能的實現(xiàn)方式中，視差獲取模塊200，還包括：更新子模塊。

更新子模塊，用于更新第二像素點和對應的每個參考像素點之間的總匹配代價。

第二確定子模塊，還用于將更新后總匹配代價的最小值對應的參考像素點所對應的備選視差確定為該第二像素點的第三視差。

可信度評估模塊，還用于評估第二像素點的第三視差的可信度，根據(jù)第三視差的可信度區(qū)分第二像素點中的可信像素點和不可信像素點。

集合確定模塊400，還用于根據(jù)第二像素點中的可信像素點和不可信像素點更新第一集合和第二集合，更新后的第一集合包括第一像素點和第二像素點中的可信像素點，更新后的第二集合包括第二像素點中的不可信像素點。

在本實施例可能的實現(xiàn)方式中，更新子模塊，具體包括：第三確定子模塊、第四確定子模塊、第四獲取子模塊和第五獲取子模塊。

第三確定子模塊，用于根據(jù)目標備選視差，在參考圖像中找出與第二像素點對應的參考像素點，目標備選視差落在備選視差范圍內(nèi)。

視差獲取模塊200，還用于獲得第二像素點對應的參考像素點的參考視差。

第四確定子模塊，用于確定待處理圖像中的第一支持窗口和參考圖像中的第二支持窗口，第一支持窗口的中心為第二像素點，第二支持窗口的中心為第二像素點對應的參考像素點。

第四獲取子模塊，用于根據(jù)兩個對應的支持像素點的顏色值以及目標備選視差和參考視差，更新該兩個支持像素點之間的匹配代價，兩個對應的支持像素點分別落在第一支持窗口和第二支持窗口內(nèi)。

第五獲取子模塊，用于根據(jù)第一支持窗口和第二支持窗口之間對應的兩個支持像素點的匹配代價以及這兩個支持像素點更新后的權重，更新第二像素點和對應的參考像素點之間的總匹配代價。

在本實施例可能的實現(xiàn)方式中，可信度評估模塊300，還包括：閾值獲取子模塊、第六確定子模塊和第七確定子模塊。

閾值獲取子模塊，用于根據(jù)待處理圖像的類型，確定可信度閾值。

第六確定子模塊，用于當像素點對應的可信度大于或等于可信度閾值時，將該像素點確定為可信像素點。

第七確定子模塊，用于當像素點對應的可信度小于可信度閾值時，則將該像素點確定為不可信像素點。

在本實施例中，首先根據(jù)現(xiàn)有的立體匹配算法獲取待處理圖像中每個像素點的初始視差，再對初始視差進行可信度評估，確定待處理圖像中初始視差可信的可信像素點以及初始視差存在誤差不可信的不可信像素點。當將待處理圖像的像素點及其視差放在一個三維空間中時，處于同一顏色區(qū)域內(nèi)的可信像素點可以形成光滑的平面，而該區(qū)域中不可信像素點則位于該平面以外。因此，先根據(jù)待處理圖像的顏色將其分為多個分割塊，再根據(jù)分割塊中可信像素點的坐標及初始視差，確定該分割塊中不可信像素點的可信視差。最后，根據(jù)可信像素點的初始視差和不可信像素點的可信視差，即可得到待處理圖像中每個像素點的準確的視差。本實施例基于可信像素點的可信的初始視差推導出不可信像素點的可信視差，糾正了初始視差中不可信像素點對應的視差，能夠得到待處理圖像中無紋理區(qū)域的準確視差，提高了對圖像中無紋理區(qū)域的處理效果。

需要說明的是，本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對于實施例公開的裝置而言，由于其與實施例公開的方法相對應，所以描述比較簡單，相關之處參見方法部分說明即可。

還需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。

結(jié)合本文中所公開的實施例描述的方法或算法的步驟可以直接用硬件、處理器執(zhí)行的軟件模塊，或者二者的結(jié)合來實施。軟件模塊可以置于隨機存儲器(ram)、內(nèi)存、只讀存儲器(rom)、電可編程rom、電可擦除可編程rom、寄存器、硬盤、可移動磁盤、cd-rom、或技術領域內(nèi)所公知的任意其它形式的存儲介質(zhì)中。

以上所述，僅是本申請的較佳實施例而已，并非對本申請作任何形式上的限制。雖然本申請已以較佳實施例揭露如上，然而并非用以限定本申請。任何熟悉本領域的技術人員，在不脫離本申請技術方案范圍情況下，都可利用上述揭示的方法和技術內(nèi)容對本申請技術方案做出許多可能的變動和修飾，或修改為等同變化的等效實施例。因此，凡是未脫離本申請技術方案的內(nèi)容，依據(jù)本申請的技術實質(zhì)對以上實施例所做的任何簡單修改、等同變化及修飾，均仍屬于本申請技術方案保護的范圍內(nèi)。