專利名稱：獲取場景深度信息的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，尤其涉及一種獲取場景深度信息的方法及裝置。
背景技術(shù)：
隨著科技的進(jìn)步和市場的發(fā)展，一些應(yīng)用越來越多地需要掌握場景的深度信息， 比如立體顯示、機(jī)器視覺、衛(wèi)星遙感等等技術(shù)。受到一些技術(shù)和理論的限制，傳統(tǒng)的一些影像媒體記錄技術(shù)還無法還原出真實(shí)的深度信息。而與一些造價(jià)昂貴、設(shè)計(jì)復(fù)雜的三維數(shù)據(jù)處理方式相比，基于圖像處理的立體匹配技術(shù)能夠較為靈活有效地解決這方面的問題?；趫D像處理的立體匹配技術(shù)，主要是通過圖像處理的辦法，對多幅(兩幅或者兩幅以上)同一場景的不同位置和角度的視圖做逐點(diǎn)或逐塊的分析，最終得到描述整個(gè)場景的深度信息，或者結(jié)合攝像機(jī)的內(nèi)外參數(shù)獲取場景的三維信息。有大量的技術(shù)人員在基于圖像處理的立體匹配算法的設(shè)計(jì)和開發(fā)中取得了卓越的成效，借此目前也出現(xiàn)了多種立體匹配算法。但是，本發(fā)明的發(fā)明人在研究本發(fā)明的過程中，發(fā)現(xiàn)目前的立體匹配算法獲得場景真實(shí)深度信息仍然面臨一些不足，例如如何獲得物體邊緣的明顯的深度變化信息，較難獲取反映物體邊緣深度變化的真實(shí)信息。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明實(shí)施例提供一種獲取場景深度信息的方法和裝置，能夠克服現(xiàn)有技術(shù)難以獲取反映物體邊緣深度變化的真實(shí)信息的不足。本發(fā)明實(shí)施例首先提供了一種獲取場景深度信息的方法，包括將該場景的左圖和右圖分別劃分成多個(gè)互不相交的區(qū)域，獲得左圖區(qū)域集合及右圖區(qū)域集合；確定該左圖區(qū)域集合中的區(qū)域與該右圖中相對應(yīng)區(qū)域的相似度，生成左圖匹配圖像；確定該右圖區(qū)域集合中的區(qū)域與該左圖中相對應(yīng)區(qū)域的相似度，生成右圖匹配圖像；對該左圖匹配圖像及右圖匹配圖像進(jìn)行一致性檢測，獲得該場景的初始的深度信息圖中匹配錯(cuò)誤的區(qū)域；根據(jù)平滑處理得到該匹配錯(cuò)誤的區(qū)域的修正深度信息；采用該修正深度信息對初始的深度信息圖進(jìn)行優(yōu)化，獲得該場景的最終的深度信息圖。優(yōu)選地，將該場景的左圖和右圖分別劃分成多個(gè)互不相交的區(qū)域，包括采用基于閾值的方法、基于圖論的方法或者基于特征空間聚類的方法，對該左圖和右圖分別進(jìn)行圖像分割，獲得該左圖區(qū)域集合及右圖區(qū)域集合。優(yōu)選地，確定該左圖區(qū)域集合中的區(qū)域與該右圖中相對應(yīng)區(qū)域的相似度，以及確定該右圖區(qū)域集合中的區(qū)域與該左圖中相對應(yīng)區(qū)域的相似度，包括通過比較對應(yīng)區(qū)域中所有對應(yīng)點(diǎn)的顏色通道的相似程度來獲得對應(yīng)區(qū)域之間的相似度。
優(yōu)選地，對該左圖匹配圖像及右圖匹配圖像進(jìn)行該一致性檢測，獲得該場景的初始的深度信息圖中匹配錯(cuò)誤的區(qū)域，包括對該左圖匹配圖像及右圖匹配圖像進(jìn)行該一致性檢測，獲得該左圖匹配圖像及右圖匹配圖像之間匹配不一致的區(qū)域，將該匹配不一致的區(qū)域作為初始的深度信息圖中匹配錯(cuò)誤的區(qū)域。優(yōu)選地，根據(jù)平滑處理得到該匹配錯(cuò)誤的區(qū)域的修正深度信息，包括該平滑處理是對該匹配錯(cuò)誤的區(qū)域應(yīng)用基于匹配錯(cuò)誤的區(qū)域內(nèi)正確點(diǎn)的平滑或者基于該匹配錯(cuò)誤的區(qū)域鄰域的平滑，獲得該修正深度信息。優(yōu)選地，基于匹配錯(cuò)誤的區(qū)域內(nèi)正確點(diǎn)的平滑，包括該匹配錯(cuò)誤的區(qū)域內(nèi)包含有匹配一致的正確點(diǎn)，則應(yīng)用基于該匹配錯(cuò)誤的區(qū)域內(nèi)正確點(diǎn)進(jìn)行平滑，將該匹配錯(cuò)誤的區(qū)域內(nèi)該正確點(diǎn)的偏移量作為該修正深度信息。優(yōu)選地，基于該匹配錯(cuò)誤的區(qū)域鄰域的平滑，包括該匹配錯(cuò)誤的區(qū)域內(nèi)不包含有匹配一致的正確點(diǎn)，則應(yīng)用基于該匹配錯(cuò)誤的區(qū)域的鄰域進(jìn)行平滑，從該匹配錯(cuò)誤的區(qū)域的相鄰區(qū)域中選擇一個(gè)匹配正確的區(qū)域，將該相鄰且匹配正確的區(qū)域的偏移量作為該修正深度信息。優(yōu)選地，根據(jù)高斯混合積模型、或者該匹配錯(cuò)誤的區(qū)域及該相鄰且匹配正確的區(qū)域的顏色平均值，獲得該修正深度信息。為了解決上述技術(shù)問題，本發(fā)明還提供了一種獲取場景深度信息的裝置，包括劃分模塊，用于將該場景的左圖和右圖分別劃分成多個(gè)互不相交的區(qū)域，獲得左圖區(qū)域集合及右圖區(qū)域集合；匹配模塊，用于確定該左圖區(qū)域集合中的區(qū)域與該右圖中相對應(yīng)區(qū)域的相似度， 生成左圖匹配圖像；用于確定該右圖區(qū)域集合中的區(qū)域與該左圖中相對應(yīng)區(qū)域的相似度， 生成右圖匹配圖像；檢測模塊，用于對該左圖匹配圖像及右圖匹配圖像進(jìn)行一致性檢測，獲得該場景的初始的深度信息圖中匹配錯(cuò)誤的區(qū)域；獲取模塊，用于根據(jù)平滑處理得到該匹配錯(cuò)誤的區(qū)域的修正深度信息；優(yōu)化模塊，用于采用該修正深度信息對初始的深度信息圖進(jìn)行優(yōu)化，獲得該場景的最終的深度信息圖。優(yōu)選地，該劃分模塊用于采用基于閾值的方法、基于圖論的方法或者基于特征空間聚類的方法，對該左圖和右圖分別進(jìn)行圖像分割，獲得該左圖區(qū)域集合及右圖區(qū)域集合。優(yōu)選地，該匹配模塊用于通過比較對應(yīng)區(qū)域中所有對應(yīng)點(diǎn)的顏色通道的相似程度來獲得對應(yīng)區(qū)域之間的相似度。優(yōu)選地，該檢測模塊用于對該左圖匹配圖像及右圖匹配圖像進(jìn)行該一致性檢測， 獲得該左圖匹配圖像及右圖匹配圖像之間匹配不一致的區(qū)域，將該匹配不一致的區(qū)域作為初始的深度信息圖中匹配錯(cuò)誤的區(qū)域。優(yōu)選地，該獲取模塊用于對匹配錯(cuò)誤的區(qū)域應(yīng)用基于匹配錯(cuò)誤的區(qū)域內(nèi)正確點(diǎn)的平滑或者基于該匹配錯(cuò)誤的區(qū)域鄰域的平滑，獲得該修正深度信息。優(yōu)選地，該匹配錯(cuò)誤的區(qū)域內(nèi)包含有匹配一致的正確點(diǎn)，該獲取模塊用于應(yīng)用基于該匹配錯(cuò)誤的區(qū)域內(nèi)正確點(diǎn)進(jìn)行平滑，將該匹配錯(cuò)誤的區(qū)域內(nèi)該正確點(diǎn)的偏移量作為該修正深度信息。優(yōu)選地，該匹配錯(cuò)誤的區(qū)域內(nèi)不包含有匹配一致的正確點(diǎn)，該獲取模塊用于應(yīng)用基于該匹配錯(cuò)誤的區(qū)域的鄰域進(jìn)行平滑，從該匹配錯(cuò)誤的區(qū)域的相鄰區(qū)域中選擇一個(gè)匹配正確的區(qū)域，將該相鄰且匹配正確的區(qū)域的偏移量作為該修正深度信息。優(yōu)選地，該獲取模塊用于根據(jù)高斯混合積模型、或者該匹配錯(cuò)誤的區(qū)域及該相鄰且匹配正確的區(qū)域的顏色平均值，獲得該修正深度信息。由上述技術(shù)方案可知，本實(shí)施例的技術(shù)方案具有以下有益效果將場景的左圖和右圖(也可分別稱之為參考視圖和匹配視圖，場景中同一物體在左圖和右圖中的位置有所不同)分別進(jìn)行分割，以圖像分割所產(chǎn)生的區(qū)域?yàn)閱挝唬謩e采用左圖和右圖中的一幅圖像的分割結(jié)果分別對另一幅圖像進(jìn)行立體匹配，獲得兩幅匹配圖像，并利用基于像素點(diǎn)的左右一致性檢測，獲得匹配一致的區(qū)域的深度信息和匹配不一致的區(qū)域的修正深度信息，以此獲得最終場景的深度信息。本實(shí)施例解決了現(xiàn)有技術(shù)難以獲取反映物體邊緣深度變化的真實(shí)信息的問題。


圖1是本發(fā)明實(shí)施例一的獲取場景深度信息的方法的流程示意圖；圖2是本發(fā)明實(shí)施例二的獲取場景深度信息的裝置的組成示意圖。
具體實(shí)施例方式以下參照附圖并舉實(shí)施例，對本發(fā)明實(shí)施例進(jìn)一步詳細(xì)說明。本發(fā)明實(shí)施例以及實(shí)施例中的各個(gè)特征的相互結(jié)合，均在本發(fā)明的保護(hù)范圍之內(nèi)。另外，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。在本發(fā)明實(shí)施例的技術(shù)方案中，針對同一場景從左右兩個(gè)位置分別拍攝得到左圖和右圖。實(shí)施例一、獲取場景深度信息的方法圖1為本實(shí)施例的流程示意圖。如圖1所示，本實(shí)施例主要包括如下步驟步驟S110，以左圖、右圖中的某種特征，將左圖和右圖分別劃分成多個(gè)互不相交的區(qū)域，即分別進(jìn)行圖像分割，獲得左圖區(qū)域集合及右圖區(qū)域集合。在本發(fā)明的實(shí)施例中，采用了將左圖或者右圖劃分成若干個(gè)互不相交的區(qū)域?yàn)閱挝贿M(jìn)行立體匹配，這若干個(gè)區(qū)域與實(shí)際場景中的物體存在對應(yīng)關(guān)系，以這若干個(gè)區(qū)域?yàn)閱挝贿M(jìn)行匹配能獲得物體之間的明顯深度變化，而且能處理較大面積的無紋理或者弱紋理區(qū)域。一般的，對圖像進(jìn)行分割所依據(jù)的圖像特征，主要包括圖像的灰度特征、色彩特征、空間紋理特征以及幾何形狀特征等這些眾多特征中的一種或幾種的組合。根據(jù)這些圖像特征中的一種或幾種，利用圖像特征空間聚類技術(shù)，把待分割圖像分割成兩個(gè)或兩個(gè)以上互不相交的區(qū)域。如此分割，使得圖像特征在同一區(qū)域內(nèi)具有一致性或相似性，而在相鄰區(qū)域間不具有一致性或相似性。圖像分割的方法主要有基于閾值的方法、基于圖論的方法、基于特征空間聚類的方法三類基于閾值的分割方法，就是預(yù)先設(shè)定一個(gè)或多個(gè)閾值，根據(jù)所設(shè)定的閾值將圖像劃分為若干個(gè)區(qū)域?；趫D論的方法，是將待分割圖像映射成一個(gè)中間圖像，該中間圖像中的每一節(jié)點(diǎn)代表待分割圖像的一個(gè)圖像點(diǎn)，該中間圖像中的邊描述相鄰節(jié)點(diǎn)間的關(guān)系，然后根據(jù)節(jié)點(diǎn)之間的相似度對節(jié)點(diǎn)進(jìn)行合并，直至不能再次發(fā)生合并為止。基于特征空間聚類的分割方法，就是將圖像映射到特征空間，在特征空間當(dāng)中通過聚類方法將特征空間中的點(diǎn)分為若干類，具體可以分為自動聚類方法和有監(jiān)督的聚類方法等多種實(shí)現(xiàn)方式。基于以上所述的三類方法來實(shí)現(xiàn)圖像分割，本領(lǐng)域技術(shù)人員根據(jù)現(xiàn)有技術(shù)即可實(shí)現(xiàn)，本發(fā)明實(shí)施例對此不做贅述。步驟S120，以左圖區(qū)域集合為基礎(chǔ)，通過立體匹配確定其所包含的區(qū)域與右圖中相對應(yīng)區(qū)域的相似度，生成左圖匹配圖像；以右圖區(qū)域集合為基礎(chǔ)，通過立體匹配確定其所包含的區(qū)域與左圖中相對應(yīng)區(qū)域的相似度，生成右圖匹配圖像。在進(jìn)行基于圖像分割產(chǎn)生的圖像區(qū)域的立體匹配時(shí)，可以構(gòu)造一種代價(jià)函數(shù)來描述區(qū)域之間的相似度，本發(fā)明實(shí)施例中提出的代價(jià)函數(shù)通過比較對應(yīng)圖像區(qū)域中所有對應(yīng)點(diǎn)的三個(gè)顏色通道(如RGB三顏色通道)的相似程度來獲得對應(yīng)圖像區(qū)域之間的相似度。步驟S130，對左圖匹配圖像和右圖匹配圖像進(jìn)行一致性檢測，獲得場景的初始的深度信息圖，并確定初始的深度信息圖中匹配錯(cuò)誤的區(qū)域。偏移量表示同一物體在左圖和右圖上的坐標(biāo)的差異，是場景深度信息的一種表現(xiàn)方式。本實(shí)施例中，左圖匹配圖像和右圖匹配圖像的一致性檢測中，根據(jù)匹配一致的區(qū)域的偏移量獲得初始的深度信息圖。但是，由于場景中物體之間的相互遮擋，以及光照變化等因素的影響，左圖匹配圖像和右圖匹配圖像之間存在著一定的差異，這些差異會導(dǎo)致匹配錯(cuò)誤的區(qū)域。具體而言，經(jīng)過一致性檢測后，會得到得左圖匹配圖像和右圖匹配圖像之間匹配一致的區(qū)域及匹配不一致的區(qū)域。匹配一致的區(qū)域是指不包含檢測出的匹配錯(cuò)誤點(diǎn)的區(qū)域，匹配不一致的區(qū)域是指包含檢測出的匹配錯(cuò)誤點(diǎn)的區(qū)域。例如，進(jìn)行左圖區(qū)域集合對右圖匹配后，左圖區(qū)域集合中的點(diǎn)A在右圖上會找到他的對應(yīng)點(diǎn)Al ；Al點(diǎn)在從右圖區(qū)域集合對左圖匹配后，會在左圖中找到的對應(yīng)點(diǎn)為A2，如果A2與A點(diǎn)在坐標(biāo)上的差異的絕對值大于1，則認(rèn)為A點(diǎn)是一個(gè)匹配錯(cuò)誤點(diǎn)。需要說明的是，本發(fā)明的實(shí)施例中，初始的深度信息圖可以在生成左圖匹配圖像或者生成右圖匹配圖像時(shí)獲得，也可以在進(jìn)行一致性檢測時(shí)獲得。步驟S140，應(yīng)用基于區(qū)域內(nèi)正確點(diǎn)的平滑處理或者基于鄰域的平滑處理，獲得初始的深度信息圖中匹配錯(cuò)誤的區(qū)域的修正深度信息。針對初始的深度信息圖中的匹配錯(cuò)誤的區(qū)域，可以采用平滑處理的方式，獲得該匹配錯(cuò)誤的區(qū)域的偏移量，即修正深度信息。根據(jù)匹配錯(cuò)誤的區(qū)域中是否包含有匹配一致的像素點(diǎn)，分為以下情形其一，將近似獲得的該匹配錯(cuò)誤的區(qū)域的偏移量作為該修正深度信息。如果匹配錯(cuò)誤的區(qū)域中包含有匹配一致的正確點(diǎn)，則基于該區(qū)域內(nèi)正確點(diǎn)進(jìn)行平滑，即獲取該區(qū)域內(nèi)正確點(diǎn)的偏移量，將該偏移量近似作為該匹配錯(cuò)誤的區(qū)域的偏移量，以此獲得該匹配錯(cuò)誤的區(qū)域的修正深度信息；其二，將該相鄰且匹配正確的區(qū)域的偏移量作為該修正深度信息。如果匹配錯(cuò)誤的區(qū)域中不包含有匹配一致的正確點(diǎn)，則基于該區(qū)域的鄰域進(jìn)行平滑，即從該匹配錯(cuò)誤的區(qū)域的相鄰區(qū)域中選擇一個(gè)匹配正確的區(qū)域，這種選擇可以是基于相鄰兩區(qū)域之間的灰度特征、色彩特征、空間紋理特征以及幾何形狀特征等這些眾多特征中的一種或幾種的組合來進(jìn)行的。將這個(gè)相鄰且匹配正確的區(qū)域的偏移量，作為該匹配錯(cuò)誤的區(qū)域的偏移量，以此獲得該匹配錯(cuò)誤的區(qū)域的修正深度信息。例如，計(jì)算該匹配錯(cuò)誤的區(qū)域的顏色平均值，以及所有與之相鄰且匹配正確的區(qū)域的顏色平均值，獲得該匹配錯(cuò)誤的區(qū)域以及與其相鄰且匹配正確的區(qū)域的顏色平均值的差異值，將所獲得的匹配正確的區(qū)域的差異值中最小的一個(gè)偏移量，作為該匹配錯(cuò)誤的區(qū)域的偏移量，即獲得該匹配錯(cuò)誤的區(qū)域的修正深度信息。同樣的，也可以利用一些數(shù)學(xué)模型來描述匹配錯(cuò)誤的區(qū)域與該相鄰且匹配正確的區(qū)域之間的偏移量，比如利用高斯混合積模型等，利用期望最大化的方法求解獲得匹配錯(cuò)誤的區(qū)域的偏移量，即獲得該匹配錯(cuò)誤的區(qū)域的修正深度信息。步驟S150，采用修正深度信息對初始的深度信息圖進(jìn)行優(yōu)化，獲得最終的深度信息圖。根據(jù)修正深度信息，將步驟S130中所確定的相應(yīng)的匹配錯(cuò)誤的區(qū)域的深度信息進(jìn)行修正，并且結(jié)合步驟S130中所獲得的初始的深度信息圖，生成最終的深度信息圖。實(shí)施例二、獲取場景深度信息的裝置結(jié)合圖1所示實(shí)施例一的流程示意圖，以及實(shí)施例一的獲取場景深度信息的方法的具體技術(shù)內(nèi)容，理解本實(shí)施例二的獲取場景深度信息的裝置的技術(shù)方案。實(shí)施例二如圖 2所示，主要包括劃分模塊210、匹配模塊220、檢測模塊230、獲取模塊MO以及優(yōu)化模塊 250，其中劃分模塊210，用于將該場景的左圖和右圖分別劃分成多個(gè)互不相交的區(qū)域，獲得左圖區(qū)域集合及右圖區(qū)域集合；匹配模塊220，與劃分模塊210相連，用于確定該左圖區(qū)域集合中的區(qū)域與該右圖中相對應(yīng)區(qū)域的相似度，生成左圖匹配圖像；用于確定該右圖區(qū)域集合中的區(qū)域與該左圖中相對應(yīng)區(qū)域的相似度，生成右圖匹配圖像；檢測模塊230，與匹配模塊220相連，用于對該左圖匹配圖像及右圖匹配圖像進(jìn)行一致性檢測，獲得場景的初始的深度信息圖中匹配錯(cuò)誤的區(qū)域；獲取模塊M0，與檢測模塊230相連，用于根據(jù)平滑處理得到該匹配錯(cuò)誤的區(qū)域的修正深度信息；優(yōu)化模塊250，與獲取模塊240相連，用于采用該修正深度信息對初始的深度信息圖進(jìn)行優(yōu)化，獲得該場景的最終的深度信息圖。其中，該劃分模塊210用于采用基于閾值的方法、基于圖論的方法或者基于特征空間聚類的方法，對該左圖和右圖分別進(jìn)行圖像分割，獲得該左圖區(qū)域集合及右圖區(qū)域集
I=I O其中，該匹配模塊220用于通過比較對應(yīng)區(qū)域中所有對應(yīng)點(diǎn)的顏色通道的相似程度來獲得對應(yīng)區(qū)域之間的相似度。
8
其中，該檢測模塊230用于對該左圖匹配圖像及右圖匹配圖像進(jìn)行該一致性檢測，獲得該左圖匹配圖像及右圖匹配圖像之間匹配不一致的區(qū)域，將該匹配不一致的區(qū)域作為該匹配錯(cuò)誤的區(qū)域。其中，該獲取模塊240用于對該匹配錯(cuò)誤的區(qū)域應(yīng)用基于區(qū)域內(nèi)正確點(diǎn)的平滑或者基于該匹配錯(cuò)誤的區(qū)域鄰域的平滑，獲得該修正深度信息。其中，該匹配錯(cuò)誤的區(qū)域中包含有匹配一致的正確點(diǎn)，獲取模塊240用于應(yīng)用基于該匹配錯(cuò)誤的區(qū)域內(nèi)正確點(diǎn)進(jìn)行平滑，將該匹配錯(cuò)誤的區(qū)域內(nèi)該正確點(diǎn)的偏移量作為該匹配錯(cuò)誤的區(qū)域的修正深度信息；該匹配錯(cuò)誤的區(qū)域中不包含有匹配一致的正確點(diǎn)，獲取模塊240用于應(yīng)用基于該匹配錯(cuò)誤的區(qū)域的鄰域進(jìn)行平滑，從該匹配錯(cuò)誤的區(qū)域的相鄰區(qū)域中選擇一個(gè)匹配正確的區(qū)域，這種選擇可以是基于相鄰兩區(qū)域之間的灰度特征、色彩特征、空間紋理特征以及幾何形狀特征等這些眾多特征中的一種或幾種的組合來進(jìn)行的。將該相鄰且匹配正確的區(qū)域的偏移量，作為該匹配錯(cuò)誤的區(qū)域的修正深度信息。其中，該獲取模塊240可以利用一些數(shù)學(xué)模型來描述匹配錯(cuò)誤的區(qū)域與該相鄰且匹配正確的區(qū)域之間的偏移量，或者該匹配錯(cuò)誤的區(qū)域以及與該相鄰且匹配正確的區(qū)域的顏色平均值，獲得該修正深度信息。需要說明的是，本實(shí)施例中的優(yōu)化模塊250，是采用獲取模塊240所獲得的修正深度信息，對檢測模塊230在進(jìn)行一致性檢測時(shí)所獲得的初始的深度信息圖進(jìn)行優(yōu)化，并獲得場景的最終的深度信息圖；此時(shí)，優(yōu)化模塊250與獲取模塊MO以及檢測模塊230相連。 在其他實(shí)施例中，優(yōu)化模塊250也可以采用獲取模塊240所獲得的修正深度信息，對匹配模塊220在生成左圖匹配圖像或者生成右圖匹配圖像時(shí)所獲得的初始的深度信息圖進(jìn)行優(yōu)化，并獲得場景的最終的深度信息圖；此時(shí)，優(yōu)化模塊250與獲取模塊MO以及匹配模塊 220相連。在本發(fā)明的技術(shù)方案中，如果需要直觀地了解左圖匹配圖像與右圖匹配圖像之間的差異，則可以考慮將該匹配一致的區(qū)域和匹配不一致的區(qū)域組成一幅參考圖像；在該參考圖像中，可以采用不同的顏色信息將匹配一致的區(qū)域和匹配不一致的區(qū)域進(jìn)行顯示，比如以灰度圖像顯示匹配一致的區(qū)域，而以醒目的顏色如紅色藍(lán)色顯示匹配不一致的區(qū)域； 其中采用灰度圖像顯示匹配一致的區(qū)域，一定程度上保留了場景的色彩及明暗等信息。本發(fā)明技術(shù)方案以區(qū)域?yàn)閱挝坏牧Ⅲw匹配方法，源于圖像分割產(chǎn)生的區(qū)域與實(shí)際場景中的物體存在某種對應(yīng)關(guān)系。因此，以對圖像進(jìn)行分割后的區(qū)域?yàn)閱挝贿M(jìn)行匹配，能很好根據(jù)物體邊緣對圖像進(jìn)行劃分，因此能較好地獲得物體邊緣的明顯深度變化信息。同時(shí)，對于不同應(yīng)用領(lǐng)域場景下的圖像而言，都具有可以分割的通用特性；換而言之，雖然圖像所屬的領(lǐng)域可以并不相同，但是體現(xiàn)在圖像可以進(jìn)行區(qū)域劃分則是普遍的特性?；趯D像進(jìn)行分割并進(jìn)行后續(xù)處理，本發(fā)明實(shí)施例對于不同應(yīng)用領(lǐng)域具有較大程度的通用性，能夠處理含有較大面積的無紋理或者弱紋理區(qū)域的圖像。本發(fā)明的技術(shù)方案采用左圖和右圖進(jìn)行互為補(bǔ)充、互為驗(yàn)證的處理方式，比如前述實(shí)施例中的兩次立體匹配，即形成一種互為補(bǔ)充的關(guān)系，而前述的一致性檢測，即形成一種互為驗(yàn)證的關(guān)系。這種互為補(bǔ)充、互為驗(yàn)證的處理方式，對圖像中的細(xì)節(jié)具有較強(qiáng)的識別能力，因此可以獲得較為真實(shí)的圖像的深度信息。
本發(fā)明實(shí)施例為進(jìn)一步提高立體匹配方法的效果，通過將圖像劃分成多個(gè)互不相交的區(qū)域進(jìn)行立體匹配的技術(shù)手段，進(jìn)一步提高了本發(fā)明的通用性。本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明方法實(shí)施例中的各步驟以及本發(fā)明裝置實(shí)施例中的各組成部分可以用通用的計(jì)算裝置來實(shí)現(xiàn)，它們可以集中在單個(gè)的計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來實(shí)現(xiàn)，從而，可以將它們存儲在存儲裝置中由計(jì)算裝置來執(zhí)行，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來實(shí)現(xiàn)。 這樣，本發(fā)明實(shí)施例不限制于任何特定的硬件和軟件結(jié)合。以上所述為本發(fā)明的實(shí)施例，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換以及改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種獲取場景深度信息的方法，包括如下步驟將該場景的左圖和右圖分別劃分成多個(gè)互不相交的區(qū)域，獲得左圖區(qū)域集合及右圖區(qū)域集合；確定該左圖區(qū)域集合中的區(qū)域與該右圖中相對應(yīng)區(qū)域的相似度，生成左圖匹配圖像； 確定該右圖區(qū)域集合中的區(qū)域與該左圖中相對應(yīng)區(qū)域的相似度，生成右圖匹配圖像；對該左圖匹配圖像及右圖匹配圖像進(jìn)行一致性檢測，獲得該場景的初始的深度信息圖中匹配錯(cuò)誤的區(qū)域；根據(jù)平滑處理得到該匹配錯(cuò)誤的區(qū)域的修正深度信息；采用該修正深度信息對初始的深度信息圖進(jìn)行優(yōu)化，獲得該場景的最終的深度信息圖。
2.根據(jù)權(quán)利要求1所述的方法，其中，將該場景的左圖和右圖分別劃分成多個(gè)互不相交的區(qū)域，包括采用基于閾值的方法、基于圖論的方法或者基于特征空間聚類的方法，對該左圖和右圖分別進(jìn)行圖像分割，獲得該左圖區(qū)域集合及右圖區(qū)域集合。
3.根據(jù)權(quán)利要求1所述的方法，其中，確定該左圖區(qū)域集合中的區(qū)域與該右圖中相對應(yīng)區(qū)域的相似度，以及確定該右圖區(qū)域集合中的區(qū)域與該左圖中相對應(yīng)區(qū)域的相似度，包括通過比較對應(yīng)區(qū)域中所有對應(yīng)點(diǎn)的顏色通道的相似程度來獲得對應(yīng)區(qū)域之間的相似度。
4.根據(jù)權(quán)利要求1所述的方法，其中，對該左圖匹配圖像及右圖匹配圖像進(jìn)行該一致性檢測，獲得該場景的初始的深度信息圖中匹配錯(cuò)誤的區(qū)域，包括對該左圖匹配圖像及右圖匹配圖像進(jìn)行該一致性檢測，獲得該左圖匹配圖像及右圖匹配圖像之間匹配不一致的區(qū)域，將該匹配不一致的區(qū)域作為初始的深度信息圖中匹配錯(cuò)誤的區(qū)域。
5.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)平滑處理得到該匹配錯(cuò)誤的區(qū)域的修正深度信息，包括該平滑處理是對該匹配錯(cuò)誤的區(qū)域應(yīng)用基于匹配錯(cuò)誤的區(qū)域內(nèi)正確點(diǎn)的平滑或者基于該匹配錯(cuò)誤的區(qū)域鄰域的平滑，獲得該修正深度信息。
6.根據(jù)權(quán)利要求5所述的方法，其中，基于匹配錯(cuò)誤的區(qū)域內(nèi)正確點(diǎn)的平滑，包括該匹配錯(cuò)誤的區(qū)域內(nèi)包含有匹配一致的正確點(diǎn)，則應(yīng)用基于該匹配錯(cuò)誤的區(qū)域內(nèi)正確點(diǎn)進(jìn)行平滑，將該匹配錯(cuò)誤的區(qū)域內(nèi)該正確點(diǎn)的偏移量作為該修正深度信息。
7.根據(jù)權(quán)利要求5所述的方法，其中，基于該匹配錯(cuò)誤的區(qū)域鄰域的平滑，包括該匹配錯(cuò)誤的區(qū)域內(nèi)不包含有匹配一致的正確點(diǎn)，則應(yīng)用基于該匹配錯(cuò)誤的區(qū)域的鄰域進(jìn)行平滑，從該匹配錯(cuò)誤的區(qū)域的相鄰區(qū)域中選擇一個(gè)匹配正確的區(qū)域，將該相鄰且匹配正確的區(qū)域的偏移量作為該修正深度信息。
8.根據(jù)權(quán)利要求7所述的方法，其中根據(jù)高斯混合積模型、或者該匹配錯(cuò)誤的區(qū)域及該相鄰且匹配正確的區(qū)域的顏色平均值，獲得該修正深度信息。
9.一種獲取場景深度信息的裝置，包括劃分模塊，用于將該場景的左圖和右圖分別劃分成多個(gè)互不相交的區(qū)域，獲得左圖區(qū)域集合及右圖區(qū)域集合；匹配模塊，用于確定該左圖區(qū)域集合中的區(qū)域與該右圖中相對應(yīng)區(qū)域的相似度，生成左圖匹配圖像；用于確定該右圖區(qū)域集合中的區(qū)域與該左圖中相對應(yīng)區(qū)域的相似度，生成右圖匹配圖像；檢測模塊，用于對該左圖匹配圖像及右圖匹配圖像進(jìn)行一致性檢測，獲得該場景的初始的深度信息圖中匹配錯(cuò)誤的區(qū)域；獲取模塊，用于根據(jù)平滑處理得到該匹配錯(cuò)誤的區(qū)域的修正深度信息；優(yōu)化模塊，用于采用該修正深度信息對初始的深度信息圖進(jìn)行優(yōu)化，獲得該場景的最終的深度信息圖。
10.根據(jù)權(quán)利要求9所述的裝置，其中該劃分模塊用于采用基于閾值的方法、基于圖論的方法或者基于特征空間聚類的方法，對該左圖和右圖分別進(jìn)行圖像分割，獲得該左圖區(qū)域集合及右圖區(qū)域集合。
11.根據(jù)權(quán)利要求9所述的裝置，其中該匹配模塊用于通過比較對應(yīng)區(qū)域中所有對應(yīng)點(diǎn)的顏色通道的相似程度來獲得對應(yīng)區(qū)域之間的相似度。
12.根據(jù)權(quán)利要求9所述的裝置，其中該檢測模塊用于對該左圖匹配圖像及右圖匹配圖像進(jìn)行該一致性檢測，獲得該左圖匹配圖像及右圖匹配圖像之間匹配不一致的區(qū)域，將該匹配不一致的區(qū)域作為初始的深度信息圖中匹配錯(cuò)誤的區(qū)域。
13.根據(jù)權(quán)利要求9所述的裝置，其中該獲取模塊用于對匹配錯(cuò)誤的區(qū)域應(yīng)用基于匹配錯(cuò)誤的區(qū)域內(nèi)正確點(diǎn)的平滑或者基于該匹配錯(cuò)誤的區(qū)域鄰域的平滑，獲得該修正深度信息。
14.根據(jù)權(quán)利要求13所述的裝置，其中該匹配錯(cuò)誤的區(qū)域內(nèi)包含有匹配一致的正確點(diǎn)，該獲取模塊用于應(yīng)用基于該匹配錯(cuò)誤的區(qū)域內(nèi)正確點(diǎn)進(jìn)行平滑，將該匹配錯(cuò)誤的區(qū)域內(nèi)該正確點(diǎn)的偏移量作為該修正深度信肩、ο
15.根據(jù)權(quán)利要求13所述的裝置，其中該匹配錯(cuò)誤的區(qū)域內(nèi)不包含有匹配一致的正確點(diǎn)，該獲取模塊用于應(yīng)用基于該匹配錯(cuò)誤的區(qū)域的鄰域進(jìn)行平滑，從該匹配錯(cuò)誤的區(qū)域的相鄰區(qū)域中選擇一個(gè)匹配正確的區(qū)域， 將該相鄰且匹配正確的區(qū)域的偏移量作為該修正深度信息。
16.根據(jù)權(quán)利要求15所述的裝置，其中該獲取模塊用于根據(jù)高斯混合積模型、或者該匹配錯(cuò)誤的區(qū)域及該相鄰且匹配正確的區(qū)域的顏色平均值，獲得該修正深度信息。
全文摘要
本發(fā)明公開了一種獲取場景深度信息的方法及裝置，能克服當(dāng)前獲取反映物體邊緣深度變化的真實(shí)信息的不足。該方法包括將左圖和右圖分別劃分成多個(gè)互不相交的區(qū)域，獲得左圖區(qū)域集合及右圖區(qū)域集合；確定左圖區(qū)域集合中的區(qū)域與右圖中對應(yīng)區(qū)域的相似度，生成左圖匹配圖像；確定右圖區(qū)域集合中的區(qū)域與左圖中對應(yīng)區(qū)域的相似度，生成右圖匹配圖像；對左圖匹配圖像及右圖匹配圖像進(jìn)行一致性檢測，獲得場景的初始的深度信息圖中匹配錯(cuò)誤的區(qū)域；根據(jù)平滑處理得到匹配錯(cuò)誤的區(qū)域的修正深度信息；采用修正深度信息對初始的深度信息圖進(jìn)行優(yōu)化，獲得最終的深度信息圖。本發(fā)明的實(shí)施例解決了現(xiàn)有技術(shù)難以獲取反映物體邊緣深度變化的真實(shí)信息的問題。
文檔編號G06T7/00GK102156987SQ20111010393
公開日2011年8月17日 申請日期2011年4月25日 優(yōu)先權(quán)日2011年4月25日
發(fā)明者楊東 申請人:深圳超多維光電子有限公司