專利名稱：：一種基于立體匹配的彩色圖像三維重建方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于雙目立體視覺
技術(shù)領(lǐng)域：
，涉及到基于立體匹配處理彩色實(shí)拍圖像的問題，尤其涉及到一種使用自適應(yīng)權(quán)重算法來計(jì)算匹配代價(jià)和基于圖像分割和像素可靠度分類結(jié)果的選擇性置信度傳播算法來獲取像素點(diǎn)匹配關(guān)系以重建目標(biāo)物三維點(diǎn)云的方法。
背景技術(shù)：
：雙目立體視覺技術(shù)是一種被動(dòng)式的三維測(cè)量方法，其實(shí)現(xiàn)方式靈活、對(duì)環(huán)境要求低、人機(jī)交互友好，是三維重建算法中比較流行的一種技術(shù)。雙目立體視覺旨在模擬人類雙眼識(shí)別場(chǎng)景三維信息的機(jī)理，從兩個(gè)角度獲取場(chǎng)景的二維圖像，再根據(jù)建立圖像之間的匹配關(guān)系重建三維模型，主要包括攝像機(jī)標(biāo)定，圖像對(duì)匹配，三維信息還原等主要過程。建立兩幅圖像像素點(diǎn)對(duì)應(yīng)關(guān)系的過程就是立體匹配的過程，它是雙目立體視覺技術(shù)的核心。立體匹配的主要任務(wù)是得到光滑逼真的稠密視差圖，立體匹配算法主要分為局部算法和全局算法，局部算法利用像素點(diǎn)的鄰域信息進(jìn)行匹配，計(jì)算復(fù)雜度較低，但匹配精度不高，特別在低紋理、視差不連續(xù)區(qū)域容易產(chǎn)生錯(cuò)誤。全局算法將平滑性代價(jià)加入匹配代價(jià)的計(jì)算中，使匹配轉(zhuǎn)化為能量函數(shù)的全局最優(yōu)過程，主要有圖割算法，置信度傳播算法和動(dòng)態(tài)規(guī)劃算法。其中動(dòng)態(tài)規(guī)劃算法計(jì)算復(fù)雜度最低，速度最快，但容易產(chǎn)生條狀瑕疵問題，置信度傳播算法和圖割算法匹配精度較高，計(jì)算得到的視差圖在邊緣區(qū)域和深度不連續(xù)區(qū)域的效果較好，相對(duì)而言，圖割算法耗時(shí)久，實(shí)時(shí)性能有待改善?，F(xiàn)有的基于雙目立體視覺的三維重建算法存在以下幾個(gè)方面的缺點(diǎn)(1)構(gòu)建合適的鄰域窗口是局部算法的關(guān)鍵，窗口太小，則無法包含待匹配像素點(diǎn)足夠的鄰域信息，窗口太大，則匹配代價(jià)的計(jì)算中將包含不具有指導(dǎo)意義的鄰域信息，這些都會(huì)導(dǎo)致錯(cuò)誤匹配的產(chǎn)生。(2)全局算法中計(jì)算復(fù)雜度相對(duì)較低的動(dòng)態(tài)規(guī)劃算法將全局能量優(yōu)化局限于一維的掃描線內(nèi)，丟失了其他方向的光滑性約束，圖割算法耗時(shí)較久，很難滿足實(shí)拍圖像三維重建的實(shí)時(shí)性要求，置信度傳播算法不加選擇地在鄰域像素之間傳播置信度，而在視差不連續(xù)區(qū)域鄰域像素之間可能不滿足視差連續(xù)性約束，結(jié)果導(dǎo)致重建點(diǎn)云邊界不清晰。由于存在以上缺點(diǎn)，現(xiàn)有的基于立體匹配的三維重建算法在實(shí)際應(yīng)用中并不能得到令人滿意的結(jié)果。
發(fā)明內(nèi)容本發(fā)明的目的是提供一種基于立體匹配的彩色圖像三維重建方法，能夠準(zhǔn)確快速自動(dòng)重建圖像三維點(diǎn)云。本發(fā)明采用的技術(shù)方案是首先采集兩幅彩色實(shí)拍圖像，進(jìn)行攝像機(jī)標(biāo)定，根據(jù)標(biāo)定數(shù)據(jù)進(jìn)行對(duì)極線校正和圖像變換，通過初始匹配計(jì)算匹配代價(jià)和初始視差圖，利用匹配代價(jià)可信度檢測(cè)和左右一致性校驗(yàn)將初始匹配結(jié)果按照可靠度分類，然后對(duì)校正后的左圖6像進(jìn)行彩色分割，再以具有選擇性的置信度傳播算法進(jìn)行全局優(yōu)化得到最終視差圖，最后利用標(biāo)定數(shù)據(jù)和匹配結(jié)果重建三維點(diǎn)云并顯示。本發(fā)明的方法具體包括以下幾個(gè)步驟步驟1:圖像獲取使用兩臺(tái)彩色攝像機(jī)同時(shí)從相差不大的兩個(gè)角度對(duì)同一個(gè)場(chǎng)景拍攝兩幅圖像，其中左邊的攝像機(jī)拍攝的為原始左圖像，右邊的攝像機(jī)拍攝的為原始右圖像；步驟2:攝像機(jī)標(biāo)定分別對(duì)兩臺(tái)攝像機(jī)進(jìn)行標(biāo)定，建立攝像機(jī)圖像像素位置與場(chǎng)景位置之間的關(guān)系，獲得左邊的攝像機(jī)的內(nèi)參數(shù)矩陣~、右邊的攝像機(jī)的內(nèi)參數(shù)矩陣Ak和左邊的攝像機(jī)的外參數(shù)矩陣風(fēng)tj、右邊的攝像機(jī)的外參數(shù)矩陣[RKtE]；步驟3圖像對(duì)極線校正根據(jù)步驟2得到的攝像機(jī)內(nèi)外參數(shù)運(yùn)用極線校正方法對(duì)所拍攝的左右圖像進(jìn)行極線校正得到平行式雙目視覺模型，使匹配像素對(duì)具有相同的縱坐標(biāo)，校正后的左圖像和右圖像分別記為I1和Ir;步驟4:初始匹配步驟4.1確定候選視差范圍DD=(dmin，dmax)，其中dmin為最小視差，dmin=0，dmax為最大視差，通過標(biāo)記基準(zhǔn)圖像和配準(zhǔn)圖像之間的匹配像素點(diǎn)對(duì)求得隨機(jī)選取基準(zhǔn)圖像中的十個(gè)像素點(diǎn){pll，pl2，pl3，…，pi10}，在配準(zhǔn)圖像中分別尋找與{pll，pl2，pl3，…，pllO}具有相同縱坐標(biāo)和相近顏色信息的十個(gè)估算匹配像素點(diǎn){prl，pr2，pr3，…，prlO}，于是得到十組估算匹配像素對(duì){(pll,prl),(pl2，pr2)，(pl3，pr3),…，(pll0，prl0)}，對(duì)每一組匹配像素對(duì)計(jì)算兩像素的橫坐標(biāo)之差的絕對(duì)值得到一組視差值{dl,d2，d3，…，dlO}，最大視差dmax=max{dl，d2，…，dl0}+5；步驟4.2自適應(yīng)權(quán)重窗口算法以校正后的左圖像I1為基準(zhǔn)圖像，以校正后的右圖像Ir為配準(zhǔn)圖像，采用自適應(yīng)權(quán)重窗口方法對(duì)基準(zhǔn)圖像中的每一個(gè)像素點(diǎn)計(jì)算匹配代價(jià)并得到初始左視差圖，然后，以校正后的右圖像L為基準(zhǔn)圖像，以校正后的左圖像I1為配準(zhǔn)圖像，采用自適應(yīng)權(quán)重窗口方法對(duì)基準(zhǔn)圖像中的每一個(gè)像素點(diǎn)計(jì)算匹配代價(jià)并得到初始右視差圖，所述的自適應(yīng)權(quán)重窗口方法為步驟4.2.1權(quán)重系數(shù)計(jì)算首先將基準(zhǔn)圖像記為I1,配準(zhǔn)圖像記為I2，然后利用顏色和空間信息對(duì)兩幅圖像中每個(gè)像素點(diǎn)計(jì)算鄰域窗口內(nèi)所有像素的權(quán)重系數(shù)Em權(quán)利要求一種基于立體匹配的彩色圖像三維重建方法，其特征在于，該重建方法依次含有以下步驟步驟1圖像獲取使用兩臺(tái)彩色攝像機(jī)同時(shí)從相差不大的兩個(gè)角度對(duì)同一個(gè)場(chǎng)景拍攝兩幅圖像，其中左邊的攝像機(jī)拍攝的為原始左圖像，右邊的攝像機(jī)拍攝的為原始右圖像；步驟2攝像機(jī)標(biāo)定分別對(duì)兩臺(tái)攝像機(jī)進(jìn)行標(biāo)定，建立攝像機(jī)圖像像素位置與場(chǎng)景位置之間的關(guān)系，獲得左邊的攝像機(jī)的內(nèi)參數(shù)矩陣AL、右邊的攝像機(jī)的內(nèi)參數(shù)矩陣AR和左邊的攝像機(jī)的外參數(shù)矩陣[RLtL]、右邊的攝像機(jī)的外參數(shù)矩陣[RRtR]；步驟3圖像對(duì)極線校正根據(jù)步驟2得到的攝像機(jī)內(nèi)外參數(shù)運(yùn)用極線校正方法對(duì)所拍攝的左右圖像進(jìn)行極線校正得到平行式雙目視覺模型，使匹配像素對(duì)具有相同的縱坐標(biāo)，校正后的左圖像和右圖像分別記為Il和Ir；步驟4初始匹配步驟4.1確定候選視差范圍DD＝(dmin，dmax)，其中dmin為最小視差，dmin＝0，dmax為最大視差，通過標(biāo)記基準(zhǔn)圖像和配準(zhǔn)圖像之間的匹配像素點(diǎn)對(duì)求得隨機(jī)選取基準(zhǔn)圖像中的十個(gè)像素點(diǎn){pl1，pl2，pl3，…，pl10}，在配準(zhǔn)圖像中分別尋找與{pl1，pl2，pl3，…，pl10}具有相同縱坐標(biāo)和相近顏色信息的十個(gè)估算匹配像素點(diǎn){pr1，pr2，pr3，…，pr10}，于是得到十組估算匹配像素對(duì){(pl1，pr1)，(pl2，pr2)，(pl3，pr3)，…，(pl10，pr10)}，對(duì)每一組匹配像素對(duì)計(jì)算兩像素的橫坐標(biāo)之差的絕對(duì)值得到一組視差值{d1，d2，d3，…，d10}，最大視差dmax＝max{d1，d2，...，d10}+5；步驟4.2自適應(yīng)權(quán)重窗口算法以校正后的左圖像Il為基準(zhǔn)圖像，以校正后的右圖像Ir為配準(zhǔn)圖像，采用自適應(yīng)權(quán)重窗口方法對(duì)基準(zhǔn)圖像中的每一個(gè)像素點(diǎn)計(jì)算匹配代價(jià)并得到初始左視差圖，然后，以校正后的右圖像Ir為基準(zhǔn)圖像，以校正后的左圖像Il為配準(zhǔn)圖像，采用自適應(yīng)權(quán)重窗口方法對(duì)基準(zhǔn)圖像中的每一個(gè)像素點(diǎn)計(jì)算匹配代價(jià)并得到初始右視差圖，所述的自適應(yīng)權(quán)重窗口方法為步驟4.2.1權(quán)重系數(shù)計(jì)算首先將基準(zhǔn)圖像記為I1，配準(zhǔn)圖像記為I2，然后利用顏色和空間信息對(duì)兩幅圖像中每個(gè)像素點(diǎn)計(jì)算鄰域窗口內(nèi)所有像素的權(quán)重系數(shù)Epq<mrow><msub><mi>E</mi><mi>pq</mi></msub><mo>=</mo><msup><mi>e</mi><mrow><mo>-</mo><mrow><mo>(</mo><mi>&alpha;&Delta;pq</mi><mo>+</mo><mi>&beta;</mi><msub><mrow><mo>|</mo><mo>|</mo><mi>p</mi><mo>-</mo><mi>q</mi><mo>|</mo><mo>|</mo></mrow><mn>2</mn></msub><mi></mi><mo>)</mo></mrow></mrow></msup><mo>,</mo></mrow>其中p是基準(zhǔn)圖像或配準(zhǔn)圖像中的像素點(diǎn)，q為以像素p中心、大小為n×n的鄰域窗口內(nèi)的任一像素點(diǎn)，n＝35，Δpq表示在RGB空間下像素p和q之間的顏色差異，||pq||2是兩像素之前的歐氏距離，α和β為常系數(shù)，α＝0.1，β＝0.047；步驟4.2.2匹配代價(jià)計(jì)算在水平極線約束下，對(duì)基準(zhǔn)圖像中的每個(gè)像素計(jì)算候選視差范圍內(nèi)所有視差值對(duì)應(yīng)的匹配代價(jià)C(p1，d)<mrow><mi>C</mi><mrow><mo>(</mo><msub><mi>p</mi><mn>1</mn></msub><mo>,</mo><mi>d</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><munder><mi>&Sigma;</mi><mrow><mrow><mo>(</mo><msub><mi>q</mi><mn>1</mn></msub><mo>,</mo><msub><mi>q</mi><mn>2</mn></msub><mo>)</mo></mrow><mo>&Element;</mo><msub><mi>W</mi><msub><mi>p</mi><mn>1</mn></msub></msub><mo>&times;</mo><msub><mi>W</mi><msub><mi>p</mi><mn>2</mn></msub></msub></mrow></munder><msub><mi>E</mi><mrow><msub><mi>p</mi><mn>1</mn></msub><msub><mi>q</mi><mn>1</mn></msub></mrow></msub><mo>&times;</mo><msub><mi>E</mi><mrow><msub><mi>p</mi><mn>2</mn></msub><msub><mi>q</mi><mn>2</mn></msub></mrow></msub><mo>&times;</mo><mi>S</mi><mrow><mo>(</mo><msub><mi>q</mi><mn>1</mn></msub><mo>,</mo><msub><mi>q</mi><mn>2</mn></msub><mo>)</mo></mrow></mrow><mrow><munder><mi>&Sigma;</mi><mrow><mrow><mo>(</mo><msub><mi>q</mi><mn>1</mn></msub><mo>,</mo><msub><mi>q</mi><mn>2</mn></msub><mo>)</mo></mrow><mo>&Element;</mo><msub><mi>W</mi><msub><mi>p</mi><mn>1</mn></msub></msub><mo>&times;</mo><msub><mi>W</mi><msub><mi>p</mi><mn>2</mn></msub></msub></mrow></munder><msub><mi>E</mi><mrow><msub><mi>p</mi><mn>1</mn></msub><msub><mi>q</mi><mn>1</mn></msub></mrow></msub><mo>&times;</mo><msub><mi>E</mi><mrow><msub><mi>p</mi><mn>2</mn></msub><msub><mi>q</mi><mn>2</mn></msub></mrow></msub></mrow></mfrac><mo>,</mo></mrow>其中p1為基準(zhǔn)圖像中任一像素點(diǎn)，p1的坐標(biāo)為d為候選視差范圍D內(nèi)的任一視差值，像素p2為p1在配準(zhǔn)圖像中對(duì)應(yīng)于視差d的候選匹配像素點(diǎn)，當(dāng)基準(zhǔn)圖像為左圖像時(shí)，p2的坐標(biāo)是當(dāng)基準(zhǔn)圖像為右圖像時(shí)，p2的坐標(biāo)是分別表示以像素點(diǎn)p1，p2為中心、大小為n×n的鄰域窗口，像素q1為窗口內(nèi)的任一鄰域像素點(diǎn)，坐標(biāo)為像素q2為窗口內(nèi)的與q1對(duì)應(yīng)的像素點(diǎn)，，當(dāng)基準(zhǔn)圖像為左圖像時(shí)，q2的坐標(biāo)是基準(zhǔn)圖像為右圖像時(shí)，q2的坐標(biāo)是和為根據(jù)步驟4.2.1求得的權(quán)重系數(shù)，S(q1，q2)為對(duì)應(yīng)像素對(duì)(q1，q2)的差異度；步驟4.2.3計(jì)算初始視差值對(duì)每個(gè)像素計(jì)算匹配代價(jià)最小的視差值d0(p1)其中p1為基準(zhǔn)圖像中的任一像素點(diǎn)，D為候選視差范圍，dmin和dmax為最小視差和最大視差，C(p1，d)是根據(jù)步驟4.2.1計(jì)算得到的匹配代價(jià)；匹配代價(jià)最小的視差值d0(p1)為像素p1的初始匹配視差結(jié)果；步驟4.2.4建立初始視差圖像建立初始視差圖像D0D0(i，j)＝d0(pij)，其中i和j分別為視差圖像像素點(diǎn)的橫坐標(biāo)和縱坐標(biāo)，pij是基準(zhǔn)圖像中坐標(biāo)為(i，j)的像素點(diǎn)，d0(pij)為步驟4.2.3中計(jì)算得到的pij的初始匹配視差結(jié)果；如果基準(zhǔn)圖像為左圖像Il，將初始視差圖D0賦值給初始左視差圖Dl0，如果基準(zhǔn)圖像為右圖像Ir，將初始視差圖D0賦值給初始右視差圖Dr0；步驟5像素可靠度標(biāo)記步驟5.1匹配代價(jià)可信度檢驗(yàn)將左圖像Il所有像素按照匹配代價(jià)可信度分類，可信度較高的集合記為Mhc，可信度較低的集合為記為Mlc左圖像Il中的任一像素pl匹配代價(jià)可信度為r(pl)Cmin1為pl初始匹配視差結(jié)果對(duì)應(yīng)的匹配代價(jià)，即最小匹配代價(jià)值，而Cmin2為pl的第二小的匹配代價(jià)，然后設(shè)定閾值dist，當(dāng)r(pl1)＞dist時(shí)，pl的匹配結(jié)果可信度為較高，pl∈Mhc，否則可信度為較低，pl∈Mlc，其中閾值dist取0.04；步驟5.2左右一致性校驗(yàn)對(duì)于左圖像中的任一像素pl，坐標(biāo)為pl的初始視差結(jié)果在右圖像中對(duì)應(yīng)的匹配像素pr的坐標(biāo)為根據(jù)步驟4得到的初始右視差圖像Dr0得到像素pr的初始視差結(jié)果如果d1＝d2，則像素pl通過左右一致性校驗(yàn)，記為pl∈Mac，否則，像素pl未通過左右一致性校驗(yàn)，記為pl∈Mbc，其中Mac和Mbc分別為通過左右一致性校驗(yàn)的集合和未通過左右一致性校驗(yàn)的集合；步驟5.3像素可靠度系數(shù)標(biāo)記根據(jù)步驟5.1和5.2的結(jié)果對(duì)左圖像中每個(gè)像素標(biāo)記可靠度系數(shù)Con(pl)<mrow><mi>Con</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>l</mi></msub><mo>)</mo></mrow><mo>=</mo><mfencedopen='{'close=''><mtable><mtr><mtd><mn>4</mn><mo>,</mo></mtd><mtd><mi>if</mi></mtd><mtd><msub><mi>p</mi><mi>l</mi></msub><mo>&Element;</mo><msub><mi>M</mi><mi>hc</mi></msub><mo>&cap;</mo><msub><mi>M</mi><mi>ac</mi></msub></mtd></mtr><mtr><mtd><mn>3</mn><mo>,</mo></mtd><mtd><mi>if</mi></mtd><mtd><msub><mi>p</mi><mi>l</mi></msub><mo>&Element;</mo><msub><mi>M</mi><mi>lc</mi></msub><mo>&cap;</mo><msub><mi>M</mi><mi>ac</mi></msub></mtd></mtr><mtr><mtd><mn>2</mn><mo>,</mo></mtd><mtd><mi>if</mi></mtd><mtd><msub><mi>p</mi><mi>l</mi></msub><mo>&Element;</mo><msub><mi>M</mi><mi>hc</mi></msub><mo>&cap;</mo><msub><mi>M</mi><mi>bc</mi></msub></mtd></mtr><mtr><mtd><mn>1</mn><mo>,</mo></mtd><mtd><mi>if</mi></mtd><mtd><msub><mi>p</mi><mi>l</mi></msub><mo>&Element;</mo><msub><mi>M</mi><mi>lc</mi></msub><mo>&cap;</mo><msub><mi>M</mi><mi>bc</mi></msub></mtd></mtr></mtable></mfenced></mrow>其中pl為左圖像中的任一像素，Con(pl)為pl的可靠度系數(shù)；步驟6圖像分割用MeanShift算法對(duì)左圖像進(jìn)行分割，對(duì)每個(gè)像素標(biāo)記所屬的分割區(qū)域S(pl)，其中pl為左圖像中任一像素，S(pl)為像素pl所屬的區(qū)域標(biāo)號(hào)；步驟7全局優(yōu)化步驟7.1像素平滑代價(jià)計(jì)算計(jì)算左圖像中每個(gè)像素與該像素的上下左右四個(gè)鄰域像素之間的相對(duì)于視察范圍D內(nèi)所有視差值的平滑代價(jià)J(pl，ql，dp，dq)J(pl，ql，dp，dq)＝min{|dpdq|，|dmaxdmin|/8}，其中pl為左圖像中的任一像素，ql為像素pl的任一四鄰域像素，dp和dq分別為像素pl和ql的在視差范圍D內(nèi)的任一視差，dmax和dmin為最大視差和最小視差；步驟7.2計(jì)算像素節(jié)點(diǎn)的置信度消息迭代計(jì)算置信度消息，t為迭代的次數(shù)，初始值為0，當(dāng)t＝50時(shí)停止迭代，每一次迭代的計(jì)算過程為t次迭代時(shí)，對(duì)左圖像中每個(gè)像素節(jié)點(diǎn)計(jì)算下一次迭代時(shí)該像素向四鄰域像素傳播的，相對(duì)于視差范圍D內(nèi)每一個(gè)視差值的置信度消息<mrow><msup><msub><mi>M</mi><mrow><msub><mi>p</mi><mi>l</mi></msub><msub><mi>q</mi><mi>l</mi></msub></mrow></msub><mi>t</mi></msup><mrow><mo>(</mo><mi>d</mi><mo>)</mo></mrow><mo>=</mo><munder><mi>min</mi><mrow><msub><mi>d</mi><mi>x</mi></msub><mo>&Element;</mo><mi>D</mi></mrow></munder><mrow><mo>(</mo><mi>C</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>l</mi></msub><mo>,</mo><mi>d</mi><mo>)</mo></mrow><mo>+</mo><munder><mi>&Sigma;</mi><mrow><msub><mi>q</mi><mi>s</mi></msub><mo>&Element;</mo><msub><mi>N</mi><mn>1</mn></msub><mrow><mo>(</mo><msub><mi>p</mi><mi>l</mi></msub><mo>)</mo></mrow><mo>\</mo><msub><mi>q</mi><mi>l</mi></msub></mrow></munder><msup><msub><mi>M</mi><mrow><msub><mi>q</mi><mi>s</mi></msub><msub><mi>p</mi><mi>l</mi></msub></mrow></msub><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msup><mrow><mo>(</mo><msub><mi>d</mi><mi>x</mi></msub><mo>)</mo></mrow><mo>+</mo><mi>J</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>l</mi></msub><mo>,</mo><msub><mi>q</mi><mi>l</mi></msub><mo>,</mo><msub><mrow><mi>d</mi><mo>,</mo><mi>d</mi></mrow><mi>x</mi></msub><mo>)</mo></mrow><mo>)</mo></mrow><mo>,</mo></mrow>其中pl為左圖像中任一像素，ql為像素pl的任意一個(gè)四鄰域像素，D為步驟4.1中定義的視差范圍，d為D內(nèi)的任一視差值，C(pl，d)為步驟4.2.2中計(jì)算得到的匹配代價(jià)，dx為視差范圍D內(nèi)的任一視差值，J(pl，ql，d，dx)為步驟7.1求得的平滑代價(jià)，為t1次迭代求得的從像素qs向pl傳播的視差為dx的置信度消息，t＝1時(shí)為0，dx為視差范圍D內(nèi)的任一視差值，qx為像素pl的選擇性鄰域N1(pl)內(nèi)、不同于像素ql的任一像素，所述的選擇性鄰域N1(pl)為N1(pl)＝{qf|qf∈N(pl)，Con(qf)≥Con(pl)andS(qf)＝S(pl)}，式中N1(pl)為像素pl的上下左右四鄰域，Con(qf)和Con(pl)為步驟5.3中標(biāo)記的可靠度系數(shù)，S(qf)和S(pl)為步驟6中求得的像素qf和pl所屬的分割區(qū)域標(biāo)號(hào)；步驟7.3計(jì)算左圖像中每個(gè)像素點(diǎn)相對(duì)于所有可能視差的置信度b(pl，d)其中pl為左圖像中的任一像素，d為D內(nèi)的任一視差值，C(pl，d)為步驟4.2.2得到的匹配代價(jià)，為第50次迭代計(jì)算得到的從像素ps向pl傳播的視差為d的置信度消息，ps為N1(pl)內(nèi)的任一像素，N1(pl)為步驟7.2中定義的pl的選擇性鄰域；步驟7.4計(jì)算視差圖像根據(jù)每個(gè)像素的置信度計(jì)算最優(yōu)視差值d(pl)<mrow><mi>d</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>l</mi></msub><mo>)</mo></mrow><mo>=</mo><munder><mrow><mi>arg</mi><mi></mi><mi>min</mi></mrow><mrow><mi>d</mi><mo>&Element;</mo><mi>D</mi></mrow></munder><mi>b</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>l</mi></msub><mo>,</mo><mi>d</mi><mo>)</mo></mrow><mo>,</mo></mrow>其中pl為左圖像中的任一像素，b(pl，d)為步驟7.3計(jì)算得到的置信度，D為視差范圍，d為視察范圍D內(nèi)的任一視差值；根據(jù)左圖像中每個(gè)像素的最優(yōu)視差建立最終視差圖像DoutDout(x，y)＝d(pxy)，其中x和y分別為視差圖像Dout像素點(diǎn)的橫坐標(biāo)和縱坐標(biāo)，pxy是基準(zhǔn)圖像中坐標(biāo)為(x，y)的像素點(diǎn)，d(pxy)為pxy的最優(yōu)視差值；步驟8重建目標(biāo)物的三維信息根據(jù)步驟2得到的攝像機(jī)內(nèi)外參數(shù)矩陣AL、AR和[RLtL]、[RRtR]，以及步驟7得到的視差圖Dout，通過空間交匯法計(jì)算得到整個(gè)目標(biāo)物的三維點(diǎn)云模型。FSA00000299141500023.tif,FSA00000299141500024.tif,FSA00000299141500025.tif,FSA00000299141500026.tif,FSA00000299141500027.tif,FSA00000299141500028.tif,FSA00000299141500029.tif,FSA000002991415000210.tif,FSA000002991415000211.tif,FSA000002991415000212.tif,FSA000002991415000213.tif,FSA00000299141500031.tif,FSA00000299141500032.tif,FSA00000299141500033.tif,FSA00000299141500034.tif,FSA00000299141500035.tif,FSA00000299141500041.tif,FSA00000299141500043.tif,FSA00000299141500051.tif,FSA00000299141500052.tif,FSA00000299141500053.tif,FSA00000299141500054.tif全文摘要一種基于立體匹配的彩色圖像三維重建方法(1)使用兩臺(tái)彩色攝像機(jī)從合適角度同時(shí)各拍攝一幅圖像；(2)分別對(duì)兩臺(tái)攝像機(jī)的內(nèi)、外參數(shù)矩陣進(jìn)行標(biāo)定；(3)根據(jù)標(biāo)定數(shù)據(jù)進(jìn)行對(duì)極線校正、圖像變換；(4)運(yùn)用自適應(yīng)權(quán)重窗口算法為校正后的兩幅圖像中每個(gè)像素點(diǎn)計(jì)算匹配代價(jià)并獲取初始視差圖；(5)采用匹配代價(jià)可信度檢測(cè)和左右一致性校驗(yàn)標(biāo)記像素初始匹配結(jié)果的可靠度系數(shù)；(6)通過Mean-Shift算法對(duì)圖像彩色分割；(7)以彩色分割和像素可靠度分類結(jié)果為基礎(chǔ)的具有選擇性的置信度傳播算法進(jìn)行全局優(yōu)化，得到最終的視差圖(8)根據(jù)標(biāo)定數(shù)據(jù)和匹配關(guān)系計(jì)算圖像上實(shí)際物點(diǎn)的三維坐標(biāo)，從而重建出物體的三維點(diǎn)云。文檔編號(hào)G06T7/00GK101976455SQ20101050398公開日2011年2月16日申請(qǐng)日期2010年10月8日優(yōu)先權(quán)日2010年10月8日發(fā)明者曹云云,達(dá)飛鵬申請(qǐng)人:東南大學(xué)