基于深度相機(jī)與雙目視覺(jué)復(fù)合的三維成像系統(tǒng)及成像方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種=維成像系統(tǒng)，尤其設(shè)及一種基于深度相機(jī)與雙目視覺(jué)復(fù)合的= 維成像系統(tǒng)及成像方法。
[0002] 背景介紹
[0003] =維成像技術(shù)因其可W探測(cè)場(chǎng)景內(nèi)物體的形狀W及相對(duì)位置等信息，現(xiàn)已越來(lái)越 廣泛應(yīng)用于社會(huì)各領(lǐng)域，如航空航天、測(cè)繪、機(jī)器人導(dǎo)航、影視制作等。當(dāng)前，主動(dòng)式深度相 機(jī)和被動(dòng)式雙目立體視覺(jué)技術(shù)是獲取場(chǎng)景=維圖像的兩種主要技術(shù)手段。本文在實(shí)驗(yàn)室項(xiàng) 目組W往研究成果的基礎(chǔ)上，對(duì)深度相機(jī)與雙目立體視覺(jué)復(fù)合=維成像技術(shù)進(jìn)行研究，W 期結(jié)合兩種技術(shù)的各自優(yōu)勢(shì)實(shí)現(xiàn)近距離處快速、高精度場(chǎng)景=維探測(cè)。目前實(shí)現(xiàn)=維成像 的方法主要有飛行世間法和雙目視覺(jué)法。
[0004] 飛行時(shí)間法是利用脈沖光源，通過(guò)測(cè)量光信號(hào)在物體之間的傳播時(shí)間獲得其相對(duì) 距離，運(yùn)種方法可W達(dá)到比較高的測(cè)量精度和成像分辨率。 陽(yáng)〇化]雙目視覺(jué)法，即是=角測(cè)距法，運(yùn)種方法測(cè)量系統(tǒng)的兩個(gè)攝像機(jī)從不同的角度對(duì) 同一場(chǎng)景進(jìn)行拍攝，獲取該場(chǎng)景的兩張含有視差信息的數(shù)字圖像。通過(guò)立體匹配確定場(chǎng)景 中同一點(diǎn)在兩幅圖像中的坐標(biāo)位置，根據(jù)兩攝像機(jī)的相對(duì)位置，利用=角關(guān)系即可計(jì)算該 點(diǎn)的空間S維坐標(biāo)。
[0006] 上述方法中，第一種方法成本低，成像速度快，分辨率較高，但其探測(cè)距離和精度 受到有較大的局限。第二種方法雖然在近距離成像精度高，但是只限于近距離，而且=維圖 像恢復(fù)算法復(fù)雜，計(jì)算量大，不容易實(shí)現(xiàn)高速成像。
[0007] 將深度相機(jī)與雙目立體視覺(jué)技術(shù)進(jìn)行融合，利用兩種技術(shù)的各自優(yōu)勢(shì)實(shí)現(xiàn)快速、 高精度的=維測(cè)量是當(dāng)前檢測(cè)領(lǐng)域的研究熱點(diǎn)之一。深度相機(jī)和雙目立體視覺(jué)的融合，根 據(jù)方法的不同可W分為兩種類型，后融合和先融合。后融合是指分別利用深度相機(jī)和雙目 立體視覺(jué)技術(shù)獲取同一場(chǎng)景的=維數(shù)據(jù)，然后對(duì)場(chǎng)景中的不同區(qū)域根據(jù)兩種技術(shù)的優(yōu)缺點(diǎn) 進(jìn)行數(shù)據(jù)級(jí)的融合，W使系統(tǒng)最終輸出的=維數(shù)據(jù)更加準(zhǔn)確。先融合是指將深度相機(jī)的數(shù) 據(jù)作為先驗(yàn)知識(shí)融入雙目立體視覺(jué)的匹配算法中，對(duì)立體匹配進(jìn)行先驗(yàn)約束，W簡(jiǎn)化立體 匹配過(guò)程。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的局限和不足，結(jié)合深度相機(jī)和雙目視覺(jué)相機(jī)， 提供一種基于深度相機(jī)與雙目視覺(jué)復(fù)合的=維成像系統(tǒng)及成像方法，W實(shí)現(xiàn)高分辨、高精 度、高速成像。
[0009] 本發(fā)明的目的是通過(guò)W下技術(shù)方案實(shí)現(xiàn)的：一種基于深度相機(jī)與雙目視覺(jué)復(fù)合的 =維成像系統(tǒng)，它包括：一臺(tái)雙模相機(jī)、一臺(tái)普通相機(jī)、數(shù)據(jù)處理器和顯示終端；雙模相機(jī)、 普通相機(jī)和顯示終端均與數(shù)據(jù)處理器相連；所述雙模相機(jī)包括多個(gè)窄脈沖激光光源、光帶 通濾波器、圖像傳感器、電子快口和成像物鏡；其中，窄脈沖激光光源和圖像傳感器均與數(shù) 據(jù)處理器相連；成像物鏡、光帶通濾波器、圖像傳感器依次排列于同一光路上，窄脈沖激光 光源固定在成像物鏡上；電子快口與圖像傳感器相連。
[0010] 一種=維成像方法，包括W下步驟：
[0011] (1)雙模相機(jī)采用深度相機(jī)工作模式采集T0F深度圖像，具體為：窄脈沖激光光源 向前方物體發(fā)射光脈沖串，光脈沖串經(jīng)物體反射后，依次經(jīng)過(guò)成像物鏡、光帶通濾波器，被 圖像傳感器感光；數(shù)據(jù)處理器通過(guò)電子快口控制圖像傳感器在曝光時(shí)間內(nèi)成像，并對(duì)圖像 進(jìn)行處理，獲得T0F深度圖像；
[0012] (2)雙模相機(jī)和普通相機(jī)同時(shí)采集普通視圖圖像：雙模相機(jī)采用普通相機(jī)工作模 式采集普通視圖圖像：脈沖激光光源不工作，使用環(huán)境光進(jìn)行照明，圖像傳感器獲得場(chǎng)景的 普通灰度視圖，數(shù)據(jù)處理器對(duì)普通灰度視圖進(jìn)行處理，獲得普通視圖圖像；同時(shí)，普通相機(jī) 采集普通視圖圖像。
[0013] (3)針對(duì)步驟2中雙模相機(jī)和普通相機(jī)獲得的普通視圖圖像，數(shù)據(jù)處理器在T0F深 度圖像的視差捜索范圍內(nèi)約束引導(dǎo)完成雙目立體匹配，獲得雙目視差圖；雙目匹配過(guò)程中， 利用雙模相機(jī)采用深度相機(jī)工作模式獲得的T0F深度圖像作為約束條件，利用Census變換 方法計(jì)算此約束條件下兩個(gè)普通視圖圖像之間的灰度的聯(lián)合概率分布，并W灰度的聯(lián)合概 率的對(duì)數(shù)作為相似性測(cè)度函數(shù)，兩個(gè)普通視圖圖像中，相似性最高的像素點(diǎn)為匹配點(diǎn)。
[0014] 所述約束條件為：雙目匹配過(guò)程W任意一副普通視圖圖像為參考視圖，像素點(diǎn) P(i，j)對(duì)應(yīng)于深度相機(jī)獲得的T0F深度圖像的T0F距離為Z，則該點(diǎn)視差捜索范圍的兩個(gè) 邊界值可表示為：
陽(yáng)017] 其中，B為雙模相機(jī)和普通相機(jī)物鏡的中屯、軸之間的距離，F(xiàn)為雙模相機(jī)和普通相 機(jī)的等效焦距，5為雙模相機(jī)在深度相機(jī)模式下的測(cè)距精度。
[0018] (4)針對(duì)雙目視差圖中的無(wú)效區(qū)域，用T0F深度圖像中的對(duì)應(yīng)部分進(jìn)行對(duì)填充，生 成場(chǎng)景=維圖像；所述無(wú)效區(qū)域?yàn)椋弘p目視差圖中與無(wú)視差區(qū)域相對(duì)應(yīng)的區(qū)域，無(wú)視差區(qū) 域?yàn)閮蓚€(gè)普通視圖圖像中，無(wú)視差的區(qū)域。
[0019] 本發(fā)明的有益效果是，若沒(méi)有深度相機(jī)獲得的深度圖像的約束，則像素P(i，j)對(duì) 應(yīng)的視差捜索范圍為[0，w-j]，其中W為圖像的像素寬度。根據(jù)上式和深度相機(jī)獲得的T0F 深度圖像，可計(jì)算待匹配視圖中每一個(gè)像素的視差捜索范圍，在此約束下進(jìn)行雙目匹配可 W有效加速匹配過(guò)程并減小匹配誤差。同時(shí)可W實(shí)現(xiàn)高分辨、高精度、高速成像的=維成像 系統(tǒng)。
【附圖說(shuō)明】
[0020] 圖1是某環(huán)境下場(chǎng)景實(shí)驗(yàn)效果圖；
[0021] 圖2是雙目視覺(jué)匹配結(jié)果圖；
[0022] 圖3是雙目匹配無(wú)效區(qū)域填充后場(chǎng)景1對(duì)應(yīng)深度圖像；
[0023] 圖4是深度相機(jī)與雙目視覺(jué)系統(tǒng)結(jié)合原理示意圖；
[0024] 圖5是S維成像系統(tǒng)的結(jié)構(gòu)原理示意圖； 陽(yáng)0巧]圖6是雙模相機(jī)的結(jié)構(gòu)原理示意圖；
[0026] 圖7是雙目相機(jī)系統(tǒng)工作流程不意圖；
[0027] 圖中：窄脈沖激光光源1、光帶通濾波器2、圖像傳感器3、電子快口 4、成像物鏡5、 數(shù)據(jù)處理器6。
【具體實(shí)施方式】
[0028] 下面結(jié)合附圖詳細(xì)描述本發(fā)明。
[0029] 如同5所示，一種基于深度相機(jī)與雙目視覺(jué)復(fù)合的=維成像系統(tǒng)，它包括：一臺(tái)雙 模相機(jī)、一臺(tái)普通相機(jī)、數(shù)據(jù)處理器6和顯示終端；雙模相機(jī)、普通相機(jī)和顯示終端均與數(shù) 據(jù)處理器6相連；如圖6所示，所述雙模相機(jī)包括多個(gè)窄脈沖激光光源1、光帶通濾波器2、 圖像傳感器3、電子快口 4、成像物鏡5;其中，窄脈沖激光光源1是由能產(chǎn)生微秒納秒級(jí)光 脈沖的