一種主動(dòng)結(jié)構(gòu)光的雙目深度感知方法
【專利摘要】本發(fā)明提供了一種主動(dòng)結(jié)構(gòu)光的雙目深度感知方法，采用編碼圖案投射器投射出編碼圖案，對投射空間或目標(biāo)物體進(jìn)行結(jié)構(gòu)光編碼(特征標(biāo)定)，再利用同一基線上、左右對稱地排列在投射器兩側(cè)的兩個(gè)攝像頭獲取編碼圖案，通過預(yù)處理和投射陰影檢測，按圖像塊進(jìn)行兩種模式的塊匹配運(yùn)動(dòng)估計(jì)(雙目塊匹配和自匹配)，求出最優(yōu)匹配塊的偏移量，按深度計(jì)算公式求出深度值，并對投射陰影進(jìn)行深度補(bǔ)償，生成高分辨率、高精度的深度信息。本發(fā)明結(jié)合了雙目立體測距和主動(dòng)結(jié)構(gòu)光編碼的優(yōu)點(diǎn)，可大幅提升深度測量的精度和空間分辨率，且易于硬件實(shí)現(xiàn)。
【專利說明】一種主動(dòng)結(jié)構(gòu)光的雙目深度感知方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理、人機(jī)交互和機(jī)器視覺【技術(shù)領(lǐng)域】，具體涉及一種主動(dòng)結(jié)構(gòu)光的雙目深度感知方法。
【背景技術(shù)】
[0002]視覺是人類觀察與認(rèn)知世界最直接、最主要的途徑。我們生活在一個(gè)三維世界中，人類視覺不僅能感知物體表面的亮度、顏色、紋理信息，運(yùn)動(dòng)情況，而且能判斷其形狀、空間及空間位置(深度、距離)。如何讓機(jī)器視覺能實(shí)時(shí)獲得高精度的三維深度信息、提高機(jī)器的智能水平是當(dāng)前機(jī)器視覺系統(tǒng)研究的難點(diǎn)。
[0003]深度感知技術(shù)和裝置在工業(yè)領(lǐng)域，高分辨率、高精度的三維深度信息在汽車輔助安全駕駛、高速機(jī)床加工、工業(yè)建模、3D打印、醫(yī)療成像、物聯(lián)網(wǎng)3D視覺感知等領(lǐng)域有著廣泛的應(yīng)用需求。在消費(fèi)電子領(lǐng)域，深度感知技術(shù)和裝置有助于提高電子產(chǎn)品的智能水平和交互能力，可為用戶帶來全新的人機(jī)交互體驗(yàn)，在智能電視、智能手機(jī)、家電、平板PC等實(shí)現(xiàn)創(chuàng)新應(yīng)用。
[0004]深度感知技術(shù)大致可分為被動(dòng)式和主動(dòng)式。傳統(tǒng)的雙目立體視覺測距一種被動(dòng)式測距方法，其受環(huán)境光影響大、立體匹配過程復(fù)雜。主動(dòng)式測距方法主要有結(jié)構(gòu)光編碼和ToF兩種方法。其中基于結(jié)構(gòu)光編碼的主動(dòng)視覺模式可以較為準(zhǔn)確地獲取圖像深度信息，且不受環(huán)境光影響、立體匹配過程簡單。如微軟體感交互設(shè)備Kinect，2013年美國蘋果公司新申請的發(fā)明專利“Depth Perception Device and System,深度感知設(shè)備與系統(tǒng)”,2014年美國英特爾公司發(fā)布的一款深度攝像裝置，都是主動(dòng)發(fā)射激光計(jì)算深度距離。當(dāng)前微軟、蘋果、英特爾開發(fā)的深度感知裝置都采用單一的攝像頭接收模式，主要適用于消費(fèi)類電子，在深度圖分辨率、精度、適用范圍等方面難以滿足汽車輔助安全、工業(yè)、3D打印等領(lǐng)域的需求。其中，立體匹配計(jì)算過程深受光照、紋理、遮擋等因素的影響，存在較多誤差、計(jì)算量大、實(shí)時(shí)生成深度圖困難。

【發(fā)明內(nèi)容】

[0005]鑒于此，本發(fā)明提供了一種主動(dòng)結(jié)構(gòu)光的雙目深度感知方法，基于結(jié)構(gòu)光編碼的主動(dòng)視覺模式，先采用編碼圖案投射器(激光散斑投射器或其它投影裝置)投射出編碼圖案，對投射空間或目標(biāo)物體進(jìn)行結(jié)構(gòu)光編碼，再利用與編碼圖案投射器在同一基線上、分別位于編碼圖案投射器兩側(cè)、且等距的兩個(gè)攝像頭獲取所投射的編碼圖案，然后通過兩種塊匹配模式計(jì)算出運(yùn)動(dòng)向量，最后進(jìn)行深度計(jì)算和深度補(bǔ)償，生成高分辨率、高精度的圖像深度信息(距離)。
[0006]根據(jù)本發(fā)明的一種主動(dòng)結(jié)構(gòu)光的雙目深度感知方法，包括:
[0007]步驟1、采用結(jié)構(gòu)光編碼的主動(dòng)視覺模式，利用編碼圖案投射器投射出編碼圖案，對投射空間進(jìn)行結(jié)構(gòu)光編碼，即主動(dòng)進(jìn)行特征標(biāo)定；
[0008]步驟2、雙目攝像頭采集、固化各自的參考編碼圖案Rp艮；[0009]步驟3、雙目攝像頭各自采集含編碼圖案的輸入圖像Ip Ir，并對輸入圖像Ir進(jìn)行預(yù)處理；
[0010]步驟4、對預(yù)處理后的輸入圖像I1、Ir分別進(jìn)行目標(biāo)物體投射陰影區(qū)域的檢測，分別標(biāo)記為H
[0011]步驟5、利用兩種模式的塊匹配運(yùn)動(dòng)估計(jì)分別生成偏移量，即運(yùn)動(dòng)向量，其中，利用輸入圖像I1Ur互相之間的雙目塊匹配計(jì)算，得到X軸方向偏移量AXl,r或Y軸方向偏移量Δy1,r;利用輸入圖像IpIr與其對應(yīng)的參考編碼圖案RpRr之間的塊匹配計(jì)算，得到X軸方向偏移量ΔΧι> Δ Xr或Y軸方向偏移量Ay1, Ayr ；
[0012]步驟6、進(jìn)行深度計(jì)算，包括:
[0013](6a)選擇偏移量Δ Xl, ^或Δ Yl, r,結(jié)合攝像頭圖像傳感器焦距f、兩個(gè)攝像頭之間的基線距離2S和攝像頭圖像傳感器點(diǎn)距參數(shù)μ，根據(jù)深度計(jì)算公式計(jì)算得到投射圖像塊blockmXn中心點(diǎn)ο的深度信息(I1,r ；
[0014](6b)選擇偏移量Δ Χι、Δ \或Ay1、Δ、，結(jié)合參考編碼圖案的已知距離參數(shù)d、攝像頭圖像傳感器焦距f、攝像頭到編碼圖案投射器的基線距離S和攝像頭圖像傳感器點(diǎn)距參數(shù)μ，根據(jù)深度計(jì)算公式分別得到輸入圖像ip Ir中對應(yīng)同一位置的投射圖像塊blockmXn中心點(diǎn)ο的深度信息屯、dr ；
[0015]步驟7、進(jìn)行深度補(bǔ)償:利用深度信息屯、dr結(jié)合步驟4檢測出來的投射陰影區(qū)域A1, Ar對深度信息Cl1, r進(jìn)行補(bǔ)償和修正，輸出投射圖像塊Wockmxn中心點(diǎn)ο的最終深度值
H <
uOUt ?
[0016]步驟8、將投射圖像塊的中心點(diǎn)ο移到同一行的下一個(gè)像素點(diǎn)，重復(fù)步驟5-7，計(jì)算得到下一個(gè)像素點(diǎn)對應(yīng)的深度值，如此按逐行從左向右、從上往下的計(jì)算順序，逐點(diǎn)計(jì)算得到整幅圖像深度信息。
[0017]本發(fā)明結(jié)合雙目立體測距和主動(dòng)結(jié)構(gòu)光編碼的優(yōu)勢，大幅提高了深度測距的精度和空間分辨率。采用本發(fā)明技術(shù)方案的有益效果還將通過以下實(shí)施例的闡述而得到具體的體現(xiàn)。
【專利附圖】

【附圖說明】
[0018]圖1是本發(fā)明實(shí)施例的主動(dòng)結(jié)構(gòu)光的雙目深度感知方法流程圖；
[0019]圖2是本發(fā)明實(shí)施例的雙目攝像頭的結(jié)構(gòu)示意圖；
[0020]圖3是本發(fā)明實(shí)施例的編碼圖像投射器和雙目攝像頭視場及投射陰影的示意圖；
[0021]圖4是本發(fā)明實(shí)施例的雙目攝像頭深度感知計(jì)算模塊結(jié)構(gòu)圖；
[0022]圖5是本發(fā)明實(shí)施例的輸入圖像塊與搜尋最優(yōu)匹配塊的示意圖；
[0023]圖6是本發(fā)明實(shí)施例的雙目塊匹配深度計(jì)算示意圖；
[0024]圖7是本發(fā)明實(shí)施例的雙目攝像頭視場融合的示意圖。
【具體實(shí)施方式】
[0025]下面結(jié)合具體實(shí)施例對本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說明。
[0026]總體而言，本發(fā)明實(shí)施例的主動(dòng)結(jié)構(gòu)光的雙目深度感知方法，是基于結(jié)構(gòu)光編碼的主動(dòng)視覺模式，采用編碼圖案投射器(激光散斑投射器或其它投影裝置)投射出編碼圖案，對投射空間或目標(biāo)物體進(jìn)行結(jié)構(gòu)光編碼，再利用與編碼圖案投射器在同一基線上、分別位于編碼圖案投射器兩側(cè)、且等距的兩個(gè)攝像頭獲取所投射的編碼圖案，然后通過兩種塊匹配模式計(jì)算出運(yùn)動(dòng)向量，最后進(jìn)行深度計(jì)算和深度補(bǔ)償，生成高分辨率、高精度的圖像深度信息(距離)。
[0027]圖1示意性圖示了本發(fā)明實(shí)施例的主動(dòng)結(jié)構(gòu)光的雙目深度感知方法的整體流程。為了清楚說明，下文中將結(jié)合圖2、圖3、圖4、圖5、圖6、圖7來描述該方法。
[0028]步驟1:編碼圖案投射器進(jìn)行空間編碼。采用結(jié)構(gòu)光編碼的主動(dòng)視覺模式，利用編碼圖案投射器(激光散斑投射器或投影裝置)投射出編碼圖案，對投射空間或目標(biāo)物體進(jìn)行結(jié)構(gòu)光編碼，即主動(dòng)進(jìn)行特征標(biāo)定。
[0029]所述的編碼圖案投射器可以是激光散斑投射器或其他投影裝置。優(yōu)選地，激光散斑投射器可以投射出的相干激光束(紅外、可見光、紫外線、不可見光)，激光束經(jīng)干涉成像和物體表面的漫反射形成由散斑點(diǎn)組成的散斑圖像，而投影裝置則可以投射出可控的編碼圖案。編碼圖案投射器所投射出的圖案一般是固定的，或采用一定的控制策略與攝像頭接收圖像的圖像傳感器進(jìn)行同步后改變其投射出的圖案；同一幅圖案在水平或垂直方向的一定范圍特征不重復(fù)或隨機(jī)分布。投射器所投射的視場角FoV(包括水平、垂直視場角)一般大于接收攝像頭的視場角FoV。
[0030]步驟2、雙目攝像頭采集、固化各自的參考編碼圖案H
[0031 ] 優(yōu)選地，雙目攝像頭是兩個(gè)性能指標(biāo)相同(相同的光學(xué)透鏡和圖像傳感器)、獨(dú)立的兩個(gè)攝像頭，且左右對稱、等距地排列在編碼圖案投射器的兩側(cè)，其光軸與編碼圖案投射器光軸平行、并處于同一基線上，接收其發(fā)出的一定波長范圍的編碼圖案，如圖2所示。攝像頭圖像傳感器焦距為f，攝像頭到編碼圖案投射器的基線距離為S，攝像頭圖像傳感器點(diǎn)距參數(shù)為μ。
[0032]在實(shí)際應(yīng)用中，可以根據(jù)不同的需求對兩個(gè)相機(jī)的基線進(jìn)行調(diào)整，也可采用兩個(gè)不同焦距或型號的相機(jī)，以滿足不同的功能。雙目攝像頭一般通過濾光片只接收一定波長范圍的投射器發(fā)出的圖像，最大程度地消除其它光源或光線的干擾，從而可清晰穩(wěn)定地接收編碼圖案投射器所投射的圖案。
[0033]在投入工作前，需先采集、固化雙目攝像頭各自的參考編碼圖案用于作為匹配比較的參考基準(zhǔn)。所述的參考編碼圖案是將編碼圖案投射器投射出編碼圖案到與該投射器的光學(xué)中心軸(Ζ軸)垂直、且距離投射器為d的平面上(該平面可由投影布、平板等構(gòu)成，用于呈現(xiàn)清晰穩(wěn)定的圖像，該平面可稱之為參考基準(zhǔn)平面)，由攝像頭采集得到靜態(tài)圖像，并經(jīng)圖像預(yù)處理后存儲固化在存儲器中用于匹配基準(zhǔn)和深度感知計(jì)算的標(biāo)準(zhǔn)圖案。優(yōu)選地，激光散斑投射器的參考編碼圖案是由多個(gè)散斑點(diǎn)組成、已知距離d的標(biāo)準(zhǔn)散斑圖。參考編碼圖案的獲取可以通過如上方式實(shí)現(xiàn)，這些方式僅用于說明上述實(shí)施例，并非限制上述實(shí)施例，因?yàn)楸绢I(lǐng)域技術(shù)人員也可以采用其他方式獲取參考圖案。
[0034]步驟3、雙目攝像頭各自采集含編碼圖案的輸入圖像Ip Ir,并對輸入圖像Ip Ir進(jìn)行預(yù)處理。
[0035]雙目攝像頭接收的含有編碼圖案的輸入圖像，可以含有目標(biāo)物體，其深度信息未知，但其在編碼圖案投射器照射和攝像頭接收的有效距離范圍內(nèi)。
[0036]所述的圖像預(yù)處理是對不同特性的輸入圖像進(jìn)行自適應(yīng)、一致性的處理，目的是通過輸入圖像的預(yù)處理，使圖案更清晰、減少誤匹配和噪聲干擾，并有利于本
【發(fā)明內(nèi)容】
的深度感知計(jì)算。優(yōu)選地，預(yù)處理方法包括視頻格式轉(zhuǎn)換(例如Bayer、ITU601、ITU656視頻解碼或MIPI接口格式轉(zhuǎn)換)、色度空間轉(zhuǎn)換(例如RGB轉(zhuǎn)YUV)、灰度圖像自適應(yīng)去噪和增強(qiáng)等，其中增強(qiáng)方法包括直方圖增強(qiáng)、灰度線性增強(qiáng)、二值化處理等，但不限于這些傳統(tǒng)的增強(qiáng)方法。參考編碼圖案及雙目攝像頭實(shí)時(shí)采集的輸入圖像都經(jīng)過相同的圖像預(yù)處理模塊。
[0037]步驟4、對預(yù)處理后的輸入圖像Ip Ir分別進(jìn)行目標(biāo)物體投射陰影區(qū)域的檢測，分別標(biāo)記為H
[0038]所述的投射陰影區(qū)域是由于編碼圖案投射器投射過程中由于目標(biāo)物體的邊緣遮擋，導(dǎo)致攝像頭接收的圖像在目標(biāo)物體邊緣處有陰影區(qū)域存在，即無編碼圖案存在的區(qū)域。如圖3所示投射陰影示意圖，左右攝像頭接收輸入圖像過程中由于目標(biāo)物體遮擋引起的投射陰影區(qū)域Ap
[0039]優(yōu)選地，投射陰影區(qū)域檢測方法為:在一定大小的輸入圖像塊內(nèi)檢測所包含的特征點(diǎn)個(gè)數(shù)，若檢測出的特征點(diǎn)個(gè)數(shù)小于預(yù)定閾值，則認(rèn)為該輸入圖像塊區(qū)域?yàn)橥渡潢幱皡^(qū)域。以激光散斑投射器為例，其投射出的編碼圖案為散斑點(diǎn)構(gòu)成的散斑圖像，可以在一定大小的輸入圖像塊內(nèi)檢測散斑點(diǎn)的個(gè)數(shù)，如散斑點(diǎn)個(gè)數(shù)小于一定的閾值，則認(rèn)為該輸入圖像塊區(qū)域?yàn)橥渡潢幱皡^(qū)域。本發(fā)明檢測投射陰影區(qū)域的方法不限于檢測激光散斑圖像，也適用于檢測其它編碼圖案的特征信息。一般地，不在編碼圖案投射器照射和攝像頭接收的有效距離范圍內(nèi)的區(qū)域也按投射陰影區(qū)域處理。
[0040]步驟5、利用兩種模式的塊匹 配運(yùn)動(dòng)估計(jì)分別生成偏移量，即運(yùn)動(dòng)向量，其中，利用輸入圖像I1Ur互相之間的雙目塊匹配計(jì)算，得到X軸方向偏移量AXl,r或Y軸方向偏移量Δy1,r ;利用輸入圖像IpIr與其對應(yīng)的參考編碼圖案RpRr之間的塊匹配計(jì)算，得到X軸方向偏移量ΔΧι> Λ Xr或Y軸方向偏移量Ay1, Ayr。
[0041]雙目攝像頭采集輸入圖像序列后，送入圖4所示的深度感知計(jì)算模塊，經(jīng)步驟3的預(yù)處理后，送入塊匹配運(yùn)動(dòng)估計(jì)模塊按兩種模式的塊匹配運(yùn)動(dòng)估計(jì)方法進(jìn)行匹配計(jì)算。
[0042]一種模式是輸入圖像I1' Ir互相之間的雙目塊匹配計(jì)算。具體為:
[0043]在輸入圖像I1中提取一定大小的輸入圖像塊K Wocknixn,中心點(diǎn)為O ;在輸入圖像Ir中提取跟輸入圖像塊中心點(diǎn)ο點(diǎn)位置對應(yīng)、一定范圍大小的匹配搜索窗MatchMXN，大小為MXN，M、N都是整數(shù)，可以相等或不相等，一般M≥N、M > m、N≥η ;然后在匹配搜索窗MatchMXN中提取所有跟輸入圖像塊一樣大小的匹配塊match,，大小為mXn，匹配塊中心點(diǎn)ok，k是整數(shù)，表示匹配塊個(gè)數(shù)。
[0044]接下來分別計(jì)算輸入圖像塊B' Wockmxn與k個(gè)匹配塊match,之間的相似度值match_valuek,該值作為圖像塊匹配的相似度測量指標(biāo)。
[0045]最后，在所有相似度值match_valuek中求最小值,該值對應(yīng)的匹配塊matchk即為圖像塊B' blockmXn擬搜尋的最優(yōu)匹配塊B,該最小值對應(yīng)的位置信息即為圖像塊blockmXn中心點(diǎn)ο的偏移量(Δ X1, r, Δ Y1, J ,即該輸入圖像塊B'的運(yùn)動(dòng)向量。如圖5所不,輸入圖像塊為輸入圖像I1中灰色表示區(qū)域，最優(yōu)匹配塊為輸入圖像Ir的匹配搜索窗中斜線表示區(qū)域，其中心點(diǎn)Ok與匹配搜索窗blockMXN中心點(diǎn)ο (該中心點(diǎn)ο與輸入圖像塊中心點(diǎn)ο位置對應(yīng))的最優(yōu)偏移量為(Ax1J, Ay1J)，分別表不Χ、y軸方向位移，偏移量值為匹配搜索窗中心點(diǎn)ο坐標(biāo)值(X，y)分別按X、Y軸減去最優(yōu)匹配塊中心點(diǎn)坐標(biāo)值U丨,y!)后取絕對值計(jì)算得到，用像素點(diǎn)個(gè)數(shù)表示。
[0046]另一種模式是輸入圖像Ip Ir與其對應(yīng)的參考編碼圖案RpRr之間的塊匹配計(jì)算。具體方法:如圖5所示，輸入圖像I1中提取輸入圖像塊B'，在其參考編碼圖案R1中搜尋與之最為匹配(即相似度最高)的圖像塊B;輸入圖像Ir中提取輸入圖像塊B'，在其參考編碼圖案Rr中搜尋與之最為匹配(即相似度最高)的圖像塊B;兩者搜索最優(yōu)塊匹配的方法同上一種模式的輸入圖像之間的雙目塊匹配運(yùn)動(dòng)估計(jì)方法，得到輸入圖像I1的輸入圖像塊與其最優(yōu)匹配塊的最優(yōu)偏移量(ΛΧι，Ay1)和輸入圖像Ir的輸入圖像塊與其最優(yōu)匹配塊的最優(yōu)偏移量(Λ\，Ayr) 0偏移量值為輸入圖像塊對應(yīng)的匹配搜索窗中心點(diǎn)O坐標(biāo)值(X，y)分別按X、Y軸減去最優(yōu)匹配塊中心點(diǎn)坐標(biāo)值(X' ,1')計(jì)算得到，用像素點(diǎn)個(gè)數(shù)表示，正負(fù)值在空間上對應(yīng)與參考圖案平面的前后關(guān)系。
[0047]優(yōu)選地，輸入圖像塊大小的選取是根據(jù)水平或垂直方向一定范圍內(nèi)該圖像塊具有相對的唯一性，即該圖像塊特征與其它相同大小的圖像塊特征不同，能與其它相同大小的圖像塊區(qū)分開來。
[0048]優(yōu)選地，本發(fā)明的相似度值計(jì)算方法采用輸入圖像塊與匹配塊對應(yīng)像素之間求差絕對之和(SAD)的方法，但不限于這種方法。
[0049]步驟6、進(jìn)行深度計(jì)算,包括:
[0050](6a)選擇偏移量Λ Xl, ^或Λ Yl, y，結(jié)合攝像頭圖像傳感器焦距f、兩個(gè)攝像頭之間的基線距離2S和攝像頭圖像傳感器點(diǎn)距參數(shù)μ，根據(jù)深度計(jì)算公式計(jì)算得到投射圖像塊Wockmxn中心點(diǎn)O的深度信息Cl1,r，如圖6所示的雙目攝像頭深度計(jì)算示意圖。
[0051] 其中，若雙目攝像頭與編碼圖案投射器水平排列，則選偏移量Λ Xl, ^ ;若雙目攝像頭與編碼圖案投射器垂直排列，則選偏移量Ay1,-
[0052]在本實(shí)施例中，按以下深度計(jì)算公式計(jì)算Cl1, r,以水平偏移量Λ X1, r作為輸入?yún)?shù)為例:
[0053]
【權(quán)利要求】
1.一種主動(dòng)結(jié)構(gòu)光的雙目深度感知方法，包括以下步驟: 步驟1、采用結(jié)構(gòu)光編碼的主動(dòng)視覺模式，利用編碼圖案投射器投射出編碼圖案，對投射空間進(jìn)行結(jié)構(gòu)光編碼，即主動(dòng)進(jìn)行特征標(biāo)定； 步驟2、雙目攝像頭采集、固化各自的參考編碼圖案R1、Rr ; 步驟3、雙目攝像頭各自采集含編碼圖案的輸入圖像Ip Ir,并對輸入圖像Ip Ir進(jìn)行預(yù)處理； 步驟4、對預(yù)處理后的輸入圖像Ip L分別進(jìn)行目標(biāo)物體投射陰影區(qū)域的檢測，分別標(biāo)記為A1'Ar ; 步驟5、利用兩種模式的塊匹配運(yùn)動(dòng)估計(jì)分別生成偏移量，即運(yùn)動(dòng)向量，其中，利用輸入圖像Ip Ir互相之間的雙目塊匹配計(jì)算，得到X軸方向偏移量AXl,r或Y軸方向偏移量Ay1,r;利用輸入圖像Ip Ir與其對應(yīng)的參考編碼圖案RpRr之間的塊匹配計(jì)算，得到X軸方向偏移量ΛΧι、Λ Xr或Y軸方向偏移量Ay1、Ayr ； 步驟6、進(jìn)行深度計(jì)算，包括: (6a)選擇偏移量Ax1,^或Ay1,r，結(jié)合攝像頭圖像傳感器焦距f、兩個(gè)攝像頭之間的基線距離2S和攝像頭圖像傳感器點(diǎn)距參數(shù)μ，根據(jù)深度計(jì)算公式計(jì)算得到投射圖像塊blockmXn中心點(diǎn)ο的深度信息(I1,r ； (6b)選擇偏移量ΛΧι、ΛΧ?或Ay1、Λ、，結(jié)合參考編碼圖案的已知距離參數(shù)d、攝像頭圖像傳感器焦距f、攝像頭到編碼圖案投射器的基線距離S和攝像頭圖像傳感器點(diǎn)距參數(shù)μ，根據(jù)深度計(jì)算公式分別得到輸入圖像1:、Ir中對應(yīng)同一位置的投射圖像塊Wockmxn中心點(diǎn)ο的深度信息屯、火； 步驟7、進(jìn)行深度補(bǔ)償:利用深度信息結(jié)合步驟4檢測出來的投射陰影區(qū)域H對深度信息Cl1,r進(jìn)行補(bǔ)償，輸出投射圖像塊Wockmxn中心點(diǎn)O的最終深度值CLt ; 步驟8、將投射圖像塊的中心點(diǎn)O移到同一行的下一個(gè)像素點(diǎn)，重復(fù)步驟5-7，計(jì)算得到下一個(gè)像素點(diǎn)對應(yīng)的深度值，如此按逐行從左向右、從上往下的計(jì)算順序，逐點(diǎn)計(jì)算得到整幅圖像深度信息。
2.根據(jù)權(quán)利要求1所述的方法，步驟2中，所述雙目攝像頭為兩個(gè)性能指標(biāo)相同、獨(dú)立的攝像頭，左右對稱、等距地排列在編碼圖案投射器的兩側(cè)，跟編碼圖案投射器處于同一基線上，接收其發(fā)出的一定波長范圍的編碼圖案。
3.根據(jù)權(quán)利要求1所述的方法，步驟2中，所述的參考編碼圖案是將編碼圖案投射器投射出編碼圖案到與該投射器的光學(xué)中心軸(Z軸)垂直、且距離投射器為d的平面上，由攝像頭采集得到靜態(tài)圖像，并經(jīng)圖像預(yù)處理后存儲固化在存儲器中用于匹配基準(zhǔn)和深度感知計(jì)算的標(biāo)準(zhǔn)圖案。
4.根據(jù)權(quán)利要求1所述的方法，步驟3中，預(yù)處理包括視頻格式轉(zhuǎn)換(例如Bayer、ITU601、ITU656視頻解碼或MIPI接口格式轉(zhuǎn)換)、色度空間轉(zhuǎn)換(例如RGB轉(zhuǎn)YUV)、灰度圖像自適應(yīng)去噪和增強(qiáng)。
5.根據(jù)權(quán)利要求1所述的方法，步驟4中，投射陰影區(qū)域檢測具體為:在一定大小的輸入圖像塊內(nèi)檢測所包含的特征點(diǎn)個(gè)數(shù)，若檢測出的特征點(diǎn)個(gè)數(shù)小于預(yù)定閾值，則認(rèn)為該輸入圖像塊區(qū)域?yàn)橥渡潢幱皡^(qū)域。
6.根據(jù)權(quán)利要求1所述的方法，步驟^a)中，若雙目攝像頭與編碼圖案投射器水平排列，則選偏移量Λ X1,r;若雙目攝像頭與編碼圖案投射器垂直排列，則選偏移量Ay1,r。
7.根據(jù)權(quán)利要求1所述的方法，步驟(6a)中，若選擇Ax1Y則深度計(jì)算公式為:
8.根據(jù)權(quán)利要求1所述的方法，步驟^b)中，若雙目攝像頭與編碼圖案投射器水平排列，則選偏移量ΔΧ1、Δ Xr;若雙目攝像頭與編碼圖案投射器垂直排列，則選偏移量Ay1、Δyrο
9.根據(jù)權(quán)利要求1所述的方法，步驟(6a)中，若選擇ΔΧ1、Δ Xr,則深度計(jì)算公式為:
10.根據(jù)權(quán)利要求1所述的方法，步驟(7)中，深度補(bǔ)償具體為: 如投射圖像塊的中心點(diǎn)ο落在左視圖非交叉區(qū)域，則選擇Cl1作為dout輸出； 如投射圖像塊的中心點(diǎn)O落在右視圖非交叉區(qū)域，則選擇4作為dout輸出； 如投射圖像塊的中心點(diǎn)O落在左右視圖的交叉區(qū)域，對于非投射陰影區(qū)域，如d1-dr≤th1,
【文檔編號】H04N13/04GK103796004SQ201410050675
【公開日】2014年5月14日 申請日期:2014年2月13日 優(yōu)先權(quán)日:2014年2月13日
【發(fā)明者】葛晨陽, 鄭南寧, 姚慧敏, 周艷輝, 倫建坤 申請人:西安交通大學(xué)