一種三維深度感知設(shè)備的制造方法
【專利摘要】本實(shí)用新型公開了一種三維深度感知設(shè)備，所述設(shè)備包括紅外激光編碼圖案投射器、紅外攝像頭、RGB攝像頭、三維深度感知專用芯片、存儲(chǔ)器、壓縮編碼USB驅(qū)動(dòng)模塊；所述紅外激光編碼圖案投射器，用于投射出一定波長(zhǎng)范圍的編碼圖案，對(duì)有效范圍內(nèi)待測(cè)量的投射空間和目標(biāo)物體進(jìn)行結(jié)構(gòu)光編碼；所述紅外激光編碼圖案投射器的中心光軸與紅外攝像頭、RGB攝像頭的中心光軸平行或形成一定的銳角θ。通過(guò)本實(shí)用新型，可以獲取更穩(wěn)定可靠、更寬工作范圍的深度圖信息，并且本設(shè)備不受環(huán)境光影響，立體匹配算法也更為簡(jiǎn)單。
【專利說(shuō)明】
一種三維深度感知設(shè)備
技術(shù)領(lǐng)域
[0001]本實(shí)用新型屬于計(jì)算視覺、微電子和人機(jī)交互技術(shù)領(lǐng)域，具體涉及一種三維深度感知設(shè)備?！颈尘凹夹g(shù)】
[0002]三維深度感知設(shè)備是一種新型立體視覺傳感器，可實(shí)時(shí)獲取高精度、高分辨率的深度圖信息(距離信息)，進(jìn)行三維圖像的實(shí)時(shí)識(shí)別、動(dòng)作捕捉及場(chǎng)景感知?；诮Y(jié)構(gòu)光編碼的三維深度感知設(shè)備可以較為準(zhǔn)確地獲取深度信息，相比雙目立體攝像頭和ToF(Time of Flight)方式，具有獲取的深度圖信息更穩(wěn)定可靠、不受環(huán)境光影響、立體匹配算法簡(jiǎn)單等優(yōu)勢(shì)，已成為人機(jī)交互、智能設(shè)備深度獲取的主流。【實(shí)用新型內(nèi)容】
[0003]為克服現(xiàn)有技術(shù)存在的缺陷，本實(shí)用新型提供一種三維深度感知設(shè)備，所述設(shè)備包括紅外激光編碼圖案投射器、紅外攝像頭、RGB攝像頭、三維深度感知專用芯片、存儲(chǔ)器、 壓縮編碼USB驅(qū)動(dòng)模塊;所述紅外攝像頭連接三維深度感知專用芯片，三維深度感知專用芯片連接至壓縮編碼USB驅(qū)動(dòng)模塊;所述RGB攝像頭連接至壓縮編碼USB驅(qū)動(dòng)模塊，所述存儲(chǔ)器連接至三維深度感知專用芯片;所述三維深度感知專用芯片包括同步觸發(fā)模塊，所述同步觸發(fā)模塊連接至紅外激光編碼圖案投射器、紅外攝像頭、RGB攝像頭;所述紅外激光編碼圖案投射器，用于投射出一定波長(zhǎng)范圍的編碼圖案，對(duì)有效范圍內(nèi)待測(cè)量的投射空間和目標(biāo)物體進(jìn)行結(jié)構(gòu)光編碼;所述紅外激光編碼圖案投射器的中心光軸與紅外攝像頭、RGB攝像頭的中心光軸平行或形成一定的銳角9。
[0004]其中，所述RGB攝像頭，用于與紅外攝像頭同步采集RGB視頻流;所述存儲(chǔ)器，用于預(yù)先存儲(chǔ)一幅或多幅參考編碼圖案;所述紅外攝像頭，用于實(shí)時(shí)接收所述紅外激光編碼圖案投射器投射的編碼圖案，生成輸入編碼圖案，并將輸入編碼圖案以一定的視頻格式送入深度感知專用芯片。
[0005]其中，所述壓縮編碼USB驅(qū)動(dòng)模塊，用于對(duì)深度視頻流或RGB視頻流進(jìn)行壓縮編碼 USB打包驅(qū)動(dòng)。
[0006]其中，所述三維深度感知專用芯片包括:存儲(chǔ)控制器、預(yù)處理模塊、塊匹配視差計(jì)算模塊、深度計(jì)算模塊、深度圖后處理模塊;所述存儲(chǔ)控制器與存儲(chǔ)器相連;所述預(yù)處理模塊與存儲(chǔ)控制器相連，預(yù)處理模塊與存儲(chǔ)控制器同時(shí)連接至塊匹配視差計(jì)算模塊;所述塊匹配視差計(jì)算模塊連接至深度計(jì)算模塊，深度計(jì)算模塊連接至深度圖后處理模塊。
[0007]其中，紅外激光編碼圖案投射器、紅外攝像頭、RGB攝像頭在同一基線上排列。
[0008]其中，紅外激光編碼圖案投射器的中心光軸向紅外攝像頭側(cè)傾斜，紅外激光編碼圖案投射器的中心光軸與紅外攝像頭中心光軸之間的銳角9大小是可調(diào)的。
[0009]通過(guò)本實(shí)用新型，可以獲取更穩(wěn)定可靠、更寬工作范圍的深度圖信息，并且本設(shè)備不受環(huán)境光影響，立體匹配算法也更為簡(jiǎn)單?！靖綀D說(shuō)明】
[0010]圖1是本實(shí)用新型實(shí)施例的三維深度感知設(shè)備結(jié)構(gòu)圖；
[0011]圖2是本實(shí)用新型實(shí)施例的一種投射器與攝像頭布局結(jié)構(gòu)俯視圖；
[0012]圖3是本實(shí)用新型實(shí)施例的一種投射器與攝像頭布局結(jié)構(gòu)俯視圖；
[0013]圖4是本實(shí)用新型實(shí)施例的一種投射器與攝像頭布局結(jié)構(gòu)俯視圖；
[0014]圖5是本實(shí)用新型實(shí)施例的一種投射器與攝像頭布局結(jié)構(gòu)俯視圖；
[0015]圖6是本實(shí)用新型實(shí)施例的深度感知專用芯片功能結(jié)構(gòu)圖；
[0016]圖7是本實(shí)用新型實(shí)施例的一種激光散斑編碼圖案示意圖?！揪唧w實(shí)施方式】
[0017]下面結(jié)合具體實(shí)施例對(duì)本實(shí)用新型進(jìn)一步的詳細(xì)說(shuō)明。
[0018]在一個(gè)具體實(shí)施例中，本實(shí)用新型公開了一種三維深度感知設(shè)備，如圖1所示，包括紅外激光編碼圖案投射器、紅外攝像頭、RGB攝像頭、三維深度感知專用芯片、存儲(chǔ)器、壓縮編碼USB驅(qū)動(dòng)模塊。所述紅外攝像頭連接三維深度感知專用芯片，三維深度感知專用芯片連接至壓縮編碼USB驅(qū)動(dòng)模塊;所述RGB攝像頭連接至壓縮編碼USB驅(qū)動(dòng)模塊，所述存儲(chǔ)器連接至三維深度感知專用芯片。所述三維深度感知專用芯片包括同步觸發(fā)模塊，所述同步觸發(fā)模塊連接至紅外激光編碼圖案投射器、紅外攝像頭、RGB攝像頭。
[0019]所述紅外激光編碼圖案投射器，用于投射出一定波長(zhǎng)范圍的編碼圖案，對(duì)有效范圍內(nèi)待測(cè)量的投射空間和目標(biāo)物體進(jìn)行結(jié)構(gòu)光編碼;所述紅外激光編碼圖案投射器的中心光軸可以與紅外攝像頭、RGB攝像頭的中心光軸平行或形成一定的銳角0，如圖2-5所示；圖7 所示為一種基于激光散斑的紅外激光編碼圖案示意圖。
[0020]所述紅外攝像頭，用于實(shí)時(shí)接收所述紅外激光編碼圖案投射器投射的編碼圖案， 生成輸入編碼圖案，并將輸入編碼圖案以一定的視頻格式送入深度感知專用芯片，所述一定的視頻格式包括貝爾格式Bayer、原始數(shù)據(jù)RAW、移動(dòng)處理器接口 MIP1、低壓差分LVDS等。 [〇〇21]所述RGB攝像頭，用于與紅外攝像頭同步采集RGB視頻流。[〇〇22]所述存儲(chǔ)器，用于預(yù)先存儲(chǔ)一幅或多幅參考編碼圖案，一般為并口或串口 SPI Flash〇[〇〇23]所述壓縮編碼USB驅(qū)動(dòng)模塊，用于對(duì)深度視頻流或RGB視頻流進(jìn)行壓縮編碼USB打包驅(qū)動(dòng)。[〇〇24]如圖6所示，所述三維深度感知專用芯片包括:存儲(chǔ)控制器、預(yù)處理模塊、塊匹配視差計(jì)算模塊、深度計(jì)算模塊、深度圖后處理模塊。[〇〇25]所述存儲(chǔ)控制器與存儲(chǔ)器相連;所述預(yù)處理模塊與存儲(chǔ)控制器相連，預(yù)處理模塊與存儲(chǔ)控制器同時(shí)連接至塊匹配視差計(jì)算模塊;所述塊匹配視差計(jì)算模塊連接至深度計(jì)算模塊，深度計(jì)算模塊連接至深度圖后處理模塊。[〇〇26]所述紅外攝像頭將輸入編碼圖案輸入至預(yù)處理模塊，所述預(yù)處理模塊將預(yù)處理后的輸入編碼圖案輸入至塊匹配視差計(jì)算模塊;存儲(chǔ)器將預(yù)先存儲(chǔ)的參考編碼圖案輸入至存儲(chǔ)控制器，存儲(chǔ)控制器將參考編碼圖案輸入至匹配視差計(jì)算模塊;所述預(yù)處理后的輸入編碼圖案與參考編碼圖案經(jīng)過(guò)塊匹配視差計(jì)算模塊的匹配計(jì)算得到視差向量，再經(jīng)深度計(jì)算和深度圖后處理，輸出高精度高分辨率深度圖序列;芯片內(nèi)部的同步觸發(fā)模塊，產(chǎn)生同步觸發(fā)信號(hào)，送到紅外激光編碼圖案投射器、紅外攝像頭、RGB攝像頭。[〇〇27]所述預(yù)處理包括視頻格式轉(zhuǎn)換、一致性增強(qiáng)去噪。
[0028]就上述實(shí)施例而言，該設(shè)備的基本功能在于:紅外激光編碼圖案投射器向目標(biāo)物體或三維空間投射出編碼圖案，紅外攝像頭采集所投射的編碼圖案，紅外攝像頭將所采集的編碼圖案輸入到三維深度感知專用芯片進(jìn)行深度解碼，經(jīng)深度解碼得到的深度視頻流經(jīng)壓縮編碼USB驅(qū)動(dòng)模塊輸出;RGB攝像頭同步采集RGB視頻流，經(jīng)壓縮編碼USB驅(qū)動(dòng)模塊輸出。 其中紅外激光編碼圖案投射器、紅外攝像頭、RGB攝像頭排列在同一基線上，排列方式有多種，如圖2-5所示，紅外攝像頭、RGB攝像頭的中心光軸平行，紅外激光編碼圖案投射器的中心光軸可以與紅外攝像頭、RGB攝像頭的中心光軸平行或形成一定的銳角0。[〇〇29]優(yōu)選的，紅外激光編碼圖案投射器、紅外攝像頭、RGB攝像頭在同一基線上排列，可以水平排列，也可以垂直排列，三者排列關(guān)系不限于圖2-5所示的幾種關(guān)系，其它排列方式也在本實(shí)用新型的權(quán)利要求范圍內(nèi)。
[0030]進(jìn)一步，優(yōu)選的，紅外激光編碼圖案投射器的中心光軸向紅外攝像頭這一側(cè)傾斜， 紅外激光編碼圖案投射器的中心光軸與紅外攝像頭中心光軸之間的銳角0大小可根據(jù)設(shè)計(jì)要求進(jìn)行調(diào)整。
[0031]本實(shí)用新型不僅支持不同類型激光源產(chǎn)生的結(jié)構(gòu)光模式，如紅外、可見光、紫外線、不可見光等，也支持不同圖案組成的編碼投射方案，如圓點(diǎn)狀、塊狀、十字狀、條紋狀、特定符號(hào)等圖案。因而在不脫離本實(shí)用新型的精神和范圍內(nèi)的修改和完善，均應(yīng)包含在上述的權(quán)利要求范圍內(nèi)。
[0032]雖然通過(guò)實(shí)施例描述了本實(shí)用新型，本領(lǐng)域普通技術(shù)人員知道，本實(shí)用新型有許多變形和變化而不脫離本實(shí)用新型的精神，希望所附的權(quán)利要求包括這些變形和變化而不脫離本實(shí)用新型的精神。
【主權(quán)項(xiàng)】
1.一種三維深度感知設(shè)備，其特征在于:所述設(shè)備包括紅外激光編碼圖案投射器、紅外 攝像頭、RGB攝像頭、三維深度感知專用芯片、存儲(chǔ)器、壓縮編碼USB驅(qū)動(dòng)模塊；所述紅外攝像頭連接三維深度感知專用芯片，三維深度感知專用芯片連接至壓縮編碼 USB驅(qū)動(dòng)模塊;所述R G B攝像頭連接至壓縮編碼USB驅(qū)動(dòng)模塊，所述存儲(chǔ)器連接至三維深度 感知專用芯片;所述三維深度感知專用芯片包括同步觸發(fā)模塊，所述同步觸發(fā)模塊連接至 紅外激光編碼圖案投射器、紅外攝像頭、RGB攝像頭；所述紅外激光編碼圖案投射器，用于投射出一定波長(zhǎng)范圍的編碼圖案，對(duì)有效范圍內(nèi) 待測(cè)量的投射空間和目標(biāo)物體進(jìn)行結(jié)構(gòu)光編碼;所述紅外激光編碼圖案投射器的中心光軸 與紅外攝像頭、RGB攝像頭的中心光軸平行或形成一定的銳角0。2.根據(jù)權(quán)利要求1所述的設(shè)備，其特征在于:所述RGB攝像頭，用于與紅外攝像頭同步 米集R G B視頻流；所述存儲(chǔ)器，用于預(yù)先存儲(chǔ)一幅或多幅參考編碼圖案；所述紅外攝像頭，用于實(shí)時(shí)接收所述紅外激光編碼圖案投射器投射的編碼圖案，生成 輸入編碼圖案，并將輸入編碼圖案以一定的視頻格式送入深度感知專用芯片。3.根據(jù)權(quán)利要求1或2所述的設(shè)備，其特征在于:所述壓縮編碼USB驅(qū)動(dòng)模塊，用于對(duì)深 度視頻流或R G B視頻流進(jìn)行壓縮編碼USB打包驅(qū)動(dòng)。4.根據(jù)權(quán)利要求1或2所述的設(shè)備，其特征在于:所述三維深度感知專用芯片包括:存儲(chǔ) 控制器、預(yù)處理模塊、塊匹配視差計(jì)算模塊、深度計(jì)算模塊、深度圖后處理模塊；所述存儲(chǔ)控制器與存儲(chǔ)器相連;所述預(yù)處理模塊與存儲(chǔ)控制器相連，預(yù)處理模塊與存 儲(chǔ)控制器同時(shí)連接至塊匹配視差計(jì)算模塊;所述塊匹配視差計(jì)算模塊連接至深度計(jì)算模 塊，深度計(jì)算模塊連接至深度圖后處理模塊。5.根據(jù)權(quán)利要求1或2所述的設(shè)備，其特征在于:紅外激光編碼圖案投射器、紅外攝像 頭、RGB攝像頭在同一基線上排列。6.根據(jù)權(quán)利要求1或2所述的設(shè)備，其特征在于:紅外激光編碼圖案投射器的中心光軸向紅外攝像頭側(cè)傾斜，紅外激光編碼圖案投射器 的中心光軸與紅外攝像頭中心光軸之間的銳角9大小是可調(diào)的。
【文檔編號(hào)】H04N13/00GK205657802SQ201620347985
【公開日】2016年10月19日
【申請(qǐng)日】2016年4月21日 公開號(hào)201620347985.X, CN 201620347985, CN 205657802 U, CN 205657802U, CN-U-205657802, CN201620347985, CN201620347985.X, CN205657802 U, CN205657802U
【發(fā)明人】葛晨陽(yáng), 周艷輝
【申請(qǐng)人】寧波盈芯信息科技有限公司