一種激光散斑圖像深度感知方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種激光散斑圖像深度感知方法，其中，經(jīng)圖像預(yù)處理后的輸入散斑圖和參考散斑圖寫入多條行存形成輸入散斑窗、參考散斑窗，在輸入散斑窗中提取中心點(diǎn)相同、窗口大小不同的圖像塊，對(duì)應(yīng)參考散斑圖中的匹配搜索窗，以全搜索策略和求最小SAD方法，搜尋各自的最佳匹配塊，得到最佳偏移量，再通過(guò)與參考閾值比較，自適應(yīng)選擇某一圖像塊對(duì)應(yīng)的最佳偏移量作為當(dāng)前圖像塊中心點(diǎn)的最優(yōu)偏移量，并通過(guò)深度計(jì)算公式計(jì)算得到其深度信息。本發(fā)明還公開了相應(yīng)的深度感知裝置。本發(fā)明通過(guò)多窗口自適應(yīng)匹配，可降低大范圍搜索匹配塊的誤匹配噪聲，同時(shí)保持深度圖的細(xì)節(jié)、提高X-Y方向識(shí)別小物體深度的能力，并使輸出的深度圖最優(yōu)化。
【專利說(shuō)明】一種激光散斑圖像深度感知方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理、自然交互和集成電路【技術(shù)領(lǐng)域】，具體涉及一種激光散斑圖像深度感知方法及裝置。
【背景技術(shù)】
[0002]自然和諧的人機(jī)交互方式是人類對(duì)操控機(jī)器的理想目標(biāo)，使機(jī)器能讀懂人在自然狀態(tài)所傳遞的命令。利用圖像處理技術(shù)獲取深度信息進(jìn)行三維圖像的實(shí)時(shí)識(shí)別及動(dòng)作捕捉，使人能以表情、手勢(shì)、體感動(dòng)作等自然方式與終端進(jìn)行交互成為可能。深度感知技術(shù)是人機(jī)自然交互的核心技術(shù)，在機(jī)器視覺、智能監(jiān)控、三維重建、體感交互、3D打印等領(lǐng)域有著廣泛的應(yīng)用前景，已逐步從游戲機(jī)外設(shè)拓展到其它智能終端，包括智能電視、智能手機(jī)、PC/平板電腦、智能家電等，為用戶帶來(lái)“科幻”般的操控方式和全新的人機(jī)交互體驗(yàn)。
[0003]基于結(jié)構(gòu)光的主動(dòng)視覺模式可以較為準(zhǔn)確地獲取圖像的深度信息，比如通過(guò)紅外激光投射固定模式的圖像到物體表面，經(jīng)物體表面的漫反射形成散斑點(diǎn)，由圖像傳感器采集獲得散斑圖像，再通過(guò)圖像深度感知芯片計(jì)算獲得物體的深度信息。該結(jié)構(gòu)光模式相比雙目立體攝像頭，具有獲取的深度圖信息更穩(wěn)定可靠、不受環(huán)境光影響、立體匹配過(guò)程簡(jiǎn)單、算法計(jì)算量小等優(yōu)勢(shì)。如微軟的體感交互設(shè)備Kinect就是采用紅外結(jié)構(gòu)光的主動(dòng)視覺模式。

【發(fā)明內(nèi)容】

[0004]鑒于此，本發(fā)明提供了一種激光散斑圖像深度感知方法及裝置，旨在通過(guò)多窗口自適應(yīng)匹配，降低大范圍搜索匹配塊的誤匹配噪聲，同時(shí)保持深度圖的細(xì)節(jié)、提高X-Y方向識(shí)別小物體深度的能力，并使輸出的深度圖最優(yōu)化。
[0005]為實(shí)現(xiàn)以上發(fā)明 目的，本發(fā)明采用以下技術(shù)方案:
[0006]一種激光散斑圖像深度感知方法，包括以下步驟:
[0007]步驟1、將輸入散斑圖和參考散斑圖根據(jù)場(chǎng)同步、行同步信號(hào)同時(shí)讀入各自的N條行存中，形成N行大小的輸入散斑窗、參考散斑窗；
[0008]步驟2、在輸入散斑窗中提取中心點(diǎn)相同、大小不同的復(fù)數(shù)個(gè)輸入圖像塊，在參考散斑窗中提取與輸入圖像塊中心點(diǎn)位置對(duì)應(yīng)、一定范圍的匹配搜索窗；
[0009]步驟3、采用并行SAD計(jì)算模塊并行計(jì)算復(fù)數(shù)個(gè)輸入圖像塊與匹配搜索窗中相同大小的匹配塊之間SAD(即圖像塊與匹配塊對(duì)應(yīng)像素之間差的絕對(duì)值之和);
[0010]步驟4、并行計(jì)算復(fù)數(shù)個(gè)輸入圖像塊和不同匹配塊之間所有SAD的最小值，最小值對(duì)應(yīng)的匹配塊即為該輸入圖像塊的最佳匹配塊，對(duì)應(yīng)的最佳偏移量(Λχ，Δy)即該輸入圖像塊的運(yùn)動(dòng)向量，其中所述最佳偏移量為參考散斑窗中心點(diǎn)坐標(biāo)值(X，y)分別按X、Y軸減去最佳匹配塊中心點(diǎn)O^y1)坐標(biāo)值計(jì)算得到；
[0011]步驟5、根據(jù)偏移量大小和設(shè)定的閾值，從由復(fù)數(shù)個(gè)輸入圖像塊分別計(jì)算得到的復(fù)數(shù)個(gè)最佳偏移量中選擇輸出最優(yōu)偏移量，作為當(dāng)前輸入散斑圖像塊中心點(diǎn)的運(yùn)動(dòng)向量；[0012]步驟6、利用X或Y方向的最優(yōu)偏移量，根據(jù)深度計(jì)算公式計(jì)算輸入散斑圖像塊中心點(diǎn)對(duì)應(yīng)的深度信息；
[0013]步驟7、將輸入散斑圖像塊中心點(diǎn)移到同一行的下一個(gè)像素點(diǎn)上，重復(fù)步驟2~6，得到下一個(gè)像素點(diǎn)對(duì)應(yīng)的深度值；一行所有像素點(diǎn)的深度值計(jì)算完成后再重復(fù)步驟I~6，讀入以下一行為中心行、N行大小的輸入散斑窗和參考散斑窗，計(jì)算下一行像素點(diǎn)對(duì)應(yīng)的深度值，如此逐點(diǎn)、逐行計(jì)算得到輸入散斑圖像對(duì)應(yīng)的深度圖。
[0014]一種激光散斑圖像深度感知裝置，包括:
[0015]輸入散斑窗和參考散斑窗生成子模塊，用于將輸入散斑圖和參考散斑圖根據(jù)場(chǎng)同步、行同步信號(hào)同時(shí)讀入各自的N條行存中，形成N行大小的輸入散斑窗、參考散斑窗；
[0016]輸入圖像塊和匹配搜索窗提取子模塊，用于在輸入散斑窗中提取中心點(diǎn)相同、大小不同的復(fù)數(shù)個(gè)輸入圖像塊，在參考散斑窗中提取與輸入圖像塊中心點(diǎn)位置對(duì)應(yīng)、一定范圍的匹配搜索窗；
[0017]求差絕對(duì)值之和SAD子模塊，用于采用并行SAD計(jì)算模塊并行計(jì)算復(fù)數(shù)個(gè)輸入圖像塊與匹配搜索窗中相同大小的匹配塊之間的SAD(即圖像塊與匹配塊對(duì)應(yīng)像素之間差的絕對(duì)值之和)；
[0018]求最小SAD子模塊，用于并行計(jì)算復(fù)數(shù)個(gè)輸入圖像塊和不同匹配塊之間所有SAD的最小值，最小值對(duì)應(yīng)的匹配塊即為該輸入圖像塊的最佳匹配塊，對(duì)應(yīng)的最佳偏移量(Δχ，Ay)即該輸入圖像塊的運(yùn)動(dòng)向量，偏移量為參考散斑窗中心點(diǎn)坐標(biāo)值(x，y)分別按X、Y軸減去最佳匹配塊的中心點(diǎn)O^y1)坐標(biāo)值計(jì)算得到； [0019]最優(yōu)偏移量輸出子模塊，用于根據(jù)偏移量大小和設(shè)定的閾值，從由復(fù)數(shù)個(gè)輸入圖像塊分別計(jì)算得到的復(fù)數(shù)個(gè)最佳偏移量中選擇輸出最優(yōu)偏移量，作為當(dāng)前輸入散斑圖像塊中心點(diǎn)的運(yùn)動(dòng)向量；
[0020]深度計(jì)算子模塊，用于利用X或Y方向的最優(yōu)偏移量，根據(jù)深度計(jì)算公式計(jì)算輸入散斑圖像塊中心點(diǎn)對(duì)應(yīng)的深度，并且，
[0021]當(dāng)前像素點(diǎn)的深度值計(jì)算完成后，將輸入散斑圖像塊中心點(diǎn)移到同一行的下一個(gè)像素點(diǎn)上，利用輸入圖像塊和匹配搜索窗提取子模塊、求差絕對(duì)值之和SAD子模塊、求最小SAD子模塊、最優(yōu)偏移量輸出子模塊、深度計(jì)算子模塊，計(jì)算得到下一個(gè)像素點(diǎn)對(duì)應(yīng)的深度值；一行所有像素點(diǎn)的深度值計(jì)算完成后，讀入以下一行為中心行、N行大小的輸入散斑窗和參考散斑窗，利用輸入散斑窗和參考散斑窗生成子模塊、輸入圖像塊和匹配搜索窗提取子模塊、求差絕對(duì)值之和SAD子模塊、求最小SAD子模塊、最優(yōu)偏移量輸出子模塊、深度計(jì)算子模塊計(jì)算下一行像素點(diǎn)對(duì)應(yīng)的深度值，如此逐點(diǎn)、逐行計(jì)算得到輸入散斑圖像對(duì)應(yīng)的深度圖。
[0022]采用本發(fā)明技術(shù)方案的有益效果將通過(guò)以下實(shí)施例的闡述而得到具體的體現(xiàn)。
【專利附圖】

【附圖說(shuō)明】
[0023]圖1是本發(fā)明實(shí)施例的多窗口匹配深度感知結(jié)構(gòu)框圖；
[0024]圖2是本發(fā)明實(shí)施例的整體流程框圖；
[0025]圖3是本發(fā)明實(shí)施例的輸入散斑窗或參考散斑窗結(jié)構(gòu)圖；
[0026]圖4是本發(fā)明實(shí)施例的輸入圖像塊及參考散斑搜索窗示意圖；[0027]圖5是本發(fā)明實(shí)施例的輸入圖像塊與最優(yōu)匹配塊之間偏移量示意圖；
[0028]圖6是本發(fā)明實(shí)施例的圖像塊求取差絕對(duì)值之和SAD結(jié)構(gòu)圖；
[0029]圖7是本發(fā)明實(shí)施例的列加法器結(jié)構(gòu)圖；
[0030]圖8是本發(fā)明實(shí)施例的并行結(jié)構(gòu)求最小SAD結(jié)構(gòu)圖；
[0031]圖9是本發(fā)明實(shí)施例的選擇輸出最優(yōu)偏移量示意圖。
【具體實(shí)施方式】
[0032]下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說(shuō)明。
[0033]圖1是本發(fā)明實(shí)施例的激光散斑圖像深度感知裝置結(jié)構(gòu)框圖，該裝置包括輸入散斑窗和參考散斑窗生成子模塊、輸入圖像塊和匹配搜索窗提取子模塊、求差絕對(duì)值之和SAD子模塊、求最小SAD子模塊、最優(yōu)偏移量輸出子模塊、深度計(jì)算子模塊。
[0034]輸入散斑窗由外部圖像傳感器采集獲得的輸入散斑圖序列，經(jīng)預(yù)處理后根據(jù)場(chǎng)同步和行同步信號(hào)逐行送入到N條行存組成；
[0035]參考散斑窗是由固化在內(nèi)部或外部存儲(chǔ)器中、深度距離信息已知、并經(jīng)過(guò)與輸入散斑窗數(shù)據(jù)相同預(yù)處理的參考散斑數(shù)據(jù)逐行讀入到N條行存組成，其讀入的行數(shù)據(jù)位置(第k~第k+Ν-Ι行，k為整數(shù))與輸入散斑窗中的行數(shù)據(jù)位置(第k~第k+Ν-Ι行，k為整數(shù))相同；
[0036]輸入圖像塊從輸入散斑窗中提取，其大小可不同，但中心點(diǎn)相同，如圖像塊
I( block—)、圖像塊2 ( Mockm xni )等多個(gè)大小不同的輸入圖像塊，Hipn^npn2都是整數(shù)，一般Hi1 > m2, Ii1 > n2,而Iii1與Ii1可以相等或不相等,而m2與n2可以相等或不相等；
[0037]匹配搜索窗是以參考散斑窗中與輸入圖像塊中心點(diǎn)位置相同的對(duì)應(yīng)點(diǎn)為中心點(diǎn)、在其周圍一定范圍內(nèi)提取的參考散斑塊blockMXN，大小為MXN，M、N為整數(shù)，一般M > Hi1 >m2，N > = Ii1 > n2 ;
[0038]求差絕對(duì)值之和SAD子模塊是輸入圖像塊與匹配搜索窗中與其同樣大小的匹配塊之間、對(duì)應(yīng)像素進(jìn)行相減再求絕對(duì)值、再把所有像素的絕對(duì)值進(jìn)行相加得到，即
【權(quán)利要求】
1.一種激光散斑圖像深度感知方法，包括以下步驟: 步驟1、將輸入散斑圖和參考散斑圖根據(jù)場(chǎng)同步、行同步信號(hào)同時(shí)讀入各自的N條行存中，形成N行大小的輸入散斑窗、參考散斑窗； 步驟2、在輸入散斑窗中提取中心點(diǎn)相同、大小不同的復(fù)數(shù)個(gè)輸入圖像塊，在參考散斑窗中提取與輸入圖像塊中心點(diǎn)位置對(duì)應(yīng)、一定范圍的匹配搜索窗； 步驟3、采用并行SAD計(jì)算模塊并行計(jì)算復(fù)數(shù)個(gè)輸入圖像塊與匹配搜索窗中相同大小的匹配塊之間SAD (即圖像塊與匹配塊對(duì)應(yīng)像素之間差的絕對(duì)值之和); 步驟4、并行計(jì)算復(fù)數(shù)個(gè)輸入圖像塊和不同匹配塊之間所有SAD的最小值，最小值對(duì)應(yīng)的匹配塊即為該輸入圖像塊的最佳匹配塊，對(duì)應(yīng)的最佳偏移量(Λχ，ΔY)即該輸入圖像塊的運(yùn)動(dòng)向量，其中所述最佳偏移量為參考散斑窗中心點(diǎn)坐標(biāo)值(x，y)分別按X、Y軸減去最佳匹配塊中心點(diǎn)O^y1)坐標(biāo)值計(jì)算得到； 步驟5、根據(jù)偏移量大小和設(shè)定的閾值，從由復(fù)數(shù)個(gè)輸入圖像塊分別計(jì)算得到的復(fù)數(shù)個(gè)最佳偏移量中選擇輸出最優(yōu)偏移量，作為當(dāng)前輸入散斑圖像塊中心點(diǎn)的運(yùn)動(dòng)向量； 步驟6、利用X或Y方向的最優(yōu)偏移量，根據(jù)深度計(jì)算公式計(jì)算輸入散斑圖像塊中心點(diǎn)對(duì)應(yīng)的深度信息； 步驟7、將輸入散斑圖像塊中心點(diǎn)移到同一行的下一個(gè)像素點(diǎn)上，重復(fù)步驟2~6，得到下一個(gè)像素點(diǎn)對(duì)應(yīng)的深度值；一行所有像素點(diǎn)的深度值計(jì)算完成后再重復(fù)步驟I~6，讀入以下一行為中心行、N行大小的輸入散斑窗和參考散斑窗，計(jì)算下一行像素點(diǎn)對(duì)應(yīng)的深度值，如此逐點(diǎn)、逐行計(jì)算得到輸入散斑圖像對(duì)應(yīng)的深度圖。
2.根據(jù)權(quán)利要求1所述的方法，步驟I中，輸入散斑圖和參考散斑圖在讀入前均經(jīng)過(guò)圖像自適應(yīng)預(yù)處理，所述預(yù)處理包括Bayer視頻格式轉(zhuǎn)換或ITU601、ITU656、MIPI接口格式轉(zhuǎn)換、色度空間轉(zhuǎn)換、灰度圖像自適應(yīng)去噪和增強(qiáng)。
3.根據(jù)權(quán)利要求1所述的方法，步驟3中，計(jì)算每個(gè)輸入圖像塊與匹配搜索窗中相同大小的匹配塊之間的SAD包括: 對(duì)于mXn的輸入圖像塊，從k = I開始，計(jì)算該圖像塊與匹配塊第k列對(duì)應(yīng)像素的m個(gè)差絕對(duì)值，將該m個(gè)差絕對(duì)值同時(shí)送入第一列加法器中相加，得到第k列對(duì)應(yīng)的差絕對(duì)值和，每得到一個(gè)差絕對(duì)值和，將其送入一個(gè)由多個(gè)延時(shí)單元串接的時(shí)延寄存器中，以流水線方式進(jìn)行延時(shí)，直至第一列加法器得到第k = η列對(duì)應(yīng)的差絕對(duì)值和，再將全部η列對(duì)應(yīng)的差絕對(duì)值和同時(shí)送入第二列加法器中相加，輸出該輸入圖像塊與匹配塊之間的SAD值。
4.根據(jù)權(quán)利要求1所述的方法，步驟5中，在所述復(fù)數(shù)個(gè)輸入圖像塊對(duì)應(yīng)的最佳偏移量中，將最大圖像塊對(duì)應(yīng)的最佳偏移量與參考閾值進(jìn)行比較，若該偏移量大于參考閾值，則選擇大圖像塊對(duì)應(yīng)的最佳偏移量作為最優(yōu)偏移量輸出；若該偏移量小于參考閾值，則選擇較小圖像塊計(jì)算得到的最佳偏移量作為最優(yōu)偏移量輸出。
5.根據(jù)權(quán)利要求4所述的方法，若所述復(fù)數(shù)個(gè)輸入圖像塊的個(gè)數(shù)為2，即輸入兩個(gè)不同大小圖像塊，并且選擇輸出X方向的最優(yōu)偏移量Am，則將其中大圖像塊的水平最佳偏移量Ax1與閾值Thl、Th2進(jìn)行比較，按以下判定條件選擇最優(yōu)偏移量Am:
6.根據(jù)權(quán)利要求1所述的方法，步驟6中，將X或Y方向的最優(yōu)偏移量Am結(jié)合參考散斑圖的已知距離參數(shù)d、圖像傳感器焦距f、激光投射器與接收?qǐng)D像傳感器之間的基線距離S和圖像傳感器像素點(diǎn)點(diǎn)距參數(shù)μ，按以下深度計(jì)算公式計(jì)算得到輸入散斑圖像塊中心點(diǎn)的深度信息d1:
7.一種激光散斑圖像深度感知裝置，包括: 輸入散斑窗和參考散斑窗生成子模塊，用于將輸入散斑圖和參考散斑圖根據(jù)場(chǎng)同步、行同步信號(hào)同時(shí)讀入各自的N條行存中，形成N行大小的輸入散斑窗、參考散斑窗； 輸入圖像塊和匹配搜索窗提取子模塊，用于在輸入散斑窗中提取中心點(diǎn)相同、大小不同的復(fù)數(shù)個(gè)輸入圖像塊，在參考散斑窗中提取與輸入圖像塊中心點(diǎn)位置對(duì)應(yīng)、一定范圍的匹配搜索窗； 求差絕對(duì)值之和SAD子模塊，用于采用并行SAD計(jì)算模塊并行計(jì)算復(fù)數(shù)個(gè)輸入圖像塊與匹配搜索窗中相同大小的匹配塊之間的SAD(即圖像塊與匹配塊對(duì)應(yīng)像素之間差的絕對(duì)值之和)； 求最小SAD子模塊，用于并行計(jì)算復(fù)數(shù)個(gè)輸入圖像塊和不同匹配塊之間所有SAD的最小值，最小值對(duì)應(yīng)的匹配塊即為該輸入圖像塊的最佳匹配塊，對(duì)應(yīng)的最佳偏移量(Λχ，Ay)即該輸入圖像塊的運(yùn)動(dòng)向量，偏移量為參考散斑窗中心點(diǎn)坐標(biāo)值(x，y)分別按X、Y軸減去最佳匹配塊的中心點(diǎn)O^y1)坐標(biāo)值計(jì)算得到； 最優(yōu)偏移量輸出子模塊，用于根據(jù)偏移量大小和設(shè)定的閾值，從由復(fù)數(shù)個(gè)輸入圖像塊分別計(jì)算得到的復(fù)數(shù)個(gè)最佳偏移量中選擇輸出最優(yōu)偏移量，作為當(dāng)前輸入散斑圖像塊中心點(diǎn)的運(yùn)動(dòng)向量； 深度計(jì)算子模塊，用于利用X或Y方向的最優(yōu)偏移量，根據(jù)深度計(jì)算公式計(jì)算輸入散斑圖像塊中心點(diǎn)對(duì)應(yīng)的深度，并且， 當(dāng)前像素點(diǎn)的深度值計(jì)算完成后，將輸入散斑圖像塊中心點(diǎn)移到同一行的下一個(gè)像素點(diǎn)上，利用輸入圖像塊和匹配搜索窗提取子模塊、求差絕對(duì)值之和SAD子模塊、求最小SAD子模塊、最優(yōu)偏移量輸出子模塊、深度計(jì)算子模塊，計(jì)算得到下一個(gè)像素點(diǎn)對(duì)應(yīng)的深度值；一行所有像素點(diǎn)的深度值計(jì)算完成后，讀入以下一行為中心行、N行大小的輸入散斑窗和參考散斑窗，利用輸入散斑窗和參考散斑窗生成子模塊、輸入圖像塊和匹配搜索窗提取子模塊、求差絕對(duì)值之和SAD子模塊、求最小SAD子模塊、最優(yōu)偏移量輸出子模塊、深度計(jì)算子模塊計(jì)算下一行像素點(diǎn)對(duì)應(yīng)的深度值，如此逐點(diǎn)、逐行計(jì)算得到輸入散斑圖像對(duì)應(yīng)的深度圖。
【文檔編號(hào)】G06T7/00GK103810708SQ201410049324
【公開日】2014年5月21日 申請(qǐng)日期:2014年2月13日 優(yōu)先權(quán)日:2014年2月13日
【發(fā)明者】葛晨陽(yáng), 鄭南寧, 趙季中, 姚慧敏, 楊意 申請(qǐng)人:西安交通大學(xué)