Kinect與關(guān)節(jié)臂結(jié)合的復(fù)合式測量和三維重建方法
【專利摘要】本發(fā)明提出了一種將Kinect設(shè)備與關(guān)節(jié)臂測量儀相結(jié)合的復(fù)合式測量和三維重建方法。首先利用Kinect快速獲得物體點云數(shù)據(jù)，然后利用關(guān)節(jié)臂對精度要求較高的特征以及Kinect無法獲取的特征信息進行二次測量，通過點云拼接技術(shù)完成不同數(shù)據(jù)源信息的融合，重建物體的三維模型。該方法將非接觸式測量和接觸式測量結(jié)合在一起，不僅可以彌補非接觸式測量精度不高的問題，而且還能有效修補邊界、凹孔等丟失的點云數(shù)據(jù)，同時提高了測量效率，為數(shù)據(jù)采集提供一種新的技術(shù)和手段。
【專利說明】Kinect與關(guān)節(jié)臂結(jié)合的復(fù)合式測量和三維重建方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及Kinect與關(guān)節(jié)臂結(jié)合的復(fù)合式測量和三維重建方法。

【背景技術(shù)】
[0002] 三維重建技術(shù)作為計算機視覺技術(shù)的一個重要分支，一直是計算機視覺領(lǐng)域最 熱門的研究方向之一。它屬于一個多學(xué)科交叉的研究領(lǐng)域，是計算機圖形學(xué)和圖像處理在 工程中的重要應(yīng)用。
[0003] 測量設(shè)備通過特定的方法將物體表面形狀轉(zhuǎn)換成幾何空間坐標點，從而得到逆向 建模所需數(shù)據(jù)?；诮佑|式測量的數(shù)據(jù)采集方法有較高的準確性和可靠性，可準確地測量 出物體的基本幾何形狀，如面、圓、圓柱、圓錐、圓球等，但數(shù)據(jù)采集效率較低?；诜墙佑|式 測量的數(shù)據(jù)采集方法測量速度快，測量面積大，數(shù)據(jù)較為完整，但測量精度相對于接觸式而 言精度較低，而且在一些細節(jié)位置如邊界、縫隙、曲率變化較大的部位容易丟失數(shù)據(jù)。
[0004] 近幾年微軟公司推出了一款體感設(shè)備Kinect，華碩公司也緊隨其后，相繼推出了 Xtion體感設(shè)備，相比其它專業(yè)深度攝像機，具有成本低、容易配置等優(yōu)點，在三維重建領(lǐng)域 有較好的應(yīng)用價值。
[0005] 由于實物樣零件往往具有其特殊性和復(fù)雜性，單獨釆用單一測量方法，常常很難 達到工程實際對測量的要求。而復(fù)合式測量系統(tǒng)的出現(xiàn)把多種測量方式集成到一起，不僅 擴大了應(yīng)用范圍，而且在指定數(shù)據(jù)精度、密度、處理時間上更具有靈活性和高效性，這為逆 向工程中三維模型重建方法提出了新的要求和思路。


【發(fā)明內(nèi)容】

[0006] 有鑒于此，本發(fā)明提出基于深度體感設(shè)備Kinect與關(guān)節(jié)臂測量儀相結(jié)合的復(fù)合 式測量和三維重建方法，為實現(xiàn)物體三維測量和重建提供一種更為廉價的方案。
[0007] 本發(fā)明采用以下方案實現(xiàn)：一種Kinect與關(guān)節(jié)臂結(jié)合的復(fù)合式測量和三維重建 方法，其特征在于包括以下步驟： 步驟S01 :利用微軟Kinect對待測物體及多個定標球進行測量和重建； 步驟S02 :通過關(guān)節(jié)臂測量儀測量待測物體上Kinect無法測量的特征； 步驟S03 :通過Kinect和關(guān)節(jié)臂測量儀分別測量分布在待測物體四周的多個定標球， 獲得設(shè)備的多個測量基準點；采用定標球法實現(xiàn)不同坐標和點云數(shù)據(jù)的對齊變換； 步驟S04 :利用計算機根據(jù)上述步驟獲取的三維數(shù)據(jù)進行模型重建與實體化。
[0008] 在本發(fā)明一實施例中，所述步驟S01包括以下步驟： 步驟S011 :通過Kinect在OpenNI的框架接口下完成空間點三維坐標的獲取； 步驟S012 :根據(jù)物體形狀及其距離鏡頭的大致深度值，設(shè)定深度的最大和最小閾值， 然后利用閾值分割方法分割出有效區(qū)域，把物體從背景中分離出來； 步驟S013 :點云數(shù)據(jù)處理：利用Kinect獲取的深度數(shù)據(jù)并轉(zhuǎn)化為三維的點云數(shù)據(jù)格式 進行存儲，再將其可視化；然后，對點云進行噪聲剔除、濾波及精簡處理，改善點云質(zhì)量，去 除光學(xué)噪聲和閃爍部分，并提高邊緣部分的匹配程度； 步驟S014 :點云拼接，轉(zhuǎn)換為三維面片模型：在Kinect獲取點云空間點信息時，通過 Kinect攝像機在不同角度下掃描物體，每次掃描獲得物體一個側(cè)面的深度數(shù)據(jù)，并保證深 度數(shù)據(jù)之間包含有一定的公共部分；點云拼接時，首先，通過初始拼接將不同坐標系下的點 云數(shù)據(jù)進行旋轉(zhuǎn)、平移等變換，使其大致處于同一坐標系下，為下一步的精確拼接提供較好 的初始值；然后，在精確拼接的過程中，利用迭代就近點法優(yōu)化剛體變換矩陣，使拼接后的 兩片點云間的距離均方差最?。稽c云拼接完成后，將點云模型轉(zhuǎn)換為三角面片模型。
[0009] 在本發(fā)明一實施例中，所述步驟soil中，空間點三維坐標獲取方法采用如下方 式： 假設(shè)Kinect測量空間中任意點p離攝像頭的距離為d，根據(jù)公式計算點p在空間中的 實際位置，及實際深度值D D = Ktan(Hd-fL) - Ο 上式中D、d的單位均為厘米（cm)，四個參數(shù)H、K、0、L的值分別為 H = 3.S10-4 rad , K = 12.36cm, 0 = 3.7cm , L = 1,18 rad 利用上式計算出深度值D后，從Kinect中提取任意點p完整的三維坐標;假 設(shè)任意點P在幀圖像的投影位置為（i,〇，則點P三維坐標為

【權(quán)利要求】
1. 一種Kinect與關(guān)節(jié)臂結(jié)合的復(fù)合式測量和三維重建方法，其特征在于包括以下步 驟： 步驟SOI :利用微軟Kinect對待測物體及多個定標球進行測量和重建； 步驟S02 :通過關(guān)節(jié)臂測量儀測量待測物體上Kinect無法測量的特征； 步驟S03 :通過Kinect和關(guān)節(jié)臂測量儀分別測量分布在待測物體四周的多個定標球， 獲得設(shè)備的多個測量基準點；采用定標球法實現(xiàn)不同坐標和點云數(shù)據(jù)的對齊變換； 步驟S04 :利用計算機根據(jù)上述步驟獲取的三維數(shù)據(jù)進行模型重建與實體化。
2. 根據(jù)權(quán)利要求1所述的Kinect與關(guān)節(jié)臂結(jié)合的復(fù)合式測量和三維重建方法，其特征 在于： 所述步驟一包括以下步驟： 步驟soil :通過Kinect在OpenNI的框架接口下完成空間點三維坐標的獲取； 步驟S012 :根據(jù)物體形狀及其距離鏡頭的大致深度值，設(shè)定深度的最大和最小閾值， 然后利用閾值分割方法分割出有效區(qū)域，把物體從背景中分離出來； 步驟S013 :點云數(shù)據(jù)處理：利用Kinect獲取的深度數(shù)據(jù)并轉(zhuǎn)化為三維的點云數(shù)據(jù)格式 進行存儲，再將其可視化；然后，對點云進行噪聲剔除、濾波及精簡處理，改善點云質(zhì)量，去 除光學(xué)噪聲和閃爍部分，并提高邊緣部分的匹配程度； 步驟S014 :點云拼接，轉(zhuǎn)換為三維面片模型：在Kinect獲取點云空間點信息時，通過 Kinect攝像機在不同角度下掃描物體，每次掃描獲得物體一個側(cè)面的深度數(shù)據(jù)，并保證深 度數(shù)據(jù)之間包含有一定的公共部分；點云拼接時，首先，通過初始拼接將不同坐標系下的點 云數(shù)據(jù)進行旋轉(zhuǎn)、平移等變換，使其大致處于同一坐標系下，為下一步的精確拼接提供較好 的初始值；然后，在精確拼接的過程中，利用迭代就近點法優(yōu)化剛體變換矩陣，使拼接后的 兩片點云間的距離均方差最??；點云拼接完成后，將點云模型轉(zhuǎn)換為三角面片模型。
3. 根據(jù)權(quán)利要求2所述的Kinect與關(guān)節(jié)臂結(jié)合的復(fù)合式測量和三維重建方法，其特征 在于：所述步驟S011中，空間點三維坐標獲取方法采用如下方式 ： 假設(shè)Kinect測量空間中任意點p離攝像頭的距離為d，根據(jù)公式計算點p在空間中的 實際位置，及實際深度值D
上式中D、d的單位均為)里：?facnu，tyT麥刻· Η、?、U、L tf」li分別為 H = 3.510-4 rad ,κ ~ 12 J6cm , 〇 = 3 jcm , L = 1.18 rad 利用上式計算出深度值D后，從Kinect中提取任意點p完整的三維坐標〇,F,z);假 設(shè)任意點P在幀圖像的投影位置為（i,〇 ,則點P三維坐標為
ζ. Λ·、?、&為Kinect相機參數(shù)，參數(shù)值分別為 f = 0*S94r2：L43，= 0*5910405，￡^ = 339.3078， cy- 242.739。
4. 根據(jù)權(quán)利要求2所述的Kinect與關(guān)節(jié)臂結(jié)合的復(fù)合式測量和三維重建方法，其特征 在于：所述步驟S012中所述閾值分割方法采用的如下方式： 設(shè)圖像對于輸入圖像的各個深度值為5,確定兩個深度（即閾值）心和52，其中 ,當像素深度值D大于或者小于52，則f(x,y) = 0 ,否則f(x,y) = D ; f D (8,<D< SJ , .., f(x,v) = I f ^ p ' (δ! > 5n)。 l 0 (D ￡： 52或 D s 1 '
5. 根據(jù)權(quán)利要求2所述的Kinect與關(guān)節(jié)臂結(jié)合的復(fù)合式測量和三維重建方法，其特征 在于：所述步驟S03采用如下方式實現(xiàn)： 由Kinect設(shè)備掃描獲取三個定標球，并通過最小二乘法擬合出三個定標球的球心坐 標，設(shè)為Pi , P2和P3 ;由關(guān)節(jié)臂測量儀測量三個定標球，每個定標球至少測量8個點，并通過 算法擬合出定標球心坐標，設(shè)為％,心和％ ;通過以下三個步驟實現(xiàn)坐標對齊變換： (1) 變換Pi到1 ; (2) 變換矢量(p2 - pd到(q2 - qO ,僅考慮方向信息； (3 )變換包含三點Pi , P2和93的平面到包含％ , %和％的平面； 采用的算法步驟如下： (1) 做矢量(ft - Pi)、(.Pa - Pi)、（q2 -如）和(?. - %); (2) 令 Vi= (P2-Pi),Wi= (% -%); (3) 求矢量V3和W3 p3=l，lX Φ3-Ρ?^ lw3 = X <%3 - J ' (4) 求矢量￥2和胃2 f v2 = F3 X F, \wz = Wa X w3; (5) 求出單位矢量
(6) 把系統(tǒng)[v]的任意一點Pt變換到系統(tǒng)[w]，用到變換關(guān)系 Ρτ = PtR+ T (7) [v]和[w]是單位矢量矩陣，因此[w] =[v]R,關(guān)于[w]坐標系統(tǒng)的的旋轉(zhuǎn)矩陣為： R = [v]-1 [w] 令!^ = qjPh = Pl，帶入Ps' = p;R + T,可得平移矩陣T ? =qt~ pjv]-1 [w] 求出變換矩陣 P' = PW_1 [w] I % - PiM_1 [w]。
【文檔編號】G06T17/00GK104123751SQ201410354912
【公開日】2014年10月29日 申請日期:2014年7月24日 優(yōu)先權(quán)日:2014年7月24日
【發(fā)明者】何炳蔚, 林建楠, 李海榕, 董升升 申請人:福州大學(xué)