專利名稱：一種信息物理圖像融合裝置與方法
技術(shù)領域：
本發(fā)明涉及CPS (Cyber-Physical Systems信息物理融合系統(tǒng))和圖像處理技術(shù)的3D顯示技術(shù)領域，具體為一種信息物理圖像融合裝置與方法，實現(xiàn)三維模型與實物多角度融合顯不。
背景技術(shù)：
信息物理融合系統(tǒng)(Cyber-Physical Systems, CPS)是一種通過計算、通信和控制等相關技術(shù)的相互協(xié)作，實現(xiàn)信息世界和物理世界深度融合的新型嵌入式系統(tǒng)。CPS能依據(jù)物理環(huán)境中的各個特征點信息對各物理實體進行實時高效的調(diào)整和控制，促進了虛擬裝配技術(shù)發(fā)展。 建立一個與實際裝配生產(chǎn)環(huán)境相一致的虛擬裝配環(huán)境，通過信息物理圖像的交互進行產(chǎn)品的裝配、拆卸等操作是虛擬裝配的重要過程。目前虛擬裝配環(huán)境的建模方式主要涉及到CAD三維軟件建模和虛擬顯示建模語言；交互方式主要涉及到數(shù)據(jù)手套、位置跟蹤器、菜單以及對話框方式。數(shù)據(jù)手套和位置跟蹤器通過內(nèi)置的傳感器捕捉手指的動作，從而進行手勢識別將手勢映射為相應的命令和操作，完成裝配過程的仿真；菜單和對話框均采用鍵盤和鼠標操作，實現(xiàn)對裝配場景的控制，完成虛擬產(chǎn)品的裝配過程。如《組合機床與自動化加工技術(shù)》2011年08期上的魏園園等發(fā)表的題為《網(wǎng)絡環(huán)境下組合夾具虛擬裝配平臺的構(gòu)建》介紹了一種基于虛擬顯示建模語言構(gòu)建的虛擬裝配環(huán)境，其采用菜單以及對話框的交互方式，并通過Java語言實現(xiàn)對場景的控制。根據(jù)目前的研究，主要的建模方法和交互方式均沒有實現(xiàn)對裝配環(huán)境的三維模擬，在構(gòu)建虛擬裝配環(huán)境時存在著以下不足I)零件的裝配過程通常受裝配工具、組合夾具以及其他裝配環(huán)境信息的影響，而目前裝配環(huán)境的構(gòu)建技術(shù)僅僅涉及到零件的三維模型構(gòu)建過程，并未考慮到裝配工具及組合夾具等其他裝配環(huán)境的影響；2)目前虛擬裝配涉及的交互技術(shù)完全依靠傳感器和對話框菜單實現(xiàn)裝配的仿真過程，并沒有實現(xiàn)信息世界與物理世界的融合。同時在二維平面環(huán)境下的裝配仿真忽視了人機交互過程，很難實現(xiàn)真正意義上的三維虛擬裝配過程。

發(fā)明內(nèi)容
要解決的技術(shù)問題為解決目前虛擬裝配技術(shù)的不足，本發(fā)明提出一種信息物理圖像融合裝置與方法，基于立體顯示方式實現(xiàn)裝配環(huán)境的立體仿真，使操作者有身臨其境的感覺，并通過雙目視覺感知場景中實物裝配單元的位置，建立虛擬裝配單元模型，完成虛擬裝配單元與實物裝配單元的融合，實現(xiàn)信息世界與物理世界的聯(lián)合。技術(shù)方案本發(fā)明的技術(shù)方案為
所述一種信息物理圖像融合裝置，其特征在于包括眼鏡式立體顯示器、雙目相機、圖像處理裝置和特征立方體；眼鏡式立體顯示器包括左眼顯示器和右眼顯示器；所述雙目相機為兩個微型CXD攝像頭，每個攝像頭的分辨率應不低于640*480，用于模擬人雙眼采集圖像；攝像頭安裝在相機固定裝置中，相機固定裝置包括矩形支架和球形轉(zhuǎn)動塊；矩形支架一端面上有梯形滑塊，矩形支架另一端面上開有球形凹槽，球形轉(zhuǎn)動塊安裝在球形凹槽內(nèi)，且球形轉(zhuǎn)動塊與矩形支架通過轉(zhuǎn)軸連接，轉(zhuǎn)軸過球形轉(zhuǎn)動塊球心，轉(zhuǎn)軸平行于矩形支架端面且垂直于矩形支架上梯形滑塊的滑動方向；在球形轉(zhuǎn)動塊朝外的方向上有相機安裝孔，且相機安裝孔中心軸線與球形轉(zhuǎn)動塊中心軸線垂直相交；攝像頭固定在相機安裝孔中，且攝像頭的中心軸線與相機安裝孔中心軸線重合；
相機固定裝置安裝在相機定位板上，相機定位板邊緣有卡扣，用于將相機定位板卡接在眼鏡式立體顯示器上；相機定位板外側(cè)面上有與梯形滑塊配合的梯形滑槽；特征立方體起到圖像配準作用，特征立方體整體外表面為單一顏色，特征立方體中一個頂點的三條棱邊分別為紅、綠、藍三種顏色，且三條棱邊的顏色不同于特征立方體整體的顏色；所述三條棱邊為特征立方體的特征邊；雙目相機同步采集的雙路圖像信號經(jīng)過圖像處理裝置轉(zhuǎn)化為數(shù)字圖像信號，并經(jīng)過信息物理圖像融合，輸出至眼鏡式立體顯示器，實現(xiàn)左右模式立體圖像的播放顯示。所述一種信息物理圖像融合方法，其特征在于包括以下步驟步驟I :基于OpenGL圖形軟件接口在模型空間中建立特征立方體三維模型，并設置透視投影所需的錐形視域體步驟I. I :在模型空間中設置模型坐標系與世界坐標系重合，并建立與實物空間中特征立方體外形尺寸相同的特征立方體三維模型，設置特征立方體三維模型同一頂點上的三條棱邊VtlVx, V0Vy, V0Vz的顏色屬性與實物空間中特征立方體的特征邊顏色相同；步驟I. 2 :根據(jù)雙目相機的物理參數(shù)，在模型空間中設置透視投影變換所需的錐形視域體的相關參數(shù)錐形視域體的近裁剪面距視點的距離為攝像頭的焦距f，近裁剪面設置為投影平面，投影面大小為攝像頭物理感光元件的大小WXH，錐形視域體的后裁剪面距視點的距離為f+d，其中d為近裁剪面與后裁剪面的距離，同時錐形視域體中對象的顯示窗口大小與攝像頭采集到的圖像大小一致；步驟2 :調(diào)節(jié)雙目相機，使雙目相機中兩個攝像頭的距離為眼鏡式立體顯示器佩戴者雙眼瞳距S ;將實物空間中特征立方體放置在攝像頭的視角范圍內(nèi)，并使兩個攝像頭都能拍攝到實物空間中特征立方體的特征邊；步驟3 :雙目相機的兩個攝像頭同步連續(xù)采集實物空間的左圖像和右圖像，左圖像和右圖像的分辨率為UXZ ;采用下列步驟分別提取實物空間左圖像和右圖像中特征立方體的特征邊步驟3. I :將實物空間圖像濾波灰度處理檢測實物空間圖像中各像素點的紅色分量，將圖像中紅色分量大于綠色分量與藍色分量之和的像素點的灰度值置為255，其余像素點灰度值置為0，得到實物空間圖像的紅色濾波灰度圖像；檢測實物空間圖像中各像素點的藍色分量，將圖像中藍色分量大于綠色分量和紅色分量之和的像素點的灰度值置為255，其余像素點灰度值置為O，得到實物空間圖像的藍色濾波灰度圖像；檢測實物空間圖像中各像素點的綠色分量，將圖像中綠色分量大于紅色分量和藍色分量之和的像素點的灰度值置為255，其余像素點灰度值置為O，得到實物空間圖像的綠色濾波灰度圖像；步驟3. 2 :采用數(shù)學形態(tài)學腐蝕和膨脹算法分別求出實物空間圖像的三幅濾波灰度圖像的邊緣；步驟3. 3 :采用運用Freeman準則的直線檢測算法分別檢測實物空間圖像的三
幅濾波灰度圖像中的直線段，并保留長度不小于mmg，z)個像素點的直線段，在每條
直線段上均勻取至少6個像素點擬合出直線方程，得到三幅濾波灰度圖像的直線段集合紅色濾波灰度圖像中直線段集合W=Ik V = + ，綠色濾波灰度圖像 中直線段集合G = {Zg :y = kGx + b^，藍色濾波灰度圖像中直線段集合5 = :y = kBtx + bk}；步驟3. 4 :計算集合= + 中各直線與集合7 = 1.1+4中各直線的交點Qi,記交點Qi以及交點qi在R和G中對應直線的集合為M =■[(&,&，《,)};計算集合:.v = x + M中各直線與集合5 = J =紋X+4)中各直線的交點Si，記交點Si以及交點Si在R和B內(nèi)的對應直線的集合為# = [(&，；步驟3. 5 :對于集合M和N中的任意一條直線&，計算Z在M = f(i,;,g,)j中對應的點Qi和4在Ar =中對應的點Si之間的距離Li ;步驟3. 6 :重復步驟3. 5遍歷集合M和N中的所有直線A1，得到Li取到最小值Hiin(Li)時對應集合R、G和B中的三條直線Aimin,分別為特征立方體的紅、綠、藍三條特征邊，紅、綠、藍三條特征邊的斜率分別對應為匕,-，^^-，^^-，對應的交點Qimin和交點Simin之間連線的中點為三條特征邊的頂點匕(氣，外);步驟4 :根據(jù)步驟3提取的實物圖像中特征立方體的特征邊與步驟I建立的模型空間投影圖像中特征立方體三維模型的特征邊的對應關系分別確定模型空間中的左視點和右視點的坐標及視點觀察方向向量，包括以下步驟步驟4. I :設置視點位置為V1(X1JpZ1),以及視點觀察方向向量=(H,l)，得到
視點在投影面上的投影點坐標為V' i(Xl+f U1)，(Yl+f V1)，(Zl+f))，以及投影面方程為U1 [X- (xx+f Uj) ] +V1 [y- (yx+f V1) ] + [z-(zx+f) ] =0 (4-1)步驟4.2 :設置模型空間中任一點P(xp，yp，zp)與視點V1 (X1, yi，Z1)的空間直線方程為OPr = OP+(V^P(4-2)其中0點為模型空間中模型坐標系原點；利用公式4-1和公式4-2聯(lián)立求解出參數(shù)t和P點與投影面的交點P' U丨P，y' P，z' P)，其中P'點坐標為模型空間中視點坐標和視點觀察方向向量的函數(shù)；步驟4. 3:在投影面上建立圖像坐標系，圖像坐標系原點為投影面左下角點0/ (x0, y。，z。)，投影面橫向為巧軸方向，縱向為^軸方向，年軸垂直于投影面且指向視點觀察方向，；則|旲型坐標系與圖像坐標系的齊次坐標變換關系為P" (X" p, y" p, z" p, 1)=Q T P' (x, p, j' p, z1 p, I) (4-3)其中P" (Xp，y〃 p，zp)為P' U丨P，y' P，z' p)在圖像坐標系下的坐標，平移轉(zhuǎn)換矩陣T為
權(quán)利要求
1.一種信息物理圖像融合裝置，其特征在于包括眼鏡式立體顯示器、雙目相機、圖像處理裝置和特征立方體； 所述眼鏡式立體顯示器包括左眼顯示器和右眼顯示器； 所述雙目相機為兩個微型CCD攝像頭，每個攝像頭的分辨率應不低于640*480，用于模擬人雙眼采集圖像； 所述攝像頭安裝在相機固定裝置中，相機固定裝置包括矩形支架和球形轉(zhuǎn)動塊；矩形支架一端面上有梯形滑塊，矩形支架另一端面上開有球形凹槽，球形轉(zhuǎn)動塊安裝在球形凹槽內(nèi)，且球形轉(zhuǎn)動塊與矩形支架通過轉(zhuǎn)軸連接，轉(zhuǎn)軸過球形轉(zhuǎn)動塊球心，轉(zhuǎn)軸平行于矩形支架端面且垂直于矩形支架上梯形滑塊的滑動方向；在球形轉(zhuǎn)動塊朝外的方向上有相機安裝孔，且相機安裝孔中心軸線與球形轉(zhuǎn)動塊中心軸線垂直相交；攝像頭固定在相機安裝孔中，且攝像頭的中心軸線與相機安裝孔中心軸線重合； 所述相機固定裝置安裝在相機定位板上，相機定位板邊緣有卡扣，用于將相機定位板卡接在眼鏡式立體顯示器上；相機定位板外側(cè)面上有與梯形滑塊配合的梯形滑槽； 所述特征立方體起到圖像配準作用，特征立方體整體外表面為單一顏色，特征立方體中一個頂點的三條棱邊分別為紅、綠、藍三種顏色，且三條棱邊的顏色不同于特征立方體整體的顏色；所述三條棱邊為特征立方體的特征邊； 所述雙目相機同步采集的雙路圖像信號經(jīng)過圖像處理裝置轉(zhuǎn)化為數(shù)字圖像信號，并經(jīng)過信息物理圖像融合，輸出至眼鏡式立體顯示器，實現(xiàn)左右模式立體圖像的播放顯示。
2.一種采用權(quán)利要求I所述裝置的信息物理圖像融合方法，其特征在于包括以下步驟 步驟I :基于OpenGL圖形軟件接口在模型空間中建立特征立方體三維模型，并設置透視投影所需的錐形視域體 步驟I. I :在模型空間中設置模型坐標系與世界坐標系重合，并建立與實物空間中特征立方體外形尺寸相同的特征立方體三維模型，設置特征立方體三維模型同一頂點上的三條棱邊VtlVx, V0Vy, V0Vz的顏色屬性與實物空間中特征立方體的特征邊顏色相同； 步驟I. 2 :根據(jù)雙目相機的物理參數(shù)，在模型空間中設置透視投影變換所需的錐形視域體的相關參數(shù)錐形視域體的近裁剪面距視點的距離為攝像頭的焦距f，近裁剪面設置為投影平面，投影面大小為攝像頭物理感光元件的大小WXH，錐形視域體的后裁剪面距視點的距離為f+d，其中d為近裁剪面與后裁剪面的距離，同時錐形視域體中對象的顯示窗口大小與攝像頭采集到的圖像大小一致； 步驟2 :調(diào)節(jié)雙目相機，使雙目相機中兩個攝像頭的距離為眼鏡式立體顯示器佩戴者雙眼瞳距S ;將實物空間中特征立方體放置在攝像頭的視角范圍內(nèi)，并使兩個攝像頭都能拍攝到實物空間中特征立方體的特征邊； 步驟3 :雙目相機的兩個攝像頭同步連續(xù)采集實物空間的左圖像和右圖像，左圖像和右圖像的分辨率為UXZ ;采用下列步驟分別提取實物空間左圖像和右圖像中特征立方體的特征邊 步驟3. I :將實物空間圖像濾波灰度處理檢測實物空間圖像中各像素點的紅色分量，將圖像中紅色分量大于綠色分量與藍色分量之和的像素點的灰度值置為255，其余像素點灰度值置為0，得到實物空間圖像的紅色濾波灰度圖像；檢測實物空間圖像中各像素點的藍色分量，將圖像中藍色分量大于綠色分量和紅色分量之和的像素點的灰度值置為255，其余像素點灰度值置為O，得到實物空間圖像的藍色濾波灰度圖像；檢測實物空間圖像中各像素點的綠色分量，將圖像中綠色分量大于紅色分量和藍色分量之和的像素點的灰度值置為255，其余像素點灰度值置為O，得到實物空間圖像的綠色濾波灰度圖像； 步驟3. 2 :采用數(shù)學形態(tài)學腐蝕和膨脹算法分別求出實物空間圖像的三幅濾波灰度圖像的邊緣； 步驟3. 3 :采用運用Freeman準則的直線檢測算法分別檢測實物空間圖像的三幅濾波灰度圖像中的直線段，并保留長度不小于11川丫5，Z)個像素點的直線段，在每條直線段上均勻取至少6個像素點擬合出直線方程，得到三幅濾波灰度圖像的直線段集合紅色濾波灰度圖像中直線段集合= = + 綠色濾波灰度圖像中直線段集合G = {ig, = + 4，藍色濾波灰度圖像中直線段集合5 = f4s :y = kBx+bk}； 步驟3. 4 :計算集合 x+M中各直線與集合G = 7 + 0中各直線的交點1，記交點Qi以及交點Qi在R和G中對應直線的集合為Af =;計算集合= + M中各直線與集合5 =+ M中各直線的交點Si,記交點Si以及交點81在1 和8內(nèi)的對應直線的集合為況="[(&/%4)1; 步驟3. 5 :對于集合M和N中的任意一條直線4，計算&在財，免)j中對應的點Qi和&在漢，&)}中對應的點Si之間的距離Li ； 步驟3. 6 :重復步驟3. 5遍歷集合M和N中的所有直線A5，得到Li取到最小值min (Li)時對應集合R、G和B中的三條直線1 Lgj mn，Lbt_分別為特征立方體的紅、綠、藍三條特征邊，紅、綠、藍三條特征邊的斜率分別對應為，min(4)對應的交點q—和交點Simin之間連線的中點為三條特征邊的頂點KOV11,JV ); 步驟4 :根據(jù)步驟3提取的實物圖像中特征立方體的特征邊與步驟I建立的模型空間投影圖像中特征立方體三維模型的特征邊的對應關系分別確定模型空間中的左視點和右視點的坐標及視點觀察方向向量，包括以下步驟 步驟4. I :設置視點位置SV1O^y1, Z1)，以及視點觀察方向向量瓦=，得到視點在投影面上的投影點坐標為V i(Xl+f U1)，(Yl+f V1)，(Zl+f))，以及投影面方程為 U1 [X- (xx+f U1) ] +V1 [y- (yx+f V1)] + [z- (zx+f) ] =0 (4-1) 步驟4.2:設置模型空間中任一點？0^&%)與視點V1O^y1, Z1)的空間直線方程為 of =OP+(V^(4-2) 其中0點為模型空間中模型坐標系原點；利用公式4-1和公式4-2聯(lián)立求解出參數(shù)t和P點與投影面的交點P' U丨P，y' P，z' P)，其中P'點坐標為模型空間中視點坐標和視點觀察方向向量的函數(shù)； 步驟4. 3 :在投影面上建立圖像坐標系，圖像坐標系原點為投影面左下角點0' (x0, y0,Z0)，投影面橫向為巧軸方向，縱向為^軸方向，^軸垂直于投影面且指向視點觀察方向，；則豐旲型坐標系與圖像坐標系的齊次坐標變換關系為P" (X" p,y" p, z" p, 1)=Q T P' (X' p, y' p, z' p, I) (4-3) 其中P" (x〃 p，y" p，z" p)為P' (X' P，y' P，z' P)在圖像坐標系下的坐標，平移轉(zhuǎn)換矩陣T為
3.根據(jù)權(quán)利要求2所述的信息物理圖像融合方法，其特征在于通過調(diào)整平移矩陣T'和旋轉(zhuǎn)矩陣Q'，實現(xiàn)將需要融合的虛擬物體模型在到融合后的圖像中移動。
4.根據(jù)權(quán)利要求2或3所述的信息物理圖像融合方法，其特征在于檢測任一攝像頭采集的實物圖像中的特征立方體特征邊與上一幀實物圖像中的特征立方體特征邊是否重合，若重合，則表示視點不變，模型空間的左圖像和右圖像不變，若不重合，則表示視點變化，則根據(jù)步驟3和步驟4，重新計算模型空間中視點坐標和視點觀察方向向量?！?br> 全文摘要
本發(fā)明提出一種信息物理圖像融合裝置與方法，通過實物空間特征立方體的特征邊快速準確地獲得模型空間左右視點位置，生成模型空間的左右圖像；通過模型空間左右圖像中的特征立方體與實物左右圖像特征立方體完全重合實現(xiàn)信息物理圖像的快速融合；通過檢測當前實物圖像與上一幅實物圖像中特征立方體的特征點是否重合判斷視點是否發(fā)生變化，當視點變化時，計算新視點坐標從而生成新的模型左右圖像。本發(fā)明基于立體顯示方式實現(xiàn)裝配環(huán)境的立體仿真，使操作者有身臨其境的感覺，并通過雙目視覺感知場景中實物裝配單元的位置，建立虛擬裝配單元模型，完成虛擬裝配單元與實物裝配單元的融合，實現(xiàn)信息世界與物理世界的聯(lián)合。
文檔編號H04N13/00GK102801994SQ20121020317
公開日2012年11月28日 申請日期2012年6月19日 優(yōu)先權(quán)日2012年6月19日
發(fā)明者何衛(wèi)平, 張衡, 林清松, 雷蕾, 王偉 申請人:西北工業(yè)大學