專利名稱：基于多攝像機(jī)采集的遠(yuǎn)程沉浸協(xié)同工作裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種遠(yuǎn)程沉浸協(xié)同工作裝置，屬于虛擬現(xiàn)實領(lǐng)域，特別是涉及一種利用 多攝像機(jī)采集真實圖像并與虛擬環(huán)境融合顯示的沉浸協(xié)同工作裝置。
技術(shù)背景遠(yuǎn)程沉浸協(xié)同工作的含義是各地的參與者通過網(wǎng)絡(luò)互聯(lián)共享一個虛擬空間，既可以 隨意漫游，又可以相互溝通，還可以與虛擬環(huán)境交互。因此需要一套可以采集真人信息 并與虛擬場景融合顯示的裝置。根據(jù)遠(yuǎn)程沉浸協(xié)同工作方法的不同，所采用的裝置也不 同，主要就是采集裝置的不同。目前大致可以分為三類。第一類，marker方法。該種方法通過對人體關(guān)節(jié)點增加標(biāo)志點對人體進(jìn)行跟蹤，需 要的是跟蹤裝置，又可以分為兩類，磁性跟蹤裝置和光學(xué)跟蹤裝置。前者用一個接收器 接收人身體佩戴的marker發(fā)射出的電磁頻率，根據(jù)marker頻率的不同標(biāo)定關(guān)節(jié)點的位 置。后者通過在人體關(guān)節(jié)點安裝光發(fā)射裝置或反射裝置，通過被動接收裝置或主動式光 學(xué)捕獲系統(tǒng)實現(xiàn)對關(guān)節(jié)點的標(biāo)識。然后把關(guān)節(jié)點的運動映射到模型上，用真實人驅(qū)動模 型在虛擬環(huán)境中與其他用戶交互。第二類，單攝像機(jī)配合頭部跟蹤器方法。通過攝像機(jī)采集真實圖像，經(jīng)過前景提取、 模式識別等步驟用真實人動作驅(qū)動模型動作，用頭部跟蹤器跟蹤頭部運動，提取頭部朝 向等信息。第三類，多攝像機(jī)采集方法，在顯示器上方、左右兩側(cè)架設(shè)多個正對人體的攝像機(jī)， 采集真實圖像，經(jīng)過前景提取把人體影像提取出來，顯示在虛擬場景中，多攝像機(jī)采集 圖像用來保證前景提取的正確性。第一類方法精確度高，但是設(shè)備造價昂貴，不易普及，第二類方法通過視頻驅(qū)動模 型，精確度差，而且由于這兩類都采用了模型的方式，真實感較差。第三類雖然是真人 影像，但由于人體影像是二維的，疊加在三維場景中也存在不真實的缺點，而且人在與 遠(yuǎn)程節(jié)點進(jìn)行交互時，目光是朝向顯示屏的，因此攝像機(jī)無法采集到人的正對視線，這 樣給人的感覺是無法進(jìn)行目光交流。 發(fā)明內(nèi)容本發(fā)明所要解決的技術(shù)問題克服現(xiàn)有技術(shù)的不足，提供一種基于多攝像機(jī)采集的遠(yuǎn)程沉浸協(xié)同工作裝置，該裝置可以采集到人的正對視線，這樣給人的感覺是進(jìn)行目光 交流；另外可以使二維的視頻在三維場景中看起來更具有真實感。本發(fā)明的技術(shù)解決方案 一種基于多攝像機(jī)采集的遠(yuǎn)程沉浸協(xié)同工作裝置包括三 個攝像機(jī)、三個成a角度放置的顯示器和分別位于每個顯示器前以45度角放置的用于 改變光路的半透半反鏡，三個攝像機(jī)分別固定在半透半反鏡正上方，鏡頭豎直向下，鏡 頭在半透半反鏡中的投影與用戶正對顯示器時眼睛在半透半反鏡中的投影重合，這樣， 攝像頭是通過采集半透半反鏡反射的光線采集真實圖像的。在人正對顯示器與他人交流 時，攝像頭所采集的就是人的正對視線了，其中a大于90度；三個攝像機(jī)接收外部主 機(jī)發(fā)出的同一個外觸發(fā)信號，通過采集半透半反鏡反射的光線對同一個場景進(jìn)行同步真 實圖像的采集。所述的三個攝像機(jī)接收外部主機(jī)發(fā)出的同一個外觸發(fā)信號，通過采集半透半反鏡反 射的光線對同一個場景進(jìn)行同步真實圖像的采集后，再將采集的目標(biāo)圖像送至外部主機(jī) 進(jìn)行處理，即對圖像進(jìn)行前景提取，把三路經(jīng)過前景提取的圖像經(jīng)過特征點匹配壓縮成 一路可以轉(zhuǎn)動一定角度的圖像，即人的半三維影像，這樣可以使二維的視頻在三維場景 中看起來更具有真實感。所述的半透半反鏡通過固定架固定，固定架豎直的一面與顯示器相鄰，傾斜的一面 放置半透半反鏡。所述的三個攝像機(jī)鏡頭所在平面放置深色擋光板，同時擋光板上開孔，孔的尺寸和 攝像機(jī)鏡頭尺寸相當(dāng)，攝像機(jī)通過該孔采集圖像。所述的三個攝像機(jī)分別從三個不同方向采集真實圖像。 所述三個顯示器是通過轉(zhuǎn)接口從一臺主機(jī)引出的。所述的顯示器屏幕的亮度至少是正常情況下的兩倍，因為半透半反鏡會反射一半的 屏幕光線。所述的三個攝像機(jī)、三個顯示器和三個半透半反鏡裝置可拆卸，便于移動和調(diào)試。 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于本發(fā)明根據(jù)半透半反鏡可以改變光路的特點， 通過攝像機(jī)采集經(jīng)過半透半反鏡反射的光線，達(dá)到對人正對視線采集的目的；而通過三 個顯示器拼接顯示，可以擴(kuò)大人的視野；用三個攝像機(jī)從不同方向采集，可以得到人的 多側(cè)面信息，通過對這些側(cè)面進(jìn)行特征點匹配，把三路視頻合成一路半三維視頻，顯示 的時候根據(jù)觀察者視點與虛擬場景中影像的相對位置關(guān)系動態(tài)顯示不同的側(cè)面。


圖1是本發(fā)明基于多個攝像機(jī)采集的遠(yuǎn)程沉浸協(xié)同工作裝置示意圖；圖2是采用半透半反鏡的光路圖； 圖3是前景提取的流程圖。
具體實施方式
如圖1所示，本發(fā)明裝置由三塊半透半反鏡2、三個攝像機(jī)3和三個顯示器1組合。 三塊半透半反鏡2通過一個固定架4固定或通過三個固定架分別固定，固定架4豎直的 一面與顯示器相鄰，傾斜的一面放置半透半反鏡2，每個半透半反鏡2與顯示器1的夾 角為45度，相鄰兩個顯示器2間的夾角為a，其中a大于90度，因此半透半反鏡不 能切割為矩形，假設(shè)顯示器1的尺寸為a*b (長X高)，則半透半反鏡2所切割成的梯 形為一個等腰梯形，它的上底(較長的一端)為a，下底(較短的一端)為a-2b*C0S ( a /2)，兩腰長度為1.414b。如圖2所示，本發(fā)明利用半透半反鏡采集人的正對眼祌的工作原理是，半透半反鏡 可以透射顯示器發(fā)出的光線，人透過半透半反鏡觀看屏幕中顯示的虛實融合的場景。半 透半反鏡反射人體所反射的光線，攝像頭通過采集這部分光線采集人的神情、動作。三個攝像機(jī)3分別固定在半透半反鏡2的正上方，鏡頭豎直向下，鏡頭在半透半反 鏡中的投影與用戶正對顯示器時眼睛在半透半反鏡中的投影重合。在攝像機(jī)鏡頭所在平 面放置深色(黑色或深藍(lán)色等)擋光板，同時擋光板上開一個小孔，孔的尺寸和攝像機(jī) 鏡頭尺寸相當(dāng)，攝像機(jī)通過該小孔采集圖像。三個攝像機(jī)接收外部主機(jī)發(fā)出的同一個外觸發(fā)信號，通過采集半透半反鏡反射的光 線對同一個場景進(jìn)行同步真實圖像的采集后，再將采集的目標(biāo)圖像送至外部主機(jī)進(jìn)行處 理，處理過程為首先對圖像進(jìn)行前景提取，把人的影像從圖像中摳取出來，背景剔除 掉；然后把三路經(jīng)過前景提取的圖像作為參考圖像，對三路圖像進(jìn)行特征點匹配，以匹 配結(jié)果作為依據(jù)對中間角度的圖像進(jìn)行預(yù)測編碼，這樣，就可以把三路不同角度的圖像 合成為可以轉(zhuǎn)動一定角度的圖像，即人的半三維影像，該半三維影像隨著三維場景中視 角的轉(zhuǎn)動而轉(zhuǎn)動，就可以使二維的視頻在三維場景中看起來更具有真實感。 其中前景提取部分如圖3所示，步驟如下(1) 攝像機(jī)標(biāo)定通過對三個攝像機(jī)分別進(jìn)行標(biāo)定求得三個攝像機(jī)的內(nèi)外參數(shù)；(2) 進(jìn)行背景圖像采集三個攝像機(jī)在同一個硬件觸發(fā)信號控制下同步采集目標(biāo)物 體的圖像，分別得到圖像ImL、 ImM和ImR;(3) 進(jìn)行以人為前景的圖像采集人進(jìn)入三個攝像機(jī)的采集范圍，三個攝像機(jī)同 步采集以原背景為背景，以人為前景的三個圖像Iml、 Im2和Im3;(4) 計算前景圖像對步驟(2)和步驟(3)得到的兩組圖像ImL和Iml、 ImM和Im2及ImR和Im3分別求差值，得到人的前景圖像。 三路圖像合成的具體實施方法具體步驟如下(1) 投影變換，由于用戶的前景圖像是在不同角度下拍攝的，它們并不在一個投 影平面上，如果直接對重疊圖像進(jìn)行無縫拼接就會破壞實際景物的視覺一致性，因此， 結(jié)合本方法的應(yīng)用范圍，需要將得到的反映各自投影平面的圖像映射到一個標(biāo)準(zhǔn)投 影一一柱面投影上。(2) 特征點提取，在選擇特征點的時候，首先要保證旋轉(zhuǎn)、縮放的不變性；其次 特征點的數(shù)量應(yīng)該豐富，因為只有這樣，才能充分表達(dá)出圖像之間的關(guān)聯(lián)關(guān)系另外就 是特征點的提取速度要快，因為本方法是要應(yīng)用于實時的交互系統(tǒng)中，所以必須滿足每 秒15幀的圖像性能指標(biāo)。SURF特征點是可供選擇的一種。(3) 特征點匹配，以SURF特征點為例，包含了每個特征點屬性的矢量，所以可 以采用距離測度來進(jìn)行匹配，如選用歐式距離來描述兩個特征點之間的相似性。n維空 間的歐式距離公式如下<formula>formula see original document page 6</formula>其中i=l，2,…，n。 xu表示第一個點的第i維坐標(biāo)，&表示第二個點的第i維坐標(biāo)。 n維歐氏空間是一個點集，它的每個點可以表示為0d，X2,…，xj，其中Xi(i = l,2,…，n) 是實數(shù)，稱為x的第i個坐標(biāo)，同樣也有"(y,，y2，…，yn)。兩個點x和y之間的距離d(x，y) 定義為上述公式。每個SURF特征點都有一個64位的描述矢量。將每個點的描述矢量作為64維空間 的一個點，利用歐氏距離對兩點進(jìn)行距離測度，距離度量值越小，兩點越相似。d:圖像融合，通過上面的算法得到圖像ImX和ImY的多組相匹配的特征點x和y 之后，讓y所在圖像ImY作平移，使得y和x重合，從而實現(xiàn)圖像的拼接，生成可以轉(zhuǎn) 動一定角度的半三維影像。該半三維影像隨著三維場景中視角的轉(zhuǎn)動而轉(zhuǎn)動，就可以使二維的視頻在三維場景 中看起來更具有真實感。最后所應(yīng)說明的是，以上所述僅是本裝置的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù) 領(lǐng)域的普通技術(shù)人員來說，在不脫離本裝置利用半透半反鏡采集眼神、利用多攝像機(jī)采 集人的多角度視頻的大前提下，還可以做出更好的改進(jìn)或等同替換，這些改進(jìn)和等同替 換也應(yīng)視為本裝置的保護(hù)范圍。
權(quán)利要求
1、一種基于多攝像機(jī)采集的遠(yuǎn)程沉浸協(xié)同工作裝置，其特征在于包括三個攝像機(jī)、三個成α角度放置的顯示器和分別位于每個顯示器前以45度角放置的用于改變光路的半透半反鏡，三個攝像機(jī)分別固定在半透半反鏡正上方，鏡頭豎直向下，鏡頭在半透半反鏡中的投影與用戶正對顯示器時眼睛在半透半反鏡中的投影重合，其中α大于90度；三個攝像機(jī)接收外部主機(jī)發(fā)出的同一個外觸發(fā)信號，通過采集半透半反鏡反射的光線對同一個場景進(jìn)行同步真實圖像的采集。
2、 根據(jù)權(quán)利要求1所述的基于多攝像機(jī)采集的遠(yuǎn)程沉浸協(xié)同工作裝置，其特征在 于所述的三個攝像機(jī)接收外部主機(jī)發(fā)出的同一個外觸發(fā)信號，通過采集半透半反鏡反 射的光線對同一個場景進(jìn)行同步真實圖像的采集后，再將采集的目標(biāo)圖像送至外部主機(jī) 進(jìn)行處理，即對圖像進(jìn)行前景提取，把三路經(jīng)過前景提取的圖像經(jīng)過特征點匹配壓縮成 一路可以轉(zhuǎn)動一定角度的圖像，即人的半三維影像。
3、 根據(jù)權(quán)利要求1所述的基于多攝像機(jī)采集的遠(yuǎn)程沉浸協(xié)同工作裝置，其特征在于所述的半透半反鏡通過固定架固定，固定架豎直的一面與顯示器相鄰，傾斜的一面 放置半透半反鏡。
4、 根據(jù)權(quán)利要求1所述的基于多攝像機(jī)采集的遠(yuǎn)程沉浸協(xié)同工作裝置，其特征在 于所述的三個攝像機(jī)鏡頭所在平面放置深色擋光板，同時擋光板上開孔，孔的尺寸和 攝像機(jī)鏡頭尺寸相當(dāng)，攝像機(jī)通過該孔采集圖像。
5、 根據(jù)權(quán)利要求1所述的基于多攝像機(jī)采集的遠(yuǎn)程沉浸協(xié)同工作裝置，其特征在 于所述的三個攝像機(jī)分別從三個不同方向采集真實圖像。
6、 根據(jù)權(quán)利要求1所述的基于多攝像機(jī)采集的遠(yuǎn)程沉浸協(xié)伺工作裝置，其特征在 于所述三個顯示器是通過轉(zhuǎn)接口從一臺主機(jī)引出的。
7、 根據(jù)權(quán)利要求1所述的基于多攝像機(jī)采集的遠(yuǎn)程沉浸協(xié)同工作裝置，其特征在 于所述的顯示器屏幕的亮度至少是正常情況下的兩倍，因為半透半反鏡會反射一半的 屏幕光線。
8、 根據(jù)權(quán)利要求1所述的基于多攝像機(jī)采集的遠(yuǎn)程沉浸協(xié)同工作裝置，其特征在 于所述的三個攝像機(jī)、三個顯示器和三個半透半反鏡裝置可拆卸，便于移動和調(diào)試。
全文摘要
一種基于多攝像機(jī)采集的遠(yuǎn)程沉浸協(xié)同工作裝置包括三個攝像機(jī)、三個成α角度放置的顯示器和分別位于每個顯示器前以45度角放置的用于改變光路的半透半反鏡，三個攝像機(jī)分別固定在半透半反鏡正上方，鏡頭豎直向下，鏡頭在半透半反鏡中的投影與用戶正對顯示器時眼睛在半透半反鏡中的投影重合，其中α大于90度；三個攝像機(jī)接收外部主機(jī)發(fā)出的同一個外觸發(fā)信號，通過采集半透半反鏡反射的光線對同一個場景進(jìn)行同步真實圖像的采集。本發(fā)明可以采集到人的正對視線，這樣給人的感覺是進(jìn)行目光交流；另外可以使二維的視頻在三維場景中看起來更具有真實感。
文檔編號G06T1/00GK101581874SQ20091008102
公開日2009年11月18日 申請日期2009年3月27日 優(yōu)先權(quán)日2009年3月27日
發(fā)明者劉寒冰, 威 吳, 忠 周, 成 許, 趙沁平 申請人:北京航空航天大學(xué)