實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法
【專利摘要】本發(fā)明涉及一種實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法，所述方法首先標定深度攝像頭的內部參數(shù)、高分辨率攝像裝置的內部參數(shù)及畸變參數(shù)，固定所述深度攝像頭與所述高分辨率攝像裝置，獲取所述深度攝像頭與高分辨率攝像裝置之間的相對位置，并同步捕獲所述深度攝像頭與高分辨率攝像裝置的數(shù)據(jù)，利用深度信息，獲取特征信息點，最后恢復所述特征信息點在所述深度攝像頭坐標系中的三維坐標，再將所述三維坐標投射到所述高分辨率攝像裝置的圖像坐標系中。本發(fā)明的技術方案可以利用現(xiàn)有裝置來實現(xiàn)具有高分辨率的增強現(xiàn)實系統(tǒng)，以滿足大屏幕視頻等復雜場景的需要，其實施方便，不會增加額外的硬件成本。
【專利說明】實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法
[0001]
【技術領域】
[0002]本發(fā)明屬于視頻處理【技術領域】，特別是一種實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法。
[0003]【背景技術】
[0004]目前，在視頻游戲等領域，出現(xiàn)了采用深度攝像頭的視頻應用系統(tǒng)，如微軟公司視頻游戲機Xbox360的體感游戲外設Kinect。上述視頻應用系統(tǒng)通常被稱為增強現(xiàn)實系統(tǒng)(Augmented Reality, AR)。與傳統(tǒng)的攝像頭只能提取二維畫面不同,深度攝像頭的特點在于可以快速提取空間的深度信息，構建空間和物體的三維坐標，比如人體肢體動作識別和物體追蹤等。利用深度攝像頭，上述使用增強現(xiàn)實系統(tǒng)的體感游戲可以對游戲機前方的用戶進行定位，并根據(jù)其做出的動作，在游戲系統(tǒng)中進行特定的反饋并由電視機輸出相應的視頻，從而使用戶能夠僅利用肢體動作即可游玩游戲。
[0005]深度攝像頭的主要實現(xiàn)方式包括結構光方法和光反射方法。結構光方法中，攝像頭通過發(fā)射特定的圖樣(PATTERN)，并根據(jù)拍攝后的圖像進行解碼，從而獲取每個圖樣在圖像中對應的位置。假設原始圖樣坐標為A，成像后的坐標為B，由攝像頭的成像特性可知，存在一個單應矩陣H，使得A=HB成立。根據(jù)攝像頭的內部畸變參數(shù)和單應矩陣H，可以準確的計算出當前圖樣和攝像頭的空間相對位置。當所有的圖樣都被解析出以后，即可恢復整個畫面的深度信息。光反射法基于光速，它是利用測量光的發(fā)射和反射時間差，計算在此時間內走的光程，dist=c*(t2-tl)。算法原理比結構光方法更簡單,但對硬件的響應速度要求更聞。
[0006]但是，由于硬件成本的等各方面的原因，具有深度攝像頭的裝置，其攝像頭的分辨率往往不高，難以滿足大屏幕視頻等復雜場景的需要，而具有較高分辨率的攝像裝置，又不具備深度攝像頭的功能。因此，有必要提供一種利用現(xiàn)有裝置來實現(xiàn)具有高分辨率的增強現(xiàn)實系統(tǒng)。
[0007]
【發(fā)明內容】

[0008]本發(fā)明所要解決的技術問題在于提供一種視頻處理技術，特別是一種實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法。
[0009]本發(fā)明的目的是通過以下技術方案來實現(xiàn)的:
一種實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法，所述方法包括以下步驟:
步驟a.標定深度攝像頭的內部參數(shù)、高分辨率攝像裝置的內部參數(shù)及畸變參數(shù)；
步驟b.固定所述深度攝像頭與所述高分辨率攝像裝置，獲取所述深度攝像頭與高分辨率攝像裝置之間的相對位置；步驟C.同步捕獲所述深度攝像頭與高分辨率攝像裝置的數(shù)據(jù)；
步驟d.利用深度信息，獲取特征信息點；
步驟e.恢復所述特征信息點在所述深度攝像頭坐標系中的三維坐標；
步驟f.將所述三維坐標投射到所述高分辨率攝像裝置的圖像坐標系中。
[0010]在本發(fā)明的技術方案中，所述步驟a具體包括:
采用針孔攝像頭成像模型:
【權利要求】
1.一種實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法，其特征在于，所述方法包括以下步驟: 步驟a.標定深度攝像頭的內部參數(shù)、高分辨率攝像裝置的內部參數(shù)及畸變參數(shù)； 步驟b.固定所述深度攝像頭與所述高分辨率攝像裝置，獲取所述深度攝像頭與高分辨率攝像裝置之間的相對位置； 步驟c.同步捕獲所述深度攝像頭與高分辨率攝像裝置的數(shù)據(jù)； 步驟d.利用深度信息，獲取特征信息點； 步驟e.恢復所述特征信息點在所述深度攝像頭坐標系中的三維坐標； 步驟f.將所述三維坐標投射到所述高分辨率攝像裝置的圖像坐標系中。
2.如權利要求1所述的實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法，其特征在于，所述步驟a具體包括: 采用針孔攝像頭成像模型:
3.如權利要求2所述的實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法，其特征在于，所述內部參數(shù)和畸變參數(shù)的獲取具體包括:對所述深度攝像頭與高分辨率攝像裝置做標定，打印標定模板，在所述深度攝像頭的視野范圍內做多角度旋轉和平移，拍攝圖像，計算圖像中的特征信息點，依據(jù)標定模板的實際尺寸，獲取所述深度攝像頭與高分辨率攝像裝置的畸變參數(shù)和內部參數(shù)。
4.如權利要求1所述的實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法，其特征在于，所述步驟b中，所述深度攝像頭與高分辨率攝像裝置為剛體連接，且平行安裝。
5.如權利要求1所述的實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法，其特征在于，所述步驟c中，所述深度攝像頭與高分辨率攝像裝置采集數(shù)據(jù)的幀速相同。
6.如權利要求3所述的實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法，其特征在于，所述步驟d具體包括: 設所述特征信息點坐標為Head3D，在所述深度攝像頭圖像中的坐標為(u_h，v_h)，距離所述深度攝像頭的距離為z_h，則有:
Fd = (u_h, v_h , z_h) 上式中，u_h和v_h的單位為像素，z_h的單位為毫米。
7.如權利要求6所述的實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法，其特征在于，所述步驟e具體包括:將所述特征信息點映射到所述高分辨率攝像裝置上，恢復所述特征信息點在所述深度攝像頭坐標系中的三維坐標Head3D為:
Head3D.x = (u_h - cx_d) * z_h/fx_d
Head3D.y = (v_h- cy_d) * z_h/fy_d
Head3D.z = z—h。
8.如權利要求7所述的實現(xiàn)高分辨率增強現(xiàn)實系統(tǒng)的方法，其特征在于，所述步驟f具體計算過程為: 設所述特征信息點投射后的坐標為Head3D，有:
Head3D’ = Head3D*Red + Tcd
Fc.x = (Head3D，? x * fx_c / Head3D，? z) + cx_c
Fc.y = (Head3D，? y * fy_c / Head3D，? z) + cy—c。
【文檔編號】G06T19/00GK103500471SQ201310448413
【公開日】2014年1月8日 申請日期:2013年9月27日 優(yōu)先權日:2013年9月27日
【發(fā)明者】袁元, 王倩 申請人:深圳市中視典數(shù)字科技有限公司