專利名稱：用于相機跟蹤的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
以下描述涉及一種跟蹤相機的姿態(tài)的方法和設(shè)備，更具體地，涉及一種基于使用至少三臺相機拍攝的幀來跟蹤每臺相機的姿態(tài)的方法和設(shè)備。
背景技術(shù)：
相機跟蹤會是計算機化視覺系統(tǒng)中的基礎(chǔ)問題。相機跟蹤旨在于自動地從視頻序列恢復(fù)相機運動。相機跟蹤的基本構(gòu)思在于選擇在幀的序列中出現(xiàn)的場景點，并同時基于二維(2D)點的一組對應(yīng)關(guān)系來估計選擇的場景點的三維(3D)位置和相機運動。相機跟蹤可具有許多應(yīng)用，諸如深度恢復(fù)、3D重建、位置識別和自助機器人導(dǎo)航。特別地，隨著數(shù)字相機的廣泛使用，已經(jīng)可容易地使用單目相機，并且單目相機的價格正在變得更加便宜。因此，跟蹤單目相機的方法被廣泛使用。然而，不可從使用單目相機拍攝的圖像恢復(fù)動態(tài)對象的3D信息。由于累積誤差，可能會難以從使用單目相機拍攝的圖像精確地恢復(fù)大尺度場景的相機運動。已經(jīng)提出了使用立體相機來恢復(fù)相機運動和深度映射的若干方法。然而，當使用立體相機拍攝圖像時，可能會難以處理圖像中的閉塞(occlusions)。

發(fā)明內(nèi)容
通過提供一種基于使用至少三臺相機拍攝的幀來跟蹤相機姿態(tài)的方法來實現(xiàn)前述和/或其它方面，所述方法包括:提取和跟蹤多幀中的至少一個第一特征，并基于第一特征跟蹤多幀的每一幀中的每臺相機的姿態(tài)；基于至少一個單幀的每一幀的至少一個第二特征來跟蹤所述至少一個單幀的每一幀中的每臺相機的姿態(tài)。所述至少一個第二特征的每一個可相應(yīng)于所述至少一個第一特征中的一個，所述至少一個單幀的每一幀可以是與多幀連續(xù)的幀中的跟蹤的第二特征的數(shù)量小于門限的初始幀的先前幀。所述跟蹤多幀中的至少一個第一特征的步驟可包括:從多幀中的第一幀的至少三個圖像中提取第三特征，跟蹤第三特征直到多幀中的最后幀，通過從跟蹤的第三特征中移除具有動態(tài)軌跡的特征來確定第一特征，以及基于第一特征來估計多幀的每一幀中的每臺相機的姿態(tài)。提取第三特征的步驟可包括:從第一幀的至少三個圖像中提取點，以產(chǎn)生尺度不變特征變換(SIFT)描述符，以及通過使用產(chǎn)生的SIFT描述符之間的描述符比較來匹配提取的點并通過將匹配的點連接作為特征，來產(chǎn)生第三特征。提取第三特征的步驟還可包括使用幾何約束移除第三特征中的異常值。幾何約束可包括對極約束、二次投影約束和深度范圍約束中的至少一個。所述跟蹤所述至少一個單幀的每一幀中的每臺相機的姿態(tài)的步驟可包括:將多幀的隨后的幀設(shè)置為當前幀，在當前幀中提取與第一特征的一個相應(yīng)的第二特征，當?shù)诙卣鞯臄?shù)量大于或等于門限時，估計當前幀中的每臺相機的姿態(tài)，以及將當前幀的隨后的幀設(shè)置為新的當前幀，并當?shù)诙卣鞯臄?shù)量大于或等于門限時，在新的當前幀中提取第二特征。所述跟蹤多幀中的至少一個第一特征的步驟可包括:當?shù)诙卣鞯臄?shù)量小于門限時，再次跟蹤多幀的每一幀中的每臺相機的姿態(tài)。通過提供一種基于使用至少三臺相機拍攝的幀來跟蹤相機姿態(tài)的設(shè)備來實現(xiàn)前述和/或其它方面，所述設(shè)備包括:多幀處理單元，提取和跟蹤多幀中的至少一個第一特征，并基于第一特征跟蹤多幀的每一幀中的每臺相機的姿態(tài)；單幀處理單元，基于至少一個單幀的每一幀的至少一個第二特征來跟蹤所述至少一個單幀的每一幀中的每臺相機的姿態(tài)。所述至少一個第二特征的每一個可對應(yīng)于所述至少一個第一特征中的一個，所述至少一個單幀的每一幀可以是與多幀連續(xù)的幀中的跟蹤的第二特征的數(shù)量小于門限的初始幀的先前幀。多幀處理單元可包括:特征提取器，從多幀中的第一幀的至少三個圖像中提取第三特征；特征跟蹤單元，跟蹤第三特征直到多幀中的最后幀；動態(tài)點檢測器，通過從跟蹤的第三特征中移除具有動態(tài)軌跡的特征來確定第一特征；相機姿態(tài)估計器，基于第一特征來估計多幀的每一幀中的每臺相機的姿態(tài)。動態(tài)點檢測器可計算第三特征的每一個的四維(4D)軌跡子空間，并可基于4D軌跡子空間確定第三特征的每一個是否具有動態(tài)軌跡。特征提取器可從第一幀的至少三個圖像中提取點，以產(chǎn)生SIFT描述符，并可通過使用產(chǎn)生的SIFT描述符之間的描述符比較來匹配提取的點并通過將匹配的點連接作為特征，來產(chǎn)生第三特征。特征提取器可使用幾何約束移除第三特征中的異常值。單幀處理單元可包括:當前幀設(shè)置單元，將多幀的隨后的幀設(shè)置為當前幀；當前幀特征估計器，在當前幀中提取與第一特征的一個對應(yīng)的第二特征；門限比較器，當?shù)诙卣鞯臄?shù)量大于或等于門限時，估計當前幀中的每臺相機的姿態(tài)。當?shù)诙卣鞯臄?shù)量大于或等于門限時，當前幀設(shè)置單元可將當前幀的隨后的幀設(shè)置為新的當前幀，并當?shù)诙卣鞯臄?shù)量大于或等于門限時，可在新的當前幀中提取第二特征。當?shù)诙卣鞯臄?shù)量小于門限時，多幀處理單元可再次運行。將在接下來的描述中部分闡述實施例的另外的方面，還有一部分通過描述將是清楚的，或者可以經(jīng)過本公開的實施而得知。


通過下面結(jié)合附圖對實施例進行的描述，這些和/或其它方面將會變得清楚和更易于理解，其中:圖1示出用于描述根據(jù)實施例的相機跟蹤設(shè)備的操作的示圖。圖2示出根據(jù)實施例的用于跟蹤相機的姿態(tài)的設(shè)備的配置。圖3示出根據(jù)實施例的跟蹤相機的姿態(tài)的方法。
圖4示出根據(jù)實施例的多幀處理操作。圖5示出根據(jù)實施例的特征提取操作。圖6示出根據(jù)實施例的特征跟蹤操作。圖7示出根據(jù)實施例的動態(tài)點檢測操作。圖8示出根據(jù)實施例的相機姿態(tài)估計操作。圖9示出根據(jù)實施例的單幀處理操作。
具體實施例方式現(xiàn)將詳細參考實施例,在附圖中示出實施例的示例,其中,相似的標號始終表示相似的元件。以下通過參照附圖對實施例進行描述以解釋本公開。三目相機可包括三臺同步的相機。所述三臺同步的相機可以是共線配置。以下，術(shù)語“姿態(tài)”可被替換為位置，術(shù)語“序列”可指示通過連續(xù)捕捉場景產(chǎn)生的一系列圖像。三目序列可指示由包括在三目相機中的三臺相機中的每一臺連續(xù)捕捉場景而產(chǎn)生的三個序列。三維(3D)位置M可被表示為[X，Y，Z]t。這里，X、Y和Z可分別指示場景點的X坐標、Y坐標和Z坐標。場景點的二維(2D)圖像位置m可被表示為[u，v]T。相機變換可被模型化為K[R|t]。在該示例中，K可以是內(nèi)部矩陣(intrinsicmatrix), [R| t]可以是投影矩陣(projective matrix)。內(nèi)部矩陣可基于相機的內(nèi)部屬性。相機的內(nèi)部屬性可包括根據(jù)沿圖像的X軸和y軸的像素的焦距、X軸與y軸之間的斜率以及基本點(principle point)?；军c可指示相機中心到圖像平面的投影。外部矩陣(extrinsic matrix)可對包括旋轉(zhuǎn)R和平移t的相機運動進行建模。因此，投影過程可被表示為Am = K[R|t]M。這里，入可表示比例因子?！斑\動結(jié)構(gòu)”("Structure-from-motion")可指不從圖像測量m’估計所有M和[R|t]。當選擇的場景點全部是靜態(tài)的時，上述估計可以是高度可靠的。然而，當場景包括多個運動對象時，一些點在捕捉期間可具有多于單個3D位置，從而上述估計可能會被嚴重地干擾。為了確定點是否是靜態(tài)的，可檢查與所述點相應(yīng)的所有的2D圖像位置的對是否滿足對極幾何(epipolar geometry)。當立體裝束(rig)可用時，匹配的點的3D位置可通過三角測量被更可靠地計算。兩個圖像屬于相同幀，可直接從立體裝束獲得左視圖與右視圖之間的相對姿態(tài)。與3D位置相關(guān)聯(lián)的信息可被用于特征跟蹤。特征跟蹤可指示連接與相同場景點相應(yīng)的圖像點。圖1示出用于描述根據(jù)實施例的相機跟蹤設(shè)備的操作的示圖。當使用能夠拍攝左圖像、中間圖像和右圖像的三目相機時，中間圖像中的預(yù)定像素很少在左圖像和右圖像兩者中均閉塞。此外，當使用三目相機時，在每個時間戳可獲得三個圖像。因此，可采用比對極幾何更強的幾何約束，以準確地計算跟蹤的特征的3D位置并移除異常值(outlier)。在三目相機的配置中，可假設(shè)三目相機中的三臺相機的相對姿態(tài)固定。此外，可假設(shè)三臺相機的內(nèi)部參數(shù)在捕捉期間不改變。因此，相機姿態(tài)跟蹤設(shè)備100的輸入值可包括三目序列、內(nèi)部矩陣以及三臺相機的相對相機姿態(tài)。相機位置跟蹤設(shè)備100的輸出值可包括每個圖像的外部矩陣。外部矩陣可包括旋轉(zhuǎn)矩陣和平移矢量。例如，可通過諸如“用于Matlab的相機校準工具箱”的工具來校準三臺相機的內(nèi)部參數(shù)和位置。當兩臺相機的外部相機參數(shù)是[1 |幻2時，可根據(jù)等式I來計算所述兩臺相機之間的相對位置:等式I
權(quán)利要求
1.一種基于使用至少三臺相機拍攝的幀來跟蹤相機姿態(tài)的方法，所述方法包括: 提取和跟蹤多幀中的至少一個第一特征，并基于第一特征跟蹤多幀的每一幀中的每臺相機的姿態(tài)；以及 基于至少一個單幀的每一幀的至少一個第二特征來跟蹤所述至少一個單幀的每一幀中的每臺相機的姿態(tài)， 其中，所述至少一個第二特征的每一個相應(yīng)于所述至少一個第一特征中的一個，所述至少一個單幀的每一幀是與多幀連續(xù)的幀中的跟蹤的第二特征的數(shù)量小于門限的初始幀的先前幀。
2.如權(quán)利要求1所述的方法，其中，所述跟蹤多幀中的至少一個第一特征的步驟包括: 從多幀中的第一幀的至少三個圖像中提取第三特征； 跟蹤第三特征直到多幀中的最后幀； 通過從跟蹤的第三特征中移除具有動態(tài)軌跡的特征來確定第一特征；以及 基于第一特征來估計多幀的每一幀中的每臺相機的姿態(tài)。
3.如權(quán)利要求2所述的方法，其中，提取第三特征的步驟包括: 從第一幀的至少三個圖像中提取點，以產(chǎn)生尺度不變特征變換SIFT描述符；以及通過使用產(chǎn)生的SIFT描述符之間的描述符比較來匹配提取的點并通過將匹配的點連接作為特征，來產(chǎn)生第三特征。
4.如權(quán)利要求3所述的方法，其中，提取第三特征的步驟還包括: 使用幾何約束移除第三特征中的異常值。
5.如權(quán)利要求4所述的方法，其中，幾何約束包括對極約束、二次投影約束和深度范圍約束中的至少一個。
6.如權(quán)利要求1所述的方法，其中，所述跟蹤所述至少一個單幀的每一幀中的每臺相機的姿態(tài)的步驟包括: 將多幀的隨后的幀設(shè)置為當前幀； 在當前幀中提取與第一特征的一個對應(yīng)的第二特征； 當?shù)诙卣鞯臄?shù)量大于或等于門限時，估計當前幀中的每臺相機的姿態(tài)；以及將當前幀的隨后的幀設(shè)置為新的當前幀，并當?shù)诙卣鞯臄?shù)量大于或等于門限時，在新的當前幀中提取第二特征。
7.如權(quán)利要求6所述的方法，其中，所述跟蹤多幀中的至少一個第一特征的步驟包括: 當?shù)诙卣鞯臄?shù)量小于門限時，再次跟蹤多幀的每一幀中的每臺相機的姿態(tài)。
8.一種基于使用至少三臺相機拍攝的幀來跟蹤相機姿態(tài)的設(shè)備，所述設(shè)備包括: 多幀處理單元，提取和跟蹤多幀中的至少一個第一特征，并基于第一特征跟蹤多幀的每一幀中的每臺相機的姿態(tài)；以及 單幀處理單元，基于至少一個單幀的每一幀的至少一個第二特征來跟蹤所述至少一個單幀的每一幀中的每臺相機的姿態(tài)， 其中，所述至少一個第二特征的每一個相應(yīng)于所述至少一個第一特征中的一個，所述至少一個單幀的每一幀是與多幀連續(xù)的幀中的跟蹤的第二特征的數(shù)量小于門限的初始幀的先前幀。
9.如權(quán)利要求8所述的設(shè)備，其中，多幀處理單元包括:特征提取器，從多幀中的第一幀的至少三個圖像中提取第三特征； 特征跟蹤單元，跟蹤第三特征直到多幀中的最后幀； 動態(tài)點檢測器，通過從跟蹤的第三特征中移除具有動態(tài)軌跡的特征來確定第一特征； 以及 相機姿態(tài)估計器，基于第一特征來估計多幀的每一幀中的每臺相機的姿態(tài)。
10.如權(quán)利要求9所述的設(shè)備，其中，動態(tài)點檢測器計算第三特征的每一個的四維(4D)軌跡子空間，并基于4D軌跡子空間確定第三特征的每一個是否具有動態(tài)軌跡。
11.如權(quán)利要求9所述的設(shè)備，其中，特征提取器從第一幀的至少三個圖像中提取點，以產(chǎn)生尺度不變特征變換SIFT描述符，并通過使用產(chǎn)生的SIFT描述符之間的描述符比較來匹配提取的點并通過將匹配的點連接作為特征，來產(chǎn)生第三特征。
12.如權(quán)利要求11所述的設(shè)備，其中，特征提取器使用幾何約束移除第三特征中的異常值。
13.如權(quán)利要求12所述的設(shè)備，其中，幾何約束包括對極約束、二次投影約束和深度范圍約束中的至少一個。
14.如權(quán)利要求8所述的設(shè)備，其中，單幀處理單元包括: 當前幀設(shè)置單元，將多幀的隨后的幀設(shè)置為當前幀； 當前巾貞特征估計器，在當前巾貞中提取與第一特征的一個對應(yīng)的第二特征； 門限比較器，當?shù)诙卣鞯臄?shù)量大于或等于門限時，估計當前幀中的每臺相機的姿態(tài)，其中，當?shù)诙卣鞯臄?shù)量大于或等于門限時，當前幀特征設(shè)置單元將當前幀的隨后的幀設(shè)置為新的當前幀，并當?shù)诙卣鞯臄?shù)量大于或等于門限時，在新的當前幀中提取第二特征。
15.如權(quán)利要求14所述的設(shè)備，其中，當?shù)诙卣鞯臄?shù)量小于門限時，多幀處理單元再次運行。
16.—種跟蹤至少三臺相機的每一臺的姿態(tài)的方法，所述方法包括: 從使用所述至少三臺相機拍攝的至少兩個連續(xù)幀中提取第一靜態(tài)特征； 跟蹤從所述至少兩個連續(xù)幀中提取的第一靜態(tài)特征； 基于跟蹤的第一靜態(tài)特征來估計所述至少三臺相機的每一臺的姿態(tài)； 從使用所述至少三臺相機拍攝的至少一個單幀中提取第二靜態(tài)特征；以及 基于提取的第二靜態(tài)特征來跟蹤在每個單幀中的所述至少三臺相機的每一臺的姿態(tài)。
17.如權(quán)利要求16所述的方法，其中，第二靜態(tài)特征相應(yīng)于第一靜態(tài)特征。
全文摘要
一種用于相機跟蹤的方法和設(shè)備。所述相機姿態(tài)跟蹤設(shè)備可基于使用至少三臺相機拍攝的幀來跟蹤相機姿態(tài)，可提取和跟蹤多幀中的至少一個第一特征，并可基于第一特征跟蹤多幀的每一幀中的每臺相機的姿態(tài)。當在多幀中跟蹤了第一特征時，相機姿態(tài)跟蹤設(shè)備可基于至少一個單幀的每一幀的至少一個第二特征來跟蹤所述至少一個單幀的每一幀中的每臺相機的姿態(tài)。所述至少一個第二特征的每一個可相應(yīng)于所述至少一個第一特征中的一個，所述至少一個單幀的每一幀可以是與多幀連續(xù)的幀中的跟蹤的第二特征的數(shù)量小于門限的初始幀的先前幀。
文檔編號G06T7/00GK103218799SQ20121028678
公開日2013年7月24日 申請日期2012年8月13日 優(yōu)先權(quán)日2012年1月18日
發(fā)明者金智元, 章國鋒, 樸斗植, 李皓榮, 劉浩敏, 鮑虎軍 申請人:三星電子株式會社