專利名稱：用于從二維圖像進行三維物體重建的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及三維物體建模，更具體地涉及一種使用包括平滑功能的 混合特征檢測以及跟蹤從二維(2D)圖像進行三維(3D)信息獲取的系統(tǒng)和 方法。
背景技術(shù)：
當拍攝場景時，得到的視頻序列包含關(guān)于該場景的三維(3D)幾何形狀 的隱含信息。對于適當?shù)娜祟惛杏X而言，這樣的隱含信息足夠了，而對于許 多應(yīng)用而言，需要3D場景的精確幾何形狀。這些應(yīng)用的一種類別是當使用 復雜的數(shù)據(jù)處理技術(shù)時，例如在生成該場景的新視角時、或在為工業(yè)檢查應(yīng) 用而重建3D幾何形狀時。
一段時間以來，恢復3D信息已經(jīng)成為活躍的研究領(lǐng)域。在文獻中存在 大量的技術(shù)，其或者例如使用激光測距儀直接捕獲3D信息，或者從如立體 或基于運動的結(jié)構(gòu)估計(structure from motion) 4支術(shù)的一個或多個二維(2D ) 圖像來恢復3D信息。3D獲取技術(shù)通?？梢员环诸悶橹鲃雍捅粍臃椒?、單視 角和多^L角方法、以及幾何測定和光度測定方法。
被動方法從在常規(guī)光照條件下拍攝的圖像或視頻獲取3D幾何形狀。使 用從圖像和視頻提取的幾何測定或光度測定特征來計算3D幾何形狀。主動 方法使用特殊光源，如激光、結(jié)構(gòu)光、或紅外光。
主動方法基于物體和場景對投射到該物體和場景的表面的特殊光的響應(yīng) 來計算幾何形狀。
單視角方法使用從單個照相機視點拍攝的多個圖像來恢復3D幾何形狀。 示例包括基于運動的結(jié)構(gòu)估計和基于散焦的深度估計(depth from defocus )。多視角方法根據(jù)從物體運動得到的或具有不同光源位置的多個照相機視
點拍攝的多個圖像來恢復3D幾何形狀。立體匹配是通過將立體對中的左圖 像和右圖像中的像素匹配來得到像素的深度信息而進行多視角3D恢復的示例。
幾何測定方法通過檢測單個圖像或多個圖像中的如角點、邊緣、線或輪 廓的幾何測定特征來恢復3D幾何形狀。所提取的角點、邊緣、線或輪廓之 間的空間關(guān)系可被用來推斷圖像中像素的3D坐標?；谶\動的結(jié)構(gòu)估計 (SFM)是嘗試根據(jù)從在場景內(nèi)移動的照相機或者靜態(tài)照相機與移動的物體 拍攝的一系列圖像來重建場景的3D結(jié)構(gòu)的技術(shù)。盡管公認SFM實質(zhì)上是非 線性問題，但是已經(jīng)進行了將其線性表示的若干嘗試，其提供了算術(shù)簡潔性 以及直接的求解方法。另一方面，非線性技術(shù)需要迭代優(yōu)化，并且必須應(yīng)付 局部最小值。然而，這些技術(shù)確保了良好的數(shù)字精度和靈活度。SFM相對于 立體匹配的優(yōu)點在于需要一個照相機。通過利用過去的特征運動歷史來預測 下 一 幀中的不 一致性的跟蹤技術(shù)，可使得基于特征的方法更有效。
其次，由于2個連續(xù)的幀之間的小的空間和時間差，作為估計被稱為光 學流的圖像明亮圖案(image brightness pattern)的明顯運動的問題，還可能 出現(xiàn)對應(yīng)性問題。存在使用SFM的若干算法；其大多數(shù)基于從2D圖像重建 3D幾何形狀。 一些算法假設(shè)已知的對應(yīng)值，而其他算法使用統(tǒng)計方法來重建 而沒有利用對應(yīng)性。
幾十年來已經(jīng)廣泛研究了上述方法。然而，沒有單個技術(shù)在所有情形下 都運行良好，并且大多數(shù)過去的方法關(guān)注在實驗室條件下的3D重建，而這 相對容易。對于真實世界的場景而言，對象可能處于運動中，光照可能是復 雜的，并且深度范圍可能較大。上述技術(shù)難以處理這些真實世界的情況。

發(fā)明內(nèi)容
本公開提供了一種用于使用二維(2D)圖像來進行場景的三維(3D)獲 取和建模的系統(tǒng)和方法。本公開的系統(tǒng)和方法包括獲取場景的至少兩個圖 像，并且應(yīng)用平滑函數(shù)以使得特征更為明顯，之后應(yīng)用特征選擇和跟蹤的混 合方案以便恢復3D信息。首先，對圖像應(yīng)用平滑函數(shù)，之后應(yīng)用將找到圖 像中的特征的特征點選擇。采用至少兩個特征點檢測函數(shù)來覆蓋第一圖像中 較廣范圍的好的特征點，然后對第二圖像應(yīng)用平滑函數(shù)，之后應(yīng)用用于在第二圖像中跟蹤所檢測的特征點的跟蹤函數(shù)。組合特征檢測/選擇和跟蹤的結(jié)果
以獲得完整的3D模型。該工作的一個目標應(yīng)用是膠片集(film set)的3D重 建。得到的3D模型可被用于在電影拍攝期間的造影(visualization)或后期 制作。包括但不限于游戲和3D TV的其他應(yīng)用將從該方法受益。
根據(jù)本公開的一個方面，提供了一種三維獲取處理，包括獲取場景的 第一圖像和第二圖像；對第一圖像應(yīng)用至少兩個特征檢測函數(shù)，以檢測圖像 中物體的特征點；組合至少兩個特征檢測函數(shù)的輸出以選擇要跟蹤的物體特 征點；對第二圖像應(yīng)用跟蹤函數(shù)以跟蹤所選擇的物體特征點；以及從跟蹤函 數(shù)的輸出重建場景的三維模型。該處理在應(yīng)用至少兩個特征檢測函數(shù)步驟之 前還對第一圖像應(yīng)用平滑函數(shù)，以使得第一圖像中物體的特征點更為明顯， 其中特征點是圖像中物體的角點、邊緣或線。
在本公開的另一方面中，提供了一種從兩維(2D)圖像進行三維(3D) 信息獲取的系統(tǒng)。該系統(tǒng)包括后期處理設(shè)備，其被配置為從至少兩個圖像 重建場景的三維模型，該后期處理設(shè)備包括特征點檢測器，其被配置為檢 測圖像中的特征點，該特征點檢測器包括至少兩個特征檢測函數(shù)，其中所述 至少兩個特征檢測函數(shù)被應(yīng)用到所述至少兩個圖像中的第一圖像；特征點跟 蹤器，其被配置為在所述至少兩個圖像之間跟蹤所選擇的特征點；以及深度 圖(depth map )生成器，其被配置為從所跟蹤的特征點生成所述至少兩個圖 像之間的深度圖，其中后期處理設(shè)備從深度圖創(chuàng)建3D模型。后期處理設(shè)備 還包括平滑函數(shù)過濾器，其被配置為使得第 一 圖像中物體的特征點更為明顯。
在本公開的另一方面中，提供了一種可由機器讀取的程序存儲設(shè)備，其 有形地包括可由機器執(zhí)行的、用于執(zhí)行從二維(2D)圖像建模三維(3D)場 景的方法步驟的指令的程序，該方法包括獲取場景的第一圖像和第二圖像； 對第一圖像應(yīng)用平滑函數(shù)；對平滑后的第一圖像應(yīng)用至少兩個特征檢測函數(shù)， 以檢測圖像中物體的特征點；組合所述至少兩個特征檢測函數(shù)的輸出以選擇 要跟蹤的物體特征點；對第二圖像應(yīng)用平滑函數(shù)；對第二圖像應(yīng)用跟蹤函數(shù) 以跟蹤所選擇的物體特征點；以及從跟蹤函數(shù)的輸出重建場景的三維模型。


從下面要結(jié)合附圖閱讀的優(yōu)選實施例的詳細描述，本發(fā)明的這些和其他 方面、特征和優(yōu)點將被描述或變得明顯。在附圖中，貫穿附圖相同的參考標號指代相似的元件
圖l是根據(jù)本發(fā)明一方面的三維(3D)信息獲取系統(tǒng)的示意性圖示；
圖2是根據(jù)本發(fā)明一方面的、用于從二維(2D)圖像重建三維(3D)物
體的示例性方法的流程圖3A是利用一個特征點檢測函數(shù)處理的場景的圖示；以及 圖3B是利用混合檢測函數(shù)處理的圖3A中示出的場景的圖示。 應(yīng)當理解，附圖用于圖示本發(fā)明概念的目的，并且其不一定是用于圖示
本發(fā)明的唯一可能的配置。
具體實施例方式
應(yīng)當理解，附圖中示出的元件可以以硬件、軟件或其組合的各種形式實 現(xiàn)。優(yōu)選地，這些元件在一個或多個被適當編程的通用設(shè)備上以硬件和軟件 的組合實現(xiàn)，該通用設(shè)備可包括處理器、存儲器和輸入/輸出接口。
本說明書舉例說明本發(fā)明的原理。因此將認識到，本領(lǐng)域技術(shù)人員將能 夠設(shè)計各種布置，其盡管沒有在此明確地描述或示出，但是體現(xiàn)本發(fā)明的原 理并包括在本發(fā)明的精神和范圍內(nèi)。
這里描述的所有示例和條件式語言意在教導目的，以幫助讀者理解本發(fā) 明的原理和發(fā)明人為推進本領(lǐng)域所貢獻的構(gòu)思，并且應(yīng)被解釋為不限于這樣 具體描述的示例和條件。
此外，這里的描述本發(fā)明的原理、方面和實施例以及其具體示例的所有 陳述意在包括其結(jié)構(gòu)和功能等效物兩者。此外，意在這樣的等效物包括目前 已知的等效物以及未來開發(fā)的等效物，即，所開發(fā)的執(zhí)行相同功能而無論其 結(jié)構(gòu)的任何元件。
因此，例如，本領(lǐng)域技術(shù)人員將認識到，這里呈現(xiàn)的框圖表示體現(xiàn)本發(fā) 明原理的示意性電路的概念圖。類似地，將認識到，任何流程圖、流程圖表、 狀態(tài)轉(zhuǎn)換圖、偽代碼等表示基本可以在計算機可讀介質(zhì)中表示并且因此可由 計算機或處理器(無論這樣的計算機或處理器是否被明確示出)執(zhí)行的各種 處理。
可通過使用專用硬件以及能夠與適當軟件關(guān)聯(lián)而執(zhí)行軟件的硬件來提供 附圖所示的各種元件的功能。當所述功能由處理器提供時，其可以通過單個 專用處理器、通過單個共享處理器、或通過其中的一些可以共享的多個獨立的處理器來提供。此外，術(shù)語"處理器"或"控制器"的明確使用不應(yīng)被解 釋為唯一地指代能夠執(zhí)行軟件的硬件，而可以隱含包括并不限于數(shù)字信號處
理器("DSP")硬件、用于存儲軟件的只讀存儲器("ROM")、隨機存取存儲 器("RAM")、以及非易失性存儲裝置。
還可以包括傳統(tǒng)的和/或定制的其他硬件。類似地，附圖中所示的任何開 關(guān)僅是概念性的。其功能可通過程序邏輯的運行、通過專用邏輯電路、通過 程序控制和專用邏輯電路的交互、或甚至手動地執(zhí)行，如從上下文更具體理 解的，實現(xiàn)者可選擇具體的技術(shù)。
在其權(quán)利要求書中，被表述為用于執(zhí)行具體的功能的裝置的任何元件意 在包含執(zhí)行該功能的任何方式，包括例如，a)執(zhí)行該功能的電路元件的組合 或b)任何形式并因而包括固件、微代碼等的軟件，該軟件與用于執(zhí)行該軟 件的適當電路組合來執(zhí)行該功能。如由這樣的權(quán)利要求定義的本發(fā)明基于這 樣的事實由各個所述裝置提供的功能被以權(quán)利要求所要求保護的方式組合 和集中到一起。因此認為，可提供這些功能的任何裝置與這里所示出的這些 裝置等效。
本發(fā)明中公開的技術(shù)處理恢復物體和場景的3D幾何形狀的問題。由于 對象的運動、前景和背景之間大的深度不連續(xù)性、以及復雜的光照和亮度條 件，恢復真實世界的場景的幾何形狀是有挑戰(zhàn)性的問題。在用來估計圖像的 深度圖或用來重建3D表示的特征點選擇和跟蹤中使用的當前方法本身執(zhí)行 得并不太好。使用了從2D圖像重建3D圖像，但是其結(jié)果受限，并且深度圖 不是非常精確。由于例如人類對象的存在，如激光掃描的用于精確3D獲取 的一些技術(shù)在許多情況下是不可接受的。
提供了一種用于恢復物體和場景的三維(3D)幾何形狀的系統(tǒng)和方法。 本發(fā)明的系統(tǒng)和方法提供了使用混合方法來恢復3D特征的增強的基于運動 的結(jié)構(gòu)估計(SFM)方法。由于缺乏能夠可靠地為大環(huán)境定位特征的單一方 法而激發(fā)了該技術(shù)的提出。本發(fā)明的技術(shù)通過在特征點檢測/選擇和跟蹤之 前、首先對圖像應(yīng)用如泊松或拉普拉斯變換的不同平滑函數(shù)來開始。與通常 使用的高斯函數(shù)相比，該類平滑過濾器幫助使得圖像中的特征對檢測而言更 為明顯。然后，對一個圖像應(yīng)用多個特征檢測器以獲得好的特征。在使用兩 個特征檢測器后，獲得好的特征，然后，使用跟蹤方法在若干圖像中跟蹤所 述好的特4正?，F(xiàn)在參照附圖，圖1中示出根據(jù)本公開的實施例的示例性系統(tǒng)組件?？?br> 提供掃描設(shè)備103，以將例如照相機原版膠片底片(camera-original film negatives)的膠片拷貝(filmprint) 104掃描為數(shù)字格式，例如，Cineon格式 或電影和電視工程師協(xié)會(SMPTE)數(shù)字圖片交換(DPX)文件。
掃描設(shè)備103可包括例如電視電影或?qū)哪z片生成視頻輸出的任何設(shè) 備，如例如具有視頻輸出的Arri LocPro 。作為替代，可以直接使用來自后 期制作處理的文件或數(shù)字電影106 (例如，已經(jīng)是計算機可讀形式的文件)。 計算機可讀文件的可能來源是AVIDTM編輯器、DPX文件、D5磁帶等。
將所掃描的膠片拷貝輸入到例如計算機的后期處理設(shè)備102。計算機在 任何各種已知計算機平臺上實現(xiàn)，該計算機平臺具有以下硬件如一個或多 個中央處理單元(CPU);如隨機存取存儲器(RAM)和/或只讀存儲器(ROM) 的存儲器110;以及如鍵盤、光標控制設(shè)備(例如，鼠標或操縱桿)和顯示 設(shè)備的輸入/輸出(I/O)用戶接口 112。計算機平臺還包括操作系統(tǒng)和微指令 代碼。這里描述的各種處理和功能可以是微指令代碼的一部分或經(jīng)由操作系 統(tǒng)執(zhí)行的軟件應(yīng)用程序的一部分(或其組合)。在一個實施例中，軟件應(yīng)用程 序有形地包括在程序存儲設(shè)備上，其可以被上載到如后期處理設(shè)備102的任 何適當機器并由其執(zhí)行。此外，各種其他外圍設(shè)備可以通過如并行端口、串 行端口或通用串行總線(USB)的各種接口和總線結(jié)構(gòu)連接到計算機平臺。 其他外圍設(shè)備可包括附加存儲設(shè)備124和打印機128。打印機128可以用來 打印膠片126的修正版本，作為下述技術(shù)的結(jié)果，在該修正版本中已經(jīng)使用 3D建模的物體更改或替代了場景。
作為替代，已經(jīng)是計算機可讀形式的文件/膠片拷貝106 (例如，數(shù)字電 影，其例如可存儲在外部的硬盤驅(qū)動器124上)可以直接輸入到計算機102。 注意，這里使用的術(shù)語"膠片"可指膠片拷貝或數(shù)字電影。
軟件程序包括存儲在存儲器110中的三維(3D)重建模塊114。 3D重建 模塊114包括用于使得圖像中物體的特征對檢測而言更為明顯的平滑函數(shù)過 濾器116。 3D重建模塊114還包括用于檢測圖像中的特征點的特征點檢測器 118。特征點檢測器118將包括用于檢測或選擇特征點的至少兩個不同的特征 點檢測函數(shù)，例如算法。提供特征點跟蹤器120,用于經(jīng)由跟蹤函數(shù)或算法 在多個連續(xù)的圖像中跟蹤所選擇的特征點。還提供了深度圖生成器122來從 所跟蹤的特征點生成深度圖。圖2是根據(jù)本發(fā)明一方面的、用于從兩維(2D)圖像重建三維(3D)物 體的示意性方法的流程圖。
參照圖2,首先，后期處理設(shè)備102獲得計算機可讀格式的數(shù)字主視頻 文件。可以通過用數(shù)字攝像機捕獲視頻圖像的時間序列來獲取數(shù)字視頻文件。 作為替代，可通過傳統(tǒng)的膠片型的照相機捕獲視頻序列。在此情況下，經(jīng)由 掃描設(shè)備103掃描膠片，并且處理進行到步驟202。照相機將獲取2D圖像， 同時移動場景中的物體或照相機。照相機將獲取場景的多個-見點。
將認識到，無論膠片被掃描或已經(jīng)是數(shù)字格式，膠片的數(shù)字文件都將包 括關(guān)于幀的位置的指示或信息(例如，時間碼、幀號、從膠片的開始起的時 間等)。數(shù)字視頻文件的每個幀將包括一個圖像，例如，I!,l2,…,In。
在步驟202，對圖像h應(yīng)用平滑函數(shù)過濾器116。優(yōu)選地，平滑函數(shù)過濾 器116是泊松變換或拉普拉斯變換，與在本領(lǐng)域通常使用的高斯函數(shù)相比， 其幫助使得圖像中物體的特征對檢測而言更為明顯。將認識到，可以使用其 他的平滑函數(shù)過濾器。
然后，在步驟204，圖像I!被第一特征點檢測器處理。特征點是圖像的 突出特征，如角點、邊緣、線等，在這些特征處存在大量的圖像亮度對比。 選擇特征點，因為它們可被容易地識別并可以被健壯地跟蹤。特征點檢測器 118可使用本領(lǐng)域所公知的Kitchen-Rosenfeld角點檢測算子(comer detection operator) C。該算子用來評估在給定像素位置處圖像的"成角性"的程度。 "角點"通常是由圖像亮度梯度最大為例如90度角的兩個方向的交叉而限定 的圖像特征。為了提取特征點，在圖像h的每個有效像素位置應(yīng)用 Kitchen-Rosenfeld算子。在特定像素處算子C的值越高，其"成角性"的程 度越高，并且如果圖像I！中的像素位置(x,y)處的C大于在(x,y)周圍的鄰近區(qū) 域中的其他像素位置的C,則(x,y)是特征點。鄰近區(qū)域可以是以像素位置(x,y) 為中心的5 x 5矩陣。為了確保健壯性，所選擇的特征點可以具有大于閾值如 Te=10的成角性的程度。來自特征點檢測器118的輸出是圖像L中的一組特 征點(F山其中每個Fi對應(yīng)于圖像L中的"特征"像素位置?？梢圆捎迷S多 其他的特征點檢測器，包括但不限于尺度不變特征變換(Scale Invariant Feature Transform, SIFT )、最小核值相似區(qū)(Smallest Univalue Segment
Assimilating Nucleus, SUSAN )、霍夫變換、Sobel邊緣算子和Canny邊緣檢測
突 為。
ii在步驟206,將圖像I!輸入到平滑函數(shù)過濾器116，并且對圖像應(yīng)用第二 不同的特征點檢測器(步驟208)。然后，在步驟204和208中組合所檢測的 特征點并且消除重復選擇的特征點(步驟210)。要認識到，在步驟206應(yīng)用 的平滑函數(shù)過濾器與步驟202應(yīng)用的過濾器相同，然而，在其他實施例中， 在步驟202和206的每個步驟中可應(yīng)用不同的平滑函數(shù)過濾器。
要認識到，通過對特征點檢測采用混合方法，將檢測出大量特征點。圖 3A圖示具有由小正方形表示的所檢測的特征點的場景。圖3A中的場景由一 個特征點檢測器處理。相反，圖3B中的場景由按照本發(fā)明的混合點檢測器方 法處理，并且已經(jīng)檢測了明顯更多數(shù)量的特征點。
在選擇了所檢測的特征點后，使用與對第一圖像I,使用的平滑函數(shù)過濾 器相同的平滑函數(shù)過濾器來對第二圖像12進行平滑(步驟212)。然后，在第 二圖像I2上跟蹤在第一圖像L上選擇出的好的特征點(步驟214)。給定圖像 I!中的一組特征點Fp特征點跟蹤器120通過找到這些特征點最接近的匹配 來在所拍攝的場景的下一圖像12中跟蹤這些特征點。
如上所述，在其他實施例中，在步驟212應(yīng)用的平滑函數(shù)過濾器可以不 同于在步驟202和206應(yīng)用的過濾器。此外，要認識到，盡管順序描述步驟 202到步驟212，但是在某些實施例中，可經(jīng)由并行處理或硬件來同時應(yīng)用平 滑函數(shù)過濾器。
一旦跟蹤特征點，就對每個所跟蹤的特征計算不一致性信息。作為在水 平方向上h和12中的像素位置之間的差來計算不一致性。
不一致性與深度反向相關(guān)，其中比例因子(Scaling factor)與照相機校 準參數(shù)相關(guān)。在步驟216,由深度圖生成器122獲得和采用照相機校準參數(shù)， 以對兩個圖像之間的物體或場景生成深度圖。照相機參數(shù)包括但不限于照相 機的聚焦長度和兩次照相機拍攝之間的間距。照相機參數(shù)可經(jīng)由用戶接口 112 被手動輸入系統(tǒng)100，或可從照相機校準算法估計。使用照相機參數(shù)，在特 征點估計深度。得到的深度圖是稀疏的，僅具有所^r測的特征處的深度值。 深度圖是用于數(shù)學上表示空間中 一表面的二維陣列值，其中陣列的行和列對 應(yīng)于該表面的x和y位置信息；并且陣列元素是從給定點或照相機位置到該 表面的深度或距離讀數(shù)。深度圖可以被視為物體的灰度圖像，利用深度信息 代替在物體的表面的每個點或像素處的亮度信息。因此，在3D圖形構(gòu)造技 術(shù)中表面的點也被稱作像素，并且在本公開中可互換地使用這兩個術(shù)語。由于不一致性信息與乘以比例因子后的深度成反比，因此對于大多數(shù)應(yīng)用，其
可直接用于構(gòu)造3D場景模型。這簡化了計算，因為它使得照相機參數(shù)的計 算不再必要。
依據(jù)圖像對L和12中存在的一組特征點以及每個特征點處的深度估計， 并且假設(shè)選擇特征點使得它們彼此相對接近并在整個圖像上擴展，深度圖生 成器122通過將這樣的特征點互連來創(chuàng)建3D網(wǎng)格結(jié)構(gòu)，其中特征點位于所 形成的多邊形的頂點。特征點彼此越接近，得到的3D網(wǎng)格結(jié)構(gòu)越密集。
由于3D結(jié)構(gòu)的每個頂點處的深度已知，因此可以估計每個多邊形內(nèi)的 各點處的深度。這樣，可以估計在所有圖像像素位置處的深度。這可通過平 面插值進行。
生成3D網(wǎng)格結(jié)構(gòu)的健壯和快速的方法是Delaunay三角測量。連接特征 點以形成一組三角形，該三角形頂點位于特征點位置。使用與每個特征點和 其對應(yīng)頂點相關(guān)聯(lián)的深度，"深度平面，，可適合于每一單個三角形，從該三角 形可確定三角形內(nèi)的每個點的深度。
物體的完整3D模型可通過將從Delaunay算法得到的三角形網(wǎng)格與來自 圖像I！的紋理信息(texture information)組合而重建(步驟218 )。紋理信息 是2D亮度圖像。完整的3D模型將包括圖像像素處的深度和亮度值。得到的 組合圖像可以使用傳統(tǒng)的造影工具造影，如在加利福尼亞州斯丹福的斯坦福 大學開發(fā)的ScanAlyze軟件。
然后，可使得所重建的具體物體或場景的3D模型在顯示設(shè)備上顯現(xiàn)或 可將其保存在與包含圖像的文件分離的數(shù)字文件130中。3D重建的數(shù)字文件 130可存儲在存儲設(shè)備124中，以便稍后在例如膠片的編輯階段期間去取出， 在膠片的編輯階段所建模的物體可被插入到先前不存在該物體的場景中。
本發(fā)明的系統(tǒng)和方法利用多個特征點檢測器，并且組合多個特征點檢測 器的結(jié)果來改進所檢測的特征點的數(shù)量和質(zhì)量。與單特征檢測器相反，組合
不同的特征點檢測器改進找到要跟蹤的好的特征點的結(jié)果。在從多個特征點 檢測器(即，使用多于一個的特征點檢測器)得到"更好的"結(jié)果后，與使 用 一個特征;險測器來得到深度圖結(jié)果相比，在第二圖像中的特征點更易于跟 蹤并且產(chǎn)生更好的深度圖結(jié)果。
盡管已經(jīng)在此詳細示出和描述了合并本發(fā)明的教導的實施例，但是本領(lǐng) 域技術(shù)人員可以容易地設(shè)計仍然合并這些教導的許多其他變化的實施例。已經(jīng)描述了用于對場景進行三維(3D)獲取和建模的系統(tǒng)和方法的優(yōu)選實施例 (其意在例示而非限制)，注意到，本領(lǐng)域技術(shù)人員根據(jù)上述教導可以進行修 改和變化。因此要理解到，在權(quán)利要求所概述的本發(fā)明的范圍和精神內(nèi)的所 公開的本發(fā)明的具體實施例中可進行各種改變。已經(jīng)按專利法要求詳細和具 體地描述了本發(fā)明，所聲稱并期望由專利法保護的內(nèi)容在權(quán)利要求中提出。
權(quán)利要求
1. 一種三維獲取處理，包括獲取場景的第一圖像和第二圖像；對第一圖像應(yīng)用至少兩個特征檢測函數(shù)，以檢測第一圖像中物體的特征點(204，208)；組合所述至少兩個特征檢測函數(shù)的輸出以選擇要跟蹤的物體特征點(210)；對第二圖像應(yīng)用跟蹤函數(shù)以跟蹤所選擇的物體特征點(214)；以及從跟蹤函數(shù)的輸出重建場景的三維模型(218)。
2. 如權(quán)利要求1所述的三維獲取處理，還包括在應(yīng)用所述至少兩個特 征檢測函數(shù)步驟之前對第一圖像應(yīng)用平滑函數(shù)(202),以使得第一圖像中物 體的特征點更為明顯。
3. 如權(quán)利要求2所述的三維獲取處理，其中，特征點是圖像中物體的角 點、邊緣或線。
4. 如權(quán)利要求2所述的三維獲取處理，還包括在應(yīng)用跟蹤函數(shù)步驟之 前對第二圖像應(yīng)用相同的平滑函數(shù)(206)。
5. 如權(quán)利要求1所述的三維獲取處理，還包括在應(yīng)用所述至少兩個特 征檢測函數(shù)中的第 一個特征檢測函數(shù)之前對第 一 圖像應(yīng)用第 一平滑函數(shù)(202)，并且在應(yīng)用所述至少兩個特征檢測函數(shù)中的第二個特征檢測函數(shù)之 前對第一圖像應(yīng)用第二平滑函數(shù)(206),第一平滑函數(shù)和第二平滑函數(shù)使得 第一圖像中物體的特征點更為明顯。
6. 如權(quán)利要求1所述的三維獲取處理，其中，組合步驟還包括消除由所 述至少兩個特征檢測函數(shù)檢測的重復的特征點。
7. 如權(quán)利要求1所述的三維獲取處理，其中，重建步驟還包括生成所選 擇的物體特征點在第 一 圖像和第二圖像之間的深度圖(216)。
8. 如權(quán)利要求7所述的三維獲取處理，其中，重建步驟還包括從所選擇 的物體特征點和深度圖生成三維網(wǎng)格結(jié)構(gòu)。
9. 如權(quán)利要求8所述的三維獲取處理，其中，生成三維網(wǎng)格結(jié)構(gòu)步驟是 由三角函數(shù)執(zhí)行的。
10. 如權(quán)利要求8所述的三維獲取處理，其中，重建步驟還包括組合網(wǎng)格結(jié)構(gòu)和來自第一圖像的紋理信息，以完成三維模型。
11. 一種用于從兩維(2D)圖像進行三維(3D)信息獲取的系統(tǒng)(100), 該系統(tǒng)包括后期處理設(shè)備(102),其被配置為從至少兩個圖像重建場景的三維模型； 該后期處理設(shè)備包括特征點檢測器(118),其被配置為檢測圖像中的特征點，該特征點 檢測器(118)包括至少兩個特征檢測函數(shù)，其中，所述至少兩個特征檢 測函數(shù)被應(yīng)用到所述至少兩個圖像的第 一 圖像；特征點跟蹤器(120)，其被配置為在所述至少兩個圖像之間跟蹤所 選4奪的特征點;以及深度圖生成器(122)，其被配置為依據(jù)所跟蹤的特征點生成所述至 少兩個圖像之間的深度圖； 其中，后期處理設(shè)備從深度圖創(chuàng)建3D模型。
12. 如權(quán)利要求11所述的系統(tǒng)(100),其中，后期處理設(shè)備(102)還 包括平滑函數(shù)過濾器(116)，其被配置為使得第一圖像中物體的特征點更為 明顯。
13. 如權(quán)利要求12所述的系統(tǒng)(100),其中，平滑函數(shù)過濾器(116) 是泊松變換或拉普拉斯變換。
14. 如權(quán)利要求12所述的系統(tǒng)(100),其中，特征點檢測器(118)被 配置為組合來自所述至少兩個特征檢測函數(shù)的所檢測的特征點并消除重復的 所才全測的特征點。
15. 如權(quán)利要求12所述的系統(tǒng)(100),其中，后期處理設(shè)備(102)還 被配置為從所選擇的特征點和深度圖生成三維網(wǎng)格結(jié)構(gòu)。
16. 如權(quán)利要求15所述的系統(tǒng)(100),其中，后期處理設(shè)備(102)還 被配置為組合網(wǎng)格結(jié)構(gòu)和來自第 一 圖像的紋理信息以完成3D模型。
17. 如權(quán)利要求16所述的系統(tǒng)(100)，還包括用于呈現(xiàn)3D模型的顯示 設(shè)備(112)。
18. —種可由機器讀取的程序存儲設(shè)備，其有形地包括可由該機器執(zhí)行 的、用于執(zhí)行從二維(2D)圖像建模三維(3D)場景的方法步驟的指令的程 序，該方法包4舌獲取場景的第一圖像和第二圖像；對第一圖像應(yīng)用平滑函數(shù)(202);對平滑后的第 一 圖像應(yīng)用至少兩個特征檢測函數(shù)，以檢測第 一 圖像中物 體的特征點(204, 208);組合所述至少兩個特征檢測函數(shù)的輸出以選擇要跟蹤的物體特征點 (210);對第二圖像應(yīng)用平滑函數(shù)(206);對第二圖像應(yīng)用跟蹤函數(shù)以跟蹤所選擇的物體特征點(214);以及 從跟蹤函數(shù)的輸出重建該場景的三維模型(218)。
19. 如權(quán)利要求18所述的程序存儲設(shè)備，其中，重建步驟還包括生成所 選擇的物體特征點在第 一 圖像和第二圖像之間的深度圖。
20. 如權(quán)利要求19所述的程序存儲設(shè)備，其中，重建步驟還包括從所選 擇的物體特征點和深度圖生成三維網(wǎng)格結(jié)構(gòu)。
21. 如權(quán)利要求20所述的程序存儲設(shè)備，其中，重建步驟還包括組合網(wǎng) 格結(jié)構(gòu)和來自第一圖像的紋理信息，以完成三維模型。
全文摘要
提供了一種用于使用二維(2D)圖像進行場景的三維(3D)獲取和建模的系統(tǒng)和方法。該系統(tǒng)和方法規(guī)定獲取場景的第一和第二圖像；對第一圖像應(yīng)用平滑函數(shù)(202)以使得場景中例如物體的角點和邊緣的物體特征點更為明顯；對第一圖像應(yīng)用至少兩個特征檢測函數(shù)，以檢測第一圖像中物體的特征點(204，208)；組合至少兩個特征檢測函數(shù)的輸出以選擇要跟蹤的物體特征點(210)；對第二圖像應(yīng)用平滑函數(shù)(206)，對第二圖像應(yīng)用跟蹤函數(shù)以跟蹤所選擇的物體特征點(214)；以及從跟蹤函數(shù)的輸出重建場景的三維模型(218)。
文檔編號G06T7/00GK101432776SQ200680054478
公開日2009年5月13日 申請日期2006年10月25日 優(yōu)先權(quán)日2006年5月5日
發(fā)明者伊澤特·H·伊澤特, 尤塞夫·W·尼吉姆 申請人:湯姆森特許公司