專利名稱：用于對2d圖像進(jìn)行區(qū)域分類以進(jìn)行2d至3d轉(zhuǎn)換的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本公開總體涉及計算機(jī)圖形處理和顯示系統(tǒng)，更具體地，涉及用 于對二維(2D)圖像進(jìn)行區(qū)域分類以進(jìn)行2D至3D轉(zhuǎn)換的系統(tǒng)和方 法。
背景技術(shù)：
2D至3D轉(zhuǎn)換是一種將現(xiàn)有二維(2D)影片轉(zhuǎn)換為三維(3D) 立體影片的過程。3D立體影片以觀看者感知并體驗(yàn)到深度的方式(例 如在用無源或有源3D眼鏡觀看這種影片的同時時)來再現(xiàn)運(yùn)動圖像。 主要的電影工作室對將傳統(tǒng)影片轉(zhuǎn)換為3D立體影片己經(jīng)產(chǎn)生了濃厚 的興趣。
立體成像是將場景的取自略微不同視點(diǎn)的至少兩個圖像進(jìn)行視 覺組合以產(chǎn)生三維深度的幻覺的過程。該技術(shù)依賴于以下事實(shí)人眼 分隔開一段距離，并因此并不觀看到完全相同的場景。通過向每只眼 睛提供來自不同視角的圖像，使觀看者的眼鏡產(chǎn)生錯覺以感知到深度。 典型地，在提供了兩個不同視角的情況下，組分圖像被稱作"左"和 "右"圖像，也被分別稱作參考圖像和互補(bǔ)圖像。然而，本領(lǐng)域的技 術(shù)人員將認(rèn)識到，可以組合多于兩個視點(diǎn)以形成立體圖像。
計算機(jī)可以使用多種技術(shù)來產(chǎn)生立體圖像。例如，"立體影片
(anaglyph)"方法使用顏色來對立體圖像的左和右組分進(jìn)行編碼。此 后，觀看者佩戴一副特殊的濾光眼鏡，以使每只眼睛僅感知到視圖之
類似地，翻頁式立體成像是一種用于在圖像的左和右視圖之間快 速切換顯示的技術(shù)。同樣，觀看者佩戴一副特殊眼鏡，該眼鏡包含典 型地由液晶材料制成、與顯示器上的圖像同步地開和關(guān)的高速電子快 門。如在立體影片的情況下一樣，每只眼睛僅感知到組分圖像之一。近來己開發(fā)了不需要特殊眼鏡或頭戴受話器(headgear)的其他 立體成像技術(shù)。例如，透鏡成像將兩個或更多個全異圖像視圖分隔成 薄片，并對這些片進(jìn)行隔行掃描以形成單一圖像。然后，將隔行掃描 后的圖像定位在重構(gòu)全異視圖的透鏡之后，以使每只眼睛感知到不同 視圖。如在膝上計算機(jī)上常見的， 一些透鏡顯示器由位于傳統(tǒng)LCD 顯示器上方的透鏡來實(shí)現(xiàn)。
另一立體成像技術(shù)涉及對輸入圖像的區(qū)域進(jìn)行移位以創(chuàng)建互補(bǔ) 圖像。這樣的技術(shù)已用在由加利福尼亞州的Westlake Village的名為 In-Three Inc.的公司開發(fā)的手動2D至3D影片轉(zhuǎn)換系統(tǒng)中。在2001年3月 27日向Kaye發(fā)布的美國專利No. 6，208，348中描述了2D至3D轉(zhuǎn)換系統(tǒng)。 盡管被稱作3D系統(tǒng)，但該過程實(shí)際上是2D的，這是由于其并沒有將2D 圖像轉(zhuǎn)換回到3D場景中，而是操控2D輸入圖像來創(chuàng)建右眼圖像。圖l 示出了通過美國專利No. 6,208,348中公開的過程而開發(fā)的工作流程， 其中，圖l原先在美國專利No. 6,208，348中作為圖5出現(xiàn)?？梢詫⒃撨^ 程描述如下對于輸入圖像，首先手動繪出區(qū)域2、 4、 6的輪廓。操作 者然后對每一區(qū)域進(jìn)行移位以創(chuàng)建立體視差，例如區(qū)域8、 10、 12。通 過使用3D眼鏡在另一顯示器中觀看每一區(qū)域的3D回放，可以看到每一
區(qū)域的深度。操作者調(diào)整區(qū)域的移位距離，直到實(shí)現(xiàn)了最優(yōu)深度為止。 然而，該2D至3D轉(zhuǎn)換是通過對輸入2D圖像中的區(qū)域進(jìn)行移位
以創(chuàng)建互補(bǔ)右眼圖像來大部分手動地實(shí)現(xiàn)的。該過程的效率非常低， 并且該過程需要大量的人為干預(yù)。
近來，已經(jīng)提出了自動2D至3D轉(zhuǎn)換系統(tǒng)和方法。然而，根據(jù)在 圖像中轉(zhuǎn)換的對象的類型(例如模糊對象、實(shí)體對象等)，特定方法比 其他方法具有更好的結(jié)果。由于大多數(shù)圖像既包含模糊對象又包含實(shí) 體對象，因而系統(tǒng)操作者可能需要手動選擇圖像中的對象，然后針對 每個對象手動選擇對應(yīng)的2D至3D轉(zhuǎn)換模式。因此，需要基于局部圖 像內(nèi)容而在候選列表當(dāng)中自動選擇最佳2D至3D轉(zhuǎn)換模式以實(shí)現(xiàn)最佳 結(jié)果的技術(shù)
發(fā)明內(nèi)容
本發(fā)明提供了一種對二維(2D)圖像進(jìn)行區(qū)域分類以對圖像進(jìn)行
2D至3D轉(zhuǎn)換從而創(chuàng)建立體圖像的系統(tǒng)和方法。本公開的系統(tǒng)和方法 利用了多種轉(zhuǎn)換方法或模式(例如轉(zhuǎn)換器)，并基于圖像中的內(nèi)容來選 擇最佳方式。該轉(zhuǎn)換過程是逐區(qū)域地進(jìn)行的，其中對圖像中的區(qū)域進(jìn) 行分類以確定可用的最佳轉(zhuǎn)換器或轉(zhuǎn)換模式。本公開的系統(tǒng)和方法使 用基于模式識別的系統(tǒng)，該系統(tǒng)包括兩個組件分類組件和學(xué)習(xí)組件。 分類組件的輸入是從2D圖像的區(qū)域中提取的特征，輸出是期望提供 最佳結(jié)果的2D至3D轉(zhuǎn)換模式或轉(zhuǎn)換器的標(biāo)識符。學(xué)習(xí)組件使用訓(xùn)練 圖像集合和對應(yīng)的用戶標(biāo)注來優(yōu)化分類參數(shù)，以實(shí)現(xiàn)區(qū)域的最小分類 誤差。對于訓(xùn)練圖像，用戶對每個區(qū)域的最佳轉(zhuǎn)換模式或轉(zhuǎn)換器的標(biāo) 識符進(jìn)行標(biāo)注。然后，學(xué)習(xí)組件使用區(qū)域中用于訓(xùn)練的視覺特征及其 被標(biāo)注的轉(zhuǎn)換器標(biāo)識符來優(yōu)化分類(即，學(xué)習(xí))。在對圖像的每個區(qū)域 進(jìn)行轉(zhuǎn)換之后，通過將包括轉(zhuǎn)換后的3D區(qū)域或?qū)ο笤趦?nèi)的3D場景 26投影至具有不同攝像機(jī)視角的另一成像平面上，來創(chuàng)建第二圖像 (例如右眼圖像或互補(bǔ)圖像)。
根據(jù)本公開的一方面， 一種用于創(chuàng)建立體圖像的三維(3D)轉(zhuǎn)換 方法，包括獲取二維圖像；對所述二維圖像的區(qū)域進(jìn)行標(biāo)識；對所 標(biāo)識的區(qū)域進(jìn)行分類；基于所標(biāo)識的區(qū)域的分類來選擇轉(zhuǎn)換模式；基 于所選的轉(zhuǎn)換模式，將所述區(qū)域轉(zhuǎn)換為三維模型；以及通過將所述三 維模型投影至與所述二維圖像的圖像平面不同的圖像平面上，來創(chuàng)建 互補(bǔ)圖像。
在另一方面，所述方法包括從所述區(qū)域中提取特征；對所提取 出的特征進(jìn)行分類；以及基于所提取出的特征的分類來選擇轉(zhuǎn)換模式。 所述提取步驟還包括根據(jù)所提取出的特征來確定特征向量，其中， 在所述分類步驟中采用所述特征向量來對所標(biāo)識的區(qū)域進(jìn)行分類。所 提取出的特征可以包括紋理特征和邊緣方向特征。
在本公開的另一方面，所述轉(zhuǎn)換模式是模糊對象轉(zhuǎn)換模式或?qū)嶓w 對象轉(zhuǎn)換模式。
在本公開的另一方面，所述分類步驟還包括獲取多個2D圖像; 選擇所述多個2D圖像中每一個中的區(qū)域；基于所選區(qū)域的類型，使
7用最優(yōu)轉(zhuǎn)換模式來標(biāo)注所選區(qū)域；以及基于所標(biāo)注的2D圖像來優(yōu)化 所述分類步驟，其中，所選區(qū)域的類型與模糊對象或?qū)嶓w對象相對應(yīng)。
根據(jù)本公開的另一方面，提供了一種用于對二維(2D)圖像中的 對象進(jìn)行三維(3D)轉(zhuǎn)換的系統(tǒng)。
所述系統(tǒng)包括后處理設(shè)備，所述后處理設(shè)備被配置為從至少一個 2D圖像創(chuàng)建互補(bǔ)圖像；所述后處理設(shè)備包括區(qū)域檢測器，被配置為 檢測至少一個2D圖像中的至少一個區(qū)域；區(qū)域分類器，被配置為對 所檢測的區(qū)域進(jìn)行分類，以確定至少一個轉(zhuǎn)換器的標(biāo)識符；所述至少 一個轉(zhuǎn)換器，被配置為將所檢測的區(qū)域轉(zhuǎn)換為3D模型；以及重構(gòu)模 塊，被配置為通過將所選3D模型投影至與所述至少一個2D圖像的圖 像平面不同的圖像平面上來創(chuàng)建互補(bǔ)圖像。所述至少一個轉(zhuǎn)換器可以 包括模糊對象轉(zhuǎn)換器或?qū)嶓w對象轉(zhuǎn)換器。
在另一方面，所述系統(tǒng)還包括特征提取器，被配置為從所檢測 的區(qū)域中提取特征。所提取出的特征可以包括紋理特征和邊緣方向特 征。
根據(jù)另一方面，所述系統(tǒng)還包括分類器學(xué)習(xí)器，被配置為獲取
多個2D圖像，選擇所述多個2D圖像中每一個中的至少一個區(qū)域，并 基于所選的至少一個區(qū)域的類型，使用最優(yōu)轉(zhuǎn)換器的標(biāo)識符來標(biāo)注所 選的至少一個區(qū)域，其中，所述區(qū)域分類器是基于所標(biāo)注的2D圖像 來優(yōu)化的。
在本公開的另一方面，提供了一種機(jī)器可讀的程序存儲設(shè)備，有 形地實(shí)現(xiàn)機(jī)器可執(zhí)行指令的程序，以執(zhí)行用于從二維(2D)圖像創(chuàng)建 立體圖像的方法步驟，所述方法包括獲取二維圖像；對所述二維圖 像的區(qū)域進(jìn)行標(biāo)識；對所標(biāo)識的區(qū)域進(jìn)行分類；基于所標(biāo)識的區(qū)域的 分類來選擇轉(zhuǎn)換模式；基于所選的轉(zhuǎn)換模式，將所述區(qū)域轉(zhuǎn)換為三維 模型；以及通過將所述三維模型投影至與所述二維圖像的圖像平面不 同的圖像平面上，來創(chuàng)建互補(bǔ)圖像。


通過以下結(jié)合附圖閱讀的優(yōu)選實(shí)施例的詳細(xì)描述，對本公開的這
8些和其他方面、特征和優(yōu)點(diǎn)進(jìn)行描述并使其顯而易見。
附圖中，貫穿這些視圖，相似的參考標(biāo)記表示相似的元件 圖1示意了用于從輸入圖像創(chuàng)建右眼或互補(bǔ)圖像的現(xiàn)有技術(shù)；
圖2是示意了根據(jù)本公開一方面的用于對二維(2D)圖像進(jìn)行區(qū) 域分類以對圖像進(jìn)行2D至3D轉(zhuǎn)換的系統(tǒng)和方法的流程圖3是根據(jù)本公開一方面的用于對圖像進(jìn)行二維(2D)至三維 (3D)轉(zhuǎn)換以創(chuàng)建立體圖像的系統(tǒng)的示例性示意；以及
圖4是根據(jù)本公開一方面的用于將二維(2D)圖像轉(zhuǎn)換為三維 (3D)圖像以創(chuàng)建立體圖像的示例性方法的流程圖。
應(yīng)當(dāng)理解，附圖僅用于示意本公開的構(gòu)思，而不必須是用于示意 本公開的唯一可能配置。
具體實(shí)施例方式
應(yīng)理解，可以按照硬件、軟件或其結(jié)合的各種形式來實(shí)現(xiàn)附圖所 示的元件。優(yōu)選地，通過一個或多個適當(dāng)編程的通用設(shè)備上的硬件和 軟件的結(jié)合來實(shí)現(xiàn)這些元件，該通用設(shè)備可以包括處理器、存儲器和 輸入/輸出接口。
本說明書示意了本公開的原理。因此，可以認(rèn)識到，本領(lǐng)域技術(shù) 人員能夠設(shè)計出各種實(shí)現(xiàn)本公開的原理的布置，雖然這里沒有顯式地 描述或示出這些布置，但是，這些布置包含于本公開的精神和范圍之 中。
這里記載的所有示例和條件語言都出于教導(dǎo)的目的，以幫助讀者 理解本公開的原理以及發(fā)明人為了改進(jìn)本領(lǐng)域而貢獻(xiàn)的構(gòu)思，這些應(yīng)
被解釋為并非局限于這樣的具體記載的示例和條件。
此外，這里機(jī)載本公開的原理、方面和實(shí)施例及其具體示例的所 有表述應(yīng)包括其結(jié)構(gòu)和功能的等效物。此外，這樣的等效物應(yīng)包括當(dāng) 前已知的等效物以及未來開發(fā)的等效物，即，開發(fā)出的、執(zhí)行相同功 能的任何元件，而不論其結(jié)構(gòu)如何。
因此，例如，本領(lǐng)域技術(shù)人員應(yīng)理解，這里呈現(xiàn)的框圖表示了實(shí) 現(xiàn)本公開原理的示意電路的方案視圖。類似地，可以認(rèn)識到，任何流程圖、流程圖表、狀態(tài)轉(zhuǎn)移圖、偽代碼等表示了各種過程，這些過程 可以被實(shí)質(zhì)上表示在計算機(jī)可讀介質(zhì)中，并從而由計算機(jī)或處理器執(zhí) 行，而不論是否顯式地示出了這樣的計算機(jī)或處理器。
可以通過使用專用硬件以及能夠與適當(dāng)軟件相關(guān)聯(lián)地執(zhí)行軟件 的硬件，來提供圖中所示的各種元件的功能。在該功能由處理器提供 時，可以通過單個專用處理器、單個共享處理器或多個單獨(dú)處理器(其 中一些可以是共享的)來提供該功能。此外，術(shù)語"處理器"或"控 制器"的顯式使用不應(yīng)被解釋為專門指代能夠執(zhí)行軟件的硬件，這種 顯示使用還可以隱含地包括但不限于數(shù)字信號處理器("DSP")硬 件、用于存儲軟件的只讀存儲器("ROM")、隨機(jī)存取存儲器
("RAM")、和非易失性存儲器。
也可以包括其他硬件，傳統(tǒng)的和/或常規(guī)的。類似地，圖中所示的 任何開關(guān)僅是概念性的?？梢酝ㄟ^程序邏輯的操作、通過專用邏輯、 通過程序控制和專用邏輯的交互，或甚至手動地實(shí)施其功能，如從上 下文中更具體地理解的，特定的技術(shù)是可由實(shí)現(xiàn)者選擇的。
在權(quán)利要求書中，被表述為用于執(zhí)行指定功能的裝置的任何元件
應(yīng)包含執(zhí)行該功能的任何方式，包括例如a)執(zhí)行該功能的電路元件的 結(jié)合或者b)任何形式的軟件，從而包括固件、微代碼等，與執(zhí)行該軟 件的適當(dāng)電路相結(jié)合來執(zhí)行該功能。由權(quán)利要求所限定的本公開在于
以下事實(shí)以權(quán)利要求所要求保護(hù)的方式，將各種所記載的裝置所提
供的功能結(jié)合并集合在一起。因此，應(yīng)認(rèn)為可提供這些功能的任何裝 置都與這里所示的裝置等效。
本公開處理了從2D圖像創(chuàng)建3D幾何形狀的問題。該問題在各種 影片制作應(yīng)用中出現(xiàn)，包括視覺效果(VXF)、 2D影片至3D影片轉(zhuǎn)換 等等。先前用于2D至3D轉(zhuǎn)換的系統(tǒng)是通過創(chuàng)建互補(bǔ)圖像(也稱為右眼 圖像)來實(shí)現(xiàn)的，其中創(chuàng)建互補(bǔ)圖像是通過對輸入圖像中的所選區(qū)域 進(jìn)行移位以創(chuàng)建用于3D回放的立體視差來完成的。該過程效率非常 低，而且如果該表面是彎曲的而不是平坦的，則難以將圖像的區(qū)域轉(zhuǎn) 換為3D表面。
有不同的2D至3D轉(zhuǎn)換方式，其基于2D圖像的區(qū)域中所描繪的內(nèi)
10容或?qū)ο蠖ぷ鞯没蚝没驂摹＠纾?D粒子系統(tǒng)對模糊對象工作得較
好，而3D幾何模型擬合對實(shí)體對象具有更好性能。由于一般而言難以 估計模糊對象的精確幾何形狀(反之亦然)，因此這兩種方式實(shí)際上互 補(bǔ)。然而，電影中的多數(shù)2D圖像包含模糊對象(例如，樹)和實(shí)體對 象(例如，建筑物)，粒子系統(tǒng)和3D幾何模型分別最佳地表示這些對 象。因此，假定存在多種可用的2D至3D轉(zhuǎn)換模式，那么問題在于根據(jù) 區(qū)域內(nèi)容來選擇最佳方式。因此，對于一般的2D至3D轉(zhuǎn)換，本公開提 供了用于將這兩種方式等等相結(jié)合以實(shí)現(xiàn)最佳結(jié)果的技術(shù)。本公開提 供了用于一般2D至3D轉(zhuǎn)換的系統(tǒng)和方法，根據(jù)圖像的局部內(nèi)容，在多 種可用轉(zhuǎn)換方式之間自動切換。因此，該2D至3D轉(zhuǎn)換是完全自動的。 本發(fā)明提供了一種用于對二維(2D)圖像進(jìn)行區(qū)域分類以對圖像 進(jìn)行2D至3D轉(zhuǎn)換從而創(chuàng)建立體圖像的系統(tǒng)和方法。本公開的系統(tǒng)和 方法提供了一種基于3D的技術(shù)，用于對圖像進(jìn)行2D至3D轉(zhuǎn)換以創(chuàng) 建立體圖像。然后，可以在另外的過程中采用這些立體圖像來創(chuàng)建3D 立體影片。參照圖2，本公開的系統(tǒng)和方法利用多種轉(zhuǎn)換方法或模式 (例如，轉(zhuǎn)換器)18，并基于圖像14中的內(nèi)容來選擇最佳方式。逐區(qū) 域地進(jìn)行該轉(zhuǎn)換過程，其中對圖像14中的區(qū)域16進(jìn)行分類以確定可 用的最佳轉(zhuǎn)換器或轉(zhuǎn)換模式18。本公開的方法和系統(tǒng)使用基于模式識 別的系統(tǒng)，該系統(tǒng)包括兩個組件分類組件20和學(xué)習(xí)組件22。分類 組件20或區(qū)域分類器的輸入是從2D圖像14的區(qū)域16中提取的特征， 分類組件20的輸出是期望提供最佳結(jié)果的2D至3D轉(zhuǎn)換模式或轉(zhuǎn)換 器18的標(biāo)識符(即，整數(shù))。學(xué)習(xí)組件22或分類器學(xué)習(xí)器使用訓(xùn)練圖 像集合24和對應(yīng)的用戶標(biāo)注來優(yōu)化區(qū)域分類器20的分類參數(shù)，以實(shí) 現(xiàn)區(qū)域的最小分類誤差。對于訓(xùn)練圖像24，用戶對每個區(qū)域16的最 佳轉(zhuǎn)換模式或轉(zhuǎn)換器18的標(biāo)識符進(jìn)行標(biāo)注。然后，學(xué)習(xí)組件使用轉(zhuǎn)換 器索引和區(qū)域的視覺特征來優(yōu)化分類(即，學(xué)習(xí))。在對圖像的每個區(qū) 域進(jìn)行轉(zhuǎn)換之后，通過將包括轉(zhuǎn)換后的3D區(qū)域或?qū)ο笤趦?nèi)的3D場景 26投影至具有不同攝像機(jī)視角的另一成像平面上來創(chuàng)建第二圖像(例 如右眼圖像或互補(bǔ)圖像)。
現(xiàn)在參照圖3，示出了根據(jù)本公開實(shí)施例的示例系統(tǒng)組件?？梢蕴峁呙柙O(shè)備103，用于將影片拷貝104 (例如攝像機(jī)原始負(fù)片)掃描成數(shù)字格式(例如Cineon格式或SMPTEDPX文件)。掃描設(shè)備103可以 包括例如電視電影或?qū)哪z片產(chǎn)生視頻輸出的任何設(shè)備(例如具有視 頻輸出的ArriLocProTM)。備選地，可以直接使用來自后期制作過程或 數(shù)字電影106的文件(例如己具有計算機(jī)可讀形式的文件)。計算機(jī)可 讀文件的潛在源是AVIDTM編輯器、DPX文件、D5磁帶等等。將掃描后的影片拷貝輸入至后處理設(shè)備102 (例如計算機(jī))。計算 機(jī)可以在各種己知計算機(jī)平臺的任一種上實(shí)現(xiàn)，該已知計算機(jī)平臺具 有如一個或多個中央處理單元(CPU)之類的硬件、如隨機(jī)存取存 儲器(RAM)和/或只讀存儲器(ROM)之類的存儲器110、以及如鍵 盤、光標(biāo)控制設(shè)備(例如，鼠標(biāo)或操縱桿)和顯示設(shè)備之類的輸入/ 輸出(I/O)用戶接口112。該計算機(jī)平臺還包括操作系統(tǒng)和微指令代 碼。這里所描述的各種過程和功能可以是通過操作系統(tǒng)執(zhí)行的微指令 代碼的一部分或軟件應(yīng)用程序的一部分(或其組合)。此外，各種其他 外圍設(shè)備可以通過各種接口和總線結(jié)構(gòu)(例如，并行端口、串行端口 或通用串行總線(USB))連接至該計算機(jī)平臺。其他外圍設(shè)備還可以 包括附加存儲設(shè)備124和打印機(jī)128?？梢圆捎么蛴C(jī)128來打印影片的 修訂版本126 (例如影片的立體版本)，其中，由于下述技術(shù)，可能己 使用3D建模對象改變或替換了一個場景或多個場景。備選地，己具有計算機(jī)可讀形式的文件/影片拷貝106 (例如可在 外部硬盤驅(qū)動器124中存儲的數(shù)字電影)可以直接輸入至計算機(jī)102中。 注意，這里所使用的術(shù)語"影片"可以指影片拷貝或數(shù)字電影。軟件程序包括在存儲器110中存儲的三維(3D)重構(gòu)模塊114， 用于將二維(2D)圖像轉(zhuǎn)換為三維(3D)圖像以創(chuàng)建立體圖像。3D 轉(zhuǎn)換模塊114包括用于標(biāo)識2D圖像中的對象或區(qū)域的區(qū)域或?qū)ο髾z測 器116。區(qū)域或?qū)ο髾z測器116通過使用圖像編輯軟件手動繪出包含對 象的圖像區(qū)域的輪廓來標(biāo)識對象，或通過利用自動檢測算法(例如， 分段算法)隔離包含對象的圖像區(qū)域來標(biāo)識對象。提供特征提取器119， 以從2D圖像的區(qū)域中提取特征。特征提取器是本領(lǐng)域公知的，其所提 取的特征包括但不限于紋理、線方向、邊緣等等。123D重構(gòu)模塊114還包括區(qū)域分類器117，被配置為對2D圖像的區(qū)域進(jìn)行分類，并針對圖像的特定區(qū)域來確定最佳可用的轉(zhuǎn)換器。區(qū)域分類器117將輸出標(biāo)識符(例如整數(shù))，以標(biāo)識將要用于所檢測的區(qū)域 的轉(zhuǎn)換模式或轉(zhuǎn)換器。此外，3D重構(gòu)模塊114包括3D轉(zhuǎn)換模塊118， 用于將所檢測的區(qū)域轉(zhuǎn)換為3D模型。3D轉(zhuǎn)換模塊118包括多個轉(zhuǎn)換器 118-1……118-n，其中每個轉(zhuǎn)換器被配置為轉(zhuǎn)換不同類型的區(qū)域。例 如，對象匹配器118-1將轉(zhuǎn)換實(shí)體對象或包含實(shí)體對象的區(qū)域，而粒子 系統(tǒng)產(chǎn)生器118-2將轉(zhuǎn)換模糊區(qū)域或?qū)ο?。?006年11月17日提交的標(biāo) 題為"SYSTEM AND METHOD FOR MODEL FITTING AND REGISTRATION OF OBJECTS FOR 2D-TO-3D CONVERSION"的共 有PCT專利申請PCT/US2006/044834 (以下稱為'"834申請")中公開 了一種用于實(shí)體對象的示例轉(zhuǎn)換器，并且在2006年10月27日提交的標(biāo) 題為 "SYSTEM AND METHOD FOR RECOVERING THREE-DIMENSIONAL PARTCILE SYSTEMS FROM TWO-DIMENSIONAL IMAGES " 的共有PCT專禾'J申請 PCT/US2006/042586 (以下稱為"'586申請")中公開了一種用于模 糊對象的示例轉(zhuǎn)換器，其全部內(nèi)容以引用方式并入此處。可以認(rèn)識到，系統(tǒng)包括將由各轉(zhuǎn)換器118-1……118-n采用的3D模 型庫。轉(zhuǎn)換器118將與針對特定轉(zhuǎn)換器或轉(zhuǎn)換模式而選擇的各3D模型 庫122進(jìn)行交互。例如，對于對象匹配器118-1， 3D模型庫122將包括 多個3D對象模型，其中每個對象模型與預(yù)定義對象相關(guān)。對于粒子系 統(tǒng)產(chǎn)生器118-2，庫122將包括預(yù)定義粒子系統(tǒng)的庫。提供對象渲染器120，用于將3D模型渲染為3D場景，以創(chuàng)建互補(bǔ) 圖像。這一點(diǎn)是通過光柵化過程或諸如光線跟蹤或光子映射等更高級 技術(shù)來實(shí)現(xiàn)的。圖4是根據(jù)本公開一方面的用于將二維(2D)圖像轉(zhuǎn)換為三維 (3D)圖像以創(chuàng)建立體圖像的示例性方法的流程圖。首先，在步驟202， 后處理設(shè)備102獲取至少一個二維(2D)圖像，例如參考或左眼圖像。 如上所述，后處理設(shè)備102通過獲得計算機(jī)可讀格式的數(shù)字母片視頻文 件來獲取至少一個2D圖像。可以通過用數(shù)字視頻攝像機(jī)捕獲視頻圖像13的時間序列來獲取數(shù)字視頻文件。備選地，可以通過傳統(tǒng)影片類型攝 像機(jī)來獲取視頻序列。在這種情況下，通過掃描設(shè)備103對影片進(jìn)行掃 描。在移動場景中的對象或移動攝像機(jī)的同時，攝像機(jī)將獲取2D圖像。攝像機(jī)將獲取場景的多個視點(diǎn)?？梢哉J(rèn)識到，無論影片是掃描的還是已經(jīng)具有數(shù)字格式，影片的 數(shù)字文件都將包括幀位置的指示或信息，例如，幀編號、從影片起始 處起的時間等。數(shù)字視頻文件的每一幀將包括一個圖像，例如，Ih 12、……In。在步驟204中，標(biāo)識或檢測2D圖像中的區(qū)域?？梢哉J(rèn)識到，區(qū)域 可以包含多個對象或者可以是對象的一部分。使用區(qū)域檢測器U6，用 戶可以用圖像編輯工具手動選擇對象或區(qū)域并繪出對象或區(qū)域的輪 廓，或備選地，可以使用圖像檢測算法(例如，.對象檢測或區(qū)域分割 算法)來自動檢測對象或區(qū)域并繪出對象或區(qū)域的輪廓。可以認(rèn)識到， 可以標(biāo)識2D圖像中的多個對象或區(qū)域。一旦標(biāo)識或檢測了區(qū)域，在步驟206，通過特征提取器119從所檢 測的區(qū)域中提取特征，并在步驟208，通過區(qū)域分類器117來對所提取 出的特征進(jìn)行分類，以確定多個轉(zhuǎn)換器118或轉(zhuǎn)換模式中至少一個的標(biāo) 識符?；旧?，區(qū)域分類器117是一種根據(jù)從區(qū)域提取出的特征來輸出 最佳期望轉(zhuǎn)換器的標(biāo)識符的功能。在各個實(shí)施例中，可以選擇不同的 特征。為了特定分類的目的(即，選擇實(shí)體對象轉(zhuǎn)換器118-1或粒子系 統(tǒng)轉(zhuǎn)換器118-2)，紋理特征可能比其他特征(如顏色)具有更好的性 能，這是由于粒子系統(tǒng)通常比實(shí)體對象具有更豐富的紋理。此外，許 多實(shí)體對象(如建筑物)具有顯著的垂直和水平線，因此邊緣方向可 能是最相關(guān)的特征。以下是如何使用紋理特征和邊緣特征作為區(qū)域分 類器117的輸入的一個示例?？梢砸栽S多方式計算紋理特征。Gabor小波特征是圖像處理中最 廣泛使用的紋理特征之一。提取過程首先將具有不同空間頻率的Gabor 核集合應(yīng)用至圖像，然后計算濾波后的圖像的總像素強(qiáng)度。濾波器核函數(shù)遵循戰(zhàn)p(/'27EF(x cos - + y sin 6)) <1)其中F是空間頻率，0是Gabor濾波器的方向。為了示意的目的，假定3級別的空間頻率和4個方向(例如由于對稱性而僅覆蓋從0-7T的角度)，則Gabor濾波器特征的數(shù)目為12?？梢酝ㄟ^首先將水平和垂直線檢測算法應(yīng)用至2D圖像，然后對邊 緣像素進(jìn)行計數(shù)，來提取邊緣特征?？梢酝ㄟ^應(yīng)用方向邊緣濾波器然 后將小的邊緣段連接為線來實(shí)現(xiàn)線檢測。Canny邊緣檢測可以用于這 種目的并且是本領(lǐng)域公知的。如果僅要檢測水平線和垂直線(例如對 于建筑物的情況)，則獲得二維特征向量，每個方向一維。描述二維情 況僅作為示意，可以容易地擴(kuò)展至更多維。如果紋理特征具有N維并且邊緣方向特征具有M維，則所有這些 特征可以被一起放入具有(N+M)維的大特征向量中。對于每個區(qū)域， 將所提取出的特征向量輸入至區(qū)域分類器117。分類器的輸出是所建議 的2D至3D轉(zhuǎn)換器118的標(biāo)識符?？梢哉J(rèn)識到，根據(jù)不同的特征提取器， 特征向量可以不同。此外，區(qū)域分類器117的輸入可以是與上述不同的 其他特征，并且可以是與區(qū)域中的內(nèi)容相關(guān)的任何特征。為了學(xué)習(xí)區(qū)域分類器117，收集訓(xùn)練數(shù)據(jù)，該訓(xùn)練數(shù)據(jù)包含具有 不同種類區(qū)域的圖像。然后，基于區(qū)域的類型(例如與模糊對象(例 如，樹)相對應(yīng)或與實(shí)體對象(例如，建筑物)相對應(yīng))，繪出圖像中 每個區(qū)域的輪廓，并用預(yù)期具有最佳性能的轉(zhuǎn)換器或轉(zhuǎn)換模式的標(biāo)識 符來手動標(biāo)注圖像中的每個區(qū)域。區(qū)域可以包含多個對象，區(qū)域內(nèi)的 所有對象使用相同的轉(zhuǎn)換器。因此，為了選擇較好的轉(zhuǎn)換器，區(qū)域內(nèi) 的內(nèi)容應(yīng)具有均質(zhì)性，以便可以選擇正確的轉(zhuǎn)換器。該學(xué)習(xí)過程取得所標(biāo)注的訓(xùn)練數(shù)據(jù)，并構(gòu)建最佳的區(qū)域分類器，以最小化分類器輸出 與針對訓(xùn)練集合中的圖像而標(biāo)注的標(biāo)識符之間的差異。區(qū)域分類器117 由參數(shù)集合控制。對于相同的輸入，改變區(qū)域分類器117的參數(shù)將給出 不同的分類輸出，即，不同的轉(zhuǎn)換器標(biāo)識符。該學(xué)習(xí)過程自動且連續(xù) 地改變分類器的參數(shù)，以使分類器輸出針對訓(xùn)練數(shù)據(jù)的最佳分類結(jié)果。 然后，取得這些參數(shù)作為最優(yōu)參數(shù)以待將來使用。在數(shù)學(xué)上，如果使用均方誤差，則要最小化的代價函數(shù)可以寫為以下形式
CW,加-力W) (2)
其中Ri是訓(xùn)練圖像中的區(qū)域i， /,是在標(biāo)注過程中分配給該區(qū)域的最佳 轉(zhuǎn)換器的標(biāo)識符，力()是分類器，其參數(shù)由-表示。該學(xué)習(xí)過程關(guān)于 參數(shù)-來最大化上述總體代價。
可以選擇不同類型的分類器以用于區(qū)域分類。模式識別領(lǐng)域中常 用的一種分類器是支持向量機(jī)(SVM)。 SVM是一種非線性優(yōu)化方案， 其最小化訓(xùn)練集合中的分類誤差，但是也能夠?qū)崿F(xiàn)針對測試集合的較 小預(yù)測誤差。
然后，在3D轉(zhuǎn)換模塊118中，使用轉(zhuǎn)換器的標(biāo)識符來選擇適當(dāng)?shù)?轉(zhuǎn)換器118-1……118-n。然后，所選的轉(zhuǎn)換器將所檢測的區(qū)域轉(zhuǎn)換為 3D模型(步驟210)。這種轉(zhuǎn)換器是本領(lǐng)域公知的。
如上所述，在共有的'834申請中公開了用于實(shí)體對象的示例轉(zhuǎn) 換器或轉(zhuǎn)換模式。該申請公開了一種用于對對象進(jìn)行模型擬合和配準(zhǔn) 以對圖像進(jìn)行2D至3D轉(zhuǎn)換從而創(chuàng)建立體圖像的系統(tǒng)和方法。該系統(tǒng)包 括存儲現(xiàn)實(shí)世界對象的多種3D模型的數(shù)據(jù)庫。對于第一2D輸入圖像 (例如左眼圖像或參考圖像)，由系統(tǒng)操作者或通過自動檢測算法來標(biāo) 識要轉(zhuǎn)換為3D的區(qū)域或繪出其輪廓。對于每個區(qū)域，該系統(tǒng)從數(shù)據(jù)庫 中選擇所存儲的3D模型，并配準(zhǔn)所選的3D模型，使得該3D模型的投 影以最優(yōu)方式與所標(biāo)識的區(qū)域內(nèi)的圖像內(nèi)容相匹配?？梢允褂脦缀畏?法或光度方法來實(shí)現(xiàn)該匹配過程。在通過配準(zhǔn)過程針對第一2D圖像計 算出3D對象的3D位置和姿態(tài)之后，通過將包括己配準(zhǔn)的具有變形紋理 的3D對象在內(nèi)的3D場景投影至具有不同攝像機(jī)視角的另一成像平面 上來創(chuàng)建第二圖像(例如右眼圖像或互補(bǔ)圖像)。
此外，如上所述，在共有的'586申請中公幵了一種用于模糊對 象的示例轉(zhuǎn)換器或轉(zhuǎn)換模式。該申請公開了一種用于從二維(2D)圖 像恢復(fù)三維(3D)粒子系統(tǒng)的系統(tǒng)和方法。該幾何重構(gòu)系統(tǒng)和方法從 2D圖像恢復(fù)表示模糊對象幾何形狀的3D粒子系統(tǒng)。該幾何重構(gòu)系統(tǒng)和 方法標(biāo)識了2D圖像中的模糊對象，因此可以通過粒子系統(tǒng)來產(chǎn)生這些
16模糊對象。對模糊對象的標(biāo)識是通過用圖像編輯工具繪出包含模糊對 象的區(qū)域的輪廓來手動進(jìn)行的，或者是通過自動檢測算法來進(jìn)行的。 然后，對這些模糊對象進(jìn)行進(jìn)一步分析以開發(fā)用于將其與粒子系統(tǒng)的 庫進(jìn)行匹配的準(zhǔn)則。通過以幀和時間方式(即，以圖像的順序序列方 式)分析圖像段的光特性和表面特性，來確定最佳匹配。該系統(tǒng)和方 法模擬并渲染從庫中選擇的粒子系統(tǒng)，然后將渲染結(jié)果與圖像中的模 糊對象進(jìn)行比較。然后，該系統(tǒng)和方法根據(jù)特定匹配準(zhǔn)則來確定該粒 子系統(tǒng)是否是良好匹配。
一旦將場景中標(biāo)識的所有對象或所檢測區(qū)域轉(zhuǎn)換為3D空間，就在
步驟212通過對包括轉(zhuǎn)換后的3D對象和背景板在內(nèi)的3D場景渲染至與 輸入2D圖像的成像平面不同的、由虛擬右側(cè)攝像機(jī)確定的另一成像平 面中，來創(chuàng)建互補(bǔ)圖像(例如右眼圖像)。這種渲染可以通過標(biāo)準(zhǔn)圖形 卡管道中的光柵化過程或如專業(yè)后期制作工作流中使用的光線跟蹤之 類的更先進(jìn)技術(shù)來實(shí)現(xiàn)。新成像平面的位置由虛擬右側(cè)攝像機(jī)的位置 和視角來確定。虛擬右側(cè)攝像機(jī)(例如，在計算機(jī)或后處理設(shè)備中模 擬的攝像機(jī))的位置和視角的設(shè)置應(yīng)當(dāng)產(chǎn)生與產(chǎn)生輸入圖像的左側(cè)攝 像機(jī)的成像平面平行的成像平面。在一個實(shí)施例中，這是通過調(diào)整虛 擬攝像機(jī)的位置和視角并通過在顯示設(shè)備上觀看所產(chǎn)生的3D回放而 獲得反饋來實(shí)現(xiàn)的。右側(cè)攝像機(jī)的位置和視角被調(diào)整為使得觀看者可 以以最舒服的方式來觀看所創(chuàng)建的立體圖像。
然后，將所投影的場景存儲為輸入圖像(例如左眼圖像)的互補(bǔ) 圖像(例如右眼圖像)(步驟214)?；パa(bǔ)圖像將以任何傳統(tǒng)方式與輸入 圖像相關(guān)聯(lián)，因此可以在稍后的時間點(diǎn)處對其一起進(jìn)行檢索?；パa(bǔ)圖 像可以與輸入(或參考)圖像一起保存在創(chuàng)建立體影片的數(shù)字文件130 中。數(shù)字文件130可以存儲在存儲設(shè)備124中以用于稍后檢索，以便例 如打印原始影片的立體版本。'
盡管這里已經(jīng)詳細(xì)示出并描述了結(jié)合本公開教導(dǎo)的實(shí)施例，但本 領(lǐng)域技術(shù)人員可以容易地設(shè)計出仍結(jié)合這些教導(dǎo)的許多其他改變了的 實(shí)施例。已經(jīng)描述了用于對2D圖像進(jìn)行區(qū)域分類以進(jìn)行2D至3D轉(zhuǎn) 換的系統(tǒng)和方法的優(yōu)選實(shí)施例(意在示出而并非限制)，應(yīng)注意，本領(lǐng)域技術(shù)人員可以根據(jù)上述教導(dǎo)做出修改和變型。因此，應(yīng)當(dāng)理解，在 由所附權(quán)利要求概括的本公開的范圍和精神內(nèi)公開的本發(fā)明具體實(shí)施 例中可以做出改變。因此已經(jīng)使用專利法所要求的細(xì)節(jié)和特殊性描述 了本公開，在所附權(quán)利要求中闡述了本發(fā)明專利申請所要求保護(hù)的內(nèi) 容。
18
權(quán)利要求
1.一種用于創(chuàng)建立體圖像的三維轉(zhuǎn)換方法，包括獲取二維圖像(202)；對所述二維圖像中的區(qū)域進(jìn)行標(biāo)識(204)；對所標(biāo)識的區(qū)域進(jìn)行分類(208)；基于所標(biāo)識的區(qū)域的分類來選擇轉(zhuǎn)換模式；基于所選的轉(zhuǎn)換模式，將所述區(qū)域轉(zhuǎn)換為三維模型(210)；以及通過將所述三維模型(210)投影(212)至與所獲取的二維圖像(202)的圖像平面不同的圖像平面上來創(chuàng)建互補(bǔ)圖像。
2. 如權(quán)利要求1所述的方法，還包括 從所述區(qū)域中提取特征(206); 對所提取出的特征進(jìn)行分類；以及 基于所提取出的特征的分類來選擇轉(zhuǎn)換模式(208)。
3. 如權(quán)利要求2所述的方法，其中，所述提取步驟還包括根據(jù) 所提取出的特征來確定特征向量。
4. 如權(quán)利要求3所述的方法，其中，在所述分類步驟中采用所述 特征向量來對所標(biāo)識的區(qū)域進(jìn)行分類。
5. 如權(quán)利要求2所述的方法，其中，所提取出的特征是紋理和邊 緣方向。
6. 如權(quán)利要求5所述的方法，還包括 根據(jù)紋理特征和邊緣方向特征來確定特征向量；以及 對所述特征向量進(jìn)行分類以選擇轉(zhuǎn)換模式。
7. 如權(quán)利要求l所述的方法，其中，所述轉(zhuǎn)換模式是模糊對象轉(zhuǎn) 換模式或?qū)嶓w對象轉(zhuǎn)換模式。
8. 如權(quán)利要求l所述的方法，其中，所述分類步驟還包括 獲取多個二維圖像；選擇所述多個二維圖像中每一個中的區(qū)域；基于所選區(qū)域的類型，使用最優(yōu)轉(zhuǎn)換模式來標(biāo)注所選區(qū)域；以及 基于所標(biāo)注的二維圖像來優(yōu)化所述分類步驟。
9. 如權(quán)利要求8所述的方法，其中，所選區(qū)域的類型與模糊對象 相對應(yīng)。
10. 如權(quán)利要求8所述的方法，其中，所選區(qū)域的類型與實(shí)體對 象相對應(yīng)。
11. 一種用于對二維圖像中的對象進(jìn)行三維轉(zhuǎn)換的系統(tǒng)(100)，所述系統(tǒng)包括后處理設(shè)備(102)，被配置為從二維圖像創(chuàng)建互補(bǔ)圖像；所述后 處理設(shè)備包括區(qū)域檢測器(116)，被配置為檢測至少一個二維圖像中的區(qū)域；區(qū)域分類器(U7)，被配置為對所檢測的區(qū)域進(jìn)行分類，以 確定至少一個轉(zhuǎn)換器的標(biāo)識符；所述至少一個轉(zhuǎn)換器(118)，被配置為將所檢測的區(qū)域轉(zhuǎn)換 為三維模型；以及重構(gòu)模塊(114)，被配置為通過將所選三維模型投影至與一 個二維圖像的圖像平面不同的圖像平面上來創(chuàng)建互補(bǔ)圖像。
12. 如權(quán)利要求11所述的系統(tǒng)(100)，還包括特征提取器(119)， 被配置為從所檢測的區(qū)域中提取特征。
13. 如權(quán)利要求12所述的系統(tǒng)(100)，其中，所述特征提取器(119) 還被配置為確定輸入至所述區(qū)域分類器(117)中的特征向量。
14. 如權(quán)利要求12所述的系統(tǒng)(100)，其中，所提取出的特征是 紋理和邊緣方向。
15. 如權(quán)利要求11所述的系統(tǒng)(100)，其中，所述區(qū)域檢測器(116)是分割功能。
16. 如權(quán)利要求ll所述的系統(tǒng)(100)，其中，所述至少一個轉(zhuǎn)換 器(118)是模糊對象轉(zhuǎn)換器(118-2)或?qū)嶓w對象轉(zhuǎn)換器(118-1)。
17. 如權(quán)利要求11所述的系統(tǒng)(100)，還包括分類器學(xué)習(xí)器(22)， 被配置為獲取多個二維圖像(14)，選擇所述多個二維圖像中每一個中 的至少一個區(qū)域(16)，并基于所選的至少一個區(qū)域的類型、使用最優(yōu) 轉(zhuǎn)換器的標(biāo)識符來標(biāo)注所選的至少一個區(qū)域，其中，所述區(qū)域分類器(117)是基于所標(biāo)注的二維圖像來優(yōu)化的。
18. 如權(quán)利要求17所述的系統(tǒng)(100)，其中，所選的至少一個區(qū) 域的類型與模糊對象相對應(yīng)。
19. 如權(quán)利要求17所述的系統(tǒng)(100)，其中，所選的至少一個區(qū) 域的類型與實(shí)體對象相對應(yīng)。
20. —種機(jī)器可讀的程序存儲設(shè)備，有形地實(shí)現(xiàn)機(jī)器可執(zhí)行指令 的程序，以執(zhí)行用于從二維圖像創(chuàng)建立體圖像的方法的步驟，所述方 法包括獲取二維圖像(202);對所述二維圖像的區(qū)域進(jìn)行標(biāo)識(204); 對所標(biāo)識的區(qū)域進(jìn)行分類(208); 基于所標(biāo)識的區(qū)域的分類來選擇轉(zhuǎn)換模式；基于所選的轉(zhuǎn)換模式，將所述區(qū)域轉(zhuǎn)換為三維模型(210);以及 通過將所述三維模型(210)投影(212)至與所述二維圖像(202) 的圖像平面不同的圖像平面上來創(chuàng)建互補(bǔ)圖像。
全文摘要
本發(fā)明提供了一種用于對二維(2D)圖像進(jìn)行區(qū)域分類以對圖像進(jìn)行2D至3D轉(zhuǎn)換從而創(chuàng)建立體圖像的系統(tǒng)和方法。本公開的系統(tǒng)和方法獲取二維(2D)圖像(202)；對所述2D圖像的區(qū)域進(jìn)行標(biāo)識(204)；從所述區(qū)域中提取特征(206)；對所述區(qū)域的所提取出的特征進(jìn)行分類(208)；基于所標(biāo)識的區(qū)域的分類來選擇轉(zhuǎn)換模式；基于所選的轉(zhuǎn)換模式，將所述區(qū)域轉(zhuǎn)換為3D模型(210)；以及通過將所述3D模型投影(212)至與所述2D圖像(202)的圖像平面不同的圖像平面上來創(chuàng)建互補(bǔ)圖像。學(xué)習(xí)組件(22)使用訓(xùn)練圖像集合(24)和對應(yīng)的用戶標(biāo)注來優(yōu)化分類參數(shù)，以實(shí)現(xiàn)所述區(qū)域的最小分類誤差。
文檔編號G06T7/00GK101657839SQ200780052286
公開日2010年2月24日 申請日期2007年3月23日 優(yōu)先權(quán)日2007年3月23日
發(fā)明者吉姆·亞瑟·凡徹, 安娜·貝蓮·貝尼特斯, 張東慶 申請人:湯姆森許可貿(mào)易公司