專利名稱：利用正向和反向深度預(yù)測(cè)進(jìn)行圖像的深度提取的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本公開一般地涉及計(jì)算機(jī)圖形處理和顯示系統(tǒng)，并更具體地涉及一種利用正向和 反向深度預(yù)測(cè)進(jìn)行圖像的深度提取的系統(tǒng)和方法。
背景技術(shù)：
立體成像是在視覺上組合一個(gè)場景的從稍微不同的視點(diǎn)取得的至少兩個(gè)圖像以 便產(chǎn)生三維(“3D”)深度的錯(cuò)覺的處理。該技術(shù)依賴于如下事實(shí)人眼間隔一定距離，并 且因此沒有觀看完全相同的場景。通過為每只眼睛提供來自不同觀察點(diǎn)(perspective)的 圖像，欺騙觀看者的眼睛感覺到深度。典型地，在提供兩個(gè)有區(qū)別的觀察點(diǎn)的情況下，分別 將組成圖像稱為“左側(cè)”和“右側(cè)”圖像，也分別將其已知為基準(zhǔn)圖像和補(bǔ)充圖像。然而，本 領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，可以組合多于兩個(gè)視點(diǎn)來形成立體圖像。在3D后期制作、視覺效果(VFX)工作流程和3D顯示應(yīng)用中，一項(xiàng)重要的處理是從 由左眼視像和右眼視像組成的立體圖像中推斷深度圖。例如，最近商業(yè)化的自動(dòng) 立體3D顯示器要求圖像加深度圖(image-plus-d印th-map)輸入格式，使得該顯示器可以 生成不同的3D視圖來支持多個(gè)視角。根據(jù)立體圖像對(duì)推斷深度圖的處理在計(jì)算機(jī)視覺研究的領(lǐng)域中被稱為立體匹配， 因?yàn)槭褂孟袼鼗驂K匹配以發(fā)現(xiàn)左眼和右眼視像中的對(duì)應(yīng)點(diǎn)。新近，推斷深度圖的處理 在3D顯示團(tuán)體中也通常被已知為深度提取。根據(jù)各圖像中與場景中的相同點(diǎn)對(duì)應(yīng)的兩個(gè) 像素之間的相對(duì)距離推斷深度值。在眾多計(jì)算機(jī)視覺應(yīng)用(諸如，例如用于計(jì)算機(jī)輔助繪圖(CAD)的快速對(duì)象建 模和原型成型、用于人機(jī)交互(HCI)的對(duì)象分割和檢測(cè)、視頻壓縮和視覺監(jiān)控(visual surveillance))中廣泛使用數(shù)字圖像的立體匹配，以便提供三維(3D)深度信息。立體匹配 從場景中位于不同位置和朝向的兩個(gè)或多個(gè)相機(jī)獲得場景的圖像。在大約相同的時(shí)間從每 個(gè)相機(jī)獲得這些數(shù)字圖像，并且對(duì)應(yīng)于空間中的3D點(diǎn)匹配每個(gè)圖像中的點(diǎn)。通常，通過搜 索一部分圖像和使用約束(諸如核線約束)來匹配來自不同圖像的點(diǎn)，以便使一個(gè)圖像中 的點(diǎn)與另一圖像中的點(diǎn)相關(guān)聯(lián)。關(guān)于深度圖提取已經(jīng)進(jìn)行了實(shí)質(zhì)性的工作。關(guān)于深度提取的大部分工作集中在單 個(gè)立體圖像對(duì)上而不是在視頻上。然而，視頻取代圖像成為消費(fèi)電子界的主導(dǎo)媒體。對(duì)于 視頻而言，采用立體圖像對(duì)的序列而不是單個(gè)圖像對(duì)。在常規(guī)技術(shù)中，向每個(gè)幀對(duì)應(yīng)用靜止 深度提取算法。在大多數(shù)情形下，輸出深度圖的質(zhì)量對(duì)于3D回放是足夠的。然而，對(duì)于具 有大量紋理的幀而言，可以看見時(shí)間性的(temporal)抖動(dòng)偽像，這是因?yàn)樯疃葓D在時(shí)間方 向上(即，在圖像對(duì)序列的時(shí)間段中)未精確地對(duì)齊。因此，存在對(duì)于使深度圖提取處理沿時(shí)間方向穩(wěn)定以減少時(shí)間性的抖動(dòng)偽像的技 術(shù)的需求。

發(fā)明內(nèi)容
根據(jù)本公開的一方面，提供了一種利用正向和反向深度預(yù)測(cè)進(jìn)行圖像的時(shí)空深度 提取的系統(tǒng)和方法。本公開的系統(tǒng)和方法提供了 獲取多個(gè)幀、基于多個(gè)幀中的前一幀的深 度圖來生成多個(gè)幀中的當(dāng)前幀的第一深度圖，基于多個(gè)幀中的后一幀的深度圖來生成多個(gè) 幀中的當(dāng)前幀的第二深度圖，以及處理第一深度圖和第二深度圖以產(chǎn)生當(dāng)前幀的第三深度 圖。


將對(duì)本公開的這些以及其他方面、特征和優(yōu)點(diǎn)進(jìn)行描述，或者根據(jù)要連同附圖一 起閱讀的優(yōu)選實(shí)施例的以下詳細(xì)描述，本公開的這些以及其他方面、特征和優(yōu)點(diǎn)將變得清林 疋。在附圖中，貫穿各視圖，相同的參考標(biāo)記表示類似的元件圖1是根據(jù)本公開的一方面的將至少兩個(gè)圖像進(jìn)行立體匹配的系統(tǒng)的示例性圖 示；圖2是根據(jù)本公開的一方面的將至少兩個(gè)圖像進(jìn)行立體匹配的示例性方法的流 程圖；圖3圖示在對(duì)場景中感興趣的點(diǎn)拍攝的兩個(gè)圖像之間的核線(印ipolarline)幾 何關(guān)系；圖4圖示在視差和深度之間的關(guān)系；圖5是根據(jù)本公開的一方面的用于估計(jì)至少兩個(gè)圖像的視差的示例性方法的流 程圖；圖6是根據(jù)本公開的一方面的時(shí)空深度提取的示例性方法的流程圖；圖7圖示用于增強(qiáng)立體圖像的連續(xù)幀序列的深度圖的正向和反向預(yù)測(cè)處理；以及圖8是根據(jù)本公開的一方面的生成深度圖的示例性方法的流程圖。應(yīng)理解，(各)附圖用于例示本公開的構(gòu)思的目的并且不一定是用于例示本公開 的唯一可能的配置。
具體實(shí)施例方式應(yīng)理解可以以各種形式的硬件、軟件或其組合來實(shí)施附圖中所示的元件。優(yōu)選 地，在一個(gè)或多個(gè)被適當(dāng)編程的通用設(shè)備上以硬件和軟件的組合來實(shí)施這些元件，所述通 用設(shè)備可以包括處理器、存儲(chǔ)器以及輸入/輸出接口。本描述例示了本公開的原理。因此本領(lǐng)域技術(shù)人員應(yīng)理解將能夠設(shè)計(jì)出雖然未在 此被明確描述或示出、但是體現(xiàn)本公開的原理并且被包括在本公開的精神和范圍內(nèi)的各種布置。在此所敘述的所有示例和條件性語言意在教導(dǎo)性的目的，以幫助讀者理解本公開 的原理和由發(fā)明人為促進(jìn)本領(lǐng)域技術(shù)而貢獻(xiàn)的構(gòu)思，并且要被解釋為不限于這種具體敘述 的示例和條件。另外，在此敘述的本公開的原理、方面、以及實(shí)施例的所有陳述、以及本公開的具 體示例，意在包含本公開的結(jié)構(gòu)的和功能的兩者的等效物。此外，這種等效物意在包括當(dāng)前已知的等效物以及將來開發(fā)的等效物這兩者，即，所開發(fā)的無論結(jié)構(gòu)如何、執(zhí)行相同功能的 任何元件。因此，例如，本領(lǐng)域技術(shù)人員應(yīng)理解在此呈現(xiàn)的框圖表示體現(xiàn)本公開的原理的例 示性的電路的概念性視圖。類似地，應(yīng)理解任何流程圖示、流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等 等表示實(shí)質(zhì)上可以在計(jì)算機(jī)可讀介質(zhì)中表示的、并因此通過計(jì)算機(jī)或處理器執(zhí)行的各種處 理，無論這種計(jì)算機(jī)或處理器是否被明確示出?？梢允褂脤Ｓ糜布约巴ㄟ^與適合的軟件相關(guān)聯(lián)而能夠執(zhí)行軟件的硬件來提供 附圖中所示的各種元件的功能。當(dāng)由處理器提供時(shí)，可以由單個(gè)專用處理器、單個(gè)共享處理 器、或其中一些可以被共享的多個(gè)獨(dú)立處理器提供所述功能。另外，術(shù)語“處理器”或“控制 器”的明確使用不應(yīng)被解釋為排他性地指代能夠執(zhí)行軟件的硬件，其可以隱含地包括、而不 限于數(shù)字信號(hào)處理器(“DSP”)硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器(“ROM”)、隨機(jī)存取存儲(chǔ) 器(“RAM”)、以及非易失性存儲(chǔ)裝置。還可以包括其它的常規(guī)的和/或定制的硬件。類似地，附圖中所示的任何開關(guān)只 是概念性的。可以通過程序邏輯的操作、通過專用邏輯、通過程序控制和專用邏輯的交互作 用、或甚至手動(dòng)地執(zhí)行它們的功能，如從上下文中具體理解的，具體技術(shù)可由實(shí)施者選擇。在其權(quán)利要求中，被表達(dá)為用于執(zhí)行所指定的功能的部件的任何元件意在包含執(zhí) 行該功能的任何方式，所述任何方式例如包括a)執(zhí)行該功能的電路元件的組合或b)與 用于執(zhí)行軟件的適當(dāng)?shù)碾娐方M合以執(zhí)行該功能的任何形式的軟件(因此包括固件、微代碼 等)。由這樣的權(quán)利要求所限定的本公開在于以下事實(shí)以權(quán)利要求所請(qǐng)求保護(hù)的方式將 所敘述的各種部件所提供的功能組合并放在一起。因此，可以提供這些功能的任何部件被 認(rèn)為等效于與在此所示出的那些部件。立體匹配是用于從立體圖像(例如，左眼視像和右眼視像)推斷深度圖 的標(biāo)準(zhǔn)方法。在常規(guī)的自動(dòng)立體顯示器上進(jìn)行的3D回放已經(jīng)表明深度圖的平滑度顯著影 響作為結(jié)果的3D回放的外觀。不平滑的深度圖經(jīng)常導(dǎo)致3D回放中的之字形邊緣，這在視 覺上比具有不太準(zhǔn)確的深度值的平滑的深度圖的回放更糟糕。因此，對(duì)于3D顯示和回放應(yīng) 用而言，深度圖的平滑度比深度準(zhǔn)確度更重要。此外，基于全局優(yōu)化的方法對(duì)于3D顯示應(yīng) 用中的深度估計(jì)而言是必須的。本公開提出了一種結(jié)合時(shí)間信息以提高深度圖的平滑度的 深度提取技術(shù)。眾多立體技術(shù)優(yōu)化了以下成本函數(shù)(cost function)，該成本函數(shù)用于強(qiáng)制 空間相干性以及與數(shù)據(jù)的一致性。針對(duì)圖像序列，時(shí)間分量對(duì)于提高所提取的深度圖的準(zhǔn) 確度是重要的。提供了一種利用正向和反向深度預(yù)測(cè)進(jìn)行圖像的時(shí)空深度提取的系統(tǒng)和方法。本 公開的系統(tǒng)和方法提供了一種結(jié)合時(shí)間信息以提高深度圖的平滑度的深度提取技術(shù)。本公 開的技術(shù)結(jié)合正向和反向通道(pass)，其中使用圖像序列的當(dāng)前幀的前一幀的深度圖來初 始化當(dāng)前幀處的深度提取，這使得計(jì)算更快并且更準(zhǔn)確。然后可以利用深度圖或視差圖與 立體圖像對(duì)一起進(jìn)行3D回放。本公開的技術(shù)在解決由深度圖的不穩(wěn)定造成的、2D+深度顯 示中3D回放的時(shí)間性抖動(dòng)偽像的問題時(shí)是有效的?，F(xiàn)在參照附圖，圖1示出了根據(jù)本公開的實(shí)施例的示例性系統(tǒng)組件。可以提供掃 描設(shè)備103用于將膠片印片(film print) 104(例如相機(jī)原始的膠片底片)掃描為數(shù)字格式 (例如，Cineon-格式或者運(yùn)動(dòng)畫面和電視工程師協(xié)會(huì)(“SMPTE”)數(shù)字畫面交換(“DPX”)文件)。掃描設(shè)備103可以包括例如電視電影裝置(telecine)或者將根據(jù)膠片生成視頻輸 出的任何設(shè)備(諸如例如具有視頻輸出的Arri LocPro )?？商鎿Q地，可以直接使用來自 后期制作處理或者數(shù)字電影的文件106 (例如，已經(jīng)是計(jì)算機(jī)可讀形式的文件)。計(jì)算機(jī)可 讀文件的潛在來源是AVID 編輯器、DPX文件、D5磁帶等。所掃描的膠片印片被輸入給后期處理設(shè)備102(例如，計(jì)算機(jī))。該計(jì)算機(jī)在各 種已知的計(jì)算機(jī)平臺(tái)中的任一種上實(shí)現(xiàn)，所述計(jì)算機(jī)平臺(tái)具有諸如以下硬件一個(gè)或多個(gè) 中央處理單元(CPU)、諸如隨機(jī)存取存儲(chǔ)器(RAM)和/或只讀存儲(chǔ)器(ROM)之類的存儲(chǔ)器 110，以及諸如鍵盤、光標(biāo)控制設(shè)備(例如，鼠標(biāo)或操縱桿)和顯示設(shè)備之類的(多個(gè))輸 入/輸出(I/O)用戶接口。該計(jì)算機(jī)平臺(tái)還包括操作系統(tǒng)和微指令代碼。在此描述的各 種處理和功能可以是經(jīng)由操作系統(tǒng)執(zhí)行的微指令代碼的一部分或者軟件應(yīng)用程序的一部 分(或者是其組合)。在一個(gè)實(shí)施例中，軟件應(yīng)用程序有形地體現(xiàn)在程序存儲(chǔ)設(shè)備中，其可 以被上載到諸如后期處理設(shè)備102之類的任何合適的機(jī)器并且由該機(jī)器執(zhí)行。另外，可以 通過諸如并行端口、串行端口或者通用串行總線(USB)之類的各種接口和總線結(jié)構(gòu)將各種 其他外圍設(shè)備連接到該計(jì)算機(jī)平臺(tái)。其他外圍設(shè)備可以包括附加的存儲(chǔ)設(shè)備1 和印片機(jī) (printer) 128?？梢圆捎糜∑瑱C(jī)128來印制膠片的修改版本126，例如膠片的立體版本，其 中可以使用作為以下描述的技術(shù)的結(jié)果的3D建模的對(duì)象來更改或者取代一個(gè)場景或多個(gè) 場景?？商鎿Q的，可以將已經(jīng)是計(jì)算機(jī)可讀形式的文件/膠片印片106(例如數(shù)字電影， 其例如可以存儲(chǔ)在外部硬盤驅(qū)動(dòng)器124中)直接輸入到計(jì)算機(jī)102中。注意，在此使用的 用語“膠片”可以指膠片印片或者數(shù)字電影。軟件程序包括在存儲(chǔ)器110中存儲(chǔ)的立體匹配模塊114，其用于將第一圖像中的 至少一個(gè)點(diǎn)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)進(jìn)行匹配。該立體匹配模塊114還包括圖像偏 轉(zhuǎn)器(image warper) 116，其被配置為調(diào)整立體圖像對(duì)的核線使得核線精確地成為圖像的 水平掃描線。該立體匹配模塊114還包括視差(disparity)估計(jì)器118，其被配置為估計(jì)第一圖 像中的至少一個(gè)點(diǎn)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的視差，并且根據(jù)所估計(jì)的視差對(duì)于第 一圖像中的至少一個(gè)點(diǎn)中的每一個(gè)點(diǎn)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)來生成視差圖。該視 差估計(jì)器118包括像素匹配成本函數(shù)132，被配置為對(duì)第一圖像和第二圖像中的像素進(jìn)行 匹配；平滑度成本函數(shù)134，向視差估計(jì)應(yīng)用平滑度約束；以及時(shí)間成本函數(shù)136，被配置為 使所生成的視差圖的序列在時(shí)間上對(duì)齊。視差估計(jì)器118還包括置信傳播算法或置信傳 播函數(shù)138，用于使所估算的視差最小化；以及動(dòng)態(tài)編程算法或動(dòng)態(tài)編程函數(shù)140，利用被 應(yīng)用到第一圖像和第二圖像的確定性匹配函數(shù)的結(jié)果來初始化置信傳播函數(shù)138以加速 置信傳播函數(shù)138。立體匹配模塊114還包括深度圖生成器120，用于通過對(duì)視差圖的視差值進(jìn)行反 轉(zhuǎn)(invert)而將視差圖轉(zhuǎn)換為深度圖。圖2是根據(jù)本公開的一方面的對(duì)至少兩個(gè)二維OD)圖像進(jìn)行立體匹配的示例性 方法的流程圖。初始地，后期處理設(shè)備102獲取至少兩個(gè)二維QD)圖像，例如，具有左眼視 圖和右眼視圖的立體圖像對(duì)(步驟20 。后期處理設(shè)備102可以通過獲得計(jì)算機(jī)可讀格式 的數(shù)字母版圖像(master image)文件而獲取至少兩個(gè)2D圖像?？梢酝ㄟ^利用數(shù)字相機(jī)來捕捉移動(dòng)圖像的時(shí)間序列而獲取數(shù)字視頻文件?？商鎿Q的，可以通過常規(guī)的膠片類型的相 機(jī)來攝制視頻序列。在該情境下，經(jīng)由掃描設(shè)備103掃描該膠片。應(yīng)理解，無論膠片是被掃描還是已經(jīng)是數(shù)字格式，膠片的數(shù)字文件都將包括關(guān)于 各個(gè)幀的位置的指示或信息(例如幀號(hào)、自膠片的起始起的時(shí)間等)。可以通過具有相同設(shè)置的兩個(gè)相機(jī)來攝制立體圖像。對(duì)相機(jī)進(jìn)行標(biāo)定以使其具 有相同焦距、焦點(diǎn)高度和平行焦平面；或者，必須基于已知的相機(jī)參數(shù)對(duì)圖像進(jìn)行偏轉(zhuǎn)使 得仿佛它們是被具有平行焦平面的相機(jī)所拍攝的(步驟204)。該偏轉(zhuǎn)處理包括相機(jī)標(biāo)定 (calibration)(步驟206)和相機(jī)調(diào)校(rectification)(步驟208)。標(biāo)定和調(diào)校處理調(diào) 整立體圖像的核線使得核線精確地成為圖像的水平掃描線。參照?qǐng)D3，Ol和Ok表示兩個(gè)相 機(jī)的焦點(diǎn)，P表示兩個(gè)相機(jī)感興趣的點(diǎn)，而&和Pk表示點(diǎn)P被投影到成像平面的何處。每 個(gè)焦平面上的交叉點(diǎn)被稱作核點(diǎn)(印ipole)(由&和&表示)。右核線(例如，ER-PR)是 連接聚焦中心和左側(cè)圖像上的點(diǎn)的射線(ray)在右側(cè)圖像上的投影，因此左側(cè)圖像上的像 素在右側(cè)圖像上的對(duì)應(yīng)點(diǎn)應(yīng)位于右側(cè)圖像上的核線上，同樣的情況適用于左側(cè)核線，例如 El-Plo由于對(duì)應(yīng)點(diǎn)發(fā)現(xiàn)沿著核線進(jìn)行，調(diào)校處理將對(duì)應(yīng)搜索簡化為僅僅沿掃描線搜索，這極 大地減少了計(jì)算成本。對(duì)應(yīng)點(diǎn)是圖像中與同一場景點(diǎn)對(duì)應(yīng)的像素。接著，在步驟210，對(duì)場景中的每個(gè)點(diǎn)估計(jì)視差圖。一旦發(fā)現(xiàn)對(duì)應(yīng)點(diǎn)，則計(jì)算每個(gè)場 景點(diǎn)的視差作為左眼圖像和右眼圖像中匹配點(diǎn)的相對(duì)距離。例如，參照?qǐng)D4，如果左眼圖像 402中的點(diǎn)的水平坐標(biāo)為X，而其在右眼圖像404中的對(duì)應(yīng)點(diǎn)的水平坐標(biāo)為χ’，則視差d = χ' -χ 然后，在步驟212，使用以下公式ζ = Bf/d將場景點(diǎn)406的視差值d轉(zhuǎn)換為深度值 ζ (從場景點(diǎn)406 (也被稱為收斂點(diǎn))到相機(jī)408,410的距離)，其中B是兩個(gè)相機(jī)408,410 之間的距離(也被稱作基線)，而f是相機(jī)的焦距，在圖4中示出對(duì)此的證明。參照?qǐng)D5，提供了根據(jù)本公開的如上面步驟210所標(biāo)識(shí)的用于估計(jì)視差圖的方法。 初始地，獲取立體圖像對(duì)(步驟50幻。計(jì)算視差成本函數(shù)，包括計(jì)算像素成本函數(shù)(步驟 504)、計(jì)算平滑度成本函數(shù)(步驟506)和計(jì)算時(shí)間成本函數(shù)(步驟508)。執(zhí)行低成本的 立體匹配優(yōu)化(例如，動(dòng)態(tài)編程)來得到立體匹配兩個(gè)圖像的初始的確定性的結(jié)果(步驟 510)。然后將該低成本優(yōu)化的結(jié)果用于初始化置信傳播函數(shù)以加速用于使序列的第一幀的 視差成本函數(shù)最小化的置信傳播函數(shù)(512)。然后將使用預(yù)測(cè)深度圖來初始化用于該序列 的后一幀的置信傳播函數(shù)。現(xiàn)在將詳細(xì)地描述圖5中所示的視差估計(jì)及其公式表示。視差估計(jì)是上述的工作 流程中重要的步驟。該問題包括使得左眼圖像和右眼圖像中的像素進(jìn)行匹配，即發(fā)現(xiàn)右側(cè) 圖像和左側(cè)圖像中對(duì)應(yīng)于同一場景點(diǎn)的像素。通過考慮視差圖是平滑的，可以如下對(duì)立體 匹配的問題在數(shù)學(xué)上進(jìn)行公式表示C(d(·)) = Cp(d(.)) + ACs(d(.)) (1)其中d(.)是視差域(disparity f ield), d (χ, y)給出左眼圖像中具有坐標(biāo)(x，y) 的點(diǎn)的視差值，C是總的成本函數(shù)，Cp是像素匹配成本函數(shù)，而Cs是平滑度成本函數(shù)。平滑 度成本函數(shù)是用于強(qiáng)制視差圖的平滑度的函數(shù)。在優(yōu)化處理期間，對(duì)所有的視差域使得上 述成本函數(shù)最小化。對(duì)于局部優(yōu)化，丟棄平滑度項(xiàng)Cs ；因此，在該優(yōu)化處理期間不考慮平滑 度。除此之外，可以將Cp建模為像素亮度(intensity)的均方差
權(quán)利要求
1.一種對(duì)至少兩個(gè)圖像進(jìn)行匹配的方法，該方法包括 獲取(802)多個(gè)幀；基于所述多個(gè)幀中的前一幀的深度圖來生成(806)所述多個(gè)幀中的當(dāng)前幀的第一深 度圖；基于所述多個(gè)幀中的后一幀的深度圖來生成(808)所述多個(gè)幀中的當(dāng)前幀的第二深 度圖；以及處理(810)所述第一深度圖和所述第二深度圖以產(chǎn)生所述當(dāng)前幀的第三深度圖。
2.根據(jù)權(quán)利要求1所述的方法，其中所述第一深度圖包含基于所述前一幀的深度圖的 誤差，而所述第二深度圖包含用于減少該誤差的校正。
3.根據(jù)權(quán)利要求1所述的方法，其中所述多個(gè)幀中的每個(gè)幀包括第一圖像和第二圖像。
4.根據(jù)權(quán)利要求3所述的方法，其中生成第一和第二深度圖的步驟還包括以下步驟 估計(jì)第一圖像中的至少一個(gè)點(diǎn)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的視差；基于所估計(jì)的視差生成視差圖；以及 將所估計(jì)的視差圖轉(zhuǎn)換為深度圖。
5.根據(jù)權(quán)利要求4所述的方法，其中估計(jì)視差的步驟包括計(jì)算像素匹配成本函數(shù) (504)。
6.根據(jù)權(quán)利要求4所述的方法，其中估計(jì)視差的步驟包括計(jì)算平滑度成本函數(shù)(506)。
7.根據(jù)權(quán)利要求4所述的方法，其中估計(jì)視差的步驟包括計(jì)算時(shí)間成本函數(shù)(508)。
8.根據(jù)權(quán)利要求4所述的方法，其中估計(jì)視差的步驟包括執(zhí)行低成本優(yōu)化函數(shù)(510)。
9.根據(jù)權(quán)利要求8所述的方法，其中估計(jì)視差的步驟包括基于低成本優(yōu)化函數(shù)(510) 的結(jié)果來計(jì)算置信傳播函數(shù)(512)。
10.根據(jù)權(quán)利要求3所述的方法，其中第一圖像是立體對(duì)的左眼視圖，第二圖像是立體 對(duì)的右眼視圖。
11.一種對(duì)至少兩個(gè)圖像進(jìn)行匹配的系統(tǒng)，該系統(tǒng)包括 用于獲取(802)多個(gè)幀的部件；用于基于所述多個(gè)幀中的前一幀的深度圖來生成(806)所述多個(gè)幀中的當(dāng)前幀的第 一深度圖的部件；用于基于所述多個(gè)幀中的后一幀的深度圖來生成(808)所述多個(gè)幀中的當(dāng)前幀的第 二深度圖的部件；以及用于處理(810)所述第一深度圖和所述第二深度圖以產(chǎn)生所述當(dāng)前幀的第三深度圖 的部件。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述第一深度圖包含基于所述前一幀的深度圖 的誤差，而所述第二深度圖包含用于減少該誤差的校正。
13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述多個(gè)幀中的每個(gè)幀包括第一圖像和第二圖像。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中用于生成第一和第二深度圖的部件還包括 用于估計(jì)第一圖像中的至少一個(gè)點(diǎn)與第二圖像中的至少一個(gè)對(duì)應(yīng)點(diǎn)的視差的部件； 用于基于所估計(jì)的視差生成視差圖的部件；以及用于將所估計(jì)的視差圖轉(zhuǎn)換為深度圖的部件。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中用于估計(jì)視差的部件包括用于計(jì)算像素匹配成 本函數(shù)(504)的部件。
16.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中用于估計(jì)視差的部件包括用于計(jì)算平滑度成本 函數(shù)(506)的部件。
17.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中用于估計(jì)視差的部件包括計(jì)算時(shí)間成本函數(shù) (508)。
18.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中用于估計(jì)視差的部件包括用于執(zhí)行低成本優(yōu)化 函數(shù)(510)的部件。
19.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中用于估計(jì)視差的部件包括用于基于執(zhí)行低成本 優(yōu)化函數(shù)(510)的部件的輸出來計(jì)算置信傳播函數(shù)(512)的部件。
20.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中第一圖像是立體對(duì)的左眼視圖，第二圖像是立 體對(duì)的右眼視圖。
全文摘要
提供了一種利用正向和反向深度預(yù)測(cè)進(jìn)行圖像的時(shí)空深度提取的系統(tǒng)和方法。本公開的系統(tǒng)和方法提供了獲取(802)多個(gè)幀、基于多個(gè)幀中的前一幀的深度圖來生成(806)多個(gè)幀中的當(dāng)前幀的第一深度圖，基于多個(gè)幀中的后一幀的深度圖來生成(808)多個(gè)幀中的當(dāng)前幀的第二深度圖，以及處理(810)第一深度圖和第二深度圖以產(chǎn)生當(dāng)前幀的第三深度圖。
文檔編號(hào)G06T7/00GK102047288SQ200880129526
公開日2011年5月4日 申請(qǐng)日期2008年5月28日 優(yōu)先權(quán)日2008年5月28日
發(fā)明者伊扎特·伊扎特, 尹永實(shí), 張冬青 申請(qǐng)人:湯姆森特許公司