專(zhuān)利名稱(chēng)：基于全局運(yùn)動(dòng)的深度估計(jì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明大體上涉及三維(3D)視頻的產(chǎn)生。更具體來(lái)說(shuō)，本發(fā)明涉及產(chǎn)生現(xiàn)有二維(2D)視頻呈現(xiàn)的深度圖，所述深度圖可用以產(chǎn)生用于顯示三維(3D)視頻呈現(xiàn)的替代視圖。
背景技術(shù)：
近年來(lái)，已開(kāi)發(fā)諸多技術(shù)(例如，電視機(jī)、dvd播放器、機(jī)頂盒、藍(lán)光播放器、計(jì)算機(jī)和類(lèi)似物)以允許在視頻顯示裝置中的3D視頻呈現(xiàn)。然而，大多數(shù)現(xiàn)有視頻內(nèi)容(例如，所存儲(chǔ)、下載和/或流式視頻內(nèi)容)僅經(jīng)配置來(lái)以2D顯示。因而，可能需要將2D視頻呈現(xiàn)的現(xiàn)有數(shù)字表示轉(zhuǎn)換為3D呈現(xiàn)。為此，可能需要分析2D視頻呈現(xiàn)以確定視頻對(duì)象相對(duì)于彼此的深度。視頻對(duì)象深度的表示可稱(chēng)作深度圖。對(duì)象深度的確定可用以產(chǎn)生以3D顯現(xiàn)給用戶(hù)的視頻呈現(xiàn)。

發(fā)明內(nèi)容
全局運(yùn)動(dòng)可描述為在視頻捕捉期間的相機(jī)運(yùn)動(dòng)。全局運(yùn)動(dòng)移動(dòng)的一些實(shí)例包含相機(jī)左右水平移動(dòng)、上下傾斜和/或例如放大和縮小等各種其它效果。本發(fā)明描述用于估計(jì)視頻呈現(xiàn)的2D視圖的圖像對(duì)象的深度的技術(shù)，其包含估計(jì)2D視圖的全局運(yùn)動(dòng)，例如估計(jì)捕捉2D視圖的一個(gè)或一個(gè)以上立體相機(jī)的運(yùn)動(dòng)。本發(fā)明還描述用于基于圖像的像素子集來(lái)估計(jì)全局運(yùn)動(dòng)的技術(shù)。本發(fā)明進(jìn)一步描述用于基于經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町悂?lái)確定圖像的深度圖的技術(shù)。在一些實(shí)例中，估計(jì)全局運(yùn)動(dòng)可提供轉(zhuǎn)換視頻呈現(xiàn)的2D視圖的改進(jìn)，使得視頻呈現(xiàn)可被感知為具有深度，例如3D視頻呈現(xiàn)。舉例來(lái)說(shuō)，基于全局運(yùn)動(dòng)估計(jì)深度可提供視頻呈現(xiàn)的替代視圖的產(chǎn)生。替代視圖可與原始2D視圖結(jié)合顯示以用于顯示視頻呈現(xiàn)，使得視頻呈現(xiàn)將實(shí)質(zhì)上3D顯現(xiàn)給查看者。根據(jù)一個(gè)實(shí)例，本文中描述一種方法。所述方法包含經(jīng)由用于視頻呈現(xiàn)的二維(2D)視圖的計(jì)算裝置的圖像處理模塊確定所述2D視圖的至少一個(gè)幀的光流，其中所述光流是由所述2D視圖的觀察者與所述2D視圖的對(duì)象之間的相對(duì)運(yùn)動(dòng)造成的對(duì)象亮度模式在視覺(jué)平面中的明顯運(yùn)動(dòng)的表示。所述方法進(jìn)一步包含通過(guò)所述圖像處理模塊且基于所述所確定光流來(lái)估計(jì)所述至少一個(gè)幀的全局運(yùn)動(dòng)。所述方法進(jìn)一步包含通過(guò)所述圖像處理模塊基于所述所估計(jì)全局運(yùn)動(dòng)來(lái)調(diào)整所述光流，以產(chǎn)生所述至少一個(gè)幀的經(jīng)全局運(yùn)動(dòng)調(diào)整的光流。所述方法進(jìn)一步包含通過(guò)所述圖像處理模塊基于所述經(jīng)全局運(yùn)動(dòng)調(diào)整的光流產(chǎn)生所述視頻呈現(xiàn)的所述2D視圖的深度圖。根據(jù)另一實(shí)例，本文中描述一種設(shè)備。所述設(shè)備包含光流確定模塊，其針對(duì)視頻呈現(xiàn)的二維(2D)視圖確定所述2D視頻呈現(xiàn)的至少一個(gè)幀的光流，其中所述光流是由所述2D視圖的觀察者與所述2D視圖的對(duì)象之間的相對(duì)運(yùn)動(dòng)造成的對(duì)象亮度模式在視覺(jué)平面中的明顯運(yùn)動(dòng)的表示。所述設(shè)備進(jìn)一步包含全局運(yùn)動(dòng)估計(jì)模塊，其基于所述所確定光流估計(jì)所述至少一個(gè)幀的全局運(yùn)動(dòng)。所述設(shè)備進(jìn)一步包含全局運(yùn)動(dòng)調(diào)整模塊，其基于所述所估計(jì)全局運(yùn)動(dòng)調(diào)整所述光流，來(lái)產(chǎn)生所述至少一個(gè)幀的經(jīng)全局運(yùn)動(dòng)調(diào)整的光流。所述設(shè)備進(jìn)一步包含基于所述經(jīng)全局運(yùn)動(dòng)調(diào)整的光流產(chǎn)生所述視頻呈現(xiàn)的所述2D視圖的深度圖的掩模/深度圖產(chǎn)生模塊。根據(jù)另一實(shí)例，本文中描述一種計(jì)算機(jī)可讀存儲(chǔ)媒體。所述計(jì)算機(jī)可讀存儲(chǔ)媒體存儲(chǔ)指令，所述指令在執(zhí)行時(shí)使得一個(gè)或一個(gè)以上處理器:針對(duì)視頻呈現(xiàn)的二維(2D)視圖確定所述2D視頻呈現(xiàn)的至少一個(gè)幀的光流。所述光流是由所述2D視圖的觀察者與所述2D視圖的對(duì)象之間的相對(duì)運(yùn)動(dòng)造成的對(duì)象亮度模式在視覺(jué)平面中的明顯運(yùn)動(dòng)的表示。所述指令進(jìn)一步使得所述計(jì)算裝置基于所述光流估計(jì)所述至少一個(gè)幀的全局運(yùn)動(dòng)。所述指令進(jìn)一步使得所述計(jì)算裝置基于所述所估計(jì)全局運(yùn)動(dòng)來(lái)調(diào)整所述光流，以產(chǎn)生所述至少一個(gè)幀的經(jīng)全局運(yùn)動(dòng)調(diào)整的光流。所述指令進(jìn)一步使得所述計(jì)算裝置基于所述經(jīng)全局運(yùn)動(dòng)調(diào)整的光流產(chǎn)生所述視頻呈現(xiàn)的所述2D視圖的深度圖。根據(jù)另一實(shí)例，本文中描述一種裝置。所述裝置包含用于針對(duì)視頻呈現(xiàn)的二維(2D)視圖確定所述2D視頻呈現(xiàn)的至少一個(gè)幀的光流的裝置。所述光流是由所述2D視圖的觀察者與所述2D視圖的對(duì)象之間的相對(duì)運(yùn)動(dòng)造成的對(duì)象亮度模式在視覺(jué)平面中的明顯運(yùn)動(dòng)的表示。所述裝置進(jìn)一步包含用于基于所述光流估計(jì)所述至少一個(gè)幀的全局運(yùn)動(dòng)的裝置。所述裝置進(jìn)一步包含用于基于所述所估計(jì)全局運(yùn)動(dòng)來(lái)調(diào)整所述光流以產(chǎn)生所述至少一個(gè)幀的經(jīng)全局運(yùn)動(dòng)調(diào)整的光流的裝置。所述裝置進(jìn)一步包含用于基于所述經(jīng)全局運(yùn)動(dòng)調(diào)整的光流產(chǎn)生所述視頻呈現(xiàn)的所述2D視圖的深度圖的裝置。根據(jù)另一實(shí)例，本發(fā)明描述一種確定視頻呈現(xiàn)的二維視圖的深度圖的方法。所述方法包含經(jīng)由用于視頻呈現(xiàn)的二維(2D)視圖的計(jì)算裝置的圖像處理模塊來(lái)確定視頻呈現(xiàn)的幀的多個(gè)特征點(diǎn)。所述方法進(jìn)一步包含基于所述多個(gè)特征點(diǎn)確定所述幀的全局運(yùn)動(dòng)。所述方法進(jìn)一步包含確 定基于所述所確定全局運(yùn)動(dòng)產(chǎn)生所述幀的深度圖。根據(jù)另一實(shí)例，一種裝置經(jīng)配置以確定視頻呈現(xiàn)的二維(2D)視圖的深度圖。所述裝置包含圖像處理模塊，其經(jīng)配置以確定視頻呈現(xiàn)的幀的多個(gè)特征點(diǎn)，基于所述多個(gè)特征點(diǎn)確定所述幀的全局運(yùn)動(dòng)，及基于所述所確定全局運(yùn)動(dòng)產(chǎn)生所述幀的深度圖。根據(jù)另一實(shí)例，一種裝置經(jīng)配置以確定視頻呈現(xiàn)的二維(2D)視圖的深度圖。所述裝置包含用于確定視頻呈現(xiàn)的幀的多個(gè)特征點(diǎn)的裝置。所述裝置進(jìn)一步包含用于基于所述多個(gè)特征點(diǎn)確定所述幀的全局運(yùn)動(dòng)的裝置。所述裝置進(jìn)一步包含用于基于所述所確定全局運(yùn)動(dòng)產(chǎn)生所述幀的深度圖的裝置。根據(jù)另一實(shí)例，本文中描述一種計(jì)算機(jī)可讀存儲(chǔ)媒體。所述計(jì)算機(jī)可讀存儲(chǔ)媒體包含指令，所述指令在執(zhí)行時(shí)使得一個(gè)或一個(gè)以上處理器:確定視頻呈現(xiàn)的幀的多個(gè)特征點(diǎn)，基于所述多個(gè)特征點(diǎn)確定所述幀的全局運(yùn)動(dòng)，及基于所述所確定全局運(yùn)動(dòng)產(chǎn)生所述幀的深度圖。一個(gè)或一個(gè)以上實(shí)例的細(xì)節(jié)陳述于附圖及以下描述中。本發(fā)明的其它特征、目標(biāo)及優(yōu)勢(shì)將從描述及附圖和從權(quán)利要求書(shū)中顯而易見(jiàn)。


圖1是說(shuō)明與本發(fā)明技術(shù)一致的用于將2D視頻呈現(xiàn)轉(zhuǎn)換為3D視頻呈現(xiàn)的方法的一個(gè)實(shí)例的流程圖。圖2是說(shuō)明與本發(fā)明技術(shù)一致的經(jīng)配置以估計(jì)2D視頻呈現(xiàn)的深度的計(jì)算裝置的一個(gè)實(shí)例的框圖。圖2A是說(shuō)明與本發(fā)明技術(shù)一致的圖像處理模塊的一個(gè)實(shí)例的框圖。圖3是說(shuō)明與本發(fā)明技術(shù)一致的產(chǎn)生用于2D視頻呈現(xiàn)的深度圖的方法的一個(gè)實(shí)例的流程圖。圖4是說(shuō)明與本發(fā)明技術(shù)一致的用于確定針對(duì)視頻呈現(xiàn)的至少一個(gè)幀是否發(fā)生場(chǎng)景改變的方法的一個(gè)實(shí)例的流程圖。圖5是說(shuō)明與本發(fā)明技術(shù)一致的確定針對(duì)視頻呈現(xiàn)的至少一個(gè)幀是否存在全局運(yùn)動(dòng)的方法的一個(gè)實(shí)例的流程圖。圖6是說(shuō)明與本發(fā)明技術(shù)一致的識(shí)別用于估計(jì)全局運(yùn)動(dòng)的特征點(diǎn)的方法的一個(gè)實(shí)例的流程圖。圖7是說(shuō)明與本發(fā)明技術(shù)一致的將圖像像素/對(duì)象分類(lèi)為前景/背景的方法的一個(gè)實(shí)例的流程圖。圖8是說(shuō)明與本發(fā)明技術(shù)一致的精煉視頻呈現(xiàn)的初始掩模的方法的一個(gè)實(shí)例的流程圖。圖9是說(shuō)明與本發(fā)明技術(shù)一致的用于確定視頻呈現(xiàn)的2D視圖的至少一個(gè)前景像素的方法的一個(gè)實(shí)例的流程·圖。圖10是說(shuō)明與本發(fā)明技術(shù)一致的識(shí)別用于估計(jì)全局運(yùn)動(dòng)的特征點(diǎn)的方法的一個(gè)實(shí)例的流程圖。圖11是說(shuō)明與本發(fā)明技術(shù)一致的具有中央?yún)^(qū)和外圍區(qū)的幀的概念圖。圖12是說(shuō)明與本發(fā)明技術(shù)一致的用于確定2D圖像的深度圖的方法的一個(gè)實(shí)例的流程圖。圖13是說(shuō)明與本發(fā)明技術(shù)一致的用于確定2D圖像的深度圖的方法的一個(gè)實(shí)例的流程圖。
具體實(shí)施例方式本發(fā)明描述用于估計(jì)視頻呈現(xiàn)的2D視圖的圖像對(duì)象的深度的技術(shù)，其包含估計(jì)2D視圖的全局運(yùn)動(dòng)，例如估計(jì)捕捉到2D視圖的一個(gè)或一個(gè)以上單像相機(jī)的運(yùn)動(dòng)。在一些實(shí)例中，估計(jì)全局運(yùn)動(dòng)可提供轉(zhuǎn)換視頻呈現(xiàn)的2D視圖的改進(jìn)，使得視頻呈現(xiàn)可被感知為具有深度，例如3D視頻呈現(xiàn)。舉例來(lái)說(shuō)，本發(fā)明的技術(shù)提供確定至少一個(gè)視頻幀、圖像深度的至少一個(gè)初始指示(例如，至少一個(gè)像素的光流)，以及基于所述初始指示而估計(jì)所述幀的全局運(yùn)動(dòng)。全局運(yùn)動(dòng)的估計(jì)可用以補(bǔ)償像素運(yùn)動(dòng)的初始指示，由此改進(jìn)確定至少一個(gè)視頻幀的對(duì)象的深度(例如，前景或背景)的準(zhǔn)確度。因此，可針對(duì)至少一個(gè)幀產(chǎn)生深度圖。深度圖可用以產(chǎn)生視頻呈現(xiàn)的至少一個(gè)替代視圖，所述至少一個(gè)替代視圖可結(jié)合至少一個(gè)其它視圖(例如，2D視圖)使用以顯示3D (例如，立體)視頻呈現(xiàn)。
圖1是說(shuō)明與本發(fā)明技術(shù)一致的用于估計(jì)所捕捉圖像的深度的一個(gè)實(shí)例方法的流程圖。如圖1所示，方法包含獲取視頻呈現(xiàn)的2D(例如，單像)視圖(101)。2D視圖可包含用一個(gè)或一個(gè)以上單像(單個(gè))相機(jī)捕捉的圖像。2D視圖可代替為使用一個(gè)或一個(gè)以上立體(一個(gè)以上)相機(jī)捕捉到的多個(gè)視圖中的單個(gè)視圖。方法進(jìn)一步包含產(chǎn)生2D視圖的一個(gè)或一個(gè)以上對(duì)象和/或像素的深度的初始指示(102)?？苫诒疚拿枋龅募夹g(shù)中的任一者來(lái)產(chǎn)生深度的初始指示，包含(例如)如上文所描述的模糊性、運(yùn)動(dòng)、基于塊的匹配、分段或光流技術(shù)。所述方法進(jìn)一步包含基于深度的初始指示來(lái)確定2D視圖的至少一個(gè)幀的全局運(yùn)動(dòng)(103)。所述方法進(jìn)一步包含基于所確定的全局運(yùn)動(dòng)來(lái)調(diào)整2D視圖的對(duì)象和/或像素的初始指示(104)。舉例來(lái)說(shuō)，在使用光流來(lái)確定圖像深度的初始指示的情況下，方法包含基于所確定的全局運(yùn)動(dòng)來(lái)修改2D視圖的至少一個(gè)像素的至少一個(gè)光流向量，從而產(chǎn)生所述至少一個(gè)像素的經(jīng)全局運(yùn)動(dòng)調(diào)整的光流向量。方法進(jìn)一步包含基于所調(diào)整的深度圖來(lái)產(chǎn)生2D視圖的至少一個(gè)替代視圖(105)。方法可進(jìn)一步包含使用2D視圖的所產(chǎn)生的替代視圖來(lái)呈現(xiàn)3D視圖。舉例來(lái)說(shuō)，視頻呈現(xiàn)的2D視圖可顯示為3D視頻呈現(xiàn)的左視圖，而替代視圖可顯示為3D視頻呈現(xiàn)的右視圖。右視圖與左視圖之間的差異可導(dǎo)致3D視頻呈現(xiàn)的一個(gè)或一個(gè)以上圖像由查看者感知為具有深度。圖2為說(shuō)明可用以實(shí)踐本發(fā)明技術(shù)的計(jì)算裝置201的實(shí)例布置的框圖。計(jì)算裝置201可為經(jīng)配置以處理一個(gè)或一個(gè)以上2D視頻視圖以產(chǎn)生所述一個(gè)或一個(gè)以上2D視頻視圖的3D表示的任何裝置。可用以實(shí)踐本發(fā)明技術(shù)的計(jì)算裝置201的非限制性實(shí)例包含:桌上型計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算裝置、智能電話(huà)、筆記型計(jì)算機(jī)、電視機(jī)、視頻游戲控制臺(tái)、便攜式視頻游戲單元、或經(jīng)配置以處理視頻數(shù)據(jù)的任何其它計(jì)算裝置。如圖2的實(shí)例中所示，計(jì)算裝置201包含一個(gè)或一個(gè)以上處理器210。所述一個(gè)或一個(gè)以上處理器210是計(jì)算裝置201的組件，其經(jīng)配置以執(zhí)行指令以使計(jì)算裝置執(zhí)行若干功能，例如本發(fā)明的深度估計(jì)技術(shù)。舉例來(lái)說(shuō)，處理器210可經(jīng)配置以執(zhí)行存儲(chǔ)組件212所存儲(chǔ)的指令。存儲(chǔ)組件212 可包含一個(gè)或一個(gè)以上短期或長(zhǎng)期存儲(chǔ)器存儲(chǔ)組件，例如計(jì)算機(jī)硬盤(pán)、快閃存儲(chǔ)器或隨機(jī)存取存儲(chǔ)器(RAM)組件。在一個(gè)實(shí)例中，處理器210可包括計(jì)算裝置201的一個(gè)或一個(gè)以上中央處理單元(CPU)。在其它實(shí)例中，處理器210可代替或另外包含一個(gè)或一個(gè)以上圖形處理單元(GPU)、專(zhuān)用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)、特定邏輯或硬件、或其它類(lèi)似處理組件。如圖2中所示，處理器210包含圖像處理模塊214。根據(jù)所描繪實(shí)例，圖像處理模塊214包含由存儲(chǔ)組件212存儲(chǔ)以及可由一個(gè)或一個(gè)以上處理器210執(zhí)行的指令以執(zhí)行本文所述的技術(shù)。在執(zhí)行存儲(chǔ)在存儲(chǔ)組件212中的指令后，處理器210則可被視為經(jīng)配置以執(zhí)行本發(fā)明技術(shù)的特定機(jī)器。舉例來(lái)說(shuō)，由處理器210執(zhí)行指令可使處理器210在顧及視頻呈現(xiàn)的2D視圖的全局運(yùn)動(dòng)的同時(shí)估計(jì)視頻呈現(xiàn)的2D視圖的深度。圖像處理模塊214可包含經(jīng)配置以執(zhí)行本文所述的各種技術(shù)的專(zhuān)用硬件或固件。根據(jù)這些實(shí)例，與圖像處理模塊214相關(guān)聯(lián)的硬件或固件可被視為如圖2所示的處理器210的一部分。舉例來(lái)說(shuō)，圖像處理模塊214可包括經(jīng)配置以執(zhí)行本發(fā)明技術(shù)的一個(gè)或多個(gè)專(zhuān)門(mén)化硬件組件。舉例來(lái)說(shuō)，圖像處理模塊214可包含以下各項(xiàng)的任何組合:圖形處理組件、專(zhuān)門(mén)化硬件(例如，ASIC)、可編程硬件(固件、FPGA)、或經(jīng)配置以與本發(fā)明技術(shù)一致操作的任何其它專(zhuān)門(mén)化和/或可編程硬件。
根據(jù)一個(gè)實(shí)例，圖像處理模塊214可經(jīng)由存儲(chǔ)組件212所存儲(chǔ)的視頻圖像的數(shù)字表示而獲取2D視頻視圖。在另一實(shí)例中，圖像處理模塊214可經(jīng)由通信模塊216而獲取來(lái)自一個(gè)或一個(gè)以上其它計(jì)算裝置的2D視頻視圖。通信模塊216可包含一個(gè)或一個(gè)以上組件以實(shí)現(xiàn)與其它計(jì)算裝置的通信。舉例來(lái)說(shuō)，通信模塊216可促進(jìn)經(jīng)由有線(xiàn)或無(wú)線(xiàn)網(wǎng)絡(luò)(例如，因特網(wǎng))的通信。因此，圖像處理模塊214可經(jīng)由通信模塊216而獲取存儲(chǔ)在另一計(jì)算裝置上的2D視頻。根據(jù)另一實(shí)例，圖像處理模塊214可從圖像捕捉裝置(圖2中未展示)直接獲取2D視頻視圖。舉例來(lái)說(shuō)，計(jì)算裝置201可包含經(jīng)配置以捕捉圖像的一個(gè)或一個(gè)以上相機(jī)裝置或與所述一個(gè)或一個(gè)以上相機(jī)裝置通信地耦合。所述一個(gè)或一個(gè)以上相機(jī)裝置可將所捕捉圖像實(shí)時(shí)或近似實(shí)時(shí)傳達(dá)到圖像處理模塊214。根據(jù)這些實(shí)例，圖像處理模塊214可將本文描述的技術(shù)實(shí)時(shí)或近似實(shí)時(shí)應(yīng)用到所捕捉圖像的幀。舉例來(lái)說(shuō)，因?yàn)閳D像由一個(gè)或一個(gè)以上相機(jī)裝置捕捉，所以圖像處理模塊214可處理所接收2D圖像幀用于3D顯示。根據(jù)本發(fā)明的技術(shù)，圖像處理模塊214可獲取2D視頻視圖，且確定所述2D視頻視圖的至少一個(gè)對(duì)象/像素的深度的初始指示。圖像處理模塊214可進(jìn)一步確定2D視頻視圖的全局運(yùn)動(dòng)。圖像處理模塊214可進(jìn)一步基于所確定的全局運(yùn)動(dòng)來(lái)調(diào)整2D視頻視圖的至少一個(gè)對(duì)象/像素的深度的初始指示。圖像處理模塊214接著可使用經(jīng)調(diào)整的深度指示來(lái)產(chǎn)生2D視頻視圖的至少一個(gè)替代視圖。替代視圖可經(jīng)配置以結(jié)合所獲取2D視圖或另一視圖使用以顯示3D視頻。根據(jù)一個(gè)實(shí)例，圖像處理模塊214可將所產(chǎn)生替代視圖傳達(dá)到存儲(chǔ)組件212用于存儲(chǔ)。根據(jù)另一實(shí)例，計(jì)算裝置201可經(jīng)由通信模塊216將所產(chǎn)生替代視圖傳達(dá)到另一計(jì)算裝置用于存儲(chǔ)。根據(jù)另一實(shí)例，計(jì)算裝置201可作為服務(wù)器裝置而操作以將所產(chǎn)生替代視圖流式傳輸(例如，經(jīng)由HTTP或類(lèi)似流式傳輸協(xié)議)到另一計(jì)算裝置用于呈現(xiàn)給用戶(hù)。舉例來(lái)說(shuō)，計(jì)算裝置201可將所產(chǎn)生替代視圖流式傳輸?shù)浇?jīng)配置以將3D立體圖像顯示給用戶(hù)的計(jì)算裝置。在一些實(shí)例中，如 圖2中所示，經(jīng)配置以如本文所述而估計(jì)深度的計(jì)算裝置201可進(jìn)一步包含顯示控制模塊218，其經(jīng)配置以與一個(gè)或一個(gè)以上顯示器219通信以將一個(gè)或一個(gè)以上圖像顯示給查看者。類(lèi)似于如圖2所示的圖像處理模塊214，顯示控制模塊218可包括可由處理器210執(zhí)行以控制一個(gè)或一個(gè)以上顯示器219的軟件指令。在圖2中未描繪的其它實(shí)例中，顯示控制模塊218可代替或另外包含經(jīng)配置以控制一個(gè)或一個(gè)以上顯示器219的專(zhuān)門(mén)化硬件。所述一個(gè)或一個(gè)以上顯示器219可為計(jì)算裝置201 (例如，膝上型計(jì)算機(jī)、筆記型計(jì)算機(jī)、智能電話(huà)、便攜式視頻游戲裝置、平板計(jì)算機(jī)或類(lèi)似物)的一部分，或可通信地耦合到計(jì)算裝置201 (例如，桌上型計(jì)算機(jī)監(jiān)視器、電視顯示器、視頻游戲控制臺(tái)或類(lèi)似物)。一個(gè)或一個(gè)以上顯示器219可經(jīng)配置而在以下意義上顯示立體圖像:一個(gè)或一個(gè)以上顯示器219可傳達(dá)預(yù)期分別由查看者的右眼和左眼感知的第一圖像和第二圖像。在一些此類(lèi)實(shí)例中，用戶(hù)可佩戴專(zhuān)門(mén)化眼鏡，使得第一圖像獨(dú)立地由查看者的右眼查看，且第二圖像獨(dú)立地由查看者的右眼查看。顯示控制模塊218可經(jīng)配置以與顯示器219通信，以使相應(yīng)的右圖像和左圖像得以顯示。舉例來(lái)說(shuō)，顯示控制模塊218可經(jīng)配置以傳達(dá)控制顯示器219的一個(gè)或一個(gè)以上顯示元件(例如，液晶、發(fā)光二極管、等離子顯示元件)的信號(hào)，以使顯示元件發(fā)射光(例如，不同顏色、頻率或強(qiáng)度的光)從而使相應(yīng)右圖像和左圖像得以顯示給查看者。圖2A是說(shuō)明與本發(fā)明技術(shù)一致的圖像處理模塊214的一個(gè)實(shí)例(圖像處理模塊214A)的框圖。根據(jù)圖2的實(shí)例，圖像處理模塊214A包含各種子模塊，例如:場(chǎng)景改變檢測(cè)模塊230、光流確定模塊232、全局運(yùn)動(dòng)確定模塊234、全局運(yùn)動(dòng)估計(jì)模塊236、全局運(yùn)動(dòng)調(diào)整模塊238以及掩模/深度圖產(chǎn)生模塊240。類(lèi)似于圖2中描繪的圖像處理模塊214，各種子模塊230、232、234、236、238和240可包括可在硬件上執(zhí)行的軟件的任何組合，所述硬件例如處理器和/或經(jīng)配置以執(zhí)行本文所述的技術(shù)中的任一者的任何其它專(zhuān)用硬件。場(chǎng)景改變檢測(cè)模塊230可經(jīng)配置以分析視頻呈現(xiàn)的一個(gè)或一個(gè)以上幀，以確定所述一個(gè)或一個(gè)以上幀是否表示場(chǎng)景改變或多個(gè)幀之間的實(shí)質(zhì)上差異。下文關(guān)于圖3中的步驟302描述可由場(chǎng)景改變檢測(cè)模塊230使用的技術(shù)的實(shí)例。光流確定模塊232可經(jīng)配置以確定對(duì)象深度的初始指示，例如視頻幀的至少一個(gè)像素的光流。舉例來(lái)說(shuō)，光流確定模塊232可分析視頻呈現(xiàn)的一個(gè)或一個(gè)以上幀以確定所述一個(gè)或一個(gè)以上幀的至少一個(gè)像素的光流，例如，如下文關(guān)于圖5進(jìn)一步詳細(xì)描述。全局運(yùn)動(dòng)確定模塊234可經(jīng)配置以分析視頻呈現(xiàn)的一個(gè)或一個(gè)以上幀，以確定所述一個(gè)或一個(gè)以上幀是否包含全局運(yùn)動(dòng)。全局運(yùn)動(dòng)可經(jīng)描述為視頻捕捉期間的相機(jī)運(yùn)動(dòng)。全局運(yùn)動(dòng)的實(shí)例包含相機(jī)左右平移、上下傾斜、放大和縮小以及類(lèi)似移動(dòng)。根據(jù)一個(gè)實(shí)例，全局運(yùn)動(dòng)確定模塊234可經(jīng)配置以從光流確定模塊232接收對(duì)象深度的初始指示(例如，至少一個(gè)光流向量)。根據(jù)此實(shí)例，全局運(yùn)動(dòng)確定模塊234可分析對(duì)象深度的所接收初始指示以確定全局運(yùn)動(dòng)是否存在于所述一個(gè)或一個(gè)以上幀中。因此，如果全局運(yùn)動(dòng)確定模塊234確定針對(duì)所述一個(gè)或一個(gè)以上幀不存在全局運(yùn)動(dòng)，那么圖像處理模塊214A可跳過(guò)全局運(yùn)動(dòng)估計(jì)和/或調(diào)整技術(shù)。在一個(gè)實(shí)例中，全局運(yùn)動(dòng)確定模塊234可確定視頻呈現(xiàn)的一個(gè)或一個(gè)以上幀是否包含全局運(yùn)動(dòng)，如下文關(guān)于下文圖3的步驟305所描述。

全局運(yùn)動(dòng)估計(jì)模塊236可經(jīng)配置以估計(jì)視頻呈現(xiàn)的至少一個(gè)幀的全局運(yùn)動(dòng)(例如，如果由全局運(yùn)動(dòng)確定模塊234確定存在全局運(yùn)動(dòng))。舉例來(lái)說(shuō)，全局運(yùn)動(dòng)估計(jì)模塊236可從光流確定模塊232接收視頻幀的至少一個(gè)像素的光流向量的指示。全局運(yùn)動(dòng)估計(jì)模塊236可分析一個(gè)或一個(gè)以上接收的光流向量以確定全局運(yùn)動(dòng)的至少一個(gè)指示，例如如下文關(guān)于圖3中描繪的步驟306描述的參數(shù)模型的全局運(yùn)動(dòng)參數(shù)。全局運(yùn)動(dòng)調(diào)整模塊238可經(jīng)配置以修改對(duì)象深度的初始指示以顧及全局運(yùn)動(dòng)。舉例來(lái)說(shuō)，全局運(yùn)動(dòng)調(diào)整模塊238可從光流確定模塊232接收一個(gè)或一個(gè)以上光流向量。全局運(yùn)動(dòng)調(diào)整模塊238可進(jìn)一步從全局運(yùn)動(dòng)估計(jì)模塊236接收一個(gè)或一個(gè)以上全局運(yùn)動(dòng)參數(shù)。根據(jù)一個(gè)實(shí)例，全局運(yùn)動(dòng)調(diào)整模塊238可將接收的全局運(yùn)動(dòng)參數(shù)應(yīng)用到所述一個(gè)或一個(gè)以上光學(xué)向量，以產(chǎn)生視頻呈現(xiàn)的至少一個(gè)幀的經(jīng)全局運(yùn)動(dòng)調(diào)整的光流。下文關(guān)于圖3的步驟307描述可由全局運(yùn)動(dòng)調(diào)整模塊238使用以產(chǎn)生經(jīng)全局運(yùn)動(dòng)調(diào)整的光流的技術(shù)的一個(gè)實(shí)例。掩模/深度圖產(chǎn)生模塊240可經(jīng)配置以從全局運(yùn)動(dòng)調(diào)整模塊238接收至少一個(gè)像素的經(jīng)全局運(yùn)動(dòng)調(diào)整的光流，且基于所述經(jīng)全局運(yùn)動(dòng)調(diào)整的光流來(lái)確定至少一個(gè)幀的深度圖。舉例來(lái)說(shuō)，掩模/深度圖產(chǎn)生模塊240可將圖像像素分類(lèi)為背景和/或前景(例如，如下文關(guān)于圖3中的步驟308所描述)，基于所述分類(lèi)而產(chǎn)生初始前景/背景掩模(例如，如關(guān)于圖3中的步驟309所描述)，精煉初始掩模(例如，如關(guān)于圖3中的步驟310所描述)，和/或?qū)Τ跏佳谀＿M(jìn)行后處理(例如，如關(guān)于圖3中的步驟311所描述)。根據(jù)本文描述的各種實(shí)例，掩模/深度估計(jì)模塊240可進(jìn)一步產(chǎn)生視頻呈現(xiàn)的至少一個(gè)幀的深度圖(例如，如下文關(guān)于圖3中的步驟312所描述)。下文將各種技術(shù)描述為大體由圖像處理模塊214執(zhí)行。所屬領(lǐng)域的技術(shù)人員將了解，本文描述的各種技術(shù)還可或代替地由圖像處理模塊214的特定子模塊執(zhí)行，例如上文關(guān)于圖2A描述的圖像處理模塊214A的子模塊230、232、234、236、238和240?？苫趫D像模糊性、對(duì)象移動(dòng)和/或光流(例如，歸因于對(duì)象亮度的運(yùn)動(dòng)的顏色改變)來(lái)確定2D視頻呈現(xiàn)的深度。然而，這些技術(shù)可能會(huì)遭受某些缺點(diǎn)。舉例來(lái)說(shuō)，此類(lèi)技術(shù)可基于可能對(duì)于所有視頻呈現(xiàn)或一視頻呈現(xiàn)的若干部分不成立的一個(gè)或一個(gè)以上假設(shè)。隨著立體顯示技術(shù)的開(kāi)發(fā)，立體或三維(3D)視頻已日益流行。由于這些技術(shù)，已顯著增加針對(duì)3D內(nèi)容的需求，例如電影、電視節(jié)目、視頻游戲和其它內(nèi)容。許多3D顯示技 術(shù)利用雙目視覺(jué)，例如，其中提供稍有不同的圖像由查看者的左眼和右眼不同地感知。由于此感知差異，所以針對(duì)用戶(hù)產(chǎn)生深度感知。然而，大多數(shù)現(xiàn)有視頻內(nèi)容僅經(jīng)配置用于以2D方式查看。舉例來(lái)說(shuō)，大多數(shù)現(xiàn)有視頻內(nèi)容僅包含初級(jí)視圖，且不包含可允許3D視頻值染的任何次級(jí)視圖。此外，許多現(xiàn)有攝像機(jī)僅能夠捕捉單像視頻(例如，僅包含單個(gè)相機(jī)或從同一視角捕捉圖像的多個(gè)相機(jī))，且因此未經(jīng)配置來(lái)以3D方式直接捕捉圖像。將2D視頻呈現(xiàn)轉(zhuǎn)換為3D視頻轉(zhuǎn)換可包含從已知原始2D視圖產(chǎn)生一個(gè)或一個(gè)以上替代視圖。此類(lèi)轉(zhuǎn)換技術(shù)的一個(gè)方面可包含所捕捉視頻的對(duì)象的相對(duì)深度的估計(jì)，使得可重放視頻而使查看者感知到深度。在一些實(shí)例中，可在產(chǎn)生一個(gè)或一個(gè)以上替代視圖之前估計(jì)圖像對(duì)象的深度。深度估計(jì)可包含從一個(gè)或一個(gè)以上單像(例如，2D)視圖估計(jì)對(duì)象與相機(jī)平面之間的絕對(duì)或相對(duì)距離(稱(chēng)作深度)。在一些實(shí)例中，深度信息由灰度級(jí)圖像深度圖表示。舉例來(lái)說(shuō)，可取決于圖像像素的絕對(duì)或相對(duì)深度而對(duì)其指派一值。在一個(gè)特定實(shí)例中，深度值“O”指示對(duì)象與相機(jī)之間的最大距離，而深度值“255”指示最小距離?？墒褂?D圖像的估計(jì)深度圖來(lái)確定用于呈現(xiàn)3D視頻的深度。舉例來(lái)說(shuō)，可使用估計(jì)的深度圖而使用基于深度圖像的渲染(DIBR)技術(shù)來(lái)產(chǎn)生視頻的一個(gè)或一個(gè)以上替代視圖的角度。舉例來(lái)說(shuō)，估計(jì)的深度圖可用以確定3D視頻呈現(xiàn)的相應(yīng)右圖像與左圖像之間的差異，所述差異使得3D圖像在經(jīng)查看時(shí)具有深度。2D視頻的許多方面可用以估計(jì)2D圖像的對(duì)象深度。舉例來(lái)說(shuō)，取決于2D視頻的來(lái)源，可使用視角幾何形狀或時(shí)間或2D空間提示，例如對(duì)象運(yùn)動(dòng)和顏色。在視頻已包含兩個(gè)或兩個(gè)以上預(yù)捕捉的視圖(例如，使用多個(gè)相機(jī)立體地捕捉)的情況下，可基于捕捉到視圖的一個(gè)或一個(gè)以上相機(jī)的內(nèi)在和/或外在參數(shù)而通過(guò)核面幾何(epipolar geometry)獲得深度圖。此類(lèi)技術(shù)可通過(guò)識(shí)別若干立體視圖中同一對(duì)象的對(duì)應(yīng)性來(lái)估計(jì)視差信息(與對(duì)象深度成反比)。此類(lèi)技術(shù)還可包含局部匹配與全局優(yōu)化方法，例如圖割和置信傳播。大體上，可將視頻幀看作一個(gè)或一個(gè)以上前景對(duì)象與背景和/或背景對(duì)象的組合物。從相機(jī)焦點(diǎn)的視點(diǎn)來(lái)看，可假設(shè)散焦區(qū)域(例如，背景圖像)的色彩強(qiáng)度與聚焦區(qū)域(例如，前景圖像)相比更模糊。根據(jù)一個(gè)實(shí)例，可基于圖像像素的模糊性等級(jí)來(lái)確定所捕捉圖像的深度。
圖像像素的相對(duì)模糊性可基于以梯度為基礎(chǔ)的測(cè)量或頻域分析。舉例來(lái)說(shuō)，可針對(duì)一些視頻或視頻幀假設(shè):具有較大梯度值的圖像較不模糊，而具有較小梯度值的圖像較模糊。然而，對(duì)于其它視頻或幀，這些假設(shè)可能不準(zhǔn)確。舉例來(lái)說(shuō)，相機(jī)視角可聚焦在遠(yuǎn)處圖像對(duì)象上而非相機(jī)附近的對(duì)象。另外，上述圖像模糊分析可能不適合于前景的無(wú)紋理區(qū)，這是因?yàn)榍熬巴|(zhì)區(qū)域不含有太多的高頻分量。因此，根據(jù)模糊性估計(jì)圖像深度可能不準(zhǔn)確，這是因?yàn)槟：缘妮^低等級(jí)可能并不總是指示較小深度(例如，距相機(jī)的距離)。用于深度估計(jì)的其它技術(shù)可涉及分析單像2D視頻中的運(yùn)動(dòng)。這些技術(shù)可依賴(lài)于以下假設(shè):較近的對(duì)象(相對(duì)于相機(jī)視角)預(yù)期顯現(xiàn)得較大，且與遠(yuǎn)處對(duì)象相比具有較多運(yùn)動(dòng)。運(yùn)動(dòng)估計(jì)可包含估計(jì)鄰近視頻幀之間的對(duì)象移動(dòng)。運(yùn)動(dòng)估計(jì)可包含確定一個(gè)或一個(gè)以上運(yùn)動(dòng)向量?？蓪⑦\(yùn)動(dòng)向量描述為指示視頻呈現(xiàn)的連續(xù)幀之間的對(duì)象水平和/或垂直平移位移的向量。舉例來(lái)說(shuō)，對(duì)于包含靜態(tài)背景的某些視頻場(chǎng)景設(shè)置，可通過(guò)從靜態(tài)背景減去對(duì)象的運(yùn)動(dòng)來(lái)獲得運(yùn)動(dòng)。由于對(duì)靜態(tài)背景的需要，所以運(yùn)動(dòng)估計(jì)可能對(duì)于一些視頻和/或一視頻的若干幀來(lái)說(shuō)是不需要的。用于估計(jì)運(yùn)動(dòng)的另一技術(shù)是確定鄰近幀之間的差異，而非比較幀與靜態(tài)背景。根據(jù)此技術(shù)，可基于連續(xù)幀的像素的色彩強(qiáng)度的以像素和/或窗為基礎(chǔ)的減法來(lái)識(shí)別運(yùn)動(dòng)。根據(jù)將運(yùn)動(dòng)用作深度識(shí)別的技術(shù)，可使用運(yùn)動(dòng)量值來(lái)指派一個(gè)或一個(gè)以上幀像素的深度值。舉例來(lái)說(shuō)，具有較大運(yùn)動(dòng)量值的像素可經(jīng)指派較大深度值。然而，類(lèi)似于用于估計(jì)深度的模糊性的使用，使用運(yùn)動(dòng)作為深度指示還可基于對(duì)于至少一些視頻不成立的假設(shè)。舉例來(lái)說(shuō)，實(shí)質(zhì)上距相機(jī) 相同距離的若干對(duì)象可獨(dú)立地移動(dòng)，但具有不同速度。根據(jù)這些實(shí)例，運(yùn)動(dòng)可能并不總是圖像深度的適當(dāng)指示符，這是因?yàn)檩^快移動(dòng)的對(duì)象可能與較慢對(duì)象距離相同。在其中圖像在短時(shí)間間隔內(nèi)保持靜態(tài)無(wú)運(yùn)動(dòng)的另一實(shí)例中，可不使用運(yùn)動(dòng)來(lái)估計(jì)深度。可用于運(yùn)動(dòng)估計(jì)的另一技術(shù)是基于塊的匹配?？稍谝曨l壓縮中使用基于塊的匹配。根據(jù)這些技術(shù)，視頻的一個(gè)或一個(gè)以上幀劃分為若干塊。當(dāng)前幀的每一塊可與相同大小但在參考幀中位移的塊進(jìn)行比較?？蓪⑴c最小匹配成本(例如，匹配誤差的絕對(duì)值的總和)相關(guān)聯(lián)的所確定位移識(shí)別為所述塊中所有像素的估計(jì)的運(yùn)動(dòng)值。用于估計(jì)深度的另一技術(shù)是圖像分段。大體上，具有相同或類(lèi)似顏色的像素屬于同一對(duì)象，而明顯的強(qiáng)度改變指示對(duì)象邊界?？杉僭O(shè)深度場(chǎng)是逐片平滑的，且深度不連續(xù)性由圖像強(qiáng)度的不連續(xù)性來(lái)反映。根據(jù)這些技術(shù)，將視頻幀分段為若干區(qū)或區(qū)段。這些區(qū)段接著被指派不同的深度值。盡管與基于像素的估計(jì)相比較來(lái)說(shuō)圖像區(qū)段的深度估計(jì)可實(shí)現(xiàn)較一致的深度圖，但計(jì)算復(fù)雜性可能增加。另外，含有類(lèi)紋理區(qū)域的一些場(chǎng)景可能難以分段。圖像分段在以下情況下也可能是不適當(dāng)?shù)?其中區(qū)段遭受色彩變化，例如相同對(duì)象的明度改變。而且，在一些情況下，可針對(duì)一個(gè)對(duì)象確定若干不同區(qū)段，和/或可將一個(gè)對(duì)象的像素分類(lèi)到具有另一對(duì)象的像素的同一區(qū)段中。因此，在一些情況下，當(dāng)用于深度估計(jì)時(shí)，分段結(jié)果可能不夠準(zhǔn)確。代替根據(jù)色彩強(qiáng)度值將圖像分割為若干同質(zhì)區(qū)，還可將其直接用于深度估計(jì)中。舉例來(lái)說(shuō)，可將一些色彩信息(例如，色度Cr分量)用作自然視頻場(chǎng)景的深度初始化。根據(jù)某些色彩空間中的那些分量進(jìn)行的深度估計(jì)的一個(gè)優(yōu)點(diǎn)在于其簡(jiǎn)單性。對(duì)于屬于同一對(duì)象的像素來(lái)說(shuō)，色度分量可以是平滑的。與基于分段的深度估計(jì)相比，直接從那些色彩分量產(chǎn)生的深度圖可更好地保留對(duì)象形狀，且因此提供更好的空間一致性。盡管估計(jì)的深度值對(duì)于真實(shí)的深度遠(yuǎn)不夠準(zhǔn)確，但根據(jù)此類(lèi)技術(shù)所產(chǎn)生的合成立體象對(duì)可提供某種程度的3D效應(yīng)。光流技術(shù)可識(shí)別由觀察者(例如相機(jī))與正被觀察的對(duì)象之間的相對(duì)運(yùn)動(dòng)引起的視覺(jué)平面中對(duì)象亮度模式的明顯運(yùn)動(dòng)。舉例來(lái)說(shuō)，視頻幀的光流可被視為運(yùn)動(dòng)場(chǎng)，其中每一點(diǎn)被指派描述其移動(dòng)的速度向量。光流技術(shù)可包含經(jīng)由亮度恒定等式而使對(duì)象速度與基于像素梯度的強(qiáng)度改變相關(guān)。全局或局部?jī)?yōu)化技術(shù)可用以計(jì)算一個(gè)或一個(gè)以上幀像素的光流運(yùn)動(dòng)向量。與上文描述的模糊性、運(yùn)動(dòng)和其它技術(shù)不同，根據(jù)色彩強(qiáng)度(例如，光流)測(cè)量的視頻幀平滑性可用以產(chǎn)生在空間和時(shí)間兩者上相對(duì)一致的深度圖。準(zhǔn)確地估計(jì)深度圖可能對(duì)于減少3D視頻呈現(xiàn)中的假象是重要的，所述假象例如所產(chǎn)生替代虛擬視圖中的閃爍和局部變形。圖3是說(shuō)明至少部分基于視頻呈現(xiàn)的全局運(yùn)動(dòng)來(lái)估計(jì)視頻呈現(xiàn)的2D (例如，單像)視圖的圖像深度的方法的一個(gè)實(shí)例的流程圖。本文描述的各種實(shí)例(包含圖3的方法)經(jīng)論述為由圖2中描繪的計(jì)算裝置201或計(jì)算裝置201的組件(例如，圖像處理模塊214)來(lái)執(zhí)行。在其它實(shí)例中，本文描述的技術(shù)可由任何計(jì)算裝置或模塊執(zhí)行，不管是否在本文中特定描述。如圖3中描繪，圖像處理模塊214可獲取視頻呈現(xiàn)的2D視圖(301)。2D視圖包含按視頻呈現(xiàn)的呈現(xiàn)順序(例如，經(jīng)由一個(gè)或一個(gè)以上顯示器呈現(xiàn)給用戶(hù))的至少兩個(gè)連續(xù)幀。圖3中所描繪的技術(shù)經(jīng)描述為應(yīng)用于所捕捉視頻呈現(xiàn)的當(dāng)前(fN)與下一(fN+l)幀。在一些實(shí)例中，圖3中所描繪的技術(shù)可多次應(yīng)用于視頻呈現(xiàn)的多個(gè)幀。圖像處理模塊214 (例如，圖2A中所描繪的場(chǎng)景改變檢測(cè)子模塊230)可進(jìn)一步確定幀fN與fN+1之間是否存在場(chǎng)景 改變(302)。舉例來(lái)說(shuō)，圖像處理模塊214可確定場(chǎng)景改變，其中幀&表示與視頻呈現(xiàn)的幀fN+1實(shí)質(zhì)上不同的場(chǎng)景?？赡苄枰_定是否已發(fā)生場(chǎng)景改變，這是因?yàn)樵趲琟與&+1表示不同的所捕捉場(chǎng)景時(shí)，基于光流和/或所確定的全局運(yùn)動(dòng)的深度估計(jì)可能并不有意義。此外，檢測(cè)場(chǎng)景改變可改進(jìn)視頻幀分析的時(shí)間(例如，在時(shí)間上)一致性。舉例來(lái)說(shuō)，當(dāng)在兩個(gè)時(shí)間鄰近的幀之間發(fā)生場(chǎng)景改變時(shí)，當(dāng)前幀的深度圖可能在時(shí)間上不與先前的幀相關(guān)。因此，可能需要避免例如求若干連續(xù)幀的深度的平均值的操作。因此，如果在視頻呈現(xiàn)的幀fN與fN+1之間確定場(chǎng)景改變，那么圖像處理模塊214可跳過(guò)針對(duì)幀fN的深度估計(jì)。代替估計(jì)幀fN的深度，圖像處理模塊214可使用先前針對(duì)視頻呈現(xiàn)的一個(gè)或一個(gè)以上先前幀(例如，幀f^)所確定的深度估計(jì)來(lái)用于當(dāng)前幀fN(303)。圖4是說(shuō)明視頻呈現(xiàn)的一個(gè)或一個(gè)以上幀是否包含場(chǎng)景改變(例如，圖3中描繪的步驟302)的技術(shù)的一個(gè)實(shí)例的流程圖。根據(jù)圖4中描繪的方法，圖像處理模塊214(例如，圖2A中描繪的場(chǎng)景改變檢測(cè)子模塊230)可基于強(qiáng)度直方圖來(lái)檢測(cè)場(chǎng)景改變是否發(fā)生。根據(jù)此方法，可針對(duì)當(dāng)前幀^來(lái)確定像素色彩的相對(duì)強(qiáng)度的直方圖(401)。還可針對(duì)下一幀fN+1來(lái)確定像素色彩的相對(duì)強(qiáng)度的直方圖(402)。根據(jù)一個(gè)實(shí)例，巾貞fN的強(qiáng)度直方圖可由直方圖值Hn = {hN, J來(lái)表不,且巾貞fN+1的強(qiáng)度直方圖可由直方圖值HN+1 = {hN+1,J來(lái)表示。根據(jù)這些實(shí)例，第m區(qū)間的直方圖值可為
具有屬于第m區(qū)間的強(qiáng)度值的像素?cái)?shù)目。在一個(gè)實(shí)例中，m的值可為m = 0、1.....M-1。 根據(jù)這些等式，M可表示相應(yīng)直方圖的區(qū)間數(shù)目。根據(jù)一個(gè)此類(lèi)實(shí)例，對(duì)于像素色彩強(qiáng)度范圍介于0-255的8位色彩表示，M的值可為256。在其它實(shí)例中，為降低直方圖值Hn> Hn+i的維度,可針對(duì)M使用較小的值。圖像處理模塊214可進(jìn)一步確定在步驟301和302確定的相應(yīng)直方圖之間的相關(guān)系數(shù)λ (403)。根據(jù)一個(gè)實(shí)例，相關(guān)系數(shù)λ可基于以下等式來(lái)確定。
權(quán)利要求
1.一種確定視頻呈現(xiàn)的二維視圖的深度圖的方法，其包括: 經(jīng)由用于視頻呈現(xiàn)的二維2D視圖的計(jì)算裝置的圖像處理模塊來(lái)確定視頻呈現(xiàn)的幀的多個(gè)特征點(diǎn)； 基于所述多個(gè)特征點(diǎn)確定所述幀的全局運(yùn)動(dòng)；及 基于所述所確定全局運(yùn)動(dòng)產(chǎn)生所述幀的深度圖。
2.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 確定所述幀的經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町?；? 使用所述經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町惍a(chǎn)生所述幀的所述深度圖。
3.根據(jù)權(quán)利要求2所述的方法，其中產(chǎn)生所述深度圖包括基于所述經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町悓⑺鰩闹辽僖粋€(gè)像素分類(lèi)為前景像素或背景像素。
4.根據(jù)權(quán)利要求3所述的方法，其中將所述幀的至少一個(gè)像素分類(lèi)為前景像素或背景像素包括將所述至少一個(gè)像素的所述經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町惖膹?qiáng)度與預(yù)定閾值進(jìn)行比較。
5.根據(jù)權(quán)利要求1所述的方法，其中確定所述多個(gè)特征點(diǎn)包括確定所述幀的一個(gè)或一個(gè)以上塊或像素是否在所述幀的中心區(qū)中。
6.根據(jù)權(quán)利要求5所述的方法，其進(jìn)一步包括: 在所述幀的所述一個(gè)或一個(gè)以上塊或像素在所述幀的所述中心區(qū)中的情況下，使用來(lái)自至少一個(gè)先前幀的像素信息來(lái)產(chǎn)生所述幀的所述中心區(qū)中的所述一個(gè)或一個(gè)以上塊或像素的所述深度圖。
7.根據(jù)權(quán)利要求1所述的方法，其中確定所述多個(gè)特征點(diǎn)包括: 識(shí)別所述幀的一個(gè)或一個(gè)以上角區(qū)的像素。
8.根據(jù)權(quán)利要求7所述的方法，其中所述識(shí)別所述一個(gè)或一個(gè)以上角區(qū)的所述像素包括使用哈瑞斯角檢測(cè)來(lái)識(shí)別所述一個(gè)或一個(gè)以上角區(qū)的所述像素。
9.根據(jù)權(quán)利要求1所述的方法，其中確定所述多個(gè)特征點(diǎn)包括: 確定像素是否包含局部運(yùn)動(dòng)。
10.根據(jù)權(quán)利要求1所述的方法，其中確定所述多個(gè)特征點(diǎn)包括: 確定像素是否位于所述幀的同質(zhì)區(qū)中。
11.一種經(jīng)配置以確定視頻呈現(xiàn)的二維2D視圖的深度圖的裝置，其包括: 圖像處理模塊，其經(jīng)配置以: 確定視頻呈現(xiàn)的幀的多個(gè)特征點(diǎn)； 基于所述多個(gè)特征點(diǎn)確定所述幀的全局運(yùn)動(dòng)；及 基于所述所確定全局運(yùn)動(dòng)產(chǎn)生所述幀的深度圖。
12.根據(jù)權(quán)利要求11所述的裝置，其中所述圖像處理模塊經(jīng)進(jìn)一步配置以: 確定所述幀的經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町悾患? 使用所述經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町惍a(chǎn)生所述幀的所述深度圖。
13.根據(jù)權(quán)利要求12所述的裝置，其中所述圖像處理模塊經(jīng)進(jìn)一步配置以:基于以下操作產(chǎn)生所述深度圖:基于所述經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町悓⑺鰩闹辽僖粋€(gè)像素分類(lèi)為前景或背景像素。
14.根據(jù)權(quán)利要求13所述的裝置，其中所述圖像處理模塊經(jīng)進(jìn)一步配置以:基于將所述幀的所述至少一個(gè)像素的所述經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町惖膹?qiáng)度與預(yù)定閾值進(jìn)行比較，將所述至少一個(gè)像素分類(lèi)為前景或背景像素。
15.根據(jù)權(quán)利要求11所述的裝置，其中所述圖像處理模塊經(jīng)進(jìn)一步配置以:基于所述幀的一個(gè)或一個(gè)以上塊或像素是否在所述幀的中心區(qū)中來(lái)確定所述多個(gè)特征點(diǎn)。
16.根據(jù)權(quán)利要求15所述的裝置，其中所述圖像處理模塊經(jīng)進(jìn)一步配置以: 在所述幀的所述一個(gè)或一個(gè)以上塊或像素在所述幀的所述中心區(qū)中的情況下，使用來(lái)自至少一個(gè)先前幀的像素信息來(lái)產(chǎn)生所述幀的所述中心區(qū)中的所述一個(gè)或一個(gè)以上塊或像素的所述深度圖。
17.根據(jù)權(quán)利要求11所述的裝置，其中所述圖像處理模塊經(jīng)進(jìn)一步配置以: 基于識(shí)別所述幀的一個(gè)或一個(gè)以上角區(qū)的像素來(lái)確定所述多個(gè)特征點(diǎn)。
18.根據(jù)權(quán)利要求17所述的裝置，其中所述圖像處理模塊經(jīng)進(jìn)一步配置以: 使用哈瑞斯角檢測(cè)來(lái)識(shí)別所述幀的一個(gè)或一個(gè)以上角區(qū)的所述像素，來(lái)識(shí)別所述一個(gè)或一個(gè)以上角區(qū)的所述像素。
19.根據(jù)權(quán)利要求11所述的裝置，其中所述圖像處理模塊經(jīng)進(jìn)一步配置以: 基于像素是否包含局部運(yùn)動(dòng)來(lái)確定所述多個(gè)特征點(diǎn)。
20.根據(jù)權(quán)利要求1所述的裝置，其中所述圖像處理模塊經(jīng)進(jìn)一步配置以: 基于像素是否位于所述幀的同質(zhì)區(qū)中來(lái)確定所述多個(gè)特征點(diǎn)。
21.一種經(jīng)配置以確定視頻呈現(xiàn)的二維2D視圖的深度圖的裝置，其包括: 用于確定視頻呈現(xiàn)的幀的多個(gè)特征點(diǎn)的裝置； 用于基于所述多個(gè)特征點(diǎn)確定所述幀的全局運(yùn)動(dòng)的裝置；及 用于基于所述所確定全局運(yùn)動(dòng)產(chǎn)生所述幀的深度圖的裝置。
22.根據(jù)權(quán)利要求21所述的裝置，其進(jìn)一步包括: 用于確定所述幀的經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町惖难b置；及 用于使用所述經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町惍a(chǎn)生所述幀的所述深度圖的裝置。
23.根據(jù)權(quán)利要求22所述的裝置，其中所述用于產(chǎn)生所述深度圖的裝置進(jìn)一步包括: 用于基于所述經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町悓⑺鰩闹辽僖粋€(gè)像素分類(lèi)為前景像素或背景像素的裝置。
24.根據(jù)權(quán)利要求23所述的裝置，其中所述用于將所述幀的所述至少一個(gè)像素分類(lèi)為前景像素或背景像素的裝置包括: 用于將所述至少一個(gè)像素的所述經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町惖膹?qiáng)度與預(yù)定閾值進(jìn)行比較的裝置。
25.根據(jù)權(quán)利要求21所述的裝置，其中所述用于確定所述多個(gè)特征點(diǎn)的裝置包括: 用于確定所述幀的一個(gè)或一個(gè)以上塊或像素是否在所述幀的中心區(qū)中的裝置。
26.根據(jù)權(quán)利要求25所述的裝置，其中所述用于確定所述多個(gè)特征點(diǎn)的裝置進(jìn)一步包括: 用于在所述幀的所述一個(gè)或一個(gè)以上塊或像素在所述幀的所述中心區(qū)中的情況下使用來(lái)自至少一個(gè)先前幀的像素信息來(lái)產(chǎn)生所述幀的所述中心區(qū)中的所述一個(gè)或一個(gè)以上塊或像素的所述深度圖的裝置。
27.根據(jù)權(quán)利要求21所述的裝置，其中所述用于確定所述多個(gè)特征點(diǎn)的裝置包括:用于識(shí)別所述幀的一個(gè)或一個(gè)以上角區(qū)的像素的裝置。
28.根據(jù)權(quán)利要求27所述的裝置，其中所述用于確定所述多個(gè)特征點(diǎn)的裝置包括: 用于使用哈瑞斯角檢測(cè)來(lái)識(shí)別所述角區(qū)的所述像素的裝置。
29.根據(jù)權(quán)利要求21所述的裝置，其中所述用于確定所述多個(gè)特征點(diǎn)的裝置包括: 用于確定像素是否包含局部運(yùn)動(dòng)的裝置。
30.根據(jù)權(quán)利要求21所述的裝置，其中所述用于確定所述多個(gè)特征點(diǎn)的裝置包括: 用于確定像素是否位于所述幀的同質(zhì)區(qū)中的裝置。
31.一種包括指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在執(zhí)行時(shí)使得一個(gè)或一個(gè)以上處理器: 確定視頻呈現(xiàn)的幀的多個(gè)特征點(diǎn)； 基于所述多個(gè)特征點(diǎn)確定所述幀的全局運(yùn)動(dòng)；及 基于所述所確定全局運(yùn)動(dòng)產(chǎn)生所述幀的深度圖。
32.根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步使得所述處理器: 確定所述幀的經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町?；? 使用所述經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町惍a(chǎn)生所述幀的所述深度圖。
33.根據(jù)權(quán)利要求32所述的計(jì)`算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步使得所述處理器: 基于以下操作產(chǎn)生所述深度圖:基于所述經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町悓⑺鰩闹辽僖粋€(gè)像素分類(lèi)為前景像素或背景像素。
34.根據(jù)權(quán)利要求33所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步使得所述處理器: 基于將所述幀的至少一個(gè)像素的所述經(jīng)全局運(yùn)動(dòng)補(bǔ)償?shù)膸町惖膹?qiáng)度與預(yù)定閾值進(jìn)行比較，將所述至少一個(gè)像素分類(lèi)為前景像素或背景像素。
35.根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步使得所述處理器: 基于所述幀的一個(gè)或一個(gè)以上塊或像素是否在所述幀的中心區(qū)中來(lái)確定所述多個(gè)特征點(diǎn)。
36.根據(jù)權(quán)利要求35所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步使得所述處理器: 在所述幀的所述一個(gè)或一個(gè)以上塊或像素在所述幀的所述中心區(qū)中的情況下，使用來(lái)自至少一個(gè)先前幀的像素信息來(lái)產(chǎn)生所述幀的所述中心區(qū)中的所述一個(gè)或一個(gè)以上塊或像素的所述深度圖。
37.根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步使得所述處理器: 基于識(shí)別所述幀的一個(gè)或一個(gè)以上角區(qū)的像素來(lái)確定所述多個(gè)特征點(diǎn)。
38.根據(jù)權(quán)利要求37所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步使得所述處理器: 識(shí)別所述一個(gè)或一個(gè)以上角區(qū)的所述像素包括使用哈瑞斯角檢測(cè)來(lái)識(shí)別所述一個(gè)或一個(gè)以上角區(qū)的所述像素。
39.根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步使得所述處理器: 基于像素是否包含局部運(yùn)動(dòng)來(lái)確定所述多個(gè)特征點(diǎn)。
40.根據(jù)權(quán)利要求31所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步使得所述處理器: 基于像素是否位于所述 幀的同質(zhì)區(qū)中來(lái)確定所述多個(gè)特征點(diǎn)。
全文摘要
本發(fā)明描述用于估計(jì)視頻呈現(xiàn)的二維2D視圖的圖像對(duì)象的深度的技術(shù)。舉例來(lái)說(shuō)，可確定2D視圖的多個(gè)特征點(diǎn)。所述多個(gè)特征點(diǎn)可用來(lái)估計(jì)所述2D視圖的全局運(yùn)動(dòng)，例如觀察者(例如，相機(jī))的運(yùn)動(dòng)。舉例來(lái)說(shuō)，可使用所述多個(gè)特征點(diǎn)來(lái)產(chǎn)生全局運(yùn)動(dòng)幀差異。所述全局運(yùn)動(dòng)幀差異可用來(lái)產(chǎn)生所述2D視圖的深度圖，其可用以產(chǎn)生所述視頻呈現(xiàn)的替代視圖，所述替代視圖可用以顯示三維3D視頻呈現(xiàn)。
文檔編號(hào)G06T7/00GK103250184SQ201180058928
公開(kāi)日2013年8月14日 申請(qǐng)日期2011年11月22日 優(yōu)先權(quán)日2010年11月23日
發(fā)明者張 榮, 陳盈, 馬爾塔·卡切維奇 申請(qǐng)人:高通股份有限公司