用于對3d內(nèi)容進行重定目標的方法和設(shè)備的制作方法
【專利摘要】本發(fā)明涉及一種裁剪至少包括第一視圖和第二視圖的3D內(nèi)容的方法，所述方法包括以下步驟：從第一視圖和第二視圖確定(10、12)第一顯著圖和第二顯著圖；從第一和第二顯著圖確定(18、24、32)最終裁剪窗；以及根據(jù)最終裁剪窗裁剪(20)第一視圖和第二視圖。
【專利說明】用于對3D內(nèi)容進行重定目標的方法和設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及3D內(nèi)容重定目標(retargeting)。更具體地,本發(fā)明涉及一種裁剪至少包括第一視圖和第二視圖在內(nèi)的3D內(nèi)容的方法。
【背景技術(shù)】
[0002]由于3D屏幕和素材的劇增(例如，電影院的3D電影)，需要轉(zhuǎn)換長寬比，以便允許將3D流從影院長寬比(2:35)轉(zhuǎn)換到TV屏幕(16:9)。此外，可以想象即將涌現(xiàn)支持3D立體顯示的新設(shè)備，例如，平板電腦、智能電話。這樣的設(shè)備將有它們自己的長寬比。因此，強制進行長寬比轉(zhuǎn)換以便適于任何設(shè)備。自動方案具有使視覺舒適度最大化的高價值。
[0003]目前，由操作員(例如，中央裁剪)手動地，或通過以相同形式(例如，漸變算子、填充黑條紋)處理所有幀，來解決長寬比轉(zhuǎn)換。這兩種類型的方法都不考慮執(zhí)行轉(zhuǎn)換的內(nèi)容本身。
[0004]此外，相較于全屏顯示的電影，添加黑條紋嚴重地降低了原始3D效果。

【發(fā)明內(nèi)容】

[0005]本發(fā)明針對緩解現(xiàn)有技術(shù)的缺點中的至少一個。本發(fā)明涉及一種裁剪至少包括第一視圖和第二視圖的3D內(nèi)容的方法，所述方法包括步驟:
[0006]從第一視圖確定第一顯著圖，并從第二視圖確定第二顯著圖；
[0007]從第一和第二顯著圖確定最終裁剪窗；以及
[0008]根據(jù)最終裁剪窗裁剪第一視圖和第二視圖。
[0009]根據(jù)第一實施例，從第一和第二顯著圖確定最終裁剪窗的步驟包括步驟:
[0010]從第一顯著圖確定第一裁剪窗；
[0011]從第二顯著圖確定第二裁剪窗；以及
[0012]將第一和第二裁剪窗組合為最終裁剪窗。
[0013]根據(jù)第二實施例，由參數(shù)標識最終裁剪窗，所述方法還包括步驟:
[0014]隨著時間對最終裁剪窗的參數(shù)進行濾波；
[0015]確定禁止區(qū)域圖，該禁止區(qū)域圖指示了要避免最終裁剪窗邊界的區(qū)域；以及
[0016]使用禁止區(qū)域圖將最終裁剪窗的長寬比轉(zhuǎn)換為目標長寬比。
[0017]根據(jù)第二實施例的變體，由參數(shù)標識最終裁剪窗，所述方法還包括步驟:
[0018]隨著時間對最終裁剪窗的參數(shù)進行濾波；
[0019]確定禁止區(qū)域圖，該禁止區(qū)域圖指示了要避免最終裁剪窗邊界的區(qū)域；以及
[0020]使用禁止區(qū)域圖和深度圖將最終裁剪窗的長寬比轉(zhuǎn)換為目標長寬比。
[0021]有利地，確定禁止區(qū)域圖的步驟包括以下步驟:
[0022]將所述至少兩個視圖之一分割為區(qū)域的分割圖；
[0023]針對分割圖的每個區(qū)域，根據(jù)至少兩個視圖之一的顯著圖計算顯著值；
[0024]針對每個區(qū)域計算的顯著值進行閾值處理，以便形成禁止區(qū)域圖。[0025]根據(jù)第三實施例，從第一和第二顯著圖確定最終裁剪窗的步驟包括步驟:
[0026]將第一和第二顯著圖組合為單個顯著圖；以及
[0027]基于單個顯著圖確定最終裁剪窗。
【專利附圖】

【附圖說明】
[0028]根據(jù)以下結(jié)合附圖的對一些實施例的描述，將清楚本發(fā)明的其它特點和優(yōu)點，附圖中:
[0029]圖1a描述了根據(jù)本發(fā)明第一實施例的方法的流程圖；
[0030]圖1b描述了根據(jù)本發(fā)明第一實施例的變體的方法的流程圖；
[0031]圖2描述了根據(jù)本發(fā)明第二實施例的方法的流程圖；
[0032]圖3描述了根據(jù)本發(fā)明第三實施例的方法的流程圖；
[0033]圖4示出了在圖3中描述的流程圖的第一細節(jié)；
[0034]圖5從左到右表示了畫面、分割圖、顯著圖和禁止區(qū)域圖；
[0035]圖6示出了在圖3中描述的流程圖的另一細節(jié)；
[0036]圖7 不出了 Winner-Take-All 算法；
[0037]圖8用它們的參數(shù)表示裁剪窗；
[0038]圖9示出了畫面的顯著圖、畫面上的第一裁剪窗、禁止區(qū)域圖和最終裁剪窗；以及
[0039]圖10圖解性地示出了根據(jù)本發(fā)明的重定目標設(shè)備2。
【具體實施方式】
[0040]應(yīng)理解，本原理可以實現(xiàn)為多種形式的硬件、軟件、固件、專用處理器或其結(jié)合。優(yōu)選地，本原理可以實現(xiàn)為硬件和軟件的結(jié)合。此外，軟件優(yōu)選地實現(xiàn)為切實表現(xiàn)在程序存儲設(shè)備上的應(yīng)用程序。應(yīng)用程序可以上傳到并由包括任何合適結(jié)構(gòu)的機器執(zhí)行。優(yōu)選地，機器可以實現(xiàn)在具有如一個或多個中央處理單元(CPU)、隨機訪問存儲器(RAM)和輸入/輸出(I / O)接口的硬件的計算機平臺。計算機平臺也包括操作系統(tǒng)和微指令代碼。這里所述的多種處理和功能可以是部分微指令代碼或通過操作系統(tǒng)執(zhí)行的部分應(yīng)用程序(或其結(jié)合)。此外，可以將多種其它外圍設(shè)備(例如，其它數(shù)據(jù)存儲設(shè)備和打印設(shè)備)連接到該計算機平臺。
[0041]本發(fā)明可以實現(xiàn)在包括重定目標裝置的任何電子設(shè)備上。例如，本發(fā)明可以實現(xiàn)為電視、移動視頻電話、PDA、個人計算機、數(shù)字視頻攝像機、導(dǎo)航系統(tǒng)或汽車視頻系統(tǒng)。
[0042]本發(fā)明涉及一種用于重定目標3D內(nèi)容的方法。這里公開了三個實施例。前兩個實施例是2D重定目標方法的擴展。添加新步驟以確?？山邮艿?D質(zhì)量。第三實施例是一種3D內(nèi)容專用的重定目標方法。3D內(nèi)容由左視圖和右視圖構(gòu)成。但是本發(fā)明可以擴展到多于兩個的視圖。下文中，由裁剪窗的參數(shù)來標識裁剪窗，該參數(shù)可以是裁剪窗左上角像素和右下角像素的坐標，或是裁剪窗中心的坐標以及裁剪窗的高度和寬度。
[0043]所有實施例均基于裁剪，S卩，提取具有最重要內(nèi)容的原始視圖像素的子區(qū)域，也稱為感興趣區(qū)域(regions of interest)。此外，即使基于每個視圖的內(nèi)容來確定最終裁剪窗，對左右視圖而言，最終裁剪窗也是一樣的。
[0044]—些實施例涉及視覺注意模型。該視覺注意模型提供顯著圖(灰度圖)，標識視圖中最受矚目的區(qū)域/像素。這樣的顯著圖可以用于確定畫面中的感興趣區(qū)域。2005年6月30日公開的EP專利申請04804828.4編號1695288中公開了這種視覺注意模型的示例?？梢允褂锰峁╋@著圖的其它視覺注意模型。本發(fā)明不限于在EP專利申請04804828.4中公開的模型。
[0045]圖1a示出了根據(jù)第一實施例對包括左視圖和右視圖的3D內(nèi)容進行重定目標的方法。所述方法包括對每個視圖獨立應(yīng)用常規(guī)2D重構(gòu)，以便在每個視圖中得到一個裁剪窗，然后通過考慮關(guān)于3D內(nèi)容的一些約束來組合所有裁剪窗，以便得到要應(yīng)用到每個視圖的最終裁剪窗。[0046]為此，在步驟10處，在左視圖中確定第一感興趣區(qū)域ROII，并在步驟12處，在右視圖中確定第二感興趣區(qū)域R0I2。
[0047]在步驟14處，從第一感興趣區(qū)域ROIl確定左裁剪窗，并從第二感興趣區(qū)域確定右裁剪窗R0I2。例如，左裁剪窗是包括第一感興趣區(qū)域的最小窗，右裁剪窗是包括第二感興趣區(qū)域的最小窗。
[0048]在步驟18處，將左右裁剪窗組合在平滑裁剪窗中。在該步驟，考慮關(guān)于3D內(nèi)容的以下約束:在左右裁剪視圖之間不允許垂直視差；每個視圖的裁剪窗具有相同高度和相同垂直坐標。
[0049]CombineCroppingffindow步驟18利用步驟14和16處對每個視圖獨立施加2D
重構(gòu)的結(jié)果，并數(shù)學(xué)上將兩個裁剪窗組合為一個平滑裁剪窗，該平滑裁剪窗的中心坐標為(Xsmooth，(聞度和見度)為(hs_th，Wsm(Mth)。(Xleft，Yleft)疋左裁到 1? 的中心坐標，(Xright^ Yright)是右裁剪窗的中心坐標。(hleft，Wlrft)是左裁剪窗的高度和寬度，且(hHght，Wright)是右裁剪窗的高度和寬度。
rrnml V—￥I1__日
觸m — ， — 脣且
聲..舞 4*.W φ ? H*__
Ws^e& = 一-]^。根據(jù)變體，在公式8中代入最小和最大值。對兩個視圖應(yīng)用相同裁剪窗。因此，左右裁剪視圖之間不存在垂直視差。
[0051]用于確定平滑修剪窗口的另一方法在于確定哪個修剪窗口最大化在其內(nèi)部可用的顯著質(zhì)量。如下公式所示，修剪窗口坐標從最小X和I坐標到最大X和I坐標進行變化，其中最小X和y坐標是在兩個視圖之間最初確定的:
[0052](I)
fxl,yl.,x2,jT2} = m'gtmx IEyIs1 0,5 * (SM1ef, (XY) -
[0053]'—L 一…，-…
SM,Jg1., (X?Y))J
[0054]withxlmin<xl<xlmax ；ylmin < yKyImax ；x2min<x2
[0055]<x2max ；y2min < y2 < y2max
[0056]且[0057]
【權(quán)利要求】
1.一種對至少包括第一視圖和第二視圖的3D內(nèi)容進行重定目標的方法，其特征在于所述方法包括步驟: 從所述第一視圖確定(10、12)第一感興趣區(qū)域，以及從所述第二視圖確定(10、12)第二感興趣區(qū)域； 從所述第一感興趣區(qū)域確定(14、322、16、322)第一裁剪窗，以及從所述第二感興趣區(qū)域確定(14、322、16、322)第二裁剪窗； 將所述第一和第二裁剪窗組合(18、324)為最終裁剪窗； 根據(jù)所述最終裁剪窗裁剪(20)所述第一視圖和所述第二視圖，裁剪后的第一和第二視圖構(gòu)成重定目標的3D內(nèi)容。
2.根據(jù)權(quán)利要求1所述的方法，其中由參數(shù)標識最終裁剪窗，所述方法還包括: 隨著時間對最終裁剪窗的參數(shù)進行濾波(326)； 確定(30)禁止區(qū)域圖，所述禁止區(qū)域圖指示了要避免最終裁剪窗邊界的區(qū)域；以及 使用禁止區(qū)域圖將最終裁剪窗的長寬比轉(zhuǎn)換(328)為目標長寬比。
3.根據(jù)權(quán)利要求1所述的方法，其中由參數(shù)標識最終裁剪窗，所述方法還包括: 隨著時間對最終裁剪窗的參數(shù)進行濾波(326)； 確定(30)禁止區(qū)域圖，所述禁止區(qū)域圖指示了要避免最終裁剪窗邊界的區(qū)域；以及 使用禁止區(qū)域圖和深度圖將最終裁剪窗的長寬比轉(zhuǎn)換(328)為目標長寬比。
4.根據(jù)權(quán)利要求2或3所述的方法，其中確定禁止區(qū)域圖的步驟(30)包括步驟: 將所述至少兩個視圖中之一分割(300)為區(qū)域的分割圖； 針對分割圖的每個區(qū)域，根據(jù)所述至少兩個視圖之一的顯著圖計算(302)顯著值； 針對每個區(qū)域計算的所述顯著值進行閾值處理(304)，以便形成禁止區(qū)域圖。
5.根據(jù)權(quán)利要求1到4中的任意一個所述的方法，其中確定(10、12)所述第一和第二感興趣區(qū)域包括確定第一和第二顯著圖。
6.一種用于對至少包括第一視圖和第二視圖的3D內(nèi)容進行重定目標的設(shè)備，其特征在于所述設(shè)備包括: 用于從所述第一視圖確定第一感興趣區(qū)域以及從所述第二視圖確定第二感興趣區(qū)域的裝置； 用于從所述第一感興趣區(qū)域確定第一裁剪窗以及從所述第二感興趣區(qū)域確定第二裁剪窗的裝置； 用于將所述第一和第二裁剪窗組合為最終裁剪窗的裝置； 用于根據(jù)所述最終裁剪窗裁剪所述第一視圖和所述第二視圖的裝置，裁剪后的第一和第二視圖構(gòu)成重定目標的3D內(nèi)容。
7.根據(jù)權(quán)利要求6所述的設(shè)備，其中由參數(shù)標識最終裁剪窗，所述設(shè)備還包括: 用于隨著時間對最終裁剪窗的參數(shù)進行濾波的裝置； 用于確定禁止區(qū)域圖的裝置，所述禁止區(qū)域圖指示了要避免最終裁剪窗邊界的區(qū)域；以及 用于使用禁止區(qū)域圖將最終裁剪窗的長寬比轉(zhuǎn)換為目標長寬比的裝置。
8.根據(jù)權(quán)利要求6所述的設(shè)備，其中由參數(shù)標識最終裁剪窗，所述方法還包括: 隨著時間對最終裁剪窗的參數(shù)進行濾波的裝置；用于確定禁止區(qū)域圖的裝置，所述禁止區(qū)域圖指示了要避免最終裁剪窗邊界的區(qū)域；以及 用于使用禁止區(qū)域圖和深度圖將最終裁剪窗的長寬比轉(zhuǎn)換為目標長寬比的裝置。
9.根據(jù)權(quán)利要求7或8所述的設(shè)備，其中用于確定禁止區(qū)域圖的裝置包括: 用于將所述至少兩個視圖之一分割為區(qū)域的分割圖的裝置； 用于針對分割圖的每個區(qū)域，根據(jù)所述至少兩個視圖之一的顯著圖計算顯著值的裝置； 用于針對每個區(qū)域計算的所述顯著值進行閾值處理以便形成禁止區(qū)域圖的裝置。
10.根據(jù)權(quán)利要求6到9中任意一個所述的設(shè)備，其中用顯著圖來確定感興趣區(qū)域。
11.一種計算機程序產(chǎn)品，包括程序代碼指令，以便當在計算機上執(zhí)行所述程序時執(zhí)行根據(jù)權(quán)利要求1到5中任意一個所述方法的步驟。
12.一種處理器可讀介質(zhì)，在其中存儲指令，用于使處理器至少執(zhí)行根據(jù)權(quán)利要求1到5中任意一個所述方法的步驟。
【文檔編號】G06T3/00GK103582900SQ201280026599
【公開日】2014年2月12日 申請日期:2012年5月23日 優(yōu)先權(quán)日:2011年5月31日
【發(fā)明者】克里斯特爾·沙馬雷, 法布里斯·尤本, 泰全·阮氏, 讓-克洛德·舍韋 申請人:湯姆遜許可公司