用于嵌入立體圖像的系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本申請涉及一種用于嵌入立體圖像的系統(tǒng)和方法。
【背景技術(shù)】
[0002] 立體電影，被稱為三維（3D)電影，隨著目前消費者可取得立體電影顯示功能而增 加了在電影院和電視的普及性。相對于一計算機產(chǎn)生的場景，立體電影或真實場景的立體 靜止圖像系使用一立體相機而產(chǎn)生。
[0003] 立體相機通常由兩個在空間上相互偏移的相機組成，例如，相較于場景，使一個相 機處于最左邊的位置而另一個相機處于最右邊的位置相比。每個相機拍攝一同一場景的圖 像，而記錄的圖像的后續(xù)分析提供標(biāo)準(zhǔn)的二維圖像以外的距離信息。所述配置系模仿雙眼。 人類通過比較眼睛接收的視覺信息感知距離。雙眼間的距離導(dǎo)致在雙眼形成的圖像中的細 微差異。大腦處理這個立體像差來決定在場景中距各種物體的距離，并提供深度知覺。同 樣地，兩個相機彼此相鄰放置并觀看同一場景，由于兩個相機之間的距離而將拍攝出具有 細微差異的圖像。場景中的物體會出現(xiàn)在圖像中稍微不同的位置。如果相機以一個已知的 距離彼此分開，通過間隔開，物體在場景中相對于立體相機的三維位置可以從所拍攝的圖 像通過三角測量來決定。
[0004] 立體圖像或立體視頻可以一個二維表示法編碼。例如，使用一個二維顯示，由一最 左的相機拍攝的場景的左視角是使用與由一最右的照相機拍攝的相同場景的右視角不同 的偏振或色彩來顯示。然后一觀測者穿戴一組具有在左眼和右眼使用不同偏振或彩色傳輸 性能的眼鏡觀看二維顯示。這種眼鏡傳送左視角到左眼和右視角到右眼，從而提供三維的 觀看體驗。

【發(fā)明內(nèi)容】

[0005] 在一個實施例中，一種用于嵌入立體圖像的方法，其包括：(a)將一從由一第一立 體相機拍攝的原始立體圖像中擷取的前景立體圖像從與所述第一立體相機相關(guān)聯(lián)的縮放 比例轉(zhuǎn)換成與一第二立體相機相關(guān)聯(lián)的縮放比例，以形成一轉(zhuǎn)換的前景立體圖像，以及（b) 將所述轉(zhuǎn)換的前景立體圖像嵌入由所述第二立體相機拍攝的一目標(biāo)立體圖像中，以形成一 嵌入的立體圖像。
[0006] 在一個實施例中，一種用于嵌入立體圖像的系統(tǒng)，其包括一處理器和一通信地耦 合于所述處理器的內(nèi)存，其中所述內(nèi)存具有指令，所述指令在由處理器執(zhí)行時，（a)將一從 由一第一立體相機拍攝的原始立體圖像中擷取的前景立體圖像從與所述第一立體相機相 關(guān)聯(lián)的縮放比例轉(zhuǎn)換成與一第二立體相機相關(guān)聯(lián)的縮放比例，以形成一轉(zhuǎn)換的前景立體圖 像，以及（b)將所述轉(zhuǎn)換的前景立體圖像嵌入由所述第二立體相機拍攝的一目標(biāo)立體圖像 中。
[0007] 在一個實施例中，一個軟件產(chǎn)品，其具有儲存在非臨時性計算器可讀介質(zhì)中的指 令，當(dāng)所述指令由計算器執(zhí)行時，執(zhí)行用于嵌入立體圖像的步驟，其中所述指令包括（a)用 于將一從由一第一立體相機拍攝的原始立體圖像中擷取的前景立體圖像從與所述第一立 體相機相關(guān)聯(lián)的縮放比例轉(zhuǎn)換成與一第二立體相機相關(guān)聯(lián)的縮放比例，以形成一轉(zhuǎn)換的前 景立體圖像的指令，以及（b)用于將所述轉(zhuǎn)換的前景立體圖像嵌入由所述第二立體相機拍 攝的一目標(biāo)立體圖像中的指令。
【附圖說明】
[0008]圖1為根據(jù)一實施例繪示的一種用于獲得關(guān)于一場景的圖像深度信息的系統(tǒng)。
[0009] 圖1為根據(jù)一實施例所繪示的一種用于嵌入立體圖像的系統(tǒng)。
[0010] 圖2為根據(jù)一實施例所繪示的另一種用于嵌入立體圖像的系統(tǒng)。
[0011] 圖3為根據(jù)一實施例所繪示的一種用于嵌入立體圖像的方法。
[0012] 圖4顯示與圖3的方法相關(guān)聯(lián)的示例性的立體圖像。
[0013] 圖5為根據(jù)一實施例所繪示的又一種用于嵌入立體圖像的系統(tǒng)。
[0014] 圖6為根據(jù)一實施例所繪示的一種用于從一立體圖像擷取一前景立體圖像的方 法。
[0015] 圖7為根據(jù)一實施例所繪示的一種用于將一從由一第一立體相機拍攝的原始立 體圖像中擷取的前景立體圖像從與所述第一立體相機相關(guān)聯(lián)的縮放比例轉(zhuǎn)換成與一第二 立體相機相關(guān)聯(lián)的縮放比例的方法。
[0016] 圖8顯示與圖7的方法相關(guān)聯(lián)的示例性的立體圖像。
[0017] 圖9為根據(jù)一實施例所繪示的一種用于決定由一第二立體相機拍攝的一目標(biāo)立 體圖像之一極近似前景立體圖像的最小立體像差的方法。
[0018] 圖10為根據(jù)一實施例所繪示的一種用于將一從由一第一立體相機拍攝的一原始 立體圖像擷取的前景立體圖像嵌入一由一第二立體相機拍攝的一目標(biāo)立體圖像中的方法。
[0019] 圖11顯示與圖10的方法相關(guān)聯(lián)的示例性的立體圖像。
【具體實施方式】
[0020] 圖1繪示了用于嵌入立體圖像的一個示例性系統(tǒng)100。系統(tǒng)100將一從由一立體 相機拍攝的立體圖像中擷取的前景立體圖像嵌入由另一個立體相機拍攝的另一立體圖像。 具體來說，系統(tǒng)100包括一第一立體相機111，一第二立體相機112和與第一立體相機111 和第二立體相機112通信地親合的一處理中心160。第一立體相機包括一左相機111L和一 右相機111R。同樣地，第二立體相機112包括一左相機112L和一右相機112R。
[0021] 在一個示例性場景中，第一立體相機111拍攝一由第一立體相機111看到的場景 的原始立體圖像121。原始立體圖像121是以分別由左相機111L和右相機111R拍攝的一 個二維左視角圖像131和一個二維右視角圖像141表示。第二立體相機112拍攝一由第二 立體相機112看到的場景的目標(biāo)立體圖像122。目標(biāo)立體圖像122是以分別由左相機112L 和右相機112R拍攝的一個二維左視角圖像132和一個二維右視角圖像142表示。雖然圖 1繪示了各自以相應(yīng)的左和右視角圖像表示的原始立體圖像121和目標(biāo)立體圖像122,第一 和第二立體相機111和112可分別以任何本領(lǐng)域中已知的表示形式，例如色彩浮雕或表格 形式，輸出原始立體圖像121和目標(biāo)立體圖像122,而不偏離本發(fā)明的范圍。此類表示形式 可以包括與由左視角和右視角圖像所提供的信息等同的信息。
[0022] 第一立體相機111和第二立體相機112分別將原始和目標(biāo)立體圖像121和122傳 送到處理中心160。處理中心160處理原始和目標(biāo)立體圖像121和122,以將原始立體圖像 121的前景151嵌入目標(biāo)立體圖像122中，而產(chǎn)生一個分別具有左視角180和右視角190的 嵌入的立體圖像170。為了能清楚地說明，前景立體圖像151僅在右視角141中標(biāo)記。如同 上述，嵌入的立體圖像170可以使用本領(lǐng)域中已知的其它表示形式來表示，例如表格形式， 而不偏離本發(fā)明的范圍。
[0023] 處理中心160在適當(dāng)?shù)纳疃葘⑶熬?51嵌入到目標(biāo)立體圖像122中，從而提供所 述組合的場景一個自然的圖像。在圖1所繪示的示例性場景中，目標(biāo)立體圖像122包括一 個距離第二立體相機112比前景151距第一立體相機111更近的極近似前景立體圖像152， 以及一個距離第二立體相機112比前景151距第一立體相機111更遠的背景153。為了清 楚地說明，極近似前景152和背景153僅在右視角圖像142標(biāo)記。如將在下面討論的，嵌入 的立體圖像170顯示了在極近似前景152和背景153之間適當(dāng)深度位置上的前景151或一 轉(zhuǎn)換的前景151'。此外，嵌入的立體圖像170以適當(dāng)?shù)囊Ш详P(guān)系顯示了前景151 (或轉(zhuǎn)換的 前景151'）、極近似前景152和背景153。
[0024] 在一個實施例中，第一立體相機111具有的特性與第二立體相機112不同，使得原 始立體圖像121具有與目標(biāo)立體圖像122不同的縮放比例。在此，縮放比例是指（a)左視 角圖像和右視角圖像的二維縮放比例，以及（b)立體圖像的深度縮放比例。左視角和右視 角圖像的二維縮放比例是定義為例如，在每個圖像像素的場景中基本垂直于立體相機的光 軸的二維距離。在此，立體相機的光軸是指左相機光軸和右相機光軸的平均值。深度縮放 比例是定義為例如在一個場景中基本平行于立體相機的光軸的深度距離，作為左視角圖像 和右視角圖像之間的立體像差的函數(shù)。立體像差是一個特征在立體圖像的左視角圖像中的 位置和相同特征在相同立體圖像的右視角圖像中的位置之間的差。原始立體圖像121和目 標(biāo)立體圖像122可能在二維縮放比例和深度縮放比例兩者之一中有所不同。
[0025] 在一個實例中，第一和第二立體相機111和112具有不同的視場大小，其將導(dǎo)致在 原始立體圖像121和目標(biāo)立體圖像122的二維縮放比例上的差別。在另一個實例中，第一 和第二立體相機111和112具有不同的立體基線。立體相機的立體基線是從左相機到右相 機（例如，左照相機111L和右相機111R)沿立體相機的光軸的一正交方向的距離。立體相 機的光軸是左和右相機的光軸的平均。在這個例子中，原始立體圖像121的深度縮放比例 不同于目標(biāo)立體圖像122的深度縮放比例。在又一個實例中，第一和第二立體相機111和 112在視圖大小和立體基線兩者上皆有不同，使得原始和目標(biāo)立體圖像121和122在二維縮 放比例和深度縮放比例兩者上皆有不同。
[0026] 在系統(tǒng)100的一個實施例中，其中原始立體圖像121和目標(biāo)立體圖像122具有不 同的縮放比例，處理中心160將前景立體圖像151從原始立體圖像121的縮放比例轉(zhuǎn)換為 目標(biāo)立體圖像122的縮放比例。這種轉(zhuǎn)換的結(jié)果是一個以與目標(biāo)立體圖像122相關(guān)聯(lián)的深 度和二維縮放比例表示的轉(zhuǎn)換的前景151'。因此，嵌入的立體圖像170顯示了彷佛由第二 立體相機112拍攝的轉(zhuǎn)換的前景151'。
[0027] 因此，由系統(tǒng)100和在其中實施的方法產(chǎn)生的嵌入立體圖像170提供組合的場景 一個自然的立體圖像。將原始立體圖像121的前景151以具有適當(dāng)?shù)亩S縮放比例、適當(dāng) 的深度以及對目標(biāo)立體圖像122中的物體的適當(dāng)?shù)囊Ш详P(guān)系嵌入到目標(biāo)立體圖像122中。
[0028] 圖2繪示了用于嵌入立體圖像的一個示例性系統(tǒng)200。系統(tǒng)200將由一個立體相 機拍攝的前景立體圖像嵌入到由另一個立體相機拍攝的另一立體圖像中。系統(tǒng)200包括一 處理中心210,其處理原始立體圖像和一目標(biāo)立體圖像，以從原始立體圖像中擷取一前景立 體圖像，并將前景立體圖像以適當(dāng)?shù)纳疃?、二維尺寸和咬合關(guān)系嵌入目標(biāo)立體圖像中。處理 中心210是圖1的處理中心160的一個實施例。
[0029] 在一個實施例中，系統(tǒng)200包括圖1的第一立體相機111和第二立體相機112,兩 者皆通信地耦合于處理中心210的接口 260。第一立體相機111拍攝原始立體圖像，并將 所述原始立體圖像傳送到接口 260。第二立體相機112拍攝目標(biāo)立體圖像，并且將所述目 標(biāo)立體圖像傳送到接口 260。系統(tǒng)200是例如圖1的系統(tǒng)100的一個的實施例。在某些實 施例中，第一立體相機111和第二立體相機112兩者皆校正于前緣平行設(shè)置。因此，左相機 111L和右相機111R具有平行的、相互偏移的光軸，且兩者僅在一個正交于與其平行的、相 互偏移的光軸的方向上彼此偏移。同樣地，左相機112L和右相機112R具有平行的、相互偏 移的光軸，且兩者僅在一個正交于與其平行的、相互偏移的光軸的方向上彼此偏移。
[0030] 除了界面260,處理中心210包括一個處理器220和一個內(nèi)存230。內(nèi)存230包 括一數(shù)據(jù)儲存器240和機器可讀指令250。機器可讀指令250可以在內(nèi)存230的非易失性 和/或非瞬時性部分進行編碼。任選地，數(shù)據(jù)儲存器240包括第一立體相機參數(shù)242和第 二立體相機參數(shù)244。第一和第二立體相機參數(shù)242和244分別包括分別用于定義原始立 體圖像和目標(biāo)立體圖像的縮放特性的參數(shù)。數(shù)據(jù)儲存器240進一步包括一圖像數(shù)據(jù)儲存器 246和一立體像差搜索范圍248。指令250包括前景擷取指令252、轉(zhuǎn)換指令254和嵌入指 令 256。
[0031] 處理器220通信地耦合于接口 260和內(nèi)存230。處理器220從接口 260接收原始 和目標(biāo)立體圖像。處理器220在原始立體圖像上執(zhí)行前景擷取指令252,以從中擷取一前景 立體圖像。任選地，處理器220也可在目標(biāo)立體圖像上執(zhí)行前景擷取指令252,以從中擷取 一個極近似前景，如結(jié)合圖1所討論的。處理器220在前景立體圖像上執(zhí)行轉(zhuǎn)換指令254， 以將前景立體圖像從與第一立體相機111相關(guān)的縮放比例轉(zhuǎn)換為與第二立體相機112相關(guān) 的縮放比例。處理器220在轉(zhuǎn)換的前景立體圖像和目標(biāo)立體圖像或在從其中擷取的極近似 前景和背景立體圖像上執(zhí)行嵌入指令256,以將前景立體圖像嵌入目標(biāo)立體圖像中，藉以這