3d立體影視制作中新視圖的全自動快速生成及補全方法
【技術領域】
[0001] 本發(fā)明涉及一種3D立體影視的處理方法，特別是涉及圖像合成技術領域的一種 3D立體影視制作中新視圖的全自動快速生成及補全方法。
【背景技術】
[0002] 隨著3D電影的日益普及，3D立體影視逐漸視成為影視行業(yè)的主流媒體格式。雖 然市面上的立體攝像機可以用來直接拍攝生成3D立體視頻，但3D實拍技術的成本高、周期 長且立體效果調節(jié)難度大。因此，當今普遍的3D電影制作方案是采用后期2D轉制3D的方 法，該方法成本相對較低，而且立體效果可控性更強。因此，如何有效的將2D影視轉換成3D 立體影視成為3D立體影視制作領域的研宄熱點。
[0003] 影視3D轉3D的主要技術流程包括圖層分割、深度圖創(chuàng)建和新視圖合成，其中最關 鍵的技術為新視圖合成，包括新視圖的生成及補全兩個步驟。傳統(tǒng)的2D轉3D技術中，新視 圖的生成采用基于水平偏移的深度置換方法，新視圖的補全是采用簡單的顏色擴散填充結 合人工交互修補的方法。水平偏移生成的新視圖并不符合真實世界的立體幾何投影關系， 會造成視覺欺騙；并且，簡單的顏色擴散填充方法并不能生成很好的補全效果，同樣會造成 一定程度的視覺欺騙。
[0004] 由此，傳統(tǒng)的新視圖合成技術自動化程度低，交互修補需要大量的人工操作，很難 滿足3D影視制作（尤其是3D電影）對于高質量和高效率低成本的行業(yè)要求。

【發(fā)明內容】

[0005] 為了克服現有技術的不足，本發(fā)明提供了一種3D立體影視制作中新視圖的全自 動快速生成及補全方法，旨在利用原視圖圖像及其對應的深度圖全自動地生成新視圖的圖 像和深度圖。該技術可以快速自動化地完成圖像2D轉3D立體過程中的立體視圖合成，滿 足3D電影制作對于高質量和高效率低成本的行業(yè)要求；此外，該技術還可以用來完成電視 節(jié)目或網絡視頻2D轉3D立體過程中的新視圖視頻序列的快速自動合成。
[0006] 本發(fā)明所采用的技術方案是包括以下步驟：
[0007] a、對于原視圖圖像及其深度圖，根據原視圖的攝像機參數進行三維反投影和表面 三角網格化，將網格化的圖像表面結構根據新視圖的攝像機參數進行三維空間投影渲染， 生成新視圖的圖像及其深度圖；
[0008] b、利用有向漫水填充法將新視圖圖像和深度圖中非空洞區(qū)域顏色和深度擴展填 補至空洞區(qū)域，直到空洞區(qū)域所有像素的顏色和深度均被補全完整。
[0009] 所述步驟a具體包括：
[0010] al、原視圖圖像記為I。，原視圖圖像的深度圖記為D。，原視圖的攝像機參數記為C。 = K0[R0|TJ,
[0011] 其中，K。為原視圖攝像機的內參矩陣，R。為原視圖攝像機的旋轉矩陣，T。為原視圖 攝像機的平移向量，將原視圖圖像I。中的每個2D像素點x根據攝像機參數和深度采用以下 公式反投影至3D空間坐標，并將原視圖圖像I。中所有2D像素點經反投影后所得的3D點 集合記為P :
[0012]
【主權項】
1. 一種3D立體影視制作中新視圖的全自動快速生成及補全方法，其特征在于包括以 下步驟： a、 對于原視圖圖像及其深度圖，根據原視圖的攝像機參數進行三維反投影和表面三角 網格化，將網格化的圖像表面結構根據新視圖的攝像機參數進行三維空間投影渲染，生成 新視圖的圖像及其深度圖； b、 利用有向漫水填充法將新視圖圖像和深度圖中非空洞區(qū)域顏色和深度擴展填補至 空洞區(qū)域，直到空洞區(qū)域所有像素的顏色和深度均被補全完整。
2. 根據權利要求1所述的一種3D立體影視制作中新視圖的全自動快速生成及補全方 法，其特征在于所述步驟a具體包括： al、原視圖圖像記為I。，原視圖圖像的深度圖記為D。，原視圖的攝像機參數記為C。= K0 [R01T0], 其中，K。為原視圖攝像機的內參矩陣，R。為原視圖攝像機的旋轉矩陣，T。為原視圖攝像 機的平移向量，將原視圖圖像I。中的每個2D像素點X根據攝像機參數和深度采用以下公 式反投影至3D空間坐標，并將原視圖圖像I。中所有2D像素點經反投影后所得的3D點集 合記為P :
其中，PU)表示X反投影所得的3D點，Dtj(X)表示X的深度值；T表示矩陣的轉置，[X 1]為2D像素點X的齊次坐標； a2、原視圖圖像I。中2D像素點進行DeIaunay三角化，再根據三角化的網格結構拓撲關 系對3D點集合P進行三角網格化，形成原視圖圖像的3D表面網格結構S ;然后，將原視圖 圖像的深度圖D。中的深度最大值記為Dmax，最小值記為Dmin，對于深度差大于0. 05 (Dmax-Dmin) 的相鄰2D像素點對，將其拓撲連接的三角網格從S中除去； a3、將新視圖的攝像機參數記為Cn= Kn[Rn I Tn]，其中Kn為新視圖攝像機的內參矩陣，Rn 為原視圖攝像機的旋轉矩陣，1；為原視圖攝像機的平移向量； 將原視圖圖像I。根據原視圖圖像坐標映射至3D表面網格結構S的表面，然后將包含 圖像映射的S從Cn所在的攝像機視角進行三維空間投影渲染，將渲染的圖像作為新視圖圖 像In，渲染的深度圖作為新視圖深度圖D n。
3. 根據權利要求1所述的一種3D立體影視制作中新視圖的全自動快速生成及補全方 法，其特征在于所述的步驟b具體包括： bl、新視圖圖像In中的空洞區(qū)域記為Ω，將空洞區(qū)域Ω的區(qū)域外邊界像素點b利用攝 像機參數和新視圖深度圖Dn中的深度值采用以下公式投影至原視圖中：
其中，B。表示區(qū)域外邊界像素點b從新視圖投影至原視圖攝像機坐標系下的3D點坐 標，b匕表示區(qū)域外邊界像素點b從新視圖投影至原視圖的投影點位置，Dn(b)表示區(qū)域外 邊界像素點b的深度值； 然后，統(tǒng)計以為中心的7 X 7像素窗口內的深度值的最大值dmax和最小值dmin，因所 有外邊界的像素點并不都是漫水填充種子像素點，再采用以下公式計算出區(qū)域外邊界像素 點b為漫水填充種子像素點的概率：
其中，z (B。）表示3D點B。的z軸坐標； b2、為空洞區(qū)域Ω所有的區(qū)域外邊界像素點集合建立采用以下公式的能量方程 Δ'(?Ω)來求解每個像素點是否為種子點，利用圖切割方法最小化能量方程，以求得每個區(qū) 域外邊界像素點是否為種子點，所有為種子點的區(qū)域外邊界像素點集合記為Δ，能量方程 ￡(?Ω)定義如下：
其中，b表示區(qū)域外邊界像素點，c為b的相鄰外邊界像素點，N(b)為b的所有相鄰像 素點，Ed(b)為像素點b的數據項，Es(b，c)為鄰域像素點對（b，c)的平滑項； b3、利用有向漫水填充法將種子像素點的顏色和深度擴展填補至1"和D n的空洞區(qū)域。
4. 根據權利要求3所述的一種3D立體影視制作中新視圖的全自動快速生成及補全方 法，其特征在于：所述步驟b2能量方程￡'0-Ω)中的像素點b的數據項E d (b)采用以下公式 定義：
其中，b表示區(qū)域外邊界像素點，p (b)為區(qū)域外邊界像素點b為漫水填充種子像素點的 概率。
5. 根據權利要求3所述的一種3D立體影視制作中新視圖的全自動快速生成及補全方 法，其特征在于：所述步驟b2能量方程/：(5Ω)中的鄰域像素點對（b，c)的平滑項匕㈨c)采 用以下公式定義：
其中，b表示區(qū)域外邊界像素點，c為b的相鄰外邊界像素點，λ為平滑項權重。
6. 根據權利要求3所述的一種3D立體影視制作中新視圖的全自動快速生成及補全方 法，其特征在于所述的步驟b3具體如下： b3. 1)將種子像素點集合Λ向空洞區(qū)域Ω膨脹一個像素寬度； b3. 2)對膨脹的每個空洞區(qū)域像素點ρ，利用其8鄰域中種子點的顏色和深度來分別填 補新視圖圖像1"中像素點P位置的顏色和新視圖深度圖〇"中像素點p位置的深度； 如果8鄰域中存在至少兩個種子點，則比較每個種子點指向點p的向量與點p位置的 空洞區(qū)域邊界法向的一致性，選擇方向最一致的種子點，利用其顏色和深度來填補1"和D n 中像素點P位置的顏色和深度； b3. 3)清空所有為種子點的區(qū)域外邊界像素點集合△中的種子點，將膨脹的空洞區(qū)域 像素點置入該像素點集合△中形成新的種子點集合； b3.4)重復步驟b3. I)_b3.3)，直到空洞區(qū)域Ω中所有像素點的顏色和深度均被填補 完整。
【專利摘要】本發(fā)明公開了一種3D立體影視制作中新視圖的全自動快速生成及補全方法。對于原視圖圖像及其深度圖，根據原視圖的攝像機參數進行三維反投影和表面三角網格化，將網格化的圖像表面結構根據新視圖的攝像機參數進行三維空間投影渲染，生成新視圖的圖像及其深度圖；利用有向漫水填充法將新視圖圖像和深度圖中非空洞區(qū)域顏色和深度擴展填補至空洞區(qū)域，直到空洞區(qū)域所有像素的顏色和深度均被補全完整。本發(fā)明方法能夠高效快速地合成3D立體新視角的視圖圖像和深度，并且對新視圖中的由于遮擋產生的空洞區(qū)域實現全自動的快速修補，得到真實感的新視圖合成結果。
【IPC分類】G06T15-00, G06T3-20, G06T7-00
【公開號】CN104751508
【申請?zhí)枴緾N201510111816
【發(fā)明人】姜翰青, 董子龍
【申請人】杭州道玄影視科技有限公司
【公開日】2015年7月1日
【申請日】2015年3月14日