專利名稱：一種基于圖像扭曲技術(shù)的圖像及視頻2d 轉(zhuǎn)3d 的方法
技術(shù)領域：
本發(fā)明涉及一種圖像及視頻處理方法，尤其涉及一種2D圖像及2D視頻轉(zhuǎn)換為3D圖像及3D視頻的方法。
背景技術(shù)：
隨著立體顯示技術(shù)和機器視覺技術(shù)的快速發(fā)展，3D圖像及3D視頻憑借其較2D圖像及2D視頻更出眾的真實感和立體感，使用戶體驗到了更加真切的身臨其境的感覺，受到了用戶的廣泛歡迎。然而在立體顯示技術(shù)和機器視覺技術(shù)飛速發(fā)展的同時，現(xiàn)階段適合進行立體顯示的3D圖像及3D視頻資源卻難以滿足用戶的需求。人類之所以能夠看到立體的景物，是因為人類的雙眼在觀看時存在視差，即左眼所看到的影像與右眼所看到的影像存在差異，3D圖像及3D視頻的原理便是利用人工方式重現(xiàn)視差，讓左右兩眼分別看到不同的影像，藉以仿真出立體影像。3D圖像及3D視頻的制作方法主要有兩種:一種是直接生成，另一種是由2D圖像及2D視頻轉(zhuǎn)換而來。利用3D攝像機拍攝新的3D圖像及3D視頻是獲取3D圖像及3D視頻的一種直接有效的方式，但這種方式不僅制作困難、制作周期長、費用高昂，而且無法有效利用已經(jīng)存在的大量2D圖像及2D視頻資源。圖像及視頻2D轉(zhuǎn)3D技術(shù)是從2D圖像及2D視頻中生成與之對應的視差圖像及視頻，進而生成3D圖像及3D視頻的技術(shù)。2D圖像及2D視頻擁有豐富的資源，將2D圖像及2D視頻轉(zhuǎn)為3D圖像及3D視頻能夠彌補3D圖像及3D視頻資源短缺的不足。除此之外，有些經(jīng)典珍貴的2D圖像及2D視頻無法再重新攝制，通過圖像及視頻2D轉(zhuǎn)3D技術(shù)能夠以3D的形式重溫以前經(jīng)典的2D圖像及2D視頻資源，因此，圖像及視頻2D轉(zhuǎn)3D技術(shù)對3D圖像及3D視頻的發(fā)展具有重要意義。目前的圖像及視頻2D轉(zhuǎn)3D技術(shù)目前大都基于原始2D圖像生成具有不同深度信息的左右眼圖像，在提取2D圖像中物體的深度信息時，僅將2D圖像分為前景和背景兩種場景區(qū)分物體的深度，即物體在與2D圖像平面垂直的方向上的長度。同一場景中的物體深度均相同，從而導致產(chǎn)生的立體感較差。除此之外，對于3D圖像及3D視頻轉(zhuǎn)換后的立體效果在轉(zhuǎn)換過程中也難以進行檢查，難以確定物體的前后順序，制作效率較低。

發(fā)明內(nèi)容
本發(fā)明需要解決的技術(shù)問題是提供一種易于實現(xiàn)、且制作成本較低的2D視頻轉(zhuǎn)換為3D視頻的方法，用于將2D視頻轉(zhuǎn)換為3D視頻。為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案如下:一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法，所述方法在圖像扭曲技術(shù)的基礎上將2D圖像及2D視頻轉(zhuǎn)換為相對應的3D圖像及3D視頻，具體實現(xiàn)方法包括以下步驟:步驟I)追蹤2D圖像的攝像機原點:根據(jù)2D圖像中各物體的坐標值追蹤拍攝該2D圖像的攝像機原點，從而確定2D圖像中各物體與攝像機原點的空間位置關(guān)系和遠近關(guān)系。步驟2)繪制等高線圖:以2D圖像的攝像機原點為中心，參考2D圖像中各物體與攝像機的空間位置關(guān)系和遠近關(guān)系，按照2D圖像中各物體距離攝像機的距離不同設定該物體以及該物體各個點的相應深度值，以相等深度值的物體或物體上的各點為對象繪制2D圖像的等高線，從而將位于不同等高線上的物體進行區(qū)域劃分并進行摳圖。步驟3)繪制灰度圖:將步驟2)中得出的深度值轉(zhuǎn)換為相應的灰度值，根據(jù)等高線圖將2D圖像中不同深度值的區(qū)域用不同灰度表示，從而生成灰度圖。步驟4)合成模型化扭曲圖像:以灰度圖作為立體模型基礎，作用于2D圖像的法線貼圖上，將2D圖像與灰度圖進行疊加從而生成具有立體效果的模型化扭曲圖像。步驟5)核對物體的前后順序:對模型化扭曲圖像中各物體立體效果的前后順序進行核對，如果各物體的前后順序均正確則進行步驟6)，否則返回步驟3)，對2D圖像中物體的灰度值進行細微調(diào)節(jié)，最終達到灰度圖與物體立體效果的統(tǒng)一及匹配。步驟6)確定左右攝像機的空間位置:根據(jù)2D圖像中各個物體的成像規(guī)則確定攝像機像素格的位移量，進一步模擬出左右兩部攝像機的空間位置。步驟7)生成3D圖像:根據(jù)步驟6)確定的左右兩部攝像機的空間位置，參照灰度圖對2D圖像進行相應的像素格的移位與補洞，從而生成3D圖像即左右眼圖像。步驟8)生成3D視頻:根據(jù)視頻中每一幀圖像分別重復步驟I)至步驟7)，生成每一幀2D圖像對應的3D圖像，從而生成3D視頻的左右眼視頻。本發(fā)明的改進在于:所述步驟2)的2D圖像中等高線圍成的區(qū)域距離攝像機原點越遠時，深度值越大；距離攝像機原點越近時，深度值越小。本發(fā)明的進一步改進在于:所述步驟3)中灰度值自白色向黑色漸變，并根據(jù)深度值的數(shù)量確定灰度變化量，進而形成最小值為純白、最大值為純黑的灰度圖。本發(fā)明的進一步改進在于:所述灰度圖自2D圖像中的最低最近點逐步向最高最遠點繪制。由于采用了上述技術(shù)方案，本發(fā)明取得的技術(shù)進步是:本發(fā)明提出的一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法，可以對2D圖像及2D視頻實現(xiàn)具有高質(zhì)量的3D圖像及3D視頻轉(zhuǎn)換，不僅能有效降低3D圖像及3D視頻的投資成本，而且能降低3D圖像及3D視頻制作團隊的需求，同時提高3D圖像及3D視頻的制作效率。本發(fā)明在圖像及視頻2D轉(zhuǎn)3D過程中，可利用模型化扭曲圖像對物體的前后順序進行核對，保證灰度圖的正確性，從而提高3D圖像及3D視頻的轉(zhuǎn)換效率。本發(fā)明通過根據(jù)2D圖像及2D視頻中物體以及該物體各個點的相應深度值繪制等高線圖，可對2D圖像及2D視頻中的各個物體根據(jù)用戶需要進行不同的精確度的深度分配，深度分配準確，再根據(jù)等高線圖繪制灰度圖，從而保證3D圖像及3D視頻具有高度的立體逼真感。本發(fā)明在繪制灰度圖時從2D圖像及2D視頻中的最低最近點逐步向最聞最遠點繪制，可以有效利用2D圖像及2D視頻中物體的幾何信息及漸變效果，提高灰度圖的繪制效率。


圖1為本發(fā)明所述方法的流程圖。圖2為根據(jù)本發(fā)明針對一個實施例得到的3D圖像。其中a)是2D圖像，b)是2D圖像的等高線圖，c)是根據(jù)等高線圖及遠近關(guān)系繪制的灰度圖，d)是根據(jù)2D圖像和灰度圖得到的模型化扭曲圖像，e)是最終生成的3D圖像。
具體實施例方式下面結(jié)合附圖和具體實施例對本發(fā)明做進一步詳細說明。一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法是在圖像扭曲技術(shù)的基礎上完成2D圖像及2D視頻向3D圖像及3D視頻的轉(zhuǎn)換，其流程圖如圖1所示。實施例1在本實施例中，采用本發(fā)明所述方法將2D圖像轉(zhuǎn)換為3D圖像，首先應用相關(guān)軟件建立2D圖像的坐標系，根據(jù)2D圖像中各物體的坐標值追蹤拍攝該2D圖像的攝像機原點；然后以相等深度值的物體或物體上的各點為對象繪制2D圖像的等高線，生成等高線圖；再根據(jù)等高線圖繪制相應的灰度圖；再以灰度圖為立體模型、2D圖像為法線貼圖進行疊加生成模型化扭曲圖像；利用模型化扭曲圖像對2D圖像中各物體立體效果的前后順序進行核對，經(jīng)過微調(diào)2D圖像中各物體的灰度值最終達到灰度圖與物體立體效果的統(tǒng)一及匹配；進而確定左右攝像機的空間位置，最終生成3D圖像，具體包括以下步驟:步驟I)追蹤2D圖像的攝像機原點:將圖2a)所示的2D圖像在相關(guān)軟件中建立坐標系，根據(jù)2D圖像中各圖像的坐標值追S示拍攝該2D圖像的攝像機原點，從而確定2D圖像中各物體與攝像機原點的空間位置關(guān)系和遠近關(guān)系；步驟2)繪制等聞線圖:以追蹤到的2D圖像的攝像機原點為中心，參考圖2a)所示的2D圖像中各物體與攝像機的空間位置關(guān)系和遠近關(guān)系，以相等深度值的物體或物體上的各點為對象繪制2D圖像的等高線，生成等高線圖，其中深度值采用O到100之間的數(shù)值表示2D圖像中等高線圍成的區(qū)域的深度；根據(jù)當2D圖像中等高線圍成區(qū)域距離攝像機原點越遠時，深度值越大；距離攝像機原點越近時，深度值越小的原則，確定O表示零距離、100表示無限遠。最后將不同深度的物體進行區(qū)域劃分，對相同深度的物體進行區(qū)域摳圖，如圖2b)所示。步驟3)繪制灰度圖:將步驟2)中得出的深度值轉(zhuǎn)換為相應的灰度值，根據(jù)等高線圖將2D圖像中不同深度值的區(qū)域用不同灰度表示，其中O轉(zhuǎn)換為純白、100轉(zhuǎn)換為純黑，中間值由小到大按照由白色向黑色的趨勢漸變。在繪制灰度圖的過程中應首先從地面的灰度開始繪制，然后繪制接觸地面的物體的灰度，從而可以有效利用物體的漸變關(guān)系繪制灰度圖，提高灰度圖的繪制效率，根據(jù)圖2b)所示的等高線圖繪制的灰度圖如圖2c)所示。步驟4)合成模型化扭曲圖像:灰度圖中每個物體的灰度代表了 2D原始圖中對應物體的深度，從而該灰度圖可看作是2D圖像的立體模型。以灰度圖作為為立體模型基礎，作用于2D圖像的法線貼圖上，將2D圖像與灰度圖進行疊加生成具有立體效果的模型化扭曲圖像，如圖2d)所示。步驟5)核對物體的前后順序:利用模型化扭曲圖像對2D圖像中物體的立體效果的前后順序是否正確進行核對，如果物體的前后順序正確則進行步驟6)，否則返回步驟3)。經(jīng)過多次細微調(diào)節(jié)2D圖像中各物體的灰度，最終達到灰度圖與物體立體效果的統(tǒng)一及匹配。步驟6)確定左右攝像機的空間位置:根據(jù)2D圖像中各個物體的成像規(guī)則確定攝像機像素格的位移量，進一步模擬出左右兩部攝像機。在本實施例中，以拍攝該2D圖像的攝像機為左側(cè)攝像機，右側(cè)攝像機像素格的位移量向右(0~15個像素，從而模擬出左右兩部攝像機的空間位置。步驟7)生成3D圖像:根據(jù)模擬出的右側(cè)攝像機，參照灰度圖對2D圖像進行相應的像素格的移位，并對移位產(chǎn)生的破洞進行補洞，從而生成具有不同深度信息的3D圖像的右眼圖像，以原始的2D圖像為左眼圖像，將左右眼圖像合成形成3D圖像，如圖2e)所示。最后將生成的3D圖像輸入到相應的3D顯示設備即可進行顯示。實施例2一種基于圖像扭曲技術(shù)的視頻2D轉(zhuǎn)3D的方法是根據(jù)視頻是由連貫的一系列圖像組成的原理，利用實施例1中的方法對視頻中每一幀圖像進行2D轉(zhuǎn)3D，從而完成基于圖像扭曲技術(shù)的視頻2D轉(zhuǎn)3D。在視頻2D轉(zhuǎn)3D過程中，繪制等高線圖進行區(qū)域劃分并摳圖時，對視頻中的各物體影像進行相應模塊的跟蹤，形成灰度圖序列,從而生成2D視頻中各物體的動態(tài)灰度圖。最后將生成的3D視頻輸入到相應的3D顯示設備即可進行顯示。
權(quán)利要求
1.一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法，其特征在于:所述方法在圖像扭曲技術(shù)的基礎上將2D圖像及2D視頻轉(zhuǎn)換為相對應的3D圖像及3D視頻，具體實現(xiàn)方法包括以下步驟: 步驟I)追蹤2D圖像的攝像機原點:根據(jù)2D圖像中各物體的坐標值追蹤拍攝該2D圖像的攝像機原點，從而確定2D圖像中各物體與攝像機原點的空間位置關(guān)系和遠近關(guān)系；步驟2)繪制等高線圖:以2D圖像的攝像機原點為中心，參考2D圖像中各物體與攝像機的空間位置關(guān)系和遠近關(guān)系，按照2D圖像中各物體距離攝像機的遠近不同設定該物體以及該物體各個點的相應深度值，以相等深度值的物體或物體上的各點為對象繪制2D圖像的等高線，從而將位于不同等高線上的物體進行區(qū)域劃分并進行摳圖； 步驟3)繪制灰度圖:將步驟2)中得出的深度值轉(zhuǎn)換為相應的灰度值，根據(jù)等高線圖將2D圖像中不同深度值的區(qū)域用不同灰度表示，從而生成灰度圖； 步驟4)合成模型化扭曲圖像:以灰度圖作為立體模型基礎，作用于2D圖像的法線貼圖上，將2D圖像與灰度圖進行疊加從而生成具有立體效果的模型化扭曲圖像； 步驟5)核對物體的前后順序:對模型化扭曲圖像中各物體的立體效果的前后順序進行核對，如果各物體的前后順序均正確則進行步驟6)，否則返回步驟3)，對2D圖像中物體的灰度值進行細微調(diào)節(jié)，最終達到灰度圖與物體的立體效果的統(tǒng)一及匹配； 步驟6)確定左右攝像機的空間位置:根據(jù)2D圖像中各個物體的成像規(guī)則確定攝像機像素格的位移量，進一步模擬出左右兩部攝像機的空間位置； 步驟7)生成3D圖像:根據(jù)步驟6)確定的左右兩部攝像機的空間位置，參照灰度圖對2D圖像進行相應的像素格的移位與補洞，從而生成3D圖像即左右眼圖像； 步驟8)生成3D視頻:根據(jù)視頻中每一幀圖像分別重復步驟I)至步驟7)，生成每一幀2D圖像對應的3D圖像，從而生成3D視頻的左右眼視頻。
2.根據(jù)權(quán)利要求1所述的一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法，其特征在于:所述步驟2)的2D圖像中等高線圍成的區(qū)域距離攝像機原點越遠時，深度值越大；距離攝像機原點越近時，深度值越小。
3.根據(jù)權(quán)利要求2所述的一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法，其特征在于:所述步驟3)中灰度值自白色向黑色漸變，并根據(jù)深度值的數(shù)量確定灰度變化量，進而形成最小值為純白、最大值為純黑的灰度圖。
4.根據(jù)權(quán)利要求1至3任一項所述的一種基于圖像扭曲技術(shù)實現(xiàn)圖像及視頻2D轉(zhuǎn)3D的方法，其特征在于:所述灰度圖自2D圖像中的最低最近點逐步向最高最遠點繪制。
全文摘要
本發(fā)明涉及一種基于圖像扭曲技術(shù)的圖像及視頻2D轉(zhuǎn)3D的方法，是一種3D圖像及3D視頻的制作方法。所述方法通過追蹤2D圖像的攝像機原點首先繪制以攝像機為中心繪制等高線圖，然后繪制灰度圖，再以灰度圖作為立體模型基礎、作用于2D圖像的法線貼圖上，生成模型化扭曲圖像，根據(jù)模型化扭曲圖像對物體前后順序是否正確進行核對，最終對2D圖像進行像素格位移生成3D圖像。將2D視頻中每一幀圖像利用上述方法轉(zhuǎn)換為3D圖像，便可生成3D視頻。本發(fā)明不僅能使2D圖像及2D視頻產(chǎn)生逼真的3D立體效果，還有效降低3D圖像及3D視頻的制作成本，同時提高3D圖像及3D視頻的制作效率。
文檔編號H04N15/00GK103118269SQ20131004345
公開日2013年5月22日 申請日期2013年2月4日 優(yōu)先權(quán)日2013年2月4日
發(fā)明者郝勝利 申請人:河北瑪雅影視有限公司