一種基于融合深度線索的全自動(dòng)二維轉(zhuǎn)三維方法和裝置制造方法
【專利摘要】本發(fā)明針對(duì)當(dāng)前全自動(dòng)2D轉(zhuǎn)3D系統(tǒng)提取深度信息不準(zhǔn)確，立體感受不舒適等缺點(diǎn)，提出了一種融合運(yùn)動(dòng)視差和色彩兩種深度線索的全自動(dòng)2D到3D的轉(zhuǎn)換方法和裝置。本發(fā)明將運(yùn)動(dòng)視差和色彩兩種深度線索以適當(dāng)?shù)姆绞饺诤掀饋?lái)作為提取深度信息的依據(jù)，充分利用了兩種深度線索的優(yōu)勢(shì)，使提取的深度圖適用于更多的場(chǎng)景條件，更加準(zhǔn)確。用戶通過(guò)簡(jiǎn)單的參數(shù)設(shè)置就對(duì)二維的圖片序列或者視頻進(jìn)行深度圖的提取，并能夠合成三維立體視頻，在三維視頻生成領(lǐng)域有著實(shí)際的應(yīng)用價(jià)值。
【專利說(shuō)明】一種基于融合深度線索的全自動(dòng)二維轉(zhuǎn)三維方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種二維到三維視頻的全自動(dòng)轉(zhuǎn)換技術(shù)，屬于圖像、多媒體信號(hào)處理

【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002] 隨著3D顯示技術(shù)的發(fā)展與3D顯示設(shè)備的普及，3D視頻內(nèi)容短缺的問(wèn)題凸現(xiàn)出來(lái)。 使用現(xiàn)有的3D拍攝系統(tǒng)拍攝3D內(nèi)容由于需要消耗大量的人力物力而無(wú)法快速普及。近些 年來(lái)，2D轉(zhuǎn)3D技術(shù)逐漸興起并成為研究熱點(diǎn)，通過(guò)將現(xiàn)有的海量2D視頻內(nèi)容轉(zhuǎn)換為3D內(nèi) 容，能夠有效地解決3D視頻內(nèi)容短缺的問(wèn)題，并且能夠促進(jìn)3D技術(shù)的進(jìn)一步發(fā)展。
[0003] 現(xiàn)有的2D轉(zhuǎn)3D技術(shù)按照人工參與程度分為以下三個(gè)種類：人工、半自動(dòng)和全自 動(dòng)。人工的方法是對(duì)圖像上不同的區(qū)域或者物體選擇不同的深度值來(lái)對(duì)像素進(jìn)行水平偏 移，但是這需要耗費(fèi)大量的人力和物力。半自動(dòng)的2D轉(zhuǎn)3D需要少量的人工手動(dòng)修正。盡 管這種方法和手動(dòng)方法相比已經(jīng)減少了人力的耗費(fèi)，但是仍舊需要大量的人工工作。要將 大量的2D視頻以最經(jīng)濟(jì)的方式轉(zhuǎn)換為3D視頻，全自動(dòng)的方法無(wú)疑是最受好評(píng)的方法。
[0004] 最常用的全自動(dòng)的2D到3D視頻轉(zhuǎn)換的框架基本上包括兩部分：深度信息的提取 和根據(jù)已估計(jì)的深度信息和已知的視覺(jué)條件合成立體視圖。人通過(guò)左右眼的視差分辨出事 物的遠(yuǎn)近，從而產(chǎn)生立體感覺(jué)，事物的遠(yuǎn)近程度用深度信息來(lái)表示。在3D圖像處理領(lǐng)域，深 度信息用灰度值來(lái)表示，整幅圖像的深度信息組成了一幅灰度圖，也就是深度圖。在人類視 覺(jué)系統(tǒng)中，感知深度信息的線索很多，被稱之為深度線索。除了雙眼感知到的深度線索，從 單眼也能夠感知到深度，這類線索被稱為單眼深度線索。在將二維圖像轉(zhuǎn)換為三維圖像的 過(guò)程中，提取深度線索的依據(jù)常常是單眼深度線索。最重要的單眼深度線索有運(yùn)動(dòng)視差、圖 形線索（紋理，亮度等）、幾何模型等。
[0005] 運(yùn)動(dòng)視差這種深度線索是一種多幀的深度線索，利用了攝像機(jī)與場(chǎng)景的相對(duì)運(yùn)動(dòng) 關(guān)系。當(dāng)攝像機(jī)移動(dòng)時(shí)，前后連續(xù)幀場(chǎng)景中物體運(yùn)動(dòng)幅度越大，則離攝像機(jī)越近，反之則越 遠(yuǎn)。跟蹤場(chǎng)景的運(yùn)動(dòng)需要利用運(yùn)動(dòng)估計(jì)的方法，通過(guò)運(yùn)動(dòng)估計(jì)來(lái)獲得物體的運(yùn)動(dòng)幅度。運(yùn) 動(dòng)估計(jì)的方法有很多種類，根據(jù)估計(jì)的精度不同可以分為基于塊、基于像素和基于亞像素 的運(yùn)動(dòng)估計(jì)，其中基于像素的運(yùn)動(dòng)估計(jì)能夠利用較低的運(yùn)動(dòng)復(fù)雜度獲得精度相對(duì)較高的運(yùn) 動(dòng)向量。
[0006] 利用色彩線索能夠估計(jì)邊緣和顏色域的深度信息。二維圖像物體的邊緣往往也是 深度圖像物體的邊緣；從顏色域上考慮，在自然場(chǎng)景中，高亮度的物體給人的感覺(jué)比低亮度 的物體給人的感覺(jué)更近一些，紅色等暖色給人的感覺(jué)要比藍(lán)色等冷色給人的感覺(jué)近一些。 因此，色彩線索也能作為深度提取的重要依據(jù)。YCbCr彩色空間廣泛應(yīng)用于數(shù)字視頻，亮度 信息用分量Y表示，彩色信息用兩個(gè)色差分量Cb和Cr來(lái)存儲(chǔ)，其中Cr指的紅色色度分量。 在應(yīng)用上很廣泛，JPEG、MPEG、DVD、攝影機(jī)、數(shù)字電視等皆采此一格式。
[0007] 現(xiàn)有的全自動(dòng)2D轉(zhuǎn)3D的方法大多利用單個(gè)深度線索提取深度，無(wú)法獲得準(zhǔn)確的 深度信息，導(dǎo)致最終無(wú)法獲得舒適的立體視覺(jué)效果。運(yùn)動(dòng)視差雖然被稱為最可靠的深度線 索，但是無(wú)法用來(lái)估計(jì)靜止物體的深度。利用幾何透視來(lái)分配深度，幾何模型往往不具有普 適性，無(wú)法匹配所有幾何場(chǎng)景。而色彩線索往往由經(jīng)驗(yàn)得出，對(duì)場(chǎng)景的要求更高，準(zhǔn)確性無(wú) 法保證?，F(xiàn)有的很多由2D轉(zhuǎn)3D獲得的3D視頻內(nèi)容很多都是由簡(jiǎn)單的全自動(dòng)的轉(zhuǎn)換方法 獲得的"偽"3D內(nèi)容，以此達(dá)到快速提高市場(chǎng)占有率的作用，雖然能夠讓消費(fèi)者獲得立體視 覺(jué)體驗(yàn)，卻無(wú)法提供舒適的視覺(jué)效果。然而，如果將多種深度線索以適當(dāng)?shù)姆绞饺诤蟻?lái)獲取 深度圖，就能利用多種深度線索的優(yōu)勢(shì)來(lái)獲得更準(zhǔn)確的深度信息，從而合成質(zhì)量更高的三 維視圖。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明針對(duì)當(dāng)前全自動(dòng)2D轉(zhuǎn)3D系統(tǒng)提取深度信息不準(zhǔn)確，立體感受不舒適等缺 點(diǎn)，提出了一種融合運(yùn)動(dòng)視差和Cr色度分量?jī)煞N深度線索的全自動(dòng)2D到3D的轉(zhuǎn)換方法和 裝置。本發(fā)明將運(yùn)動(dòng)視差和Cr色度分量?jī)煞N深度線索以適當(dāng)?shù)姆绞饺诤掀饋?lái)作為提取深 度信息的依據(jù)，充分利用了兩種深度線索的優(yōu)勢(shì)，使提取的深度圖適用于更多的場(chǎng)景條件， 更加準(zhǔn)確。用戶利用本裝置根據(jù)對(duì)視頻場(chǎng)景的主觀感受進(jìn)行簡(jiǎn)單的參數(shù)設(shè)置就可以對(duì)二維 的圖片序列或者視頻進(jìn)行深度圖的提取，并能夠合成三維立體視頻。
[0009] 本發(fā)明采用的技術(shù)方案為：
[0010] 一種基于融合深度線索的全自動(dòng)2D轉(zhuǎn)3D方法，根據(jù)運(yùn)動(dòng)視差和Cr色度分量?jī)煞N 深度線索的適當(dāng)組合提取深度圖，然后利用基于深度圖的渲染（DIBR)技術(shù)合成立體視圖， 其特征在于：利用光流的方法計(jì)算運(yùn)動(dòng)向量，將運(yùn)動(dòng)向量量化為深度值；同時(shí)利用原始二 維圖像的Cr色度分量提取深度信息；最后將兩種深度值根據(jù)人工設(shè)置的權(quán)重進(jìn)行加權(quán)，從 而獲得融合的深度圖。具體步驟如下：
[0011] (1)利用光流的方法進(jìn)行運(yùn)動(dòng)估計(jì)：利用光流的方法對(duì)圖片序列或者視頻的當(dāng)前 幀和之后一幀進(jìn)行運(yùn)動(dòng)估計(jì)，為了提高計(jì)算速度，在運(yùn)動(dòng)估計(jì)之前對(duì)圖像進(jìn)行下采樣；
[0012] (2)將根據(jù)運(yùn)動(dòng)估計(jì)獲得的深度圖與Cr色差分量表示的深度圖進(jìn)行融合：根據(jù)運(yùn) 動(dòng)向量坐標(biāo)值計(jì)算前后兩幀對(duì)應(yīng)運(yùn)動(dòng)匹配點(diǎn)間的歐式距離，并根據(jù)映射函數(shù)量化為最大為 255的深度值，然后，提取當(dāng)前幀圖像的Cr色度分量的值作為根據(jù)Cr色度分量提取的深度 值，最后，將運(yùn)動(dòng)向量量化后的深度值和根據(jù)Cr色度分量提取的深度值按照人工設(shè)定的權(quán) 重進(jìn)行加權(quán)，獲得最終的融合深度圖；
[0013] (3)立體視圖合成：根據(jù)人工設(shè)置的最大視差，利用深度圖和原始二維視圖，通過(guò) 基于深度圖的渲染技術(shù)合成左右眼視圖。
[0014] 本發(fā)明的基于融合深度線索的全自動(dòng)二維轉(zhuǎn)三維裝置，包括如下組成模塊：
[0015] (1)輸入模塊：該模塊可以將二維圖片序列和二維視頻作為視頻源導(dǎo)入，輸入模 塊能夠自動(dòng)識(shí)別視頻格式和總幀數(shù)，并且能夠?qū)?D轉(zhuǎn)3D進(jìn)行參數(shù)設(shè)置；
[0016] (2)深度提取模塊：該模塊可以人工設(shè)定光流方法的搜索范圍和深度圖加權(quán)系 數(shù)，根據(jù)運(yùn)動(dòng)視差和色差分量?jī)煞N深度線索提取深度信息，進(jìn)行加權(quán)獲得融合的深度圖，并 且能獲得深度視頻；
[0017] (3)立體視圖合成模塊：該模塊可以人工設(shè)定最大視差范圍，利用DIBR的方法合 成二維圖像的左右眼視圖，使用3D顯示設(shè)備或者利用軟件合成紅藍(lán)視圖，以供在二維顯示 設(shè)備上進(jìn)行觀看。
[0018] 本發(fā)明將運(yùn)動(dòng)視差和Cr色度分量?jī)煞N深度線索以適當(dāng)?shù)姆绞饺诤掀饋?lái)作為提取 深度信息的依據(jù)，充分利用了運(yùn)動(dòng)視差這種深度線索提取運(yùn)動(dòng)場(chǎng)景深度信息和Cr色度分 量這種色彩深度線索提取靜止場(chǎng)景深度信息的優(yōu)勢(shì)，使提取的深度圖適用于更多的場(chǎng)景條 件，更加準(zhǔn)確。用戶通過(guò)本發(fā)明裝置能夠方便地進(jìn)行參數(shù)設(shè)置，對(duì)二維的圖片序列或者視 頻進(jìn)行基于這兩種深度線索的深度圖的提取，并能夠根據(jù)設(shè)置的最大視差合成三維立體視 頻，在三維視頻生成領(lǐng)域有著實(shí)際的應(yīng)用價(jià)值。

【專利附圖】

【附圖說(shuō)明】
[0019] 圖1是本發(fā)明的方法框圖；
[0020] 圖2是本發(fā)明的軟件開發(fā)界面，正在進(jìn)行的操作為深度圖的提取；
[0021] 圖3是本發(fā)明針對(duì)選取的單幀測(cè)試圖片獲得的實(shí)驗(yàn)結(jié)果，左邊圖片為選取的測(cè)試 圖片的原始圖像，右邊圖像為本發(fā)明產(chǎn)生的深度圖。

【具體實(shí)施方式】
[0022] 本發(fā)明提出的全自動(dòng)的二維轉(zhuǎn)三維方法具體流程如圖1所示，首先利用光流的方 法對(duì)第η和n+1幀進(jìn)行運(yùn)動(dòng)估計(jì)，對(duì)得出的運(yùn)動(dòng)向量計(jì)算歐式距離獲得基于運(yùn)動(dòng)視差的深 度圖。同時(shí)對(duì)第η幀圖像提取Cr色度分量，獲得基于色差的深度圖。然后，對(duì)兩個(gè)深度圖 根據(jù)設(shè)定權(quán)重進(jìn)行融合，獲得融合的深度圖。最后利用第η幀的二維原始圖像和深度圖根 據(jù)DIBR技術(shù)進(jìn)行立體合成，最終獲得左右眼立體視圖。
[0023] 本發(fā)明采用的深度提取方法是融合運(yùn)動(dòng)視差和色度分量的深度提取方法，為了提 高計(jì)算速度，在處理之前對(duì)圖像進(jìn)行四分之一下采樣，提取出的深度圖再進(jìn)行上采樣恢復(fù) 為原有分辨率。具體算法實(shí)現(xiàn)過(guò)程如下：
[0024] (1)利用光流的方法計(jì)算第η幀和第n+1幀的運(yùn)動(dòng)向量，根據(jù)獲得的運(yùn)動(dòng)向量計(jì) 算歐式距離。歐式距離越大，說(shuō)明物體運(yùn)動(dòng)幅度越大，離攝像機(jī)也越近，以此為依據(jù)能夠估 計(jì)出場(chǎng)景中運(yùn)動(dòng)物體的深度。根據(jù)公式將計(jì)算出的歐氏距離量化成為〇?255之間的深度 值。公式如下：
[0025]

【權(quán)利要求】
1. 一種基于融合深度線索的全自動(dòng)2D轉(zhuǎn)3D方法，根據(jù)運(yùn)動(dòng)視差和Cr色度分量?jī)煞N 深度線索的適當(dāng)組合提取深度圖，然后利用基于深度圖的渲染技術(shù)合成立體視圖，其特征 在于：利用光流的方法計(jì)算運(yùn)動(dòng)向量，將運(yùn)動(dòng)向量量化為深度值；同時(shí)利用原始二維圖像 的Cr色度分量提取深度信息；最后將兩種深度值根據(jù)人工設(shè)置的權(quán)重進(jìn)行加權(quán)，從而獲得 融合的深度圖，具體步驟如下： (1) 利用光流的方法進(jìn)行運(yùn)動(dòng)估計(jì)：利用光流的方法對(duì)圖片序列或者視頻的當(dāng)前幀和 之后一幀進(jìn)行運(yùn)動(dòng)估計(jì)，為了提高計(jì)算速度，在運(yùn)動(dòng)估計(jì)之前對(duì)圖像進(jìn)行下采樣； (2) 將根據(jù)運(yùn)動(dòng)估計(jì)獲得的深度圖與Cr色差分量表示的深度圖進(jìn)行融合：根據(jù)運(yùn)動(dòng)向 量坐標(biāo)值計(jì)算前后兩幀對(duì)應(yīng)運(yùn)動(dòng)匹配點(diǎn)間的歐式距離，并根據(jù)映射函數(shù)量化為最大為255 的深度值，然后，提取當(dāng)前幀圖像的Cr色度分量的值作為根據(jù)Cr色度分量提取的深度值， 最后，將運(yùn)動(dòng)向量量化后的深度值和根據(jù)Cr色度分量提取的深度值按照人工設(shè)定的權(quán)重 進(jìn)行加權(quán)，獲得最終的融合深度圖； (3) 立體視圖合成：根據(jù)人工設(shè)置的最大視差，利用深度圖和原始二維視圖，通過(guò)基于 深度圖的渲染技術(shù)合成左右眼視圖。
2. -種基于融合深度線索的全自動(dòng)2D轉(zhuǎn)3D裝置，包括如下組成模塊： (1) 輸入模塊：該模塊可以將二維圖片序列和二維視頻作為視頻源導(dǎo)入，輸入模塊能 夠自動(dòng)識(shí)別視頻格式和總幀數(shù)，并且能夠?qū)?D轉(zhuǎn)3D進(jìn)行參數(shù)設(shè)置； (2) 深度提取模塊：該模塊可以人工設(shè)定光流方法的搜索范圍和深度圖加權(quán)系數(shù)，根 據(jù)運(yùn)動(dòng)視差和色差分量?jī)煞N深度線索提取深度信息，進(jìn)行加權(quán)獲得融合的深度圖，并且能 獲得深度視頻； (3) 立體視圖合成模塊：該模塊可以人工設(shè)定最大視差范圍，利用基于深度圖的渲染 技術(shù)合成二維圖像的左右眼視圖，使用3D顯示設(shè)備或者利用軟件合成紅藍(lán)視圖，以供在二 維顯示設(shè)備上進(jìn)行觀看。
3. 據(jù)權(quán)利要求2所述的一種基于融合深度線索的全自動(dòng)2D轉(zhuǎn)3D裝置，其特征在于： 具有暫停、保存和導(dǎo)入功能，當(dāng)轉(zhuǎn)換過(guò)程較長(zhǎng)時(shí)，可以對(duì)轉(zhuǎn)換過(guò)程進(jìn)行暫停和保存，等下次 可以對(duì)未完成的轉(zhuǎn)換任務(wù)的參數(shù)文件進(jìn)行導(dǎo)入并繼續(xù)任務(wù)。
【文檔編號(hào)】H04N15/00GK104052990SQ201410308547
【公開日】2014年9月17日 申請(qǐng)日期:2014年6月30日 優(yōu)先權(quán)日:2014年6月30日
【發(fā)明者】劉琚, 曹廣昊 申請(qǐng)人:山東大學(xué)