基于深度圖繪制的多方向參考視點(diǎn)的warping方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于無線網(wǎng)絡(luò)中移動(dòng)設(shè)備端繪制三維圖形的多媒體領(lǐng)域，特別涉及一種移動(dòng)設(shè)備端基于多方向參考視點(diǎn)的3D WARPING圖形繪制方法。
【背景技術(shù)】
[0002]隨著手機(jī)硬件迅速發(fā)展，計(jì)算處理能力越來越強(qiáng)，手機(jī)的功能越來越強(qiáng)大，計(jì)算機(jī)三維圖形應(yīng)用程序也慢慢出現(xiàn)在手機(jī)上，如移動(dòng)三維游戲、移動(dòng)三維虛擬展示與漫游和移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)等應(yīng)用近幾年得到快速發(fā)展。然而，由于手機(jī)運(yùn)算能力及硬件方面的限制的問題，使得手機(jī)上面只能運(yùn)行小規(guī)模場(chǎng)景的三維圖形應(yīng)用程序，對(duì)大型場(chǎng)景、精細(xì)模型、高級(jí)特效的繪制顯得無能為力。
[0003]為有效克服手機(jī)運(yùn)算能力及硬件問題的不足，研宄者們提出一種基于客戶端服務(wù)器的繪制方式，服務(wù)器端進(jìn)行圖形繪制并將繪制圖像傳送給客戶端，客戶端根據(jù)圖像進(jìn)行交互繪制?？蛻舳嘶趫D像的繪制主要有三個(gè)方向:一是基于圖像替代物(imageimpostor)的繪制；二是基于環(huán)境圖(Environment Map)繪制；三是基于深度圖繪制。
[0004]第一方式繪制方式中，客戶端的采用簡(jiǎn)單的圖像顯示技術(shù)，在客戶端進(jìn)行交互過程中，每幀的繪制都需與服務(wù)端進(jìn)行數(shù)據(jù)通信，然后由服務(wù)器端繪制新視點(diǎn)下的圖像并傳輸給客戶端。由于這種繪制方式的每幀繪制都要由服務(wù)器進(jìn)行數(shù)據(jù)傳輸，因此有較大交互時(shí)延，很難應(yīng)用到現(xiàn)實(shí)應(yīng)用中。
[0005]第二種繪制方式通常被應(yīng)用于簡(jiǎn)化復(fù)雜的三維場(chǎng)景中的背景部分。此方法的服務(wù)端可以對(duì)于一個(gè)給定的視點(diǎn)位置產(chǎn)生一個(gè)360度的全景環(huán)境圖，而此圖在客戶端可以被投影為任意視角方向下的標(biāo)準(zhǔn)圖像，從而使客戶端用戶可以360度任意漫游。然而，當(dāng)用戶使用此方法進(jìn)行三維漫游時(shí)部分區(qū)域會(huì)產(chǎn)生較大的圖像變形失真現(xiàn)象。
[0006]第三種繪制方式中，研宄者采用3D WARPING技術(shù)，客戶端保存當(dāng)前視點(diǎn)下的由服務(wù)端預(yù)測(cè)生成的參考視點(diǎn)的深度圖和顏色圖，根據(jù)3DWARPING技術(shù)生成交互活動(dòng)下的新視點(diǎn)下的圖像，直到新視點(diǎn)超出參考視點(diǎn)，客戶端與服務(wù)器進(jìn)行新的數(shù)據(jù)傳輸。這種繪制方式采用3D WARPING技術(shù)的思想，由于每次保存的是參考視點(diǎn)下的深度圖和顏色圖，因此在交互生成參考視點(diǎn)范圍內(nèi)圖像的時(shí)候不需要傳輸新的數(shù)據(jù)，保證了圖像的實(shí)時(shí)顯示。
[0007]基于深度圖的繪制方式中，服務(wù)器端生成預(yù)測(cè)視點(diǎn)的時(shí)候一般是根據(jù)特定的移動(dòng)方式生成特定移動(dòng)方式下的參考視點(diǎn)，對(duì)于左右移動(dòng)方式，服務(wù)器預(yù)測(cè)的是左參考視點(diǎn)和右參考視點(diǎn)，對(duì)于前后移動(dòng)方式，服務(wù)器預(yù)測(cè)的是前參考視點(diǎn)和后參考視點(diǎn)。因此，這種繪制方式只能保證在一種交互方式的平滑交互，對(duì)于具有左右和前后兩種交互方式的客戶端，在交互過程中，由一種運(yùn)動(dòng)軌跡突變到另一運(yùn)動(dòng)軌跡或者兩種運(yùn)動(dòng)軌跡合成在一起時(shí)，就需要馬上與服務(wù)端進(jìn)行通信，進(jìn)行新的當(dāng)前視點(diǎn)下各個(gè)交互方式下的視點(diǎn)預(yù)測(cè)與圖像傳輸，因此有較多的時(shí)延。

【發(fā)明內(nèi)容】

[0008]本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提供了一種基于多深度圖繪制的多方向參考視點(diǎn)的WARPING 方法。
[0009]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案如下:
[0010]首先，服務(wù)器端根據(jù)當(dāng)前視點(diǎn)預(yù)測(cè)左上、右上、左下、右下四個(gè)參考視點(diǎn)(Vlf、Vrf,Vlb^Vrb)以及左左上、左左下、右右上、右右下、左上上、右上上、左下下、右下下八個(gè)Cache視點(diǎn)(Vllf、Vllb, Vrrf, Vrrb, Vlff, Vrff, Vlbb, VriJ，并繪制這些視點(diǎn)下深度圖和顏色圖；然后，服務(wù)器將各個(gè)預(yù)測(cè)的視點(diǎn)下的深度圖和顏色圖傳輸給客戶端；最后，客戶端根據(jù)交互運(yùn)動(dòng)獲得新的當(dāng)前視點(diǎn)值，如果新視點(diǎn)在參考視點(diǎn)范圍內(nèi)，使用3D WARPING技術(shù)根據(jù)參考視點(diǎn)圖像和深度圖WARPING合成獲得當(dāng)前視點(diǎn)的圖像；如果新視點(diǎn)超出參考視點(diǎn)范圍，則根據(jù)Cache視點(diǎn)更新參考視點(diǎn)，并向服務(wù)器發(fā)生請(qǐng)求新Cache視點(diǎn)的信息，更新Cache視點(diǎn)。
[0011]本發(fā)明與【背景技術(shù)】相比，具有的有益的效果是:本發(fā)明是一種適用于前后兩種運(yùn)動(dòng)軌跡下視點(diǎn)預(yù)測(cè)方法，能夠在低延遲下WARPING獲得四個(gè)參考視點(diǎn)組成矩形區(qū)域內(nèi)的任一視點(diǎn)下的圖像。
【附圖說明】
[0012]圖1為服務(wù)器預(yù)測(cè)參考視點(diǎn)和Cache視點(diǎn)；
[0013]圖2為客戶端在當(dāng)前視點(diǎn)超出參考視點(diǎn)后視點(diǎn)更新。
【具體實(shí)施方式】
[0014]以下結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說明:
[0015]現(xiàn)有的參考視點(diǎn)預(yù)測(cè)方法是根據(jù)特定的移動(dòng)方式生成特定移動(dòng)方式下的參考視點(diǎn)，只能保證交互在同一交互方式下的平滑交互，如果在交互過程中，由左右移動(dòng)突變到前后移動(dòng)，則需要當(dāng)前視點(diǎn)下的前后參考視點(diǎn)下的圖像數(shù)據(jù)，在此過程中會(huì)有一定時(shí)延。而采用左上、右上、左下、右下四個(gè)方向的參考視點(diǎn)，在WARPING的過程中，不分交互方式，將四個(gè)參考視點(diǎn)下的圖像直接WARPING到目標(biāo)視點(diǎn)，在四個(gè)參考視點(diǎn)范圍內(nèi)的矩形區(qū)域左右和前后移動(dòng)都不會(huì)需要傳輸新的圖像數(shù)據(jù)，因此大大降低交互時(shí)延。同時(shí)通過提供八個(gè)Cache視點(diǎn)，在當(dāng)前視點(diǎn)超出當(dāng)前參考視點(diǎn)的矩形區(qū)域后，可立即實(shí)現(xiàn)參考視點(diǎn)的更新，保證了平滑交互的進(jìn)行。
[0016]本方法的具體實(shí)施如下:
[0017]首先，服務(wù)器端根據(jù)客戶端傳來的當(dāng)前視點(diǎn)位置，獲得當(dāng)前視點(diǎn)下的場(chǎng)景的深度圖，并根據(jù)深度圖預(yù)測(cè)得當(dāng)前視點(diǎn)下Vlf、Vrf, Vlb、Vrb四個(gè)參個(gè)視點(diǎn)以及V llf、Vllb, Vrrf, Vrrb,Vlff、Vrff、Vlbb、Vrtb八個(gè)參考視點(diǎn)的Cache視點(diǎn)(如圖1所示)。此時(shí)，服務(wù)端存有參考視點(diǎn)及Cache視點(diǎn)下的深度圖及顏色圖。
[0018]然后，服務(wù)器端將預(yù)測(cè)得到的四個(gè)參考視點(diǎn)及Cache視點(diǎn)位置，傳送給客戶端，并將各個(gè)預(yù)測(cè)的視點(diǎn)下的深度圖和顏色圖傳輸給客戶端。此時(shí)，客戶端保存有各個(gè)參考視點(diǎn)和Cache視點(diǎn)的位置及深度圖和顏色圖。
[0019]最后，客戶端根據(jù)客戶交互方式，計(jì)算得到新到當(dāng)前視點(diǎn)的位置。此時(shí)，根據(jù)新視點(diǎn)是否在參考視點(diǎn)的范圍內(nèi)，來決定操作步驟。這里定義vif、Vrf^ vlb、^^四個(gè)參考視點(diǎn)顏色圖分別為 colorLF、colorRF、colorLB、colorRB, Vllf、Vllb、Vrrf> Vrrb> Vlff> Vrff> Vlbb> Vrbb八個(gè) Cache 視點(diǎn)定義如下 colorLLF、colorLLB、colorRRF、colorRFB、colorLFF、colorRFF、colorLBB、colorRBB。
[0020]步驟I如果新視點(diǎn)在參考視點(diǎn)范圍內(nèi)，則進(jìn)行步驟2，否則執(zhí)行步驟3。
[0021]步驟2將新視點(diǎn)作為目標(biāo)視點(diǎn)，并根據(jù)四個(gè)參考視點(diǎn)的位置和深度圖，將四個(gè)參考視點(diǎn)下的顏色圖分別WARPING到目標(biāo)視點(diǎn)下，獲得目標(biāo)視點(diǎn)下的場(chǎng)景圖像。
[0022]步驟3，根據(jù)新視點(diǎn)在參考視點(diǎn)范圍外的上下左右四個(gè)方向來進(jìn)行數(shù)據(jù)更新，如果新視點(diǎn)在參考視點(diǎn)范圍的上部，則將顏色圖數(shù)據(jù)進(jìn)行如下數(shù)據(jù)更新(如圖2所示)
[0023]arraycopy(colorLLB, colorLLF);
[0024]arraycopy (colorRRB, colorRRF);
[0025]arraycopy (colorRF, colorRFF);
[0026]arraycopy (colorLF, colorLFF);
[0027]arraycopy (colorRB, colorRF);
[0028]arraycopy(colorLB, colorLF);
[0029]arraycopy (colorRBB, colorRB);
[0030]arraycopy (colorLBB, colorLB);
[0031]之后，向服務(wù)器請(qǐng)求更新Cache視點(diǎn)，服務(wù)器根據(jù)新的當(dāng)前視點(diǎn)預(yù)測(cè)左左后、右右后、左后后、右后后這四個(gè)新的Cache視點(diǎn)位置及視點(diǎn)下的場(chǎng)景深度圖和顏色圖。同時(shí)，如果新視點(diǎn)在參考視點(diǎn)范圍的其它部分，也作類似的操作。更新參考視點(diǎn)和Cache視點(diǎn)后，跳轉(zhuǎn)步驟2。
【主權(quán)項(xiàng)】
1.基于深度圖繪制的多方向參考視點(diǎn)的WARPING方法，其特征在于:步驟1.服務(wù)器端根據(jù)客戶端傳來的當(dāng)前視點(diǎn)位置，獲得當(dāng)前視點(diǎn)下的場(chǎng)景的深度圖，并根據(jù)深度圖預(yù)測(cè)當(dāng)前視點(diǎn)下左上、右上、左下、右下四個(gè)參考視點(diǎn)，記為:Vlf、Vrf、Vlb、VA;以及左左上、左左下、右右上、右右下、左上上、右上上、左下下、右下下八個(gè)Cache視點(diǎn)，記為: Vllf、Vllb、Vrrf、Vrrb、^lff' ^rff' Vlbb、Vrbb; 并繪制這些視點(diǎn)下深度圖和顏色圖； 步驟2.服務(wù)器端將預(yù)測(cè)得到的四個(gè)參考視點(diǎn)及Cache視點(diǎn)位置，傳送給客戶端，并將各個(gè)預(yù)測(cè)的視點(diǎn)下的深度圖和顏色圖傳輸給客戶端； 步驟3.客戶端根據(jù)客戶交互方式，計(jì)算得到新的當(dāng)前視點(diǎn)的位置；此時(shí)，根據(jù)新視點(diǎn)是否在參考視點(diǎn)的范圍內(nèi)，來執(zhí)行以下步驟: 步驟3-1.如果新視點(diǎn)在參考視點(diǎn)范圍內(nèi)，則進(jìn)行步驟3-2，否則執(zhí)行步驟3-3 ; 步驟3-2.將新視點(diǎn)作為目標(biāo)視點(diǎn)，并根據(jù)四個(gè)參考視點(diǎn)的位置和深度圖，將四個(gè)參考視點(diǎn)下的顏色圖分別WARPING到目標(biāo)視點(diǎn)下，獲得目標(biāo)視點(diǎn)下的場(chǎng)景圖像； 步驟3-3.根據(jù)新視點(diǎn)在參考視點(diǎn)范圍外的上下左右四個(gè)方向來進(jìn)行數(shù)據(jù)更新，如果新視點(diǎn)在參考視點(diǎn)范圍的上部，則將顏色圖數(shù)據(jù)進(jìn)行更新；之后，向服務(wù)器請(qǐng)求更新Cache視點(diǎn)，服務(wù)器根據(jù)新的當(dāng)前視點(diǎn)預(yù)測(cè)左左后、右右后、左后后、右后后這四個(gè)新的Cache視點(diǎn)位置及視點(diǎn)下的場(chǎng)景深度圖和顏色圖；同時(shí)，如果新視點(diǎn)在參考視點(diǎn)范圍的其它部分，同樣更新參考視點(diǎn)和Cache視點(diǎn)，再跳轉(zhuǎn)至步驟3-2。
2.根據(jù)權(quán)利要求1所述的基于深度圖繪制的多方向參考視點(diǎn)的WARPING方法，其特征在于:顏色圖數(shù)據(jù)進(jìn)行更新過程為:arraycopy(colorLLB, colorLLF)；arraycopy(colorRRB, colorRRF)；arraycopy(colorRF, colorRFF)；arraycopy(colorLF, colorLFF)；arraycopy(colorRB, colorRF)；arraycopy (colorLB, colorLF)；arraycopy(colorRBB, colorRB)；arraycopy(colorLBB, colorLB)； 其中 colorLF、colorRF、colorLB、colorRB 分別為 Vlf、Vrf、Vlb、Vrb參考視點(diǎn)顏色圖；colorLLF、colorLLB、colorRRF、colorRFB、colorLFF、colorRFF、colorLBB、colorRBB ;分別為 Vllf、Vllb.Vrrf、Vrrb, Vlff、Vrff、Vlbb, VrbbCache 視點(diǎn)顏色圖。
【專利摘要】本發(fā)明公開了一種基于深度圖繪制的多方向參考視點(diǎn)的WARPING方法。本發(fā)明首先服務(wù)器端根據(jù)當(dāng)前視點(diǎn)預(yù)測(cè)四個(gè)參考視點(diǎn)以及八個(gè)Cache視點(diǎn)，并繪制這些視點(diǎn)下深度圖和顏色圖；然后服務(wù)器將各個(gè)預(yù)測(cè)的視點(diǎn)下的深度圖和顏色圖傳輸給客戶端；最后客戶端根據(jù)交互運(yùn)動(dòng)獲得新的當(dāng)前視點(diǎn)值，如果新視點(diǎn)在參考視點(diǎn)范圍內(nèi)，使用3DWARPING技術(shù)根據(jù)參考視點(diǎn)圖像和深度圖WARPING合成獲得當(dāng)前視點(diǎn)的圖像；如果新視點(diǎn)超出參考視點(diǎn)范圍，則根據(jù)Cache視點(diǎn)更新參考視點(diǎn)，并向服務(wù)器發(fā)生請(qǐng)求新Cache視點(diǎn)的信息，更新Cache視點(diǎn)。本發(fā)明能夠在低延遲下WARPING獲得四個(gè)參考視點(diǎn)組成矩形區(qū)域內(nèi)的任一視點(diǎn)下的圖像。
【IPC分類】G06T17-00
【公開號(hào)】CN104766363
【申請(qǐng)?zhí)枴緾N201510057154
【發(fā)明人】楊柏林, 王玉峰, 金劍秋, 韓建偉, 王勛
【申請(qǐng)人】浙江工商大學(xué)
【公開日】2015年7月8日
【申請(qǐng)日】2015年2月4日