360度全景視頻的播放方法、播放模塊及移動(dòng)終端的制作方法
【專(zhuān)利摘要】本發(fā)明涉及圖像顯示技術(shù)領(lǐng)域，公開(kāi)了一種360度全景視頻的播放方法、播放模塊及移動(dòng)終端。本發(fā)明中，360度全景視頻的播放方法，包含以下步驟：生成三維視頻；獲取當(dāng)前視點(diǎn)；根據(jù)所述當(dāng)前視點(diǎn)從所述三維視頻中提取當(dāng)前視角范圍內(nèi)的三維視頻；將所述當(dāng)前視角范圍內(nèi)的三維視頻轉(zhuǎn)換成雙目視頻進(jìn)行播放。本發(fā)明提供的360度全景視頻的播放方法、播放模塊及移動(dòng)終端，在雙目顯示過(guò)程中實(shí)現(xiàn)了360度全景播放，從而提高了虛擬現(xiàn)實(shí)技術(shù)帶給用戶(hù)的真實(shí)性體驗(yàn)。
【專(zhuān)利說(shuō)明】
360度全景視頻的播放方法、播放模塊及移動(dòng)終端
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及圖像顯示技術(shù)領(lǐng)域，特別涉及一種360度全景視頻的播放方法、播放模塊及移動(dòng)終端。
【背景技術(shù)】
[0002]Google Cardboard，通俗點(diǎn)說(shuō)它就是一臺(tái)簡(jiǎn)易的虛擬現(xiàn)實(shí)眼鏡。Cardboard與安裝了Google Cardboard應(yīng)用程序的手機(jī)結(jié)合使用，便組成了一個(gè)虛擬現(xiàn)實(shí)設(shè)備，用戶(hù)能夠觀看到三維視頻畫(huà)面，感受到虛擬現(xiàn)實(shí)的魅力。
[0003]然而，當(dāng)前的手機(jī)上，采用Cardboard應(yīng)用程序播放三維視頻的視角是由原始視頻的拍攝角度決定的，即，用戶(hù)觀看三維視頻的角度是由原始視頻的拍攝角度決定的，播放出來(lái)的三維視頻無(wú)法根據(jù)用戶(hù)的觀看角度變化而變化。隨著用戶(hù)對(duì)虛擬現(xiàn)實(shí)的真實(shí)性要求越來(lái)越高，目前手機(jī)上的這種虛擬現(xiàn)實(shí)的實(shí)現(xiàn)方式已無(wú)法滿(mǎn)足用戶(hù)希望達(dá)到身臨其境的真實(shí)性體驗(yàn)的要求。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種360度全景視頻的播放方法、播放模塊及移動(dòng)終端，在雙目顯示過(guò)程中實(shí)現(xiàn)了360度全景播放，從而提高了虛擬現(xiàn)實(shí)技術(shù)帶給用戶(hù)的真實(shí)性體驗(yàn)。
[0005]為解決上述技術(shù)問(wèn)題，本發(fā)明的實(shí)施方式提供了一種360度全景視頻的播放方法，包含以下步驟:生成三維視頻;獲取當(dāng)前視點(diǎn);根據(jù)所述當(dāng)前視點(diǎn)從所述三維視頻中提取當(dāng)前視角范圍內(nèi)的三維視頻;將所述當(dāng)前視角范圍內(nèi)的三維視頻轉(zhuǎn)換成雙目視頻進(jìn)行播放。
[0006]本發(fā)明的實(shí)施方式還提供了一種360度全景視頻的播放模塊，包含:三維視頻生成單元、視點(diǎn)獲取單元、視頻提取單元以及雙目視頻播放單元;所述三維視頻生成單元用于生成三維視頻;所述視點(diǎn)獲取單元用于獲取當(dāng)前視點(diǎn)；所述視頻提取單元用于根據(jù)所述當(dāng)前視點(diǎn)從所述三維視頻中提取當(dāng)前視角范圍內(nèi)的三維視頻;所述雙目視頻播放單元用于將所述當(dāng)前視角范圍內(nèi)的三維視頻轉(zhuǎn)換成雙目視頻進(jìn)行播放。
[0007]本發(fā)明的實(shí)施方式還提供了一種移動(dòng)終端，包含所述的360度全景視頻的播放模塊
[0008]本發(fā)明實(shí)施方式相對(duì)于現(xiàn)有技術(shù)而言，生成三維視頻;獲取當(dāng)前視點(diǎn);并根據(jù)所述當(dāng)前視點(diǎn)從所述三維視頻中提取當(dāng)前視角范圍內(nèi)的三維視頻；即，采用360算法并結(jié)合當(dāng)前視點(diǎn)獲取當(dāng)前視角范圍內(nèi)的三維視頻，并將獲取的當(dāng)前視角范圍內(nèi)的三維視頻作為Cardboard應(yīng)用程序的視頻來(lái)源;然后，Cardboard應(yīng)用程序?qū)?dāng)前視角范圍內(nèi)的三維視頻轉(zhuǎn)換成雙目視頻進(jìn)行播放。因此，本發(fā)明的實(shí)施方式在雙目顯示過(guò)程中實(shí)現(xiàn)了 360度全景播放，提高了虛擬現(xiàn)實(shí)技術(shù)帶給用戶(hù)的真實(shí)性體驗(yàn)。
【附圖說(shuō)明】
[0009]圖1是根據(jù)本發(fā)明第一實(shí)施方式的360度全景視頻的播放方法的流程圖；
[0010]圖2是根據(jù)本發(fā)明第二實(shí)施方式的360度全景視頻的播放模塊的方框圖。
【具體實(shí)施方式】
[0011]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明的各實(shí)施方式進(jìn)行詳細(xì)的闡述。然而，本領(lǐng)域的普通技術(shù)人員可以理解，在本發(fā)明各實(shí)施方式中，為了使讀者更好地理解本申請(qǐng)而提出了許多技術(shù)細(xì)節(jié)。但是，即使沒(méi)有這些技術(shù)細(xì)節(jié)和基于以下各實(shí)施方式的種種變化和修改，也可以實(shí)現(xiàn)本申請(qǐng)各權(quán)利要求所要求保護(hù)的技術(shù)方案。
[0012]本發(fā)明的第一實(shí)施方式涉及一種360度全景視頻的播放方法的流程圖，應(yīng)用于移動(dòng)終端。其中，本實(shí)施方式的移動(dòng)終端為智能手機(jī)，然不以此為限。具體流程如圖1所示。
[0013]步驟1:生成三維視頻。其中，步驟1包含以下子步驟。
[0014]子步驟101:構(gòu)建三維球體模型。
[0015]即，采用360算法建立三維球體模型，計(jì)算出三維球體模型的球體頂點(diǎn)坐標(biāo)。
[0016]子步驟102:對(duì)三維球體模型進(jìn)行紋理貼圖，以生成三維視頻。
[0017]具體而言，在opengl es(—種三維圖形軟件)環(huán)境中，首先，創(chuàng)建一個(gè)表面紋理(SurfaceTexture)，并使用表面紋理獲取移動(dòng)終端內(nèi)部預(yù)存的視頻幀。其次，利用紋理貼圖函數(shù)(onDrawEye函數(shù))將表面紋理中的視頻幀貼圖至三維球體模型的球體頂點(diǎn)上，從而生成三維圖像。由于表面紋理獲取的視頻幀是不斷變化的，因此，生成的三維圖像也是不斷變化的，從而形成三維視頻。
[0018]較佳的，紋理貼圖后，還可以對(duì)生成的三維視頻進(jìn)行光線(xiàn)、透明度等方面的修飾，使得最后呈現(xiàn)的三維視頻更加真實(shí)。
[0019]步驟11:獲取當(dāng)前視點(diǎn)。其中，步驟11包含以下子步驟。
[0020]子步驟111:檢測(cè)移動(dòng)終端的當(dāng)前姿態(tài)。
[0021]具體而言，用戶(hù)在使用移動(dòng)終端時(shí)，可能會(huì)變換移動(dòng)終端的空間朝向；當(dāng)前姿態(tài)即反映移動(dòng)終端的空間朝向。本實(shí)施方式中的當(dāng)前姿態(tài)由移動(dòng)終端的角速度表征。其中，移動(dòng)終端的角速度包含移動(dòng)終端在X、Y、Z軸方向上的三個(gè)角速度。然而，本實(shí)施方式中對(duì)表征當(dāng)前姿態(tài)的具體參數(shù)不作任何限制，只要能夠反映移動(dòng)終端的空間朝向即可。
[0022]子步驟112:根據(jù)當(dāng)前姿態(tài)計(jì)算當(dāng)前視點(diǎn)。
[0023]具體而言，首先，根據(jù)移動(dòng)終端在Χ、Υ、Ζ軸方向上的三個(gè)角速度計(jì)算歐拉角的三個(gè)角度，三個(gè)角度分別為:yaw，表示視點(diǎn)繞Y軸旋轉(zhuǎn)的角度;P i t ch，表示視點(diǎn)繞X軸旋轉(zhuǎn)的角度;rol I，表示視點(diǎn)繞Z軸旋轉(zhuǎn)的角度。其次，根據(jù)歐拉角的三個(gè)角度，計(jì)算三個(gè)旋轉(zhuǎn)矩陣matrix_yaw=matrix::rotateY(yaw) ；matrix_pitch=matrix::rotateX(pitch) ；matrix_roll=matrix::rotateZ(roll)。即，當(dāng)前視點(diǎn)實(shí)質(zhì)由三個(gè)旋轉(zhuǎn)矩陣表示。
[0024]需要說(shuō)明的是，本實(shí)施方式對(duì)當(dāng)前視點(diǎn)的獲取方式不作任何限制；于其他實(shí)施方式中，當(dāng)前視點(diǎn)也可以為預(yù)存在移動(dòng)終端內(nèi)的推薦視點(diǎn)(表示較佳的觀看角度)、或者預(yù)存在移動(dòng)終端內(nèi)的多個(gè)連續(xù)變化的視點(diǎn)。
[0025]步驟12:根據(jù)當(dāng)前視點(diǎn)從三維視頻中提取當(dāng)前視角范圍內(nèi)的三維視頻。
[0026I 具體而言，子步驟1 2中所述的紋理貼圖函數(shù)(OnDrawEy e函數(shù))包含視點(diǎn)參數(shù)，將當(dāng)前視點(diǎn)(即三個(gè)旋轉(zhuǎn)矩陣)作為視點(diǎn)參數(shù)代入紋理貼圖函數(shù)中進(jìn)行計(jì)算，則可以計(jì)算出當(dāng)前視角范圍內(nèi)的球體頂點(diǎn)坐標(biāo)，并從所述三維視頻中提取當(dāng)前視角范圍內(nèi)的球體頂點(diǎn)坐標(biāo)對(duì)應(yīng)的三維視頻，即為當(dāng)前視角范圍內(nèi)的三維視頻。
[0027]換句話(huà)說(shuō)，在執(zhí)行子步驟102(對(duì)三維球體模型進(jìn)行紋理貼圖，以生成三維視頻)的過(guò)程中，會(huì)利用子步驟112中計(jì)算出的當(dāng)前視點(diǎn)作為參數(shù)進(jìn)行計(jì)算；因此，在子步驟102(對(duì)三維球體模型進(jìn)行紋理貼圖，以生成三維視頻)的實(shí)現(xiàn)過(guò)程中，同時(shí)實(shí)現(xiàn)了步驟12(根據(jù)當(dāng)前視點(diǎn)從三維視頻中提取當(dāng)前視角范圍內(nèi)的三維視頻)。其中，當(dāng)前視角范圍內(nèi)的三維視頻即是指用戶(hù)在顯示屏上看到的視頻內(nèi)容。
[0028]步驟13:將當(dāng)前視角范圍內(nèi)的三維視頻轉(zhuǎn)換成雙目視頻進(jìn)行播放。
[0029]具體而言，調(diào)用雙目形式轉(zhuǎn)換函數(shù)(CardboardView)將當(dāng)前視角范圍內(nèi)的三維視頻由單目形式轉(zhuǎn)換成雙目形式進(jìn)行播放。即，將當(dāng)前視角范圍內(nèi)的三維視頻作為雙目形式轉(zhuǎn)換函數(shù)的接收視頻，當(dāng)前視角范圍內(nèi)的三維視頻經(jīng)雙目形式轉(zhuǎn)換函數(shù)轉(zhuǎn)換后形成雙目視頻，從而實(shí)現(xiàn)了 360度全景視頻的雙目顯示。
[0030]本實(shí)施方式提供的360度全景視頻的播放方法，利用360算法生成三維視頻，并根據(jù)當(dāng)前視點(diǎn)從所述三維視頻中提取當(dāng)前視角范圍內(nèi)的三維視頻；即，采用360算法并結(jié)合當(dāng)前視點(diǎn)獲取當(dāng)前視角范圍內(nèi)的三維視頻，并將獲取的當(dāng)前視角范圍內(nèi)的三維視頻作為Cardboard應(yīng)用程序的視頻來(lái)源;然后，Cardboard應(yīng)用程序?qū)?dāng)前視角范圍內(nèi)的三維視頻轉(zhuǎn)換成雙目視頻進(jìn)行播放。因此，本發(fā)明在雙目顯示過(guò)程中實(shí)現(xiàn)了360度全景播放，提高了虛擬現(xiàn)實(shí)技術(shù)帶給用戶(hù)的真實(shí)性體驗(yàn)。
[0031]上面各種方法的步驟劃分，只是為了描述清楚，實(shí)現(xiàn)時(shí)可以合并為一個(gè)步驟或者對(duì)某些步驟進(jìn)行拆分，分解為多個(gè)步驟，只要包含相同的邏輯關(guān)系，都在本專(zhuān)利的保護(hù)范圍內(nèi)；對(duì)算法中或者流程中添加無(wú)關(guān)緊要的修改或者引入無(wú)關(guān)緊要的設(shè)計(jì)，但不改變其算法和流程的核心設(shè)計(jì)都在該專(zhuān)利的保護(hù)范圍內(nèi)。
[0032]本發(fā)明第二實(shí)施方式涉及一種360度全景視頻的播放模塊，如圖2所示，包含:三維視頻生成單元10、視點(diǎn)獲取單元11、視頻提取單元12以及雙目視頻播放單元13。
[0033]三維視頻生成單元10用于生成三維視頻。具體而言，三維視頻生成單元10包含建模子單元與紋理貼圖子單元。建模子單元用于構(gòu)建三維球體模型；紋理貼圖子單元用于對(duì)三維球體模型進(jìn)行紋理貼圖，以生成三維視頻。
[0034]視點(diǎn)獲取單元11用于獲取當(dāng)前視點(diǎn)。具體而言，視點(diǎn)獲取單元11包含姿態(tài)檢測(cè)子單元與視點(diǎn)計(jì)算子單元;姿態(tài)檢測(cè)子單元用于檢測(cè)移動(dòng)終端的當(dāng)前姿態(tài)，視點(diǎn)計(jì)算子單元用于根據(jù)當(dāng)前姿態(tài)計(jì)算當(dāng)前視點(diǎn)。其中，姿態(tài)檢測(cè)子單元例如包含陀螺儀。
[0035]視頻提取單元12用于根據(jù)所述當(dāng)前視點(diǎn)從三維視頻中提取當(dāng)前視角范圍內(nèi)的三維視頻。
[0036]雙目視頻播放單元13用于將當(dāng)前視角范圍內(nèi)的三維視頻轉(zhuǎn)換成雙目視頻進(jìn)行播放。
[0037]不難發(fā)現(xiàn)，本實(shí)施方式為與第一實(shí)施方式相對(duì)應(yīng)的系統(tǒng)實(shí)施例，本實(shí)施方式可與第一實(shí)施方式互相配合實(shí)施。第一實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)在本實(shí)施方式中依然有效，為了減少重復(fù)，這里不再贅述。相應(yīng)地，本實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)也可應(yīng)用在第一實(shí)施方式中。
[0038]值得一提的是，本實(shí)施方式中所涉及到的各模塊均為邏輯模塊，在實(shí)際應(yīng)用中，一個(gè)邏輯單元可以是一個(gè)物理單元，也可以是一個(gè)物理單元的一部分，還可以以多個(gè)物理單元的組合實(shí)現(xiàn)。此外，為了突出本發(fā)明的創(chuàng)新部分，本實(shí)施方式中并沒(méi)有將與解決本發(fā)明所提出的技術(shù)問(wèn)題關(guān)系不太密切的單元引入，但這并不表明本實(shí)施方式中不存在其它的單
J L ο
[0039]本發(fā)明第三實(shí)施方式涉及一種移動(dòng)終端。包含第二實(shí)施方式所述的360度全景視頻的播放模塊。本實(shí)施方式中的移動(dòng)終端為智能手機(jī)，然并不限于此。
[0040]其中，第二實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)在本實(shí)施方式中依然有效，在第二實(shí)施方式中所能達(dá)到的技術(shù)效果在本實(shí)施方式中也同樣可以實(shí)現(xiàn)，為了減少重復(fù)，這里不再贅述。相應(yīng)地，本實(shí)施方式中提到的相關(guān)技術(shù)細(xì)節(jié)也可應(yīng)用在第二實(shí)施方式中。
[0041]本領(lǐng)域的普通技術(shù)人員可以理解，上述各實(shí)施方式是實(shí)現(xiàn)本發(fā)明的具體實(shí)施例，而在實(shí)際應(yīng)用中，可以在形式上和細(xì)節(jié)上對(duì)其作各種改變，而不偏離本發(fā)明的精神和范圍。
【主權(quán)項(xiàng)】
1.一種360度全景視頻的播放方法，其特征在于，包含以下步驟: 生成三維視頻； 獲取當(dāng)前視點(diǎn)； 根據(jù)所述當(dāng)前視點(diǎn)從所述三維視頻中提取當(dāng)前視角范圍內(nèi)的三維視頻； 將所述當(dāng)前視角范圍內(nèi)的三維視頻轉(zhuǎn)換成雙目視頻進(jìn)行播放。2.根據(jù)權(quán)利要求1所述的360度全景視頻的播放方法，其特征在于，所述生成三維視頻的步驟，包含以下子步驟: 構(gòu)建三維球體模型； 對(duì)所述三維球體模型進(jìn)行紋理貼圖，以生成所述三維視頻。3.根據(jù)權(quán)利要求1所述的360度全景視頻的播放方法，其特征在于，所述獲取當(dāng)前視點(diǎn)的步驟，包含以下子步驟: 檢測(cè)移動(dòng)終端的當(dāng)前姿態(tài)； 根據(jù)所述當(dāng)前姿態(tài)計(jì)算所述當(dāng)前視點(diǎn)。4.根據(jù)權(quán)利要求3所述的360度全景視頻的播放方法，其特征在于，所述當(dāng)前姿態(tài)至少由所述移動(dòng)終端的角速度表征。5.一種360度全景視頻的播放模塊，其特征在于，包含:三維視頻生成單元、視點(diǎn)獲取單元、視頻提取單元以及雙目視頻播放單元； 所述三維視頻生成單元用于生成三維視頻； 所述視點(diǎn)獲取單元用于獲取當(dāng)前視點(diǎn)； 所述視頻提取單元用于根據(jù)所述當(dāng)前視點(diǎn)從所述三維視頻中提取當(dāng)前視角范圍內(nèi)的二維視頻； 所述雙目視頻播放單元用于將所述當(dāng)前視角范圍內(nèi)的三維視頻轉(zhuǎn)換成雙目視頻進(jìn)行播放。6.根據(jù)權(quán)利要求5所述的360度全景視頻的播放模塊，其特征在于，所述三維視頻生成單元包含建模子單元與紋理貼圖子單元； 所述建模子單元用于構(gòu)建三維球體模型； 所述紋理貼圖子單元用于對(duì)所述三維球體模型進(jìn)行紋理貼圖，以生成所述三維視頻。7.根據(jù)權(quán)利要求5所述的360度全景視頻的播放模塊，其特征在于，所述視點(diǎn)獲取單元還包含:姿態(tài)檢測(cè)子單元與視點(diǎn)計(jì)算子單元； 所述姿態(tài)檢測(cè)子單元用于檢測(cè)移動(dòng)終端的當(dāng)前姿態(tài)； 所述視點(diǎn)計(jì)算子單元用于根據(jù)所述當(dāng)前姿態(tài)計(jì)算所述當(dāng)前視點(diǎn)。8.根據(jù)權(quán)利要求7所述的360度全景視頻的播放模塊，其特征在于，所述姿態(tài)檢測(cè)子單元包含陀螺儀。9.一種移動(dòng)終端，其特征在于，包含權(quán)利要求5至8中任意一項(xiàng)所述的360度全景視頻的播放模塊。
【文檔編號(hào)】H04N13/02GK105898271SQ201511020226
【公開(kāi)日】2016年8月24日
【申請(qǐng)日】2015年12月28日
【發(fā)明人】張尚徽
【申請(qǐng)人】樂(lè)視致新電子科技（天津）有限公司