本發(fā)明涉及虛擬現實技術，尤指一種預覽全景內容的方法及裝置。

背景技術：

隨著全景相機的出現以及物聯網概念的普及，手機與全景相機進行互聯成為必然。通過手機，可以控制全景相機，也可以預覽全景相機拍攝的全景圖片和全景視頻等。

目前，全景相機錄制的全景視頻的分辨率往往在3K以上，碼率往往在20Mbps以上。這樣的碼率在通過wifi網絡傳輸時，會對wifi網絡產生很大的負載，容易產生延遲、花屏、卡頓等現象。所以，為了預覽的效果更好，在按之前的分辨率將全景視頻錄制到SD卡時，會將其縮小到一個較小的分辨率。這樣編碼出來視頻流，碼率可以控制得比較小，如5Mbps以下，手機預覽全景視頻時就可以得到比較好的效果。

但是，上述方法存在如下幾個缺點：

(1)全景相機發(fā)送到手機端的預覽內容因為是從一個比較大的分辨率縮小過來的，所以必然造成精度的損失，預覽時細節(jié)不清楚。

(2)縮放動作是一個很消耗資源的動作，會增加DDR帶寬的消耗，也會增加功耗。

上述兩點在嵌入式設備上是非常重要的，是需要重點關注的。

技術實現要素：

為了解決上述技術問題，本發(fā)明提供了一種預覽全景內容的方法及裝置，能夠在不損失預覽精度的情況下實現全景內容的預覽。

為了達到本發(fā)明目的，本發(fā)明提供了一種預覽全景內容的方法，包括：

獲取全景圖像，將所述全景圖像貼到預定的三維幾何形體的表面，得到全景展示體；

根據從展示設備接收到的視界方向信息從所述全景展示體中截取出觀看者視界范圍內的圖像；

對截取出的觀看者視界范圍內的圖像進行編碼得到預覽數據，并傳輸給所述展示設備，以使所述展示設備展示所述截取出的觀看者視界范圍內的圖像，使觀看者預覽到全景內容。

本發(fā)明提供的另一種預覽全景內容的方法，包括：

獲取觀看者的視界方向信息，在視界方向信息發(fā)生改變的情況下，將所述視界方向信息發(fā)送給拍攝設備；

接收所述拍攝設備發(fā)送的預覽數據，對所述預覽數據進行解碼并展示給觀看者；

其中，所述視界方向信息包含基點坐標、視界垂直方向向量、視界水平方向向量和視界朝向向量。

本發(fā)明還提供了一種預覽全景內容的裝置，包括：

一獲取單元，用于獲取全景圖像；

一全景單元，用于將所述全景圖像貼到預定的三維幾何形體的表面，得到全景展示體；

一截取單元，用于根據從展示設備接收到的視界方向信息從所述全景展示體中截取出觀看者視界范圍內的圖像；

一編碼單元，用于對所述截取單元截取出的觀看者視界范圍內的圖像進行編碼得到預覽數據；

一傳輸單元，用于將所述編碼單元編碼得到的預覽數據傳輸給所述展示設備，以使所述展示設備展示所述截取出的觀看者視界范圍內的圖像，使觀看者預覽到全景內容。

本發(fā)明提供的另一種預覽全景內容的裝置，包括：

一視界方向信息獲取單元，用于獲取觀看者的視界方向信息，在視界方向信息發(fā)生改變的情況下，將所述視界方向信息通過收發(fā)單元發(fā)送給拍攝設備；

一收發(fā)單元，用于將所述視界方向信息發(fā)送給拍攝設備，并接收所述拍攝設備發(fā)送的預覽數據；

一解碼單元，用于對所述收發(fā)單元接收到的預覽數據進行解碼；

一展示單元，用于將所述解碼單元解碼后的預覽數據展示給觀看者；

其中，所述視界方向信息包含基點坐標、視界垂直方向向量、視界水平方向向量和視界朝向向量。

與現有技術相比，本發(fā)明包括獲取全景圖像，將全景圖像貼到預定的三維幾何形體的表面，得到全景展示體；根據從展示設備接收到的視界方向信息從全景展示體中截取出觀看者視界范圍內的圖像；對截取出的觀看者視界范圍內的圖像進行編碼得到預覽數據，并傳輸給展示設備，以使展示設備展示截取出的觀看者視界范圍內的圖像，使觀看者預覽到全景內容。本申請不需要全景圖像的縮放，不會損失sensor輸入圖像的原有精度，顯示效果更清晰，并且，避免了圖像縮放帶來的大量的DDR帶寬消耗以及功耗的上升，同時，只關注視野內畫面，更符合人體觀察外界的方式，且取消傳輸冗余數據，有效利用網絡帶寬。

本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在說明書、權利要求書以及附圖中所特別指出的結構來實現和獲得。

附圖說明

附圖用來提供對本發(fā)明技術方案的進一步理解，并且構成說明書的一部分，與本申請的實施例一起用于解釋本發(fā)明的技術方案，并不構成對本發(fā)明技術方案的限制。

圖1為本申請一實施例提供的預覽全景內容的方法的流程圖；

圖2為本申請中的全景展示體的示意圖；

圖3為本申請中在三維正交坐標系中表示視界方向信息的示意圖；

圖4為本申請中將視界展示在坐標系中的示意圖；

圖5為本申請中從全景展示體中截取圖像的示意圖；

圖6為本申請的另一實施例提供的預覽全景內容的方法的流程圖；

圖7為本申請的又一實施例提供的預覽全景內容的裝置的架構圖；

圖8為本申請的又一實施例提供的預覽全景內容的裝置的架構圖。

具體實施方式

為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，下文中將結合附圖對本發(fā)明的實施例進行詳細說明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互任意組合。

在附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

現有技術中，在得到全景內容(例如可以是全景圖片和全景視頻等)后，會對全景內容的分辨率進行縮小，從而降低全景內容的碼率，以得到用于預覽的全景內容。在通過wifi等傳輸網絡傳輸用于預覽的全景內容時，可以避免發(fā)生延遲、花屏、卡頓等現象。但是，通過縮小分辨率的方式得到的用于預覽的全景內容，其顯示精度會降低，觀看者無法清楚的預覽到圖像的細節(jié)，并且，縮小分辨率的操作會增加DDR帶寬的消耗，也會增加功耗。

本申請中考慮到觀看者在預覽全景內容時，展示設備在某一時刻只會顯示當前視角對應的視界范圍內的圖像。在觀看者調整觀看的視角后，視界范圍內的圖像也隨之發(fā)生改變。現有技術中以低分辨率的全景內容作為預覽數據，在展示設備上根據觀看者對視角的調整進行內容的顯示，實現觀看者對全景內容的預覽。這種方式由于傳輸的是全景內容，數據量巨大，浪費傳輸帶寬，并且顯示精度低。本申請中根據觀看者對視角的調整，從全景展示體中截取出應該展示給觀看者的圖像，將截取出的圖像進行編碼作為預覽數據，并隨著觀看者對視角的調整持續(xù)截取圖像傳輸給展示設備。這種方式不再傳輸全景內容作為預覽數據，而是將觀看者調整到的視角對應的視界范圍內的圖像作為預覽數據，不僅大大降低了數據傳輸量，而且不會降低預覽精度。

如圖1所示，本申請一實施例提供的預覽全景內容的方法，包括：

步驟101：獲取全景圖像，將全景圖像貼到預定的三維幾何形體的表面，得到全景展示體；

步驟102：根據從展示設備接收到的視界方向信息從全景展示體中截取出觀看者視界范圍內的圖像；

步驟103：對截取出的觀看者視界范圍內的圖像進行編碼得到預覽數據，并將預覽數據傳輸給展示設備，以使展示設備展示截取出的觀看者視界范圍內的圖像，使觀看者預覽到全景內容。

本申請的預覽全景內容的方法可以是對拍攝設備能夠攝取到的圖像進行預覽，也就是預覽實時畫面，觀看者可以根據預覽到的內容決定是否進行拍攝。也可以是對拍攝設備已經拍攝的全景內容進行預覽，觀看者可以在展示設備上預覽到拍攝設備已經拍攝的全景內容。

本申請的預覽全景內容的方法可以應用于對全景相機等拍攝終端拍攝或攝取到的全景內容進行預覽，也可以是對全景動畫和由計算機程序實時生成的全景畫面等全景內容進行預覽。本申請的預覽全景內容的方法可以應用在全景相機、運動相機等拍攝終端中，也可以應用到生成全景動畫、全景畫面的PC等設備中，還可以應用到進行全景內容后期處理的后期處理設備中等。

為了使觀看者能夠在展示設備上預覽到已經拍攝完成的全景內容或是拍攝設備攝取到的全景內容，需要首先獲取到全景圖像，例如，對于拍攝設備攝取或拍攝到的全景內容，可以直接從拍攝設備獲取到全景圖像；對于全景動畫和計算機生成的全景畫面，可以從相應的制作設備上獲取相應的全景圖像。

本申請中的全景圖像可以是拍攝設備包含的多個圖像采集單元各拍攝超過180度范圍的圖像，再由拍攝設備進行拼接融合得到全景圖像。全景圖像也可以是全景動畫和由計算機程序實時生成的全景畫面等全景圖像。

目前在拍攝全景內容時，會生成兩路數據，一路為原始全景內容，分辨率和碼率均較大，不適合網絡傳輸；另一路為用于預覽的全景內容，分辨率和碼率均較小，適合網絡傳輸。本申請中對于已經拍攝的全景內容的預覽，可以使拍攝設備只保留原始全景內容，不再保留用于預覽的全景內容，從而節(jié)省拍攝設備的存儲空間。在對已經拍攝的全景內容預覽時，可以先對已經保存的全景內容進行解碼得到全景圖像，之后，與預覽實時畫面的情況相同，將全景圖像貼到預定的三維幾何形體的表面，對于采用球體的情況，得到一個球體中心位于坐標系原點的球體全景展示體。

為了能夠截取出觀看者視界范圍內的圖像以供觀看者進行預覽，需要將獲取的全景圖像貼到預定的三維幾何形體的表面上得到全景展示體，例如通常會貼到球體上(請參考圖2)。以全景展示體的中心作為觀看者的位置，觀看者可以看向全景展示體上的任意區(qū)域，從而達到觀看全景的效果。上述預定的三維幾何形體也可以是立方體和三棱錐體等。

其次，在得到全景展示體后，需要根據從展示設備接收到的視界方向信息從全景展示體中截取出觀看者視界范圍內的圖像。

為了使觀看者在展示設備上調整的視角方向與拍攝設備在全景展示體中截取出的圖像相匹配，默認在拍攝設備與展示設備上建立相同的坐標系。坐標系的形式包括但不限于三維正交坐標系、球坐標系等任何可以描述三維空間的坐標系形式。

視界通常是指一長方形區(qū)域，以觀看者在設定位置為基準點，按照觀看者對視角的調整而轉動，在全景內容中圈定一個范圍，圈定范圍內的畫面被展現在屏幕上。本申請中的視界方向信息包含基點坐標、視界垂直方向向量、視界水平方向向量和視界朝向向量。

如圖3所示，本申請中以采用三維正交坐標系為例對視界方向信息進行說明。

在三維正交坐標系中，能夠表示出視界的方向。例如，在圖3中，有四個坐標點，分別為A、B、C和M，向量OA、OB、OC分別正交，M點為向量OC方向上的一個點。其中，OA為視界垂直方向向量，表示視界較長邊的方向。OB為視界垂直方向向量，表示視界較短邊的方向。OC為視界朝向向量，表示視界所面對的方向。M點為基點，可以是視界的對角線交點。

假設，視界位于yz平面，視界的對角線交點位于坐標系原點，y軸與z軸分別垂直于視界的一個邊。視界與坐標系的關系見圖4，其中b為視界較長的邊界，a為視界較短的邊界。按照圖3的圖示，即為向量OA的方向與z軸方向相同，向量OB的方向與y軸方向相同，向量OC的方向與x軸方向相同，基點M即為坐標原點。

拍攝設備會單獨開辟一個線程，這個線程用于接收展示設備發(fā)送的視界方向信息。展示設備可以是手機、頭顯設備等。

在本申請的一可選實施例中，根據從展示設備接收到的視界方向信息從全景展示體中截取出觀看者視界范圍內的圖像，可以包括：

根據視界方向信息在全景展示體中確定出視界的方向，按照視界的寬高比例，在視界的方向上從全景展示體的表面上截取視界范圍內的圖像。

由于在拍攝設備上與展示設備上采用了相同的坐標系，因此，拍攝設備能夠依據展示設備發(fā)送的視界方向信息在全景展示體中確定出視界的方向。在全景展示體中確定出視界的方向后，就可以按照視界的寬高比例在視界方向上從全景展示體的表面上截取出視界范圍內的圖像。

例如，如圖5所示，T為全景展示體的剖視圖，S為視界。視界S的位置由基點M、向量OA、向量OB來確定，視界S的朝向由向量OC確定。在全景展示體內，按照視界的寬高比例，截取視界S圈定范圍內的圖像。

上述按照視界的寬高比例截取視界范圍內的圖像是指，在實際截取圖像時可以根據實際的需要，對截取的范圍按照視界的寬高比例進行等比例的縮小或放大，以滿足實際的需求，但截取的范圍應滿足視界的寬高比。

在本申請的另一可選實施例中，上述根據視界方向信息在全景展示體中確定出視界的方向，包括：

根據基點坐標在全景展示體中確定出基點的位置，以基點為中心按照視界垂直方向向量和視界水平方向向量確定出視界在全景展示體中的垂直方向旋轉角度和水平方向旋轉角度，并按照視界朝向向量確定視界面對的方向。

基點是視界上的一個點，可以以基點為中心對視界進行垂直方向和水平方向的旋轉，從而改變視界的方向，進而改變展示設備上展現的內容。在拍攝設備上根據從展示設備接收到的視界方向信息，以基點為中心，按照視界垂直方向向量和視界水平方向向量對視界進行旋轉，使視界達到與在展示設備相同的位置，再按照視界朝向向量截取視界所面對的圖像，截取出的圖像就是觀看者在展示設備上調整到的視角所能觀看到的圖像。之后，再將截取出的圖像編碼壓縮并傳輸給展示設備，就實現了全景內容的預覽。

在從全景展示體中截取出觀看者視界范圍內的圖像后，就可以對截取出的觀看者視界范圍內的圖像進行編碼得到預覽數據，再將預覽數據傳輸給展示設備，以使展示設備對預覽數據進行解碼得到截取出的觀看者視界范圍內的圖像，再展示截取出的觀看者視界范圍內的圖像，使觀看者能夠預覽到全景內容。

本申請的預覽全景內容的方法既能夠實現對拍攝設備攝取到的實時畫面的預覽，也能實現對拍攝設備已經拍攝完成的全景內容的預覽。在構建出全景展示體后，按照展示設備發(fā)送的視界方向信息，在全景展示體中確定出視界的方向，并在全景展示體上截取出視界范圍內的圖像，進行編碼后傳輸給展示設備。本申請不僅無需像現有技術中那樣傳輸全景內容作為預覽數據，也不需要在拍攝設備上單獨保存一份預覽數據，不僅提高了預覽數據的傳輸速度、節(jié)省了帶寬，也節(jié)省了拍攝設備的存儲空間。

此外，在本申請的另一可選實施例中，在從全景展示體中截取出觀看者視界范圍內的圖像后，對截取出的觀看者視界范圍內的圖像進行編碼前，還可以判斷截取出的觀看者視界范圍內的圖像的分辨率與預覽分辨率是否相同，如果不同，還將截取出的觀看者視界范圍內的圖像的分辨率處理為與預覽分辨率相同；如果相同，則直接對截取出的觀看者視界范圍內的圖像進行編碼。上述預覽分辨率可以根據實際情況進行選擇，如設置為720P等。

在截取出的觀看者視界范圍內的圖像的分辨率與預覽分辨率不同的情況下，如果大于預覽分辨率，則縮小截取出的觀看者視界范圍內的圖像的分辨率與預覽分辨率相同；如果小于預覽分辨率，則發(fā)大截取出的觀看者視界范圍內的圖像的分辨率與預覽分辨率相同。本申請中可以采用插值算法對截取出的觀看者視界范圍內的圖像的分辨率進行處理。

例如，截取出的觀看者視界范圍內的圖像的分辨率為720P，則不需進行插值，直接進行編碼；如果基點發(fā)生了變化，則截取出的觀看者視界范圍內的圖像的分辨率不為720P，則可以利用雙線性插值算法進行插值，最終獲取到720P的圖像，之后進行編碼。

在本申請的另一實施例中，為了使觀看者觀看到預覽內容，展示設備需要接收預覽數據并進行展示。如圖6所示，本申請在展示設備側預覽全景內容的方法，包括：

步驟601：獲取觀看者的視界方向信息，在視界方向信息發(fā)生改變的情況下，將視界方向信息發(fā)送給拍攝設備；

步驟602：接收拍攝設備發(fā)送的預覽數據，對預覽數據進行解碼并展示給觀看者；

其中，視界方向信息包含基點坐標、視界垂直方向向量、視界水平方向向量和視界朝向向量。

為了使全景內容在展示設備上與拍攝設備上的圖像相匹配，默認在拍攝設備與展示設備上建立相同的坐標系。

在展示設備上，以所建立的坐標系為基準，實時獲取觀看者的視界方向信息。請再次參考圖3，圖中OA為視界垂直方向向量，表示視界較長邊的方向。OB為視界垂直方向向量，表示視界較短邊的方向。OC為視界朝向向量，表示視界所面對的方向。M點為基點，可以是視界的對角線交點。

觀看者可以在展示設備上(如手機屏幕上)進行滑動操作，將會改變向量OA、OB、OC的方向；進行放大縮小操作，將會改變基點M的坐標。在視界方向信息發(fā)生改變的情況下，實時將視界方向信息發(fā)送給拍攝設備。

展示設備單獨開辟一個線程，每經過一時間間隔(如5ms或者10ms)，展示設備將獲取向量OA、OB、OC的方向以及基點M的坐標。如果這些數據有變化，則經過網絡封包，將其發(fā)送給拍攝設備。

此外，隨著觀看者在預覽時對觀看視角的調整，視角的方向會發(fā)生變化，預覽的內容也會隨之變化，因此，展示設備需要實時接收拍攝設備發(fā)送的預覽數據，接收到預覽數據后，進行解封裝、解碼，并渲染顯示。

本申請中展示設備隨著觀看者對預覽時觀看視角的調整，實時向拍攝設備更新視界方向信息，拍攝設備根據視界方向信息的更新，實時截取觀看者視界范圍內的圖像，并傳輸給展示設備，展示設備進行展示，實現對實時畫面或是已拍攝完成的全景內容的預覽。

如圖7所示，本申請還提供了一種預覽全景內容的裝置，包括：

一獲取單元，用于獲取全景圖像；

一全景單元，用于將全景圖像貼到預定的三維幾何形體的表面，得到全景展示體；

一截取單元，用于根據從展示設備接收到的視界方向信息從全景展示體中截取出觀看者視界范圍內的圖像；

一編碼單元，用于對截取單元截取出的觀看者視界范圍內的圖像進行編碼得到預覽數據；

一傳輸單元，用于將編碼單元編碼得到的預覽數據傳輸給展示設備，以使展示設備展示截取出的觀看者視界范圍內的圖像，使觀看者預覽到全景內容。

進一步，上述裝置還包括：

一分辨率處理單元，用于在截取單元從全景展示體中截取出觀看者視界范圍內的圖像后，編碼單元進行編碼前，判斷截取出的觀看者視界范圍內的圖像的分辨率與預覽分辨率是否相同，如果不同，還將截取出的觀看者視界范圍內的圖像的分辨率處理為與預覽分辨率相同。

進一步，上述截取單元根據從展示設備接收到的視界方向信息從全景展示體中截取出觀看者視界范圍內的圖像，包括：

根據視界方向信息在全景展示體中確定出視界的方向，按照視界的寬高比例，在視界的方向上從全景展示體的表面上截取視界范圍內的圖像。

進一步，視界方向信息包含基點坐標、視界垂直方向向量、視界水平方向向量和視界朝向向量；

上述截取單元根據視界方向信息在全景展示體中確定出視界的方向，包括：根據基點坐標在全景展示體中確定出基點的位置，以基點為中心按照視界垂直方向向量和視界水平方向向量確定出視界在全景展示體中的垂直方向旋轉角度和水平方向旋轉角度，并按照視界朝向向量確定視界面對的方向。

如圖8所示，本申請還提供了一種預覽全景內容的裝置，包括：

一視界方向信息獲取單元，用于獲取觀看者的視界方向信息，在視界方向信息發(fā)生改變的情況下，將視界方向信息通過收發(fā)單元發(fā)送給拍攝設備；

一收發(fā)單元，用于將視界方向信息發(fā)送給拍攝設備，并接收拍攝設備發(fā)送的預覽數據；

一解碼單元，用于對收發(fā)單元接收到的預覽數據進行解碼；

一展示單元，用于將解碼單元解碼后的預覽數據展示給觀看者；

其中，視界方向信息包含基點坐標、視界垂直方向向量、視界水平方向向量和視界朝向向量。

雖然本發(fā)明所揭露的實施方式如上，但所述的內容僅為便于理解本發(fā)明而采用的實施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬領域內的技術人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實施的形式及細節(jié)上進行任何的修改與變化，但本發(fā)明的專利保護范圍，仍須以所附的權利要求書所界定的范圍為準。