專利名稱：一種空間相關(guān)的全景數(shù)據(jù)恢復(fù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及全景圖像技術(shù)領(lǐng)域，更具體的講，涉及一種利用空間相關(guān)性對全景壓縮數(shù)據(jù) 進行恢復(fù)的方法。
背景技術(shù)：
全景圖像是由某一點拍攝的多幅實景圖像拼接而成的。其具體的生成過程是將相互重 疊圖像映射到簡單的幾何體表面上，如球面、立方體表面或圓柱面，然后對投影圖像進行無 縫拼接，就可以得到全景圖像。根據(jù)所映射的幾何體，全景圖像可以分為柱面全景圖像、球 面全景圖像和立方體全景圖像。
全景圖像覆蓋了 360度的場景范圍，所以其數(shù)據(jù)量巨大，這對圖像的存儲和傳輸造成了
很大的困難。因此，需要對全景視頻進行壓縮編碼，以降低存儲空間和減少傳輸時占用的網(wǎng) 絡(luò)帶寬。運動補償是對運動圖像進行壓縮時所使用的一種幀間編碼技術(shù)，由于運動的連續(xù)性， 圖像序列中的預(yù)測幀圖像可以看作是前面參考幀圖像經(jīng)過一定的平移得到的，因此，預(yù)測幀 圖像可以利用運動向量和圖像差值從參考幀圖像恢復(fù)。本發(fā)明前，中國發(fā)明專利"運動圖像
的運動補償方法"，專利號為97125901.1，公開號為CN1195256公開了一種利用二維三角形 線框模型的運動補償方法，通過三角形各頂點的運動向量變換三角形塊，計算當(dāng)前塊中的像 素對應(yīng)于參考塊中的像素，從而恢復(fù)出當(dāng)前圖像。該方法主要是利用時間相關(guān)性來恢復(fù)當(dāng)前 圖像，并沒有利用參考圖像和預(yù)測圖像的場景空間關(guān)系，不能夠在高壓縮比條件下對全景數(shù) 據(jù)進行恢復(fù)。中國發(fā)明專利"用于全景圖像的運動估計和補償?shù)姆椒ê驮O(shè)備"，申請?zhí)枮?200580027187.3，公開號為CN101002479A公開了一種利用全景圖的左右邊界之間的空間關(guān) 系進行運動估計和補償?shù)姆椒?。該方法只適用于柱面全景圖的運動估計和圖像恢復(fù)，而且僅 利用了全景圖左右邊界之間的空間關(guān)系，并沒有充分利用全景圖像間場景空間的相關(guān)性對數(shù) 據(jù)進行壓縮和恢復(fù)，恢復(fù)連續(xù)的全景圖像序列所需的數(shù)據(jù)量較大。
對于通過相機運動在同一場景空間里連續(xù)采集的全景圖像，這些全景圖像所覆蓋的大部 分場景空間都是相同的。由于圖像都來自同一場景空間，所以可以利用全景圖像間的空間相 關(guān)性對圖像進行壓縮，將采集到的圖像分為參考圖像和預(yù)測圖像，參考圖像保存整個圖像場 景空間的場景點，通過場景點的融合，預(yù)測圖像可以僅保存新增加場景點的相關(guān)信息，從而 對全景圖像的數(shù)據(jù)量進行壓縮，本發(fā)明利用全景數(shù)據(jù)的空間相關(guān)性，通過恢復(fù)出壓縮數(shù)據(jù)中的場景點信息生成全景圖像。因此，本發(fā)明的空間相關(guān)的全景壓縮數(shù)據(jù)恢復(fù)方法利用場景點 的空間相關(guān)性，根據(jù)視點的相機外參數(shù)，從場景點恢復(fù)出全景圖像，能夠在高壓縮比條件下 對連續(xù)的全景圖像進行恢復(fù)。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問題克服現(xiàn)有方法沒有充分利用空間相關(guān)性的不足，"提供"種空間 相關(guān)的全景壓縮數(shù)據(jù)恢復(fù)的方法，該方法在全景數(shù)據(jù)恢復(fù)的過程中，有效的根據(jù)獲取到的相 機外參數(shù)，利用全景數(shù)據(jù)的空間相關(guān)性，將壓縮數(shù)據(jù)恢復(fù)為預(yù)測圖像相應(yīng)的全景圖像，保證 在高壓縮比條件下恢復(fù)出連續(xù)的全景圖像序列。
為了實現(xiàn)上述目的，本發(fā)明所采取的技術(shù)方案是根據(jù)獲取到的相機外參數(shù)，通過參考 圖像和相應(yīng)的深度信息以及增量信息恢復(fù)出整個場景空間的場景點信息，最終生成出預(yù)測圖 像相應(yīng)的全景圖像，具體包含的步驟如下
(1) 獲取預(yù)測圖像相對于參考圖像的相機外參數(shù)，包括相機的旋轉(zhuǎn)矩陣R和平移量T;
(2) 完成步驟(1)后，由參考圖像和相應(yīng)的深度信息恢復(fù)參考圖像的場景點；
(3) 完成步驟(2)后，根據(jù)預(yù)測圖像保存的場景點增量信息，獲取預(yù)測圖相對于參考 圖像新增加的場景點；
(4) 根據(jù)步驟(1)獲取的相機外參數(shù)，利用步驟(2)和步驟(3)得到的場景點信息
生成預(yù)測圖像相應(yīng)的全景圖像。
本發(fā)明的原理是全景壓縮數(shù)據(jù)中保存了整個場景空間的場景點信息，其中，利用參考
圖像和其深度圖可以對參考圖像所觀看到的場景點進行恢復(fù)，而利用場景點的增量信息可以 恢復(fù)出相對參考圖像的新增的場景點。這樣就可以通過獲取預(yù)測圖像相對于參考圖像的相機 外參數(shù)，并利用恢復(fù)出的整個場景空間的場景點，生成預(yù)測圖像相應(yīng)的全景圖像。
本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于本發(fā)明能夠充分利用全景數(shù)據(jù)的空間相關(guān)性，利用 相機外參數(shù)以及參考圖像和預(yù)測圖像保存的壓縮數(shù)據(jù)，通過恢復(fù)出的場景點信息生成預(yù)測圖 像相應(yīng)的全景圖像，能夠在高壓縮比條件下恢復(fù)出全景圖像。


圖1為空間相關(guān)的全景數(shù)據(jù)壓縮方法的流程圖2為全景圖像場景點生成的示意圖3為利用空間相關(guān)性對場景點進行融合的示意圖4為本發(fā)明空間相關(guān)的全景數(shù)據(jù)恢復(fù)方法的流程圖5A為投影點在參考圖像和預(yù)測圖像中均無遮擋情況下恢復(fù)全景圖像的示意圖，圖5B為投影點在參考圖像中存在遮擋關(guān)系情況下恢復(fù)全景圖像的示意圖，圖5C為投影點在預(yù)測
圖像中存在遮擋關(guān)系情況下恢復(fù)全景圖像的示意圖。
具體實施例方式
本發(fā)明恢復(fù)方法是對利用空間相關(guān)的全景數(shù)據(jù)壓縮方法壓縮后的數(shù)據(jù)進行恢復(fù)，所以首 先結(jié)合附圖和實施例對與本發(fā)明相關(guān)的空間相關(guān)的全景數(shù)據(jù)壓縮方法進行描述，該方法流程 如圖1所示，其步驟如下
(1)使用Structure From Motion (運動結(jié)構(gòu)重建)算法獲取預(yù)測圖像相對于參考圖像 的相機外參數(shù)，如公式(l)所示，相機外參數(shù)包括相機的旋轉(zhuǎn)矩陣R和平移量T，也可以采 用其它方法獲取相機外參數(shù)。
上述的運動結(jié)構(gòu)重建算法主要包括以下步驟首先，提取參考圖像和預(yù)測圖像的特征點， 例如KLT (Kanade-Lucas-Tomasi)特征點，并根據(jù)特征點的描述子信息尋找相鄰兩幅圖像中 匹配的特征點；其次，根據(jù)特征點的匹配關(guān)系計算相鄰兩幅圖像的相機外參數(shù)；然后，根據(jù) 相鄰兩幅圖像之間的相機外參數(shù)，計算所有圖像相對參考圖像的相機外參數(shù)；最后，對所有 的相機外參數(shù)進行捆綁調(diào)整。
-57." a my々 coy a cos y—s/w p s/"々cay ay+s/w a s/" 〃咖7 s/w / —咖/ 57'w y cos A my 7
a)
其中，(a，A"表示相機繞X方向、Y方向和Z方向的旋轉(zhuǎn)量，(t t,, 4)表示相機沿
X方向、Y方向和Z方向的平移量。
(2) 完成步驟(1)以后，使用Plane Swe印ing (平掃)算法獲取參考圖像和預(yù)測圖像 的深度信息，即圖像中每一個像素點的深度值，也可以采用其它方法獲取圖像的深度信息。
上述的平掃算法主要包括以下步驟首先，在空間中預(yù)定義一系列的平面，每一個平面 對應(yīng)一個深度值；然后，讓圖像中心與像素點所構(gòu)成的射線與預(yù)定義的各平面相交，并計算
各交點在其它圖像上的投影點；最后，統(tǒng)計投影點與原像素點的顏色誤差和，選取顏色誤差 和最小的交點所對應(yīng)的平面的深度值作為原像素點的深度值。
(3) 根據(jù)步驟(2)獲取的深度信息，得到參考圖像和預(yù)測圖像各自的三維場景點。 如圖2所示，P點是全景圖像21上的一個像素點，7是像素點P相對于全景圖像中心的
深度22， (A0是像素點P的經(jīng)緯度23，其中p的取值范圍是(-;z",;z")， ^的取值范圍是 卜丌/么;r/力。像素點P所對應(yīng)的場景點X的三維坐標(biāo)如公式(2)所示<formula>formula see original document page 7</formula>根據(jù)像素點的經(jīng)緯度和深度信息，利用公式(2)可以生成全景圖像中所有像素點所對
應(yīng)的場景點。
(4)根據(jù)步驟(1)獲取的相機外參數(shù)，利用空間相關(guān)性對步驟(3)獲取的場景點進 行融合，計算預(yù)測圖像新增加的場景點。
如圖3所示，對于同時在參考圖像31和預(yù)測圖像32中投影的場景點X， X,是場景點X 相對于參考圖像中心的坐標(biāo)34， X2是場景點X相對于預(yù)測圖像中心的坐標(biāo)35，則^和X2的 坐標(biāo)變換如公式(3)所示。<formula>formula see original document page 7</formula>
其中，W和r是預(yù)測圖像相對于參考圖像的相機外參數(shù)33的旋轉(zhuǎn)矩陣和平移量。
根據(jù)公式(3),對預(yù)測圖像的每一個場景點進行判斷，如果存在一個參考圖像的場景點 與所述預(yù)測圖像的場景點滿足上述公式(3)，則該預(yù)測圖像的場景點不是新增加的場景點； 如果不存在一個參考圖像的場景與所述預(yù)測圖像場景點滿足上述公式(3)，則該預(yù)測圖像的 場景點是新增加的場景點。
對于己經(jīng)在參考圖像中存在的場景點，如圖3中同時在參考圖像31和預(yù)測圖像32中投 影的場景點X，這類點的深度和顏色信息只需要在參考圖像中保存，而它們在預(yù)測圖像中的 投影點Q可以根據(jù)相機的旋轉(zhuǎn)和平移利用空間相關(guān)性通過公式(2)生成。對于預(yù)測圖像新 增加的場景點，如圖3中僅在預(yù)測圖像32中投影的場景點Y，需要在預(yù)測圖像32中保存新 增加的場景點的位置和顏色。
(5)完成步驟(4)以后，對參考圖像本身的顏色信息和深度信息以及預(yù)測圖像新增加 的場景點進行編碼。對于參考圖像本身的顏色信息采用JPEG標(biāo)準(zhǔn)壓縮編碼方式，其深度信 息被組織成深度圖像也采用JPEG標(biāo)準(zhǔn)壓縮編碼方式。對于預(yù)測圖像新增加的場景點的位置 信息和顏色信息采用HUFFMAN壓縮編碼。參考圖像和預(yù)測圖像的壓li編碼也可以采用其它編 碼方法。
以下結(jié)合附圖和實施例對本發(fā)明方法進行進一步的描述
圖4為本發(fā)明方法的流程圖，本發(fā)明利用空間相關(guān)性對全景壓縮數(shù)據(jù)進行恢復(fù)，生成預(yù) 測圖像相應(yīng)的全景圖像，其步驟如下
(1)由壓縮文件中獲取預(yù)測圖像相對于參考圖像的相機外參數(shù)，包括相機的旋轉(zhuǎn)矩陣R和平移量T。相機外參數(shù)的旋轉(zhuǎn)矩陣R和平移量T如公式(1)所示。
(2) 完成步驟(1)后，由參考圖像及相應(yīng)的深度信息恢復(fù)參考圖像的場景點，根據(jù)其 深度信息恢復(fù)為場景點在參考圖像坐標(biāo)系中的坐標(biāo)。如圖2所示，P點是全景圖像上的一個 像素點，7是像素點P相對于參考圖像中心的深度值22, (p刀)是像素點P的經(jīng)諱度，其中p
的取值范圍是(-;r,;z:)， ^的取值范圍是(-;r/2，;r/2)。像素點P所對應(yīng)的場景點X的三維坐
標(biāo)如公式(2)所示。根據(jù)像素點的經(jīng)緯度和深度信息，利用公式(2)可以生成參考圖像所 見的全部場景點。
(3) 完成步驟(2)后，根據(jù)預(yù)測圖像保存的場景點增量信息，計算相對于參考圖像新 增加的場景點。其中場景點的增量信息包括預(yù)測圖像相對于參考圖像新增場景點的位置信息 和顏色信息。
(4) 根據(jù)步驟(1)獲取相機外參數(shù)，利用步驟(2)和(3)計算出的場景點信息生成 預(yù)測圖像相應(yīng)的全景圖像。具體步驟又可分為
(4.1) 首先判斷遮擋關(guān)系并確定需要投影的場景點。如圖5所示，根據(jù)不同的遮擋關(guān) 系，具體分為三種情況。如圖5A所示，54場景點X和55場景點Y均為計算出的空間場景點， 兩點在51參考圖像和52預(yù)測圖像中均沒有遮擋，則可以直接將該場景點投影至預(yù)測圖像的 單位球上；如圖5B所示，這樣55場景點Y在參考圖像中遮擋住了 54場景點X的信息，但 在預(yù)測圖像中兩點均可見，所以也可以將兩點投影至預(yù)測圖像的單位球上；如圖5C中，54 場景點X在預(yù)測圖像中遮擋了 55場景點Y的信息，所以需要選擇與預(yù)測圖像中心距離最近 的一點進行投影。
(4.2) 接著將這些場景點坐標(biāo)轉(zhuǎn)換至預(yù)測圖像坐標(biāo)系下。在生成預(yù)測圖像相應(yīng)全景圖 像的過程中，根據(jù)有遮擋關(guān)系判斷出需要投影的場景點，利用公式(l)計算場景點相對于參 考圖像中心的坐標(biāo)。X,是需要投影的場景點X相對于參考圖像中心的坐標(biāo)，X2是場景點X相 對于預(yù)測圖像中心的坐標(biāo)，則X,和X2的坐標(biāo)變換如公式(3)所示。
(4.3) 最后對這些場景點進行投影，生成全景圖像。首先獲取場景點X在預(yù)測圖像坐 標(biāo)系下的坐標(biāo)，接著將該坐標(biāo)投影到預(yù)測圖像所在的單位球上，投影公式如(5)所示。0r, x z) 為場景點X在預(yù)測圖像坐標(biāo)系下的坐標(biāo)，^,勺是投影后像素點的經(jīng)緯度，其中p的取值范
圍是(-丌,;r)， P的取值范圍是(-"/么"/2)。<formula>formula see original document page 9</formula>
最后所應(yīng)說明的是，以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本領(lǐng)域的普 通技術(shù)人員來說，在不脫離本發(fā)明利用空間相關(guān)性對全景數(shù)據(jù)進行恢復(fù)前提下，還可以做出 若干改進或等同替換，這些改進和等同替換也應(yīng)視為本發(fā)明的保護范圍。
權(quán)利要求
1、一種空間相關(guān)的全景壓縮數(shù)據(jù)恢復(fù)方法，其特征在于步驟如下(1)獲取預(yù)測圖像相對于參考圖像的相機外參數(shù)，包括相機的旋轉(zhuǎn)矩陣R和平移量T；(2)完成步驟(1)后，由參考圖像和相應(yīng)的深度信息恢復(fù)參考圖像的場景點；(3)完成步驟(2)后，根據(jù)預(yù)測圖像保存的場景點增量信息，獲取預(yù)測圖像相對于參考圖像新增加的場景點；(4)根據(jù)步驟(1)獲取的相機外參數(shù)，利用步驟(2)和步驟(3)得到的場景點信息生成預(yù)測圖像相應(yīng)的全景圖像。
2、 根據(jù)權(quán)利要求1所述的空間相關(guān)的全景壓縮數(shù)據(jù)恢復(fù)方法，其特征在于所述步驟(2) 中，根據(jù)參考圖像和相應(yīng)的深度信息，利用以下公式恢復(fù)參考圖像的場景點的三維坐 標(biāo)(x， y， z)-其中，P為像素點的緯度，伊為像素點的經(jīng)度，7為像素點的深度值。
3、 根據(jù)權(quán)利要求1所述的空間相關(guān)的全景壓縮數(shù)據(jù)恢復(fù)方法，其特征在于所述步驟(3) 中，所述的預(yù)測圖像保存的增量信息包括預(yù)測圖像相對于參考圖像新增場景點的位置 信息和顏色信息，直接讀取所述位置信息和顏色信息，即可獲取出預(yù)測圖像相對于參考圖像 新增加的場景點。
4、 根據(jù)權(quán)利要求1所述的空間相關(guān)的全景壓縮數(shù)據(jù)恢復(fù)方法，其特征在于所述步驟(4) 中，利用相機外參數(shù)和場景點信息生成預(yù)測圖像相應(yīng)的全景圖像的方法為首先判斷 遮擋關(guān)系并確定需要投影的場景點，接著將選擇的場景點坐標(biāo)轉(zhuǎn)換至預(yù)測圖像坐標(biāo)系下，最 后對選擇的場景點進行投影，生成全景圖像。
5、 根據(jù)權(quán)利要求4所述的根據(jù)權(quán)利要求1所述的空間相關(guān)的全景壓縮數(shù)據(jù)恢復(fù)方法， 其特征在于所述判斷遮擋關(guān)系并確定需要投影的場景點的方法為如果沒有遮擋，則確定 該點需要投影；如果有遮擋，則只確定距離預(yù)測圖像中心最近的場景點需要投影。
6、 根據(jù)權(quán)利要求4所述的根據(jù)權(quán)利要求1所述的空間相關(guān)的全景壓縮數(shù)據(jù)恢復(fù)方法， 其特征在于所述的將選擇的場景點坐標(biāo)轉(zhuǎn)換至預(yù)測圖像坐標(biāo)系下的方法為利用以下公式 將需要投影的場景點由參考圖像坐標(biāo)系下坐標(biāo)l轉(zhuǎn)換為預(yù)測圖像坐標(biāo)系下坐標(biāo)X2 :<formula>formula see original document page 3</formula>其中，/ 和r分別為預(yù)測圖像相對于參考圖像的相機外參數(shù)的旋轉(zhuǎn)矩陣和平移量。
7、根據(jù)權(quán)利要求4所述的根據(jù)權(quán)利要求i所述的空間相關(guān)的全景壓縮數(shù)據(jù)恢復(fù)方法，其特征在于利用以下公式將選擇的場景點進行投影，生成全景圖像-<formula>formula see original document page 3</formula>其中，(JT,/,力為場景點X在預(yù)測圖像坐標(biāo)系中的坐標(biāo)，(p,"是投影后像素點的經(jīng)緯
全文摘要
一種空間相關(guān)的全景壓縮數(shù)據(jù)恢復(fù)方法，其步驟如下(1)獲取預(yù)測圖像相對于參考圖像的相機外參數(shù)，包括相機的旋轉(zhuǎn)矩陣R和平移量T；(2)完成步驟(1)后，由參考圖像和相應(yīng)的深度信息恢復(fù)參考圖像的場景點；(3)完成步驟(2)后，根據(jù)預(yù)測圖像保存的場景點增量信息，獲取相對于參考圖像新增加的場景點；(4)根據(jù)步驟(1)獲取的相機外參數(shù)，利用步驟(2)和(3)計算出的場景點信息生成預(yù)測圖像相應(yīng)的全景圖像。本發(fā)明利用全景數(shù)據(jù)之間的空間相關(guān)性，恢復(fù)預(yù)測圖像相應(yīng)的全景圖像。
文檔編號H04N7/36GK101547363SQ20091008146
公開日2009年9月30日 申請日期2009年4月3日 優(yōu)先權(quán)日2009年4月3日
發(fā)明者威 吳, 忠 周, 李艷麗, 犇 牛, 趙沁平, 珂 陳 申請人:北京航空航天大學(xué)