專利名稱：空間相關(guān)的全景數(shù)據(jù)壓縮方法
技術(shù)領(lǐng)域：
本發(fā)明涉及全景圖像技術(shù)領(lǐng)域，更具體地講，涉及一種利用空間相關(guān)性對連續(xù)采集的 全景數(shù)據(jù)進(jìn)行壓縮的方法。
背景技術(shù)：
全景圖像是由某一點拍攝的多幅實景圖像拼接而成的。其具體的生成過程是將相互 重疊圖像映射到簡單的幾何體表面上，如球面、立方體表面或圓柱面，然后對投影圖像進(jìn) 行無縫拼接，就可以得到全景圖像。根據(jù)所映射的幾何體，全景圖像可以分為柱面全景圖 像、球面全景圖像和立方體全景圖像。
全景圖像覆蓋了 360度的場景范圍，所以其數(shù)據(jù)量巨大，這對圖像的存儲和傳輸造成
了很大的困難。因此，需要對全景視頻進(jìn)行壓縮編碼，以降低存儲空間和減少傳輸時占用 的網(wǎng)絡(luò)帶寬。在視頻圖像壓縮中，運動估計用來根據(jù)己經(jīng)編碼的參考幀產(chǎn)生當(dāng)前預(yù)測幀的 運動補償預(yù)測，去除視頻序列中存在的時間冗余。運動估計的方法是將預(yù)測幀分成若千大 小相同的塊，根據(jù)不同的搜索算法和匹配原則在參考幀一定大小的窗口內(nèi)搜索最相似的匹
配塊。本發(fā)明前，中國發(fā)明專利"快速視頻運動估計方法"，專利號為01100544. 4,公開號 為CN1333634，該專利公開了一種運動估計的方法，采用菱形搜索并自適應(yīng)的終止搜索過 程。該方法主要是針對普通視頻采用固定順序進(jìn)行塊匹配搜索，并沒有充分利用視頻圖像 間的空間冗余信息，從而不能有效地對全景圖像進(jìn)行壓縮。中國發(fā)明專利"用于全景圖像 的運動估計和補償?shù)姆椒ê驮O(shè)備"，申請?zhí)枮?00580027187. 3，公開號為CN101002479A， 該專利公開了一種利用全景圖的左右邊界之間的空間關(guān)系進(jìn)行運動估計和補償?shù)姆椒āＴ?方法只適用于柱面全景圖，而且沒有充分利用整幅全景圖像的場景空間相關(guān)性，因而圖像 壓縮效率不高。
對于通過相機運動在同一場景空間里連續(xù)采集的全景圖像，這些全景圖像所覆蓋的大 部分場景空間都是相同的。由于圖像都來自同一場景空間，只是根據(jù)相機位置變化而采集 了多次，所以圖像與圖像之間的數(shù)據(jù)相近，其差異主要是來自于空間采集位置的不同，其 數(shù)據(jù)具有空間相關(guān)性。因此，本發(fā)明的空間相關(guān)的全景數(shù)據(jù)壓縮方法利用連續(xù)采集的全景 圖像之間場景空間的相關(guān)性，壓縮存在于全景圖像里的空間冗余信息。

發(fā)明內(nèi)容
4本發(fā)明的目的是克服現(xiàn)有方法沒有充分利用場景空間相關(guān)性不能有效地提高全景圖 像壓縮比的不足，提供一種利用空間相關(guān)性的全景數(shù)據(jù)壓縮方法，該方法在全景數(shù)據(jù)壓縮 的過程中，可以有效地壓縮存在于連續(xù)采集的全景圖像間的空間冗余信息，提高全景圖像 數(shù)據(jù)的壓縮比。
為了實現(xiàn)上述目的，本發(fā)明所采取的技術(shù)方案是將連續(xù)采集的全景數(shù)據(jù)分為參考圖 像和預(yù)測圖像，參考圖像保存了整個圖像的場景空間的場景點，預(yù)測圖像只存儲場景空間 的新增加的場景點，預(yù)測圖像可以根據(jù)相機的外參數(shù)從參考圖像生成，從而減少全景圖像 的數(shù)據(jù)量，具體包含的步驟如下-
(1) 獲取預(yù)測圖像相對于參考圖像的相機外參數(shù)，所述相機外參數(shù)包括相機的旋轉(zhuǎn)矩 陣y 和平移量7;
(2) 完成步驟(1)以后，獲取參考圖像和預(yù)測圖像的深度信息，即圖像中每一個像 素點的深度值；
(3) 根據(jù)步驟(2)的參考圖像和預(yù)測圖像的深度信息，獲取參考圖像和預(yù)測圖像的 場景點；
(4) 根據(jù)步驟(1)獲取的相機外參數(shù)，利用空間相關(guān)性對步驟(3)獲取的參考圖像 和預(yù)測圖像的場景點進(jìn)行融合，得到預(yù)測圖像新增加的場景點；
(5) 完成步驟(4)以后，對參考圖像本身的顏色信息和深度信息以及預(yù)測圖像新增 加的場景點進(jìn)行編碼，從而完成空間相關(guān)的全景數(shù)據(jù)壓縮。
本發(fā)明的原理是在同一場景空間里連續(xù)采集了多幅全景圖像，這些全景圖像所覆蓋 的大部分場景空間都是相同的，利用全景圖像間的空間相關(guān)性對圖像進(jìn)行壓縮，通過相機 外參數(shù)計算出參考圖像和預(yù)測圖像的所有場景點，然后對場景點進(jìn)行融合，判斷預(yù)測圖像 新增加的場景點，對于預(yù)測圖像僅保存新增加的場景點的相關(guān)信息，從而對全景圖像的數(shù) 據(jù)量進(jìn)行壓縮。
本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于本發(fā)明充分利用了場景空間的相關(guān)性對全景數(shù)據(jù)
進(jìn)行壓縮，根據(jù)相機的外參數(shù)，計算出預(yù)測圖像相對于參考圖像新增加的場景點，參考圖 像保存了整個圖像的場景點，預(yù)測圖像僅存儲新增加的場景點，從而減少全景數(shù)據(jù)的數(shù)據(jù) 量，提高了全景數(shù)據(jù)的壓縮比。


圖1為本發(fā)明中參考圖像和預(yù)測圖像的空間相關(guān)性的示意圖； 圖2為本發(fā)明空間相關(guān)的全景數(shù)據(jù)壓縮方法的流程圖；圖3為本發(fā)明中全景圖像場景點生成的示意圖； 圖4為本發(fā)明中利用空間相關(guān)性對場景點進(jìn)行融合的示意圖。 具體實施方法
下面結(jié)合附圖和實施例對本發(fā)明作進(jìn)一步詳細(xì)的描述-
本發(fā)明將連續(xù)采集的全景圖像分為參考圖像和預(yù)測圖像。參考圖像和預(yù)測圖像具體可 以按照固定比率(如1:5、 1:10、 1:15等)，也可以根據(jù)相機的平移量，按照相機相對于當(dāng) 前參考圖像的位置進(jìn)行劃分。參考圖像保存整幅圖像本身的顏色信息以及相應(yīng)的深度信息， 通過參考圖像可以獲取整幅圖像所對應(yīng)的場景點。預(yù)測圖像保存了相對于參考圖像的場景 點增量信息，其增量信息包括新增加的場景點的位置信息和顏色信息。預(yù)測圖像可以根據(jù) 相機的位置和方向利用空間相關(guān)性通過參考圖像和場景點增量信息生成。對于連續(xù)采集的 多幅全景圖像來說，本發(fā)明利用場景的空間相關(guān)性對全景圖像進(jìn)行壓縮。
在介紹本發(fā)明的具體實施步驟之前，對參考圖像和預(yù)測圖像的空間相關(guān)性進(jìn)行說明。 如圖1所示，把參考圖像11和預(yù)測圖像12到映射單位球面上，對于出現(xiàn)在參考圖像ll和 預(yù)測圖像12中的同一個場景點X，該場景點在參考圖像11和預(yù)測圖像12上投影分別為P 點和Q點，則P點和Q點的坐標(biāo)變換如公式(1)所示。
li (7"-r)1
在公式(1)中，W和7是預(yù)測圖像相對于參考圖像的相機外參數(shù)13的旋轉(zhuǎn)矩陣和平移 量，7是在參考圖像11中場景點X的深度值14，即場景點X與參考圖像11相機中心0的 距離。相機外參數(shù)的旋轉(zhuǎn)矩陣W和平移量7如公式(2)所示。
coy a cos1" " coy 7 + cos " s/w 〃 s/w ;k a 57力y — cos " 〃 ms* ;r i = 一 w力or coy >9 my " cos 7 - s/" p s/w々s/w ;k cos " s/w z + 57'" " s//2々cos ;r
M《G
(2)
在公式(2)中，(a,A"表示相機繞X方向、Y方向和Z方向的旋轉(zhuǎn)量，(t "")
表示相機沿X方向、Y方向和Z方向的平移量。
場景點X在預(yù)測圖像12中的投影點Q，可以根據(jù)預(yù)測圖像相對于參考圖像的相機外參 數(shù)13和場景點X的深度值14，利用參考圖像11和預(yù)測圖像12的場景空間相關(guān)性，從參考
圖像ll生成。
本發(fā)明利用空間相關(guān)性的全景數(shù)據(jù)壓縮方法的流程如圖'2所示，其步驟如下
6(1) 使用Structure From Motion (運動結(jié)構(gòu)重建)算法獲取預(yù)測圖像相對于參考圖 像的相機外參數(shù)，包括相機的旋轉(zhuǎn)矩陣R和平移量T，也可以采用其它方法獲取相機外參數(shù)。
上述的運動結(jié)構(gòu)重建算法主要包括以下步驟首先，提取參考圖像和預(yù)測圖像的特征 點，例如KLT (Kanade-Lucas-Tomasi)特征點，并根據(jù)特征點的描述子信息尋找相鄰兩幅 圖像中匹配的特征點；其次，根據(jù)特征點的匹配關(guān)系計算相鄰兩幅圖像的相機外參數(shù)；然 后，根據(jù)相鄰兩幅圖像之間的相機外參數(shù)，計算所有圖像相對參考圖像的相機外參數(shù)；最 后，對所有的相機外參數(shù)進(jìn)行捆綁調(diào)整。
(2) 完成步驟(1)以后，使用Plane Swe印ing (平掃)算法獲取參考圖像和預(yù)測圖 像的深度信息，即圖像中每一個像素點的深度值，也可以采用其它方法獲取圖像的深度信 息。
上述的平掃算法主要包括以下步驟首先，在空間中預(yù)定義一系列的平面，每一個平 面對應(yīng)一個深度值；然后，讓圖像中心與像素點所構(gòu)成的射線與預(yù)定義的各平面相交，并 計算各交點在其它圖像上的投影點；最后，統(tǒng)計投影點與原像素點的顏色誤差和，選取顏 色誤差和最小的交點所對應(yīng)的平面的深度值作為原像素點的深度值。
(3) 根據(jù)步驟(2)獲取的深度信息，獲取參考圖像和預(yù)測圖像各自的三維場景點。 如圖3所示，P點是全景圖像31上的一個像素點，2是像素點P相對于全景圖像中心
的深度32，(伊,0是像素點P的經(jīng)緯度33，其中p的取值范圍是(-;r，;r;)， 9的取值范圍是
(-;r/2,;r/2)。像素點P所對應(yīng)的場景點X的三維坐標(biāo)如公式(3)所示。
-_y-/cfw^z'wp (3)
根據(jù)像素點的經(jīng)緯度和深度信息，利用公式(3)可以生成全景圖像中所有像素點所對 應(yīng)的場景點。
(4) 根據(jù)步驟(1)獲取的相機外參數(shù)，利用空間相關(guān)性對步驟(3)獲取的場景點進(jìn) 行融合，得到預(yù)測圖像新增加的場景點。
如圖4所示，對于伺時在參考圖像41和預(yù)測圖像42中投影的場景點X， X,是場景點X 相對于參考圖像中心的坐標(biāo)44， &是場景點X相對于預(yù)測圖像中心的坐標(biāo)45，則X,和X2 的坐標(biāo)變換如公式(4)所示。
J^-取廣W (4) 其中，左和f是預(yù)測圖像相對于參考圖像的相機外參數(shù)43的旋轉(zhuǎn)矩陣和平移量根據(jù)公式(4)，對預(yù)測圖像的每一個場景點進(jìn)行判斷'，如果存在一個參考圖像的場景 點與所述預(yù)測圖像的場景點滿足上述公式(4)，則該預(yù)測圖像的場景點不是新增加的場景 點；如果不存在一個參考圖像的場景與預(yù)測圖像的場景點滿足上述公式(4)，則該預(yù)測圖 像的場景點是新增加的場景點。
對于已經(jīng)在參考圖像中存在的場景點，如圖4中同時在參考圖像41和預(yù)測圖像42中 投影的場景點X，這類點的深度和顏色信息只需要在參考圖像中保存，而它們在預(yù)測圖像中 的投影點Q可以根據(jù)相機的旋轉(zhuǎn)和平移利用空間相關(guān)性通過公式(1)生成。對于預(yù)測圖像 新增加的場景點，如圖4中僅在預(yù)測圖像42中投影的場景點Y，需要在預(yù)測圖像42中保存 新增加的場景點的位置和顏色。
(5)完成步驟(4)以后，對參考圖像本身的顏色信息和深度信息以及預(yù)測圖像新增 加的場景點進(jìn)行編碼。對于參考圖像本身的顏色信息采用JPEG標(biāo)準(zhǔn)壓縮編碼方式，其深度 信息被組織成深度圖像也采用JPEG標(biāo)準(zhǔn)壓縮編碼方式。對于預(yù)測圖像新增加的場景點的位 置信息和顏色信息采用HUFFMAN壓縮編碼。參考圖像和預(yù)測圖像的壓縮編碼也可以采用其 它編碼方法。
本發(fā)明中未詳細(xì)闡述的部分屬于本領(lǐng)域技術(shù)人員的公知技術(shù)。
最后所應(yīng)說明的是，以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng) 域的普通技術(shù)人員來說，在不脫離本發(fā)明利用空間相關(guān)性對全景數(shù)據(jù)進(jìn)行壓縮前提下，還 可以做出若干改進(jìn)或等同替換，這些改進(jìn)和等同替換也應(yīng)視為本發(fā)明的保護范圍。
8
權(quán)利要求
1、一種空間相關(guān)的全景數(shù)據(jù)壓縮方法，其特征在于步驟如下(1)獲取預(yù)測圖像相對于參考圖像的相機外參數(shù)，所述相機外參數(shù)包括相機的旋轉(zhuǎn)矩陣R和平移量T；(2)完成步驟(1)以后，獲取參考圖像和預(yù)測圖像的深度信息，即圖像中每一個像素點的深度值；(3)根據(jù)步驟(2)的參考圖像和預(yù)測圖像的深度信息，獲取參考圖像和預(yù)測圖像的場景點；(4)根據(jù)步驟(1)獲取的相機外參數(shù)，利用空間相關(guān)性對步驟(3)獲取的參考圖像和預(yù)測圖像的場景點進(jìn)行融合，得到預(yù)測圖像新增加的場景點；(5)完成步驟(4)以后，對參考圖像本身的顏色信息和深度信息以及預(yù)測圖像新增加的場景點進(jìn)行編碼，從而完成空間相關(guān)的全景數(shù)據(jù)壓縮。
2、 根據(jù)權(quán)利要求1所述的空間相關(guān)的全景數(shù)據(jù)壓縮方法，其特征在于所述步驟(3) 中獲取參考圖像和預(yù)測圖像場景點的方法為根據(jù)參考圖像和預(yù)測圖像每個像素點的深度 值7，利用下列公式(a)計算參考圖像和預(yù)測圖像每個像素點所對應(yīng)的場景點的三維坐標(biāo)(A /，力，從而得到參考圖像和預(yù)測圖像的場景點< _y 二/ms(9w'"p ( a )其中，^為像素點的緯度，^為像素點的經(jīng)度，7為像素點的深度值。
3、 根據(jù)權(quán)利要求1所述的空間相關(guān)的全景數(shù)據(jù)壓縮方法，其特征在于所述步驟(4) 中根據(jù)相機外參數(shù)，利用空間相關(guān)性對參考圖像和預(yù)測圖像的場景點進(jìn)行融合，得到預(yù)測圖像相對于參考圖像新增加的場景點的方法為對預(yù)測圖像的每一個場景點進(jìn)行判斷，如果存在參考圖像的場景點與所述預(yù)測圖像的場景點滿足下述公式(b)，則該預(yù)測圖像的場景點不是新增加的場景點；如果不存在參考圖像的場景點與該所述預(yù)測圖像的場景點滿足 下述公式b，則該預(yù)測圖像的場景點是新增加的場景點，A《義廣7V ( b )其中，l是參考圖像的場景點相對于參考圖像中心的坐標(biāo)，X2是預(yù)觀^圖像的場景點相對于預(yù)測圖像中心的坐標(biāo)，w和r是預(yù)測圖像相對于參考圖像的相機外參數(shù)的旋轉(zhuǎn)矩陣和平移且 里。
4、根據(jù)權(quán)利要求1-3之一所述的空間相關(guān)的全景數(shù)據(jù)壓縮方法，其特征在于所述的 參考圖像保存整幅圖像本身的顏色信息以及相應(yīng)的深度信息，預(yù)測圖像保存新增加的場景 點的位置信息和顏色信息。
全文摘要
一種空間相關(guān)的全景數(shù)據(jù)壓縮方法，其步驟如下(1)獲取預(yù)測圖像相對于參考圖像的相機外參數(shù)，相機外參數(shù)包括相機的旋轉(zhuǎn)矩陣R和平移量T；(2)完成步驟(1)以后，獲取參考圖像和預(yù)測圖像的深度信息，即圖像中每一個像素點的深度值；(3)根據(jù)步驟(2)的參考圖像和預(yù)測圖像的深度信息，獲取參考圖像和預(yù)測圖像的場景點；(4)根據(jù)步驟(1)獲取的相機外參數(shù)，利用空間相關(guān)性對步驟(3)獲取的參考圖像和預(yù)測圖像的場景點進(jìn)行融合，得到預(yù)測圖像新增加的場景點；(5)完成步驟(4)以后，對參考圖像本身的顏色信息和深度信息以及預(yù)測圖像新增加的場景點進(jìn)行編碼。本發(fā)明利用連續(xù)采集的全景圖像之間場景空間的相關(guān)性，壓縮存在于全景圖像里的空間冗余信息。
文檔編號H04N7/26GK101521823SQ20091008102
公開日2009年9月2日 申請日期2009年3月27日 優(yōu)先權(quán)日2009年3月27日
發(fā)明者威 吳, 忠 周, 李艷麗, 犇 牛, 趙沁平, 珂 陳 申請人:北京航空航天大學(xué)