專利名稱：一種恢復(fù)視頻數(shù)據(jù)的方法、裝置和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種恢復(fù)視頻數(shù)據(jù)的方法、裝置和系統(tǒng)。
背景技術(shù)：
隨著通信網(wǎng)絡(luò)的發(fā)展，視頻數(shù)據(jù)的編解碼技術(shù)也取得了很大的進(jìn)步。編碼數(shù)據(jù)在 播放時(shí)會(huì)先進(jìn)行解碼，然后才能進(jìn)行正常播放，如果編碼數(shù)據(jù)在存儲(chǔ)或網(wǎng)絡(luò)傳輸過程中發(fā) 生丟失，會(huì)使解碼發(fā)生錯(cuò)誤，導(dǎo)致解碼器崩潰并出現(xiàn)馬賽克現(xiàn)象。現(xiàn)有技術(shù)公開了一種對(duì)丟失數(shù)據(jù)的補(bǔ)償方法，該補(bǔ)償方法基于時(shí)域，需要將丟失 數(shù)據(jù)的當(dāng)前幀的前面幀的視頻數(shù)據(jù)宏塊整體復(fù)制到當(dāng)前幀。具體地，如果數(shù)據(jù)流中存在數(shù) 據(jù)丟失，則判斷是否在軟件處理層完成丟失數(shù)據(jù)預(yù)測估計(jì)及補(bǔ)償，否則對(duì)視頻數(shù)據(jù)進(jìn)行播 放；如果確定在軟件處理層完成丟失數(shù)據(jù)的預(yù)測估計(jì)及補(bǔ)償，則判斷系統(tǒng)的實(shí)時(shí)性要求； 如果系統(tǒng)對(duì)實(shí)時(shí)性要求高，則對(duì)丟失數(shù)據(jù)進(jìn)行基于時(shí)域的預(yù)測估計(jì)及補(bǔ)償，如果系統(tǒng)對(duì)實(shí) 時(shí)性要求不高，則對(duì)丟失數(shù)據(jù)進(jìn)行基于空域的預(yù)測估計(jì)和基于時(shí)域的補(bǔ)償；進(jìn)入解碼器處 理層，解碼器對(duì)接收到的存在數(shù)據(jù)丟失的視頻編碼數(shù)據(jù)流進(jìn)行基于空域的預(yù)測估計(jì)和基于 時(shí)域的補(bǔ)償；解碼器對(duì)接收到的視頻編碼數(shù)據(jù)流進(jìn)行解碼，并發(fā)送給播放裝置進(jìn)行播放，基 于上述判斷選擇，完成對(duì)丟失數(shù)據(jù)的補(bǔ)償。和普通視頻編碼數(shù)據(jù)一樣，多視點(diǎn)視頻編碼數(shù)據(jù)在進(jìn)行網(wǎng)絡(luò)傳輸時(shí)也會(huì)出現(xiàn)丟包 的情況。由于視頻幀以幀為單位，所以某一幀數(shù)據(jù)的部分丟失很可能導(dǎo)致該幀數(shù)據(jù)無法解碼。發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下缺陷現(xiàn)有技術(shù)中的丟失數(shù)據(jù)補(bǔ)償方法基于時(shí)域，需要將丟失數(shù)據(jù)的視頻幀前面幀的視 頻數(shù)據(jù)宏塊整體復(fù)制到當(dāng)前幀，重建的視頻數(shù)據(jù)質(zhì)量差，有較明顯的分塊效應(yīng)。當(dāng)整幀丟失 時(shí)，無法進(jìn)行恢復(fù)，沒有利用空間上不同視點(diǎn)的視頻冗余信息。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供了一種恢復(fù)視頻數(shù)據(jù)的方法、裝置和系統(tǒng)，用于提高重建圖像 的質(zhì)量。本發(fā)明實(shí)施例提供了一種恢復(fù)視頻數(shù)據(jù)的方法，包括獲取與丟失的視頻數(shù)據(jù)的視角不同的同一時(shí)刻的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像 機(jī)參數(shù)；根據(jù)所述獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并使用所述 恢復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。本發(fā)明實(shí)施例還提供了一種恢復(fù)視頻數(shù)據(jù)的裝置，包括獲取模塊，用于獲取與丟失的視頻數(shù)據(jù)的視角不同的同一時(shí)刻的視頻數(shù)據(jù)以及對(duì) 應(yīng)的標(biāo)定攝像機(jī)參數(shù)；恢復(fù)模塊，用于根據(jù)所述獲取模塊獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并使用所述恢復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。本發(fā)明實(shí)施例還提供了一種恢復(fù)視頻數(shù)據(jù)的系統(tǒng)，包括視頻發(fā)送端，用于向視頻接收端發(fā)送各個(gè)視角的視頻數(shù)據(jù)和標(biāo)定攝像機(jī)參數(shù)；視頻接收端，用于接收來自所述視頻發(fā)送端的各個(gè)視角的視頻數(shù)據(jù)和標(biāo)定攝像機(jī) 參數(shù)，當(dāng)檢測到視頻數(shù)據(jù)丟失時(shí)，獲取與所述丟失的視頻數(shù)據(jù)的視角不同的同一時(shí)刻的視 頻數(shù)據(jù)，根據(jù)所述獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并使用所述 恢復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例具有以下優(yōu)點(diǎn)本發(fā)明實(shí)施例利用各個(gè)視角的視 頻數(shù)據(jù)和標(biāo)定攝像機(jī)參數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并以得到的恢復(fù)數(shù)據(jù)代替丟失的視頻數(shù)據(jù)，消除 了恢復(fù)數(shù)據(jù)的分塊效應(yīng)，利用空間上不同視點(diǎn)的視頻冗余信息，提高了重建圖像質(zhì)量。


為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)本發(fā)明實(shí)施 例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅 僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提 下，還可以根據(jù)這些附圖獲得其他的附圖。圖1為本發(fā)明實(shí)施例一中的一種恢復(fù)視頻數(shù)據(jù)的方法流程圖；圖2為本發(fā)明實(shí)施例二中的一種恢復(fù)視頻數(shù)據(jù)的方法流程圖；圖3為本發(fā)明實(shí)施例三中的一種恢復(fù)視頻數(shù)據(jù)的方法流程圖；圖4為本發(fā)明實(shí)施例四中的多視點(diǎn)系統(tǒng)的幀結(jié)構(gòu)示意圖；圖5為本發(fā)明實(shí)施例四中的一種恢復(fù)視頻數(shù)據(jù)的方法流程圖；圖6為本發(fā)明實(shí)施例五中的一種恢復(fù)視頻數(shù)據(jù)的裝置結(jié)構(gòu)示意圖；圖7為本發(fā)明實(shí)施例六中的一種恢復(fù)視頻數(shù)據(jù)的裝置結(jié)構(gòu)示意圖；圖8為本發(fā)明實(shí)施例七中的一種恢復(fù)視頻數(shù)據(jù)的裝置結(jié)構(gòu)示意圖；圖9為本發(fā)明實(shí)施例八中的一種恢復(fù)視頻數(shù)據(jù)的系統(tǒng)結(jié)構(gòu)示意圖。
具體實(shí)施例方式本發(fā)明實(shí)施例提供的技術(shù)方案中，其核心思想為當(dāng)檢測到視頻數(shù)據(jù)丟失時(shí)，根據(jù) 接收到的來自視頻發(fā)送端的標(biāo)定攝像機(jī)參數(shù)以及與丟失的視頻數(shù)據(jù)視角不同的同一時(shí)刻 的視頻數(shù)據(jù)，使用中間視圖生成方法構(gòu)造恢復(fù)數(shù)據(jù)，并使用靜態(tài)區(qū)域比較方法對(duì)構(gòu)造的恢 復(fù)數(shù)據(jù)進(jìn)行優(yōu)選，使用優(yōu)選得到的恢復(fù)數(shù)據(jù)代替丟失的視頻數(shù)據(jù)。下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例的技術(shù)方案進(jìn)行清楚、完整 地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā) 明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施 例，都屬于本發(fā)明保護(hù)的范圍。如圖1所示，為本發(fā)明實(shí)施例一中的一種恢復(fù)視頻數(shù)據(jù)的方法流程圖，包括以下 步驟步驟101，獲取與丟失的視頻數(shù)據(jù)的視角不同的同一時(shí)刻的視頻數(shù)據(jù)以及對(duì)應(yīng)的 標(biāo)定攝像機(jī)參數(shù)。
具體地，可以接收來自視頻發(fā)送端的各個(gè)視角的視頻數(shù)據(jù)和標(biāo)定攝像機(jī)參數(shù)，當(dāng) 檢測到視頻數(shù)據(jù)丟失時(shí)，獲取與丟失的視頻數(shù)據(jù)的視角不同的同一時(shí)刻的視頻數(shù)據(jù)以及對(duì) 應(yīng)的標(biāo)定攝像機(jī)參數(shù)。其中，標(biāo)定攝像機(jī)參數(shù)包括攝像機(jī)內(nèi)部參數(shù)和攝像機(jī)外部參數(shù)，攝像 機(jī)內(nèi)部參數(shù)包括水平軸上的(透鏡)歸一化焦距、垂直軸上的(透鏡)歸一化焦距、水平軸 非線性畸變參數(shù)、垂直軸非線性畸變參數(shù)、水平軸偏移量和垂直軸偏移量等參數(shù)；攝像機(jī)外 部參數(shù)包括攝像機(jī)相對(duì)于外部世界的坐標(biāo)參數(shù)，如χ、y、z，偏轉(zhuǎn)等，基本上是確定一個(gè)剛體 所需要的參數(shù)。步驟102，根據(jù)獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并使用 該恢復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。具體地，上述根據(jù)獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，具 體包括根據(jù)所述獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造至少兩個(gè)重建幀，并獲 取距離所述丟失的視頻數(shù)據(jù)最近的能夠正確解碼的同一視角的視頻幀；比較各個(gè)重建幀與 所述獲取的視頻幀在靜態(tài)區(qū)域的相似程度，將相似程度最高的重建幀作為所述恢復(fù)數(shù)據(jù)。上述比較各個(gè)重建幀與獲取的視頻幀在靜態(tài)區(qū)域的相似程度，具體包括計(jì)算所 述各個(gè)重建幀與所述獲取的視頻幀在所述靜態(tài)區(qū)域內(nèi)的像素點(diǎn)的亮度值的絕對(duì)值差值之 和，將所述絕對(duì)值差值之和最小的重建幀作為所述相似程度最高的重建幀。本發(fā)明實(shí)施例利用各個(gè)視角的視頻數(shù)據(jù)和標(biāo)定攝像機(jī)參數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并以得 到的恢復(fù)數(shù)據(jù)代替丟失的視頻數(shù)據(jù)，消除了恢復(fù)數(shù)據(jù)的分塊效應(yīng)，利用空間上不同視點(diǎn)的 視頻冗余信息，提高了重建圖像的質(zhì)量。本發(fā)明實(shí)施例中的恢復(fù)視頻數(shù)據(jù)的方法應(yīng)用于包括視頻發(fā)送端和視頻接收端的 系統(tǒng)，其中，視頻發(fā)送端由攝像機(jī)采集裝置和編碼器構(gòu)成，需要標(biāo)定攝像機(jī)的參數(shù)，包括內(nèi) 部參數(shù)和外部參數(shù)；視頻接收端通過網(wǎng)絡(luò)接收視頻數(shù)據(jù)，并對(duì)接收到的視頻數(shù)據(jù)進(jìn)行解碼。以下結(jié)合上述應(yīng)用場景對(duì)本發(fā)明實(shí)施例中的恢復(fù)視頻數(shù)據(jù)的方法進(jìn)行詳細(xì)、具體 的描述。如圖2所示，為本發(fā)明實(shí)施例二中的一種恢復(fù)視頻數(shù)據(jù)的方法流程圖，包括以下 步驟步驟201，視頻發(fā)送端對(duì)每個(gè)視角的攝像機(jī)進(jìn)行標(biāo)定。具體地，可以確定攝像機(jī)的輸入輸出關(guān)系，賦予攝像機(jī)的分度值；也可以確定攝像 機(jī)的靜態(tài)特性指標(biāo)；還可以消除系統(tǒng)誤差，改善攝像機(jī)或系統(tǒng)的正確度。步驟202，視頻發(fā)送端將每個(gè)視角的標(biāo)定攝像機(jī)參數(shù)和視頻數(shù)據(jù)發(fā)送到視頻接收端。步驟203，視頻接收端檢測到視頻數(shù)據(jù)丟失，獲取與丟失的視頻數(shù)據(jù)的視角不同的 同一時(shí)刻的視頻數(shù)據(jù)，根據(jù)獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造至少兩個(gè)重建 幀，并獲取距離丟失的視頻數(shù)據(jù)最近的能夠正確解碼的同一視角的視頻幀。具體地，根據(jù)攝像機(jī)投射投影的原理，實(shí)際物體的坐標(biāo)可以轉(zhuǎn)換到視頻圖像的坐 標(biāo)，即\ = Mi*M2*Xw，其中，)(p為圖像的坐標(biāo)，M1為攝像機(jī)內(nèi)部參數(shù)，M2為攝像機(jī)外部參數(shù)， Xw實(shí)際物體坐標(biāo)。本發(fā)明實(shí)施例使用中間視圖生成方法構(gòu)造重建幀，從與丟失的視頻數(shù)據(jù) 的視角不同的同一時(shí)刻的視頻幀恢復(fù)出若干個(gè)視頻幀，將該視頻幀作為重建幀。例如，已知視點(diǎn)1和視點(diǎn)3的圖像，由于實(shí)際物體坐標(biāo)和圖像坐標(biāo)存在影射關(guān)系，可以在獲得標(biāo)定攝像機(jī)參數(shù)的情況下，利用公式Xp = Mi*M2*Xw計(jì)算出視點(diǎn)1和視點(diǎn)3之間 的視點(diǎn)2的圖像。步驟204，視頻接收端檢測距離丟失的視頻數(shù)據(jù)最近的同一視角的P幀，獲取該P(yáng) 幀的每個(gè)宏塊的運(yùn)動(dòng)矢量，將P幀圖像的幀間預(yù)測模式下運(yùn)動(dòng)矢量為零的宏塊所在的區(qū)域 作為本視角的靜態(tài)區(qū)域。具體地，每幀圖像可以進(jìn)一步劃分為宏塊，包括P幀圖像的幀內(nèi)預(yù)測模式下的宏 塊和P幀圖像的幀間預(yù)測模式下的宏塊。對(duì)于P幀圖像的幀內(nèi)預(yù)測模式下的宏塊，可以確 定該宏塊所在的區(qū)域不在靜態(tài)區(qū)域內(nèi)；對(duì)于P幀圖像的幀間預(yù)測模式下的宏塊，在視頻數(shù) 據(jù)的解碼過程中，可以獲得每個(gè)宏塊的運(yùn)動(dòng)矢量，當(dāng)宏塊的運(yùn)動(dòng)矢量為零時(shí)，說明該宏塊和 前一幀相同位置的宏塊相同，可以確定該宏塊的區(qū)域位于靜態(tài)區(qū)域。步驟205，視頻接收端比較各個(gè)重建幀與獲取的視頻幀在靜態(tài)區(qū)域的相似程度，將 相似程度最高的重建幀作為恢復(fù)數(shù)據(jù)，并使用該恢復(fù)數(shù)據(jù)代替丟失的視頻數(shù)據(jù)。具體地，靜態(tài)區(qū)域的圖像變化程度越小，則重建幀和本視角之前幀在靜態(tài)區(qū)域的 相似度越高，重建幀重建的圖像質(zhì)量越好，可以選擇該重建幀作為最終的恢復(fù)數(shù)據(jù)代替丟 失的視頻數(shù)據(jù)。在具體的實(shí)現(xiàn)過程中，可以計(jì)算各個(gè)重建幀與獲取的視頻幀在靜態(tài)區(qū)域內(nèi) 的像素點(diǎn)的亮度值的絕對(duì)值差值之和，將絕對(duì)值差值之和最小的重建幀作為相似程度最高 的重建幀。本發(fā)明實(shí)施例利用空間上的冗余信息和時(shí)間上的圖像信息構(gòu)造恢復(fù)數(shù)據(jù)，并對(duì)構(gòu) 造的恢復(fù)數(shù)據(jù)進(jìn)行優(yōu)選，以優(yōu)選得到的恢復(fù)數(shù)據(jù)代替丟失的視頻數(shù)據(jù)，消除了恢復(fù)數(shù)據(jù)的 分塊效應(yīng)，提高了重建圖像的質(zhì)量，且只在檢測到有視頻數(shù)據(jù)丟失的時(shí)候才需要選定靜態(tài) 區(qū)域，對(duì)現(xiàn)有技術(shù)改動(dòng)較少。如圖3所示，為本發(fā)明實(shí)施例三中的一種恢復(fù)視頻數(shù)據(jù)的方法流程圖，包括以下 步驟步驟301，視頻發(fā)送端對(duì)每個(gè)視角的攝像機(jī)進(jìn)行標(biāo)定。步驟302，視頻發(fā)送端將每個(gè)視角的標(biāo)定攝像機(jī)參數(shù)和視頻數(shù)據(jù)發(fā)送到視頻接收端。步驟303，視頻接收端對(duì)接收到的視頻數(shù)據(jù)進(jìn)行解碼播放，實(shí)時(shí)檢測該視頻數(shù)據(jù)中 最新接收到的P幀。步驟304，視頻接收端獲取最新接收到的P幀的每個(gè)宏塊的運(yùn)動(dòng)矢量，使用P幀圖 像的幀間預(yù)測模式下運(yùn)動(dòng)矢量為零的宏塊所在的區(qū)域更新靜態(tài)區(qū)域。步驟305，視頻接收端檢測到視頻數(shù)據(jù)丟失，獲取與丟失的視頻數(shù)據(jù)的視角不同的 同一時(shí)刻的視頻數(shù)據(jù)，根據(jù)獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造至少兩個(gè)重建 幀，并獲取距離丟失的視頻數(shù)據(jù)最近的能夠正確解碼的同一視角的視頻幀。步驟306，視頻接收端計(jì)算各個(gè)重建幀與獲取的視頻幀在靜態(tài)區(qū)域內(nèi)的像素點(diǎn)的 亮度值的絕對(duì)值差值之和，將該絕對(duì)值差值之和最小的重建幀作為恢復(fù)數(shù)據(jù)，并使用該恢 復(fù)數(shù)據(jù)代替丟失的視頻數(shù)據(jù)。本發(fā)明實(shí)施例利用空間上的冗余信息和時(shí)間上的圖像信息構(gòu)造恢復(fù)數(shù)據(jù)，并對(duì)構(gòu) 造的恢復(fù)數(shù)據(jù)進(jìn)行優(yōu)選，以優(yōu)選得到的恢復(fù)數(shù)據(jù)代替丟失的視頻數(shù)據(jù)，消除了恢復(fù)數(shù)據(jù)的 分塊效應(yīng)，提高了重建圖像的質(zhì)量。
如圖4所示，為本發(fā)明實(shí)施例四中的多視點(diǎn)系統(tǒng)的幀結(jié)構(gòu)示意圖，包括5個(gè)視點(diǎn)， 每個(gè)視點(diǎn)單獨(dú)編解碼，假設(shè)圖中的P[4] [3]幀丟失。如圖5所示，為本發(fā)明實(shí)施例四中的一種恢復(fù)視頻數(shù)據(jù)的方法流程圖，包括以下 步驟步驟401，視頻發(fā)送端對(duì)5個(gè)視角的攝像機(jī)進(jìn)行標(biāo)定。步驟402，視頻發(fā)送端將5個(gè)視角的標(biāo)定攝像機(jī)參數(shù)和視頻數(shù)據(jù)發(fā)送到視頻接收端。步驟403，視頻接收端檢測到P[4] [3]幀丟失，根據(jù)標(biāo)定攝像機(jī)參數(shù)以及與P[4] [3]幀視角不同的同一時(shí)刻的P[l] [3]幀、P[2] [3]幀、P[3] [3]幀和P[5] [3]幀，構(gòu)造重建 幀。具體地，視頻接收端可以利用P[3] [3]和P[5] [3]恢復(fù)出重建幀Prt5，利用P[2] [3] 和P[5] [3]恢復(fù)出重建幀Prt5，利用P[l][3]和P[5] [3]恢復(fù)出重建幀Pri5。步驟404，視頻接收端檢測距離P[4] [3]幀最近的能夠正確解碼的同一視角的P 幀，獲取該P(yáng)幀的每個(gè)宏塊的運(yùn)動(dòng)矢量，將P幀圖像的幀間預(yù)測模式下運(yùn)動(dòng)矢量為零的宏塊 所在的區(qū)域作為靜態(tài)區(qū)域。步驟405，視頻接收端比較各個(gè)重建幀與距離W4] [3]幀最近的能夠正確解碼的 同一視角的視頻幀在靜態(tài)區(qū)域的相似程度，將相似程度最高的重建幀代替P [4] [3]幀。具體地，由于距離W4] [3]幀最近的能夠正確解碼的同一視角的視頻幀為1[4] [1]巾貞，因此，對(duì)于重建幀Pri5，可以計(jì)算Pr35和I [4] [1]在靜態(tài)區(qū)域內(nèi)的像素點(diǎn)的亮度值的 絕對(duì)差值之和SADr35 ；對(duì)于重建幀Prt5，可以計(jì)算Pm和I [4] [1]在靜態(tài)區(qū)域內(nèi)的像素點(diǎn)的亮 度值的絕對(duì)差值之和SADr25 ；對(duì)于重建幀Pr15，可以計(jì)算Pr15和I [4] [1]在靜態(tài)區(qū)域內(nèi)的像素 點(diǎn)的亮度值的絕對(duì)差值之和SADri5。比較SADri5、SADrt5和SAD⑶之間的大小關(guān)系，選擇絕對(duì)值差值之和最小的重建幀作 為相似程度最高的重建幀代替P [4] [3]幀。本發(fā)明實(shí)施例利用空間上的冗余信息和時(shí)間上的圖像信息構(gòu)造恢復(fù)數(shù)據(jù)，并對(duì)構(gòu) 造的恢復(fù)數(shù)據(jù)進(jìn)行優(yōu)選，以優(yōu)選得到的恢復(fù)數(shù)據(jù)代替丟失的視頻數(shù)據(jù)，消除了恢復(fù)數(shù)據(jù)的 分塊效應(yīng)，提高了重建圖像的質(zhì)量，且只在檢測到有視頻數(shù)據(jù)丟失的時(shí)候才需要選定靜態(tài) 區(qū)域，對(duì)現(xiàn)有技術(shù)改動(dòng)較少。本發(fā)明實(shí)施例在上述實(shí)施方式中提供了恢復(fù)視頻數(shù)據(jù)的方法和多種應(yīng)用場景，相 應(yīng)地，本發(fā)明實(shí)施例還提供了應(yīng)用上述恢復(fù)視頻數(shù)據(jù)的方法的裝置和系統(tǒng)。如圖6所示，為本發(fā)明實(shí)施例五中的一種恢復(fù)視頻數(shù)據(jù)的裝置結(jié)構(gòu)示意圖，包括獲取模塊510，用于獲取與丟失的視頻數(shù)據(jù)的視角不同的同一時(shí)刻的視頻數(shù)據(jù)以 及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)?；謴?fù)模塊520，用于根據(jù)獲取模塊510獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參 數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并使用所述恢復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。本發(fā)明實(shí)施例利用各個(gè)視角的視頻數(shù)據(jù)和標(biāo)定攝像機(jī)參數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并以得 到的恢復(fù)數(shù)據(jù)代替丟失的視頻數(shù)據(jù)，消除了恢復(fù)數(shù)據(jù)的分塊效應(yīng)，利用空間上不同視點(diǎn)的 視頻冗余信息，提高了重建圖像的質(zhì)量。如圖7所示，為本發(fā)明實(shí)施例六中的一種恢復(fù)視頻數(shù)據(jù)的裝置結(jié)構(gòu)示意圖，包括
獲取模塊610，用于獲取與丟失的視頻數(shù)據(jù)的視角不同的同一時(shí)刻的視頻數(shù)據(jù)以 及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)。恢復(fù)模塊620，用于根據(jù)獲取模塊610獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參 數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并使用所述恢復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。上述恢復(fù)模塊620，具體包括構(gòu)造子模塊621，用于根據(jù)所述獲取模塊610獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝 像機(jī)參數(shù)構(gòu)造至少兩個(gè)重建幀。獲取子模塊622，用于獲取距離所述丟失的視頻數(shù)據(jù)最近的能夠正確解碼的同一 視角的視頻幀。比較子模塊623，用于比較所述構(gòu)造子模塊621構(gòu)造的各個(gè)重建幀與所述獲取子 模塊622獲取的視頻幀在靜態(tài)區(qū)域的相似程度。上述比較子模塊623，具體用于計(jì)算所述各個(gè)重建幀與所述獲取的視頻幀在所述 靜態(tài)區(qū)域內(nèi)的像素點(diǎn)的亮度值的絕對(duì)值差值之和，將所述絕對(duì)值差值之和最小的重建幀作 為所述相似程度最高的重建幀?；謴?fù)子模塊624，用于將所述比較子模塊623得到的相似程度最高的重建幀作為 所述恢復(fù)數(shù)據(jù)，并使用所述恢復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。上述恢復(fù)模塊620，還包括檢測子模塊625，用于檢測距離所述丟失的視頻數(shù)據(jù)最近的同一視角的P幀，獲取 所述P幀的每個(gè)宏塊的運(yùn)動(dòng)矢量，將P幀圖像的幀間預(yù)測模式下運(yùn)動(dòng)矢量為零的宏塊所在 的區(qū)域作為本視角的靜態(tài)區(qū)域，供所述比較子模塊623使用。本發(fā)明實(shí)施例利用空間上的冗余信息和時(shí)間上的圖像信息構(gòu)造恢復(fù)數(shù)據(jù)，并對(duì)構(gòu) 造的恢復(fù)數(shù)據(jù)進(jìn)行優(yōu)選，以優(yōu)選得到的恢復(fù)數(shù)據(jù)代替丟失的視頻數(shù)據(jù)，消除了恢復(fù)數(shù)據(jù)的 分塊效應(yīng)，提高了重建圖像的質(zhì)量，且只在檢測到有視頻數(shù)據(jù)丟失的時(shí)候才需要選定靜態(tài) 區(qū)域，對(duì)現(xiàn)有技術(shù)改動(dòng)較少。如圖8所示，為本發(fā)明實(shí)施例七中的一種恢復(fù)視頻數(shù)據(jù)的裝置結(jié)構(gòu)示意圖，包括獲取模塊710，用于獲取與丟失的視頻數(shù)據(jù)的視角不同的同一時(shí)刻的視頻數(shù)據(jù)以 及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)?；謴?fù)模塊720，用于根據(jù)獲取模塊710獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參 數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并使用所述恢復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。上述恢復(fù)模塊720，具體包括構(gòu)造子模塊721，用于根據(jù)所述獲取模塊710獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝 像機(jī)參數(shù)構(gòu)造至少兩個(gè)重建幀。獲取子模塊722，用于獲取距離所述丟失的視頻數(shù)據(jù)最近的能夠正確解碼的同一 視角的視頻幀。比較子模塊723，用于比較所述構(gòu)造子模塊721構(gòu)造的各個(gè)重建幀與所述獲取子 模塊722獲取的視頻幀在靜態(tài)區(qū)域的相似程度。上述比較子模塊723，具體用于計(jì)算所述各個(gè)重建幀與所述獲取的視頻幀在所述 靜態(tài)區(qū)域內(nèi)的像素點(diǎn)的亮度值的絕對(duì)值差值之和，將所述絕對(duì)值差值之和最小的重建幀作 為所述相似程度最高的重建幀。子模塊724，用于將所述比較子模塊723得到的相似程度最高的重建幀作為 所述恢復(fù)數(shù)據(jù)，并使用所述恢復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。更新模塊730，在對(duì)所述視頻數(shù)據(jù)進(jìn)行解碼播放時(shí)，實(shí)時(shí)檢測所述視頻數(shù)據(jù)中最新 接收到的P幀；獲取所述P幀的每個(gè)宏塊的運(yùn)動(dòng)矢量，使用P幀圖像的幀間預(yù)測模式下運(yùn)動(dòng) 矢量為零的宏塊所在的區(qū)域更新靜態(tài)區(qū)域，供所述恢復(fù)模塊720使用。本發(fā)明實(shí)施例利用空間上的冗余信息和時(shí)間上的圖像信息構(gòu)造恢復(fù)數(shù)據(jù)，并對(duì)構(gòu) 造的恢復(fù)數(shù)據(jù)進(jìn)行優(yōu)選，以優(yōu)選得到的恢復(fù)數(shù)據(jù)代替丟失的視頻數(shù)據(jù)，消除了恢復(fù)數(shù)據(jù)的 分塊效應(yīng)，提高了重建圖像的質(zhì)量。如圖9所示，為本發(fā)明實(shí)施例八中的一種恢復(fù)視頻數(shù)據(jù)的系統(tǒng)結(jié)構(gòu)示意圖，包括視頻發(fā)送端810，用于向視頻接收端820發(fā)送各個(gè)視角的視頻數(shù)據(jù)和標(biāo)定攝像機(jī)參數(shù)。上述視頻發(fā)送端810，還用于設(shè)定各個(gè)視角的攝像機(jī)。視頻接收端820，用于接收來自視頻發(fā)送端810的各個(gè)視角的視頻數(shù)據(jù)和標(biāo)定攝 像機(jī)參數(shù)，當(dāng)檢測到視頻數(shù)據(jù)丟失時(shí)，獲取與所述丟失的視頻數(shù)據(jù)的視角不同的同一時(shí)刻 的視頻數(shù)據(jù)，根據(jù)所述獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并使用 所述恢復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。本發(fā)明實(shí)施例利用空間上的冗余信息和時(shí)間上的圖像信息構(gòu)造恢復(fù)數(shù)據(jù)，并對(duì)構(gòu) 造的恢復(fù)數(shù)據(jù)進(jìn)行優(yōu)選，以優(yōu)選得到的恢復(fù)數(shù)據(jù)代替丟失的視頻數(shù)據(jù)，消除了恢復(fù)數(shù)據(jù)的 分塊效應(yīng)，提高了重建圖像的質(zhì)量。通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助 軟件加必需的通用硬件平臺(tái)的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更 佳的實(shí)施方式。基于這樣的理解，本發(fā)明實(shí)施例的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出 貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中， 包括若干指令用以使得一臺(tái)終端設(shè)備(可以是手機(jī)，個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備 等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述的方法。以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人 員來說，在不脫離本發(fā)明實(shí)施例原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤 飾也應(yīng)視本發(fā)明的保護(hù)范圍。本領(lǐng)域技術(shù)人員可以理解實(shí)施例中的裝置中的模塊可以按照實(shí)施例描述進(jìn)行分 布于實(shí)施例的裝置中，也可以進(jìn)行相應(yīng)變化位于不同于本實(shí)施例的一個(gè)或多個(gè)裝置中。上 述實(shí)施例的模塊可以集成于一體，也可以分離部署；可以合并為一個(gè)模塊，也可以進(jìn)一步拆 分成多個(gè)子模塊。上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。以上公開的僅為本發(fā)明的幾個(gè)具體實(shí)施例，但是，本發(fā)明并非局限于此，任何本領(lǐng) 域的技術(shù)人員能思之的變化都應(yīng)落入本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種恢復(fù)視頻數(shù)據(jù)的方法，其特征在于，包括獲取與丟失的視頻數(shù)據(jù)的視角不同的同一時(shí)刻的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)；根據(jù)所述獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并使用所述恢復(fù) 數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。
2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定 攝像機(jī)參數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，具體包括根據(jù)所述獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造至少兩個(gè)重建幀，并獲取距 離所述丟失的視頻數(shù)據(jù)最近的能夠正確解碼的同一視角的視頻幀；比較各個(gè)重建幀與所述獲取的視頻幀在靜態(tài)區(qū)域的相似程度，將相似程度最高的重建 幀作為所述恢復(fù)數(shù)據(jù)。
3.如權(quán)利要求2所述的方法，其特征在于，所述比較各個(gè)重建幀與獲取的視頻幀在靜 態(tài)區(qū)域的相似程度，具體包括計(jì)算所述各個(gè)重建幀與所述獲取的視頻幀在所述靜態(tài)區(qū)域內(nèi)的像素點(diǎn)的亮度值的絕 對(duì)值差值之和，將所述絕對(duì)值差值之和最小的重建幀作為所述相似程度最高的重建幀。
4.如權(quán)利要求2所述的方法，其特征在于，所述比較各個(gè)重建幀與獲取的視頻幀在靜 態(tài)區(qū)域的相似程度之前，還包括檢測距離所述丟失的視頻數(shù)據(jù)最近的同一視角的P幀，獲取所述P幀的每個(gè)宏塊的運(yùn) 動(dòng)矢量，將P幀圖像的幀間預(yù)測模式下運(yùn)動(dòng)矢量為零的宏塊所在的區(qū)域作為本視角的靜態(tài) 區(qū)域。
5.如權(quán)利要求2或4所述的方法，其特征在于，所述接收來自視頻發(fā)送端的各個(gè)視角的 視頻數(shù)據(jù)和標(biāo)定攝像機(jī)參數(shù)之后，還包括在對(duì)所述視頻數(shù)據(jù)進(jìn)行解碼播放時(shí)，實(shí)時(shí)檢測所述視頻數(shù)據(jù)中最新接收到的P幀；獲取所述P幀的每個(gè)宏塊的運(yùn)動(dòng)矢量，使用P幀圖像的幀間預(yù)測模式下運(yùn)動(dòng)矢量為零 的宏塊所在的區(qū)域更新靜態(tài)區(qū)域。
6.一種恢復(fù)視頻數(shù)據(jù)的裝置，其特征在于，包括獲取模塊，用于獲取與丟失的視頻數(shù)據(jù)的視角不同的同一時(shí)刻的視頻數(shù)據(jù)以及對(duì)應(yīng)的 標(biāo)定攝像機(jī)參數(shù)；恢復(fù)模塊，用于根據(jù)所述獲取模塊獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造恢 復(fù)數(shù)據(jù)，并使用所述恢復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。
7.如權(quán)利要求6所述的裝置，其特征在于，所述恢復(fù)模塊，具體包括構(gòu)造子模塊，用于根據(jù)所述獲取模塊獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造 至少兩個(gè)重建幀；獲取子模塊，用于獲取距離所述丟失的視頻數(shù)據(jù)最近的能夠正確解碼的同一視角的視 頻幀；比較子模塊，用于比較所述構(gòu)造子模塊構(gòu)造的各個(gè)重建幀與所述獲取子模塊獲取的視 頻幀在靜態(tài)區(qū)域的相似程度；恢復(fù)子模塊，用于將所述比較子模塊得到的相似程度最高的重建幀作為所述恢復(fù)數(shù) 據(jù)，并使用所述恢復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。
8.如權(quán)利要求7所述的裝置，其特征在于，所述比較子模塊，具體用于計(jì)算所述各個(gè)重建幀與所述獲取的視頻幀在所述靜態(tài)區(qū)域 內(nèi)的像素點(diǎn)的亮度值的絕對(duì)值差值之和，將所述絕對(duì)值差值之和最小的重建幀作為所述相 似程度最高的重建幀。
9.如權(quán)利要求7所述的裝置，其特征在于，所述恢復(fù)模塊，還包括檢測子模塊，用于檢測距離所述丟失的視頻數(shù)據(jù)最近的同一視角的P幀，獲取所述P幀 的每個(gè)宏塊的運(yùn)動(dòng)矢量，將P幀圖像的幀間預(yù)測模式下運(yùn)動(dòng)矢量為零的宏塊所在的區(qū)域作 為本視角的靜態(tài)區(qū)域，供所述比較子模塊使用。
10.如權(quán)利要求7或9所述的裝置，其特征在于，還包括更新模塊，在對(duì)所述視頻數(shù)據(jù)進(jìn)行解碼播放時(shí)，實(shí)時(shí)檢測所述視頻數(shù)據(jù)中最新接收到 的P幀；獲取所述P幀的每個(gè)宏塊的運(yùn)動(dòng)矢量，使用P幀圖像的幀間預(yù)測模式下運(yùn)動(dòng)矢量為 零的宏塊所在的區(qū)域更新靜態(tài)區(qū)域，供所述恢復(fù)模塊使用。
11.一種恢復(fù)視頻數(shù)據(jù)的系統(tǒng)，其特征在于，包括視頻發(fā)送端，用于向視頻接收端發(fā)送各個(gè)視角的視頻數(shù)據(jù)和標(biāo)定攝像機(jī)參數(shù)；視頻接收端，用于接收來自所述視頻發(fā)送端的各個(gè)視角的視頻數(shù)據(jù)和標(biāo)定攝像機(jī)參 數(shù)，當(dāng)檢測到視頻數(shù)據(jù)丟失時(shí)，獲取與所述丟失的視頻數(shù)據(jù)的視角不同的同一時(shí)刻的視頻 數(shù)據(jù)，根據(jù)所述獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并使用所述恢 復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。
全文摘要
本發(fā)明實(shí)施例公開了一種恢復(fù)視頻數(shù)據(jù)的方法，包括獲取與丟失的視頻數(shù)據(jù)的視角不同的同一時(shí)刻的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)；根據(jù)所述獲取的視頻數(shù)據(jù)以及對(duì)應(yīng)的標(biāo)定攝像機(jī)參數(shù)構(gòu)造恢復(fù)數(shù)據(jù)，并使用所述恢復(fù)數(shù)據(jù)代替所述丟失的視頻數(shù)據(jù)。本發(fā)明實(shí)施例提高了重建圖像的質(zhì)量。本發(fā)明實(shí)施例同樣公開了一種應(yīng)用上述方法的裝置和系統(tǒng)。
文檔編號(hào)H04N7/64GK102111621SQ200910243708
公開日2011年6月29日 申請(qǐng)日期2009年12月23日 優(yōu)先權(quán)日2009年12月23日
發(fā)明者袁潮, 黃曉偉 申請(qǐng)人:中國移動(dòng)通信集團(tuán)公司