本發(fā)明涉及一種圖像信號(hào)的處理方法，尤其是涉及一種三維視頻重定位方法。

背景技術(shù)：
隨著視頻顯示設(shè)備(例如智能手機(jī)、平板電腦、電視等)的快速發(fā)展與更新?lián)Q代，具有不同分辨率和屏幕高寬比的顯示終端設(shè)備充斥著人們的工作與生活。當(dāng)需要顯示的圖像或視頻的分辨率與屏幕的分辨率不相符時(shí)，如何在盡可能不改變用戶觀看體驗(yàn)的前提下，改變圖像或視頻內(nèi)容的分辨率使之適應(yīng)不同尺寸的顯示設(shè)備，這就是重定位(retargeting)問(wèn)題。當(dāng)前解決這個(gè)問(wèn)題的方法有：均勻縮放(uniformscaling)、裁切(cropping)和在屏幕邊緣填充黑色邊帶(letterboxing)。然而，這些傳統(tǒng)方法通常不能達(dá)到很好的用戶體驗(yàn)效果，不能充分利用顯示設(shè)備的尺寸優(yōu)勢(shì)，降低了用戶的體驗(yàn)。而對(duì)于視頻的重定位而言，如果直接將細(xì)縫裁剪算法應(yīng)用到視頻，即單獨(dú)處理視頻中的每一幀，則會(huì)造成嚴(yán)重的抖動(dòng)；同時(shí)，從視覺注意力的角度出發(fā)解構(gòu)視頻場(chǎng)景，深度這一維度信息可以很好地體現(xiàn)出人眼視覺注意力在前后背景內(nèi)容上的區(qū)分度。因此，如何對(duì)三維視頻進(jìn)行縮放以減少圖像形變、避免時(shí)域抖動(dòng)、突出顯著內(nèi)容，從而降低視覺不舒適，都是在對(duì)三維視頻進(jìn)行重定位過(guò)程中需要研究解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種能夠有效地調(diào)整三維視頻尺寸大小，且保持較高視覺舒適性的三維視頻重定位方法。本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為：一種三維視頻重定位方法，其特征在于包括以下步驟：①待處理的原始三維視頻序列由彩色視頻序列和深度視頻序列構(gòu)成，假定彩色視頻序列中包含的彩色圖像的總幀數(shù)和深度視頻序列中包含的深度圖像的總幀數(shù)均為T，將彩色視頻序列中t時(shí)刻的彩色圖像記為{It(x,y)}，將深度視頻序列中t時(shí)刻的深度圖像記為{Dt(x,y)}，其中，T>1，1≤t≤T，1≤x≤W,1≤y≤H，W表示彩色視頻序列中的彩色圖像和深度視頻序列中的深度圖像的寬度，H表示彩色視頻序列中的彩色圖像和深度視頻序列中的深度圖像的高度，It(x,y)表示{It(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，Dt(x,y)表示{Dt(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值；②對(duì)由T幀彩色圖像構(gòu)成并呈三維立方體的彩色視頻序列在X方向上進(jìn)行采樣，得到彩色視頻序列的W個(gè)Y-T截面圖像，將彩色視頻序列的第x個(gè)Y-T截面圖像記為{Ix(y,t)}，將{Ix(y,t)}中坐標(biāo)位置為(y,t)的像素點(diǎn)的像素值記為Ix(y,t)，Ix(y,t)＝It(x,y)；同樣，對(duì)由T幀彩色圖像構(gòu)成并呈三維立方體的彩色視頻序列在Y方向上進(jìn)行采樣，得到彩色視頻序列的H個(gè)X-T截面圖像，將彩色視頻序列的第y個(gè)X-T截面圖像記為{Iy(x,t)}，將{Iy(x,t)}中坐標(biāo)位置為(x,t)的像素點(diǎn)的像素值記為Iy(x,t)，Iy(x,t)＝It(x,y)；③通過(guò)對(duì)彩色視頻序列的每個(gè)Y-T截面圖像進(jìn)行低秩矩陣分解，獲取彩色視頻序列的每個(gè)Y-T截面圖像的最優(yōu)垂直方向運(yùn)動(dòng)矩陣，將{Ix(y,t)}的最優(yōu)垂直方向運(yùn)動(dòng)矩陣記為同樣，通過(guò)對(duì)彩色視頻序列的每個(gè)X-T截面圖像進(jìn)行低秩矩陣分解，獲取彩色視頻序列的每個(gè)X-T截面圖像的最優(yōu)水平方向運(yùn)動(dòng)矩陣，將{Iy(x,t)}的最優(yōu)水平方向運(yùn)動(dòng)矩陣記為然后根據(jù)彩色視頻序列的每個(gè)Y-T截面圖像的最優(yōu)垂直方向運(yùn)動(dòng)矩陣和每個(gè)X-T截面圖像的最優(yōu)水平方向運(yùn)動(dòng)矩陣，獲取彩色視頻序列中每個(gè)時(shí)刻的彩色圖像的運(yùn)動(dòng)顯著圖，將{It(x,y)}的運(yùn)動(dòng)顯著圖記為{Mt(x,y)}，其中，Mt(x,y)表示{Mt(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值；④將彩色視頻序列中當(dāng)前待處理的t時(shí)刻的彩色圖像定義為當(dāng)前彩色圖像，記為{It(x,y)}；并將深度視頻序列中與{It(x,y)}對(duì)應(yīng)的深度圖像定義為當(dāng)前深度圖像，記為{Dt(x,y)}，其中，此處t的初始值為2，2≤t≤T；⑤提取{It(x,y)}的圖像顯著圖、梯度能量圖和運(yùn)動(dòng)顯著圖；然后對(duì){It(x,y)}的圖像顯著圖、梯度能量圖和運(yùn)動(dòng)顯著圖進(jìn)行融合，得到{It(x,y)}的視覺注意力圖，記為其中，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值；⑥計(jì)算{It(x,y)}的幀內(nèi)一致性能量圖，記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，即{It(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的幀內(nèi)一致性能量值記為橫坐標(biāo)位置或與坐標(biāo)位置(x,y)水平相鄰的橫坐標(biāo)位置，x*∈{x-1,x,x+1}，如果x-1≥1，則It(x-1,y)表示{It(x,y)}中坐標(biāo)位置為(x-1,y)的像素點(diǎn)的像素值，如果x-1<1，則令I(lǐng)t(x-1,y)＝It(1,y)；如果x+1≤W，則It(x+1,y)表示{It(x,y)}中坐標(biāo)位置為(x+1,y)的像素點(diǎn)的像素值，如果x+1>W，則令I(lǐng)t(x+1,y)＝It(W,y)；當(dāng)k＝x-1時(shí)如果k≥1且y-1≥1，則It(k,y-1)表示{It(x,y)}中坐標(biāo)位置為(k,y-1)的像素點(diǎn)的像素值，當(dāng)k＝x-1時(shí)如果k≥1且y-1<1，則令I(lǐng)t(k,y-1)＝It(k,1)，當(dāng)k＝x-1時(shí)如果k<1且y-1≥1，則令I(lǐng)t(k,y-1)＝It(1,y-1)，當(dāng)k＝x-1時(shí)如果k<1且y-1<1，則令I(lǐng)t(k,y-1)＝It(1,1)；當(dāng)k＝x時(shí)如果y-1≥1，則It(k,y-1)表示{It(x,y)}中坐標(biāo)位置為(k,y-1)的像素點(diǎn)的像素值，當(dāng)k＝x時(shí)如果y-1<1，則令I(lǐng)t(k,y-1)＝It(k,1)；當(dāng)k＝x+1時(shí)如果k≤W且y-1≥1，則It(k,y-1)表示{It(x,y)}中坐標(biāo)位置為(k,y-1)的像素點(diǎn)的像素值，當(dāng)k＝x+1時(shí)如果k≤W且y-1<1，則令I(lǐng)t(k,y-1)＝It(k,1)，當(dāng)k＝x+1時(shí)如果k>W且y-1≥1，則令I(lǐng)t(k,y-1)＝It(W,y-1)，當(dāng)k＝x+1時(shí)如果k>W且y-1<1，則令I(lǐng)t(k,y-1)＝It(W,1)；當(dāng)k＝x-1時(shí)It(k+1,y)表示{It(x,y)}中坐標(biāo)位置為(k+1,y)的像素點(diǎn)的像素值，當(dāng)k＝x時(shí)如果k+1≤W，則It(k+1,y)表示{It(x,y)}中坐標(biāo)位置為(k+1,y)的像素點(diǎn)的像素值，當(dāng)k＝x時(shí)如果k+1>W，則令I(lǐng)t(k+1,y)＝It(W,y)；It(1,y)、It(W,y)、It(k,1)、It(1,y-1)、It(1,1)、It(W,y-1)、It(W,1)對(duì)應(yīng)表示{It(x,y)}中坐標(biāo)位置為(1,y)、(W,y)、(k,1)、(1,y-1)、(1,1)、(W,y-1)、(W,1)的像素點(diǎn)的像素值，符號(hào)“||”為取絕對(duì)值符號(hào)；⑦計(jì)算{It(x,y)}的幀間一致性能量圖，記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，即{It(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的幀間一致性能量值記為其中，2×B+1表示{It(x,y)}中以坐標(biāo)位置為(x+i,y+j)的像素點(diǎn)為中心的塊的尺寸，St-1,i'(y)表示彩色視頻序列中t-1時(shí)刻的彩色圖像的第i'條垂直縫隙的縱坐標(biāo)位置為y時(shí)的橫坐標(biāo)位置，ln()為以自然基數(shù)e為底的對(duì)數(shù)函數(shù)，符號(hào)“||”為取絕對(duì)值符號(hào)，如果x+i<1且y+j<1，則令E(x+i,y+j)＝E(1,1)，并令I(lǐng)t(x+i,y+j)＝It(1,1)；如果x+i<1且1≤y+j≤H，則令E(x+i,y+j)＝E(1,y+j)，并令I(lǐng)t(x+i,y+j)＝It(1,y+j)；如果x+i<1且y+j>H，則令E(x+i,y+j)＝E(1,H)，并令I(lǐng)t(x+i,y+j)＝It(1,H)；如果1≤x+i≤W且y+j<1，則令E(x+i,y+j)＝E(x+i,1)，并令I(lǐng)t(x+i,y+j)＝It(x+i,1)；如果1≤x+i≤W且1≤y+j≤H，則It(x+i,y+j)表示{It(x,y)}中坐標(biāo)位置為(x+i,y+j)的像素點(diǎn)的像素值；如果1≤x+i≤W且y+j>H，則令E(x+i,y+j)＝E(x+i,H)，并令I(lǐng)t(x+i,y+j)＝It(x+i,H)；如果x+i>W且y+j<1，則令E(x+i,y+j)＝E(W,1)，并令I(lǐng)t(x+i,y+j)＝It(W,1)；如果x+i>W且1≤y+j≤H，則令E(x+i,y+j)＝E(W,y+j)，并令I(lǐng)t(x+i,y+j)＝It(W,y+j)；如果x+i>W且y+j>H，則令E(x+i,y+j)＝E(W,H)，并令I(lǐng)t(x+i,y+j)＝It(W,H)；如果St-1,i'(y)+i<1且y+j<1，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(1,1)；如果St-1,i'(y)+i<1且1≤y+j≤H，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(1,y+j)；如果St-1,i'(y)+i<1且y+j>H，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(1,H)；如果1≤St-1,i'(y)+i≤W且y+j<1，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,1)；如果1≤St-1,i'(y)+i≤W且1≤y+j≤H，則It-1(St-1,i'(y)+i,y+j)表示彩色視頻序列中t-1時(shí)刻的彩色圖像中坐標(biāo)位置為(St-1,i'(y)+i,y+j)的像素點(diǎn)的像素值；如果1≤St-1,i'(y)+i≤W且y+j>H，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,H)；如果St-1,i'(y)+i>W且y+j<1，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(W,1)；如果St-1,i'(y)+i>W且1≤y+j≤H，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(W,y+j)；如果St-1,i'(y)+i>W且y+j>H，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(W,H)；上述It(1,1)、It(1,y+j)、It(1,W)、It(x+i,1)、It(x+i,H)、It(W,1)，It(W,y+j)、It(W,H)對(duì)應(yīng)表示{It(x,y)}中坐標(biāo)位置為(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素點(diǎn)的像素值，上述It-1(1,1)、It-1(1,y+j)、It-1(1,W)、It-1(x+i,1)、It-1(x+i,H)、It-1(W,1)、It-1(W,y+j)、It-1(W,H)對(duì)應(yīng)表示彩色視頻序列中t-1時(shí)刻的彩色圖像中坐標(biāo)位置為(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素點(diǎn)的像素值；⑧根據(jù)和計(jì)算{It(x,y)}的總能量圖，記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為其中，α2、β2和γ2為加權(quán)參數(shù)；⑨將重定位彩色圖像和重定位深度圖像的寬度記為W'，將{It(x,y)}和{Dt(x,y)}的垂直縫隙的條數(shù)記為Ns，Ns＝W-W'，其中，W'<W；⑩根據(jù)通過(guò)動(dòng)態(tài)規(guī)劃方法找出{It(x,y)}的Ns條垂直縫隙，將{It(x,y)}的第i'條垂直縫隙記為{St,i'(y)|1≤y≤H}，其中，1≤i'≤Ns，St,i'(y)表示{St,i'(y)|1≤y≤H}在縱坐標(biāo)位置為y時(shí)的橫坐標(biāo)位置；將{It(x,y)}中所有落在{It(x,y)}的Ns條垂直縫隙內(nèi)的像素點(diǎn)刪除，得到重定位彩色圖像，記為將{Dt(x,y)}中所有落在相同的Ns條垂直縫隙內(nèi)的像素點(diǎn)刪除，得到重定位深度圖像，記為其中，1≤x1≤W'，表示中坐標(biāo)位置為(x1,y)的像素點(diǎn)的像素值，表示中坐標(biāo)位置為(x1,y)的像素點(diǎn)的像素值；令t＝t+1；然后將彩色視頻序列中t時(shí)刻的彩色圖像作為當(dāng)前彩色圖像，記為{It(x,y)}；并將深度視頻序列中與{It(x,y)}對(duì)應(yīng)的深度圖像作為當(dāng)前深度圖像，記為{Dt(x,y)}；再返回步驟⑤繼續(xù)執(zhí)行，直至三維視頻序列中的所有彩色圖像和深度圖像處理完畢，得到三維視頻序列中的每幀彩色圖像對(duì)應(yīng)的重定位彩色圖像、三維視頻序列中的每幀深度圖像對(duì)應(yīng)的重定位深度圖像；其中，t＝t+1中的“＝”為賦值符號(hào)。所述的步驟③中的的獲取過(guò)程為：③-a1、對(duì){Ix(y,t)}進(jìn)行低秩矩陣分解，得到{Ix(y,t)}的所有垂直方向背景矩陣和所有垂直方向運(yùn)動(dòng)矩陣；③-a2、利用最小化概率密度函數(shù)，獲取{Ix(y,t)}的最優(yōu)垂直方向背景矩陣和最優(yōu)垂直方向運(yùn)動(dòng)矩陣將和的組合記為其中，Sx為{Ix(y,t)}的矩陣形式表示，Sx＝Bx+Mx，Sx、Bx和Mx的維數(shù)均為H×T，argmin[]為最小化概率密度函數(shù)，表示取使得的值最小時(shí)的(Bx,Mx)，Ωx表示{Ix(y,t)}的所有垂直方向背景矩陣和所有垂直方向運(yùn)動(dòng)矩陣的組合(Bx,Mx)的集合，(Bx,Mx)∈Ωx，Bx指{Ix(y,t)}的垂直方向背景矩陣，Mx指{Ix(y,t)}的垂直方向運(yùn)動(dòng)矩陣，符號(hào)“||||*”為求取矩陣核的范數(shù)符號(hào)，符號(hào)“||||1”為求取矩陣的1-范數(shù)符號(hào)，λ為拉格朗日乘子，s.t.表示“受約束于”；所述的步驟③中的的獲取過(guò)程為：③-b1、對(duì){Iy(x,t)}進(jìn)行低秩矩陣分解，得到{Iy(x,t)}的所有水平方向背景矩陣和所有水平方向運(yùn)動(dòng)矩陣；③-b2、利用最小化概率密度函數(shù)，獲取{Iy(x,t)}的最優(yōu)水平方向背景矩陣和最優(yōu)水平方向運(yùn)動(dòng)矩陣將和的組合記為其中，Sy為{Iy(x,t)}的矩陣形式表示，Sy＝By+My，Sy、By和My的維數(shù)均為W×T，表示取使得的值最小時(shí)的(By,My)，Ωy表示{Iy(x,t)}的所有水平方向背景矩陣和所有水平方向運(yùn)動(dòng)矩陣的組合(By,My)的集合，(By,My)∈Ωy，By指{Iy(x,t)}的水平方向背景矩陣，My指{Iy(x,t)}的水平方向運(yùn)動(dòng)矩陣。所述的步驟③中的{Mt(x,y)}的獲取過(guò)程為：③-c1、將彩色視頻序列的W個(gè)Y-T截面圖像各自的最優(yōu)垂直方向運(yùn)動(dòng)矩陣在X方向上進(jìn)行疊加，構(gòu)造得到Y(jié)-T截面圖像的立方體，記為ScubeYT，其中，ScubeYT的維數(shù)為W×H×T；同樣，將彩色視頻序列的H個(gè)X-T截面圖像各自的最優(yōu)水平方向運(yùn)動(dòng)矩陣在Y方向上進(jìn)行疊加，構(gòu)造得到X-T截面圖像的立方體，記為ScubeXT，其中，ScubeXT的維數(shù)為W×H×T；③-c2、計(jì)算norm(ScubeXT·*ScubeYT)，然后將計(jì)算結(jié)果作為彩色視頻序列的初步的運(yùn)動(dòng)顯著序列，其中，norm()表示歸一化操作函數(shù)，norm(ScubeXT·*ScubeYT)中的符號(hào)“·*”為矩陣點(diǎn)乘符號(hào)；③-c3、采用高斯濾波器對(duì)呈三維立方體的彩色視頻序列的初步的運(yùn)動(dòng)顯著序列中t時(shí)刻的X-Y截面圖像進(jìn)行平滑操作，得到{It(x,y)}的運(yùn)動(dòng)顯著圖{Mt(x,y)}，Mt(x,y)＝M't(x,y)*Gσ(x,y)，其中，M't(x,y)表示彩色視頻序列的初步的運(yùn)動(dòng)顯著序列中t時(shí)刻的X-Y截面圖像，“*”為卷積操作符號(hào)，Gσ(x,y)表示標(biāo)準(zhǔn)差為σ的高斯函數(shù)中位置為(x,y)處的元素的值，exp()為以自然基數(shù)e為底的指數(shù)函數(shù)。所述的步驟⑤中的{It(x,y)}的圖像顯著圖的獲取過(guò)程為：利用基于圖論的視覺顯著模型提取出{It(x,y)}的圖像顯著圖，記為{St(x,y)}，其中，St(x,y)表示{St(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值；所述的步驟⑤中的{It(x,y)}的梯度能量圖的獲取過(guò)程為：采用Sobel算子對(duì){It(x,y)}進(jìn)行卷積，得到{It(x,y)}中的每個(gè)像素點(diǎn)的水平方向梯度和垂直方向梯度，將{It(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的水平方向梯度記為將{It(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的垂直方向梯度記為然后根據(jù){It(x,y)}中的所有像素點(diǎn)各自的水平方向梯度和垂直方向梯度，計(jì)算{It(x,y)}的梯度能量圖，記為{Gt(x,y)}，將{Gt(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為Gt(x,y)，所述的步驟⑤中的其中，α1、β1和γ1為加權(quán)參數(shù)。所述的步驟⑩的具體過(guò)程為：⑩-1、根據(jù)計(jì)算{It(x,y)}中的每個(gè)像素點(diǎn)的累計(jì)能量值，將{It(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的累計(jì)能量值記為其中，min()為取最小值函數(shù)；⑩-2、根據(jù){It(x,y)}中的每個(gè)像素點(diǎn)的累計(jì)能量值，采用動(dòng)態(tài)規(guī)劃方法找出{It(x,y)}中從y＝1到y(tǒng)＝H的Ns條成本最小的路徑，將每條成本最小的路徑作為{It(x,y)}的一條垂直縫隙。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：1)本發(fā)明方法從人眼的視覺注意力特性出發(fā)，引入場(chǎng)景的深度信息并結(jié)合顯著能量圖、梯度能量圖和運(yùn)動(dòng)能量圖構(gòu)造得到視覺注意力圖，這樣使得獲得的重定位彩色圖像和重定位深度圖像能夠較好地保留重要的顯著語(yǔ)義信息。2)本發(fā)明方法構(gòu)造幀間一致性能量圖來(lái)保證相鄰視頻幀縫隙在時(shí)間域與空間域上的一致性，以減少相鄰視頻幀因?yàn)槿】p不一致所導(dǎo)致的時(shí)域抖動(dòng)現(xiàn)象，這樣使得獲得的重定位彩色圖像和重定位深度圖像能夠較好地降低由于時(shí)域抖動(dòng)導(dǎo)致的視覺不舒適，即保持了較高的視覺舒適性。3)本發(fā)明方法根據(jù)視覺注意力圖、幀內(nèi)一致性能量圖和幀間一致性能量圖構(gòu)造總能量圖，并通過(guò)動(dòng)態(tài)規(guī)劃方法找出最優(yōu)的垂直縫隙，這樣使得獲得的重定位后的三維視頻(即調(diào)整尺寸大小后的三維視頻)能減少圖像形變、避免時(shí)域抖動(dòng)、突出顯著內(nèi)容，從而保持了較高的視覺舒適性。附圖說(shuō)明圖1為本發(fā)明方法的總體實(shí)現(xiàn)框圖；圖2a為“Videol”三維視頻序列的第1時(shí)刻的彩色視頻幀；圖2b為“Videol”三維視頻序列的第1時(shí)刻的深度視頻幀；圖2c為“Videol”三維視頻序列的第1時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖3a為“Videol”三維視頻序列的第34時(shí)刻的彩色視頻幀；圖3b為“Videol”三維視頻序列的第34時(shí)刻的深度視頻幀；圖3c為“Videol”三維視頻序列的第34時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖4a為“Videol”三維視頻序列的第59時(shí)刻的彩色視頻幀；圖4b為“Videol”三維視頻序列的第59時(shí)刻的深度視頻幀；圖4c為“Videol”三維視頻序列的第59時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖5a為“Video2”三維視頻序列的第1時(shí)刻的彩色視頻幀；圖5b為“Video2”三維視頻序列的第1時(shí)刻的深度視頻幀；圖5c為“Video2”三維視頻序列的第1時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖6a為“Video2”三維視頻序列的第34時(shí)刻的彩色視頻幀；圖6b為“Video2”三維視頻序列的第34時(shí)刻的深度視頻幀；圖6c為“Video2”三維視頻序列的第34時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖7a為“Video2”三維視頻序列的第59時(shí)刻的彩色視頻幀；圖7b為“Video2”三維視頻序列的第59時(shí)刻的深度視頻幀；圖7c為“Video2”三維視頻序列的第59時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖8a為“Video3”三維視頻序列的第1時(shí)刻的彩色視頻幀；圖8b為“Video3”三維視頻序列的第1時(shí)刻的深度視頻幀；圖8c為“Video3”三維視頻序列的第1時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖9a為“Video3”三維視頻序列的第34時(shí)刻的彩色視頻幀；圖9b為“Video3”三維視頻序列的第34時(shí)刻的深度視頻幀；圖9c為“Video3”三維視頻序列的第34時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖10a為“Video3”三維視頻序列的第59時(shí)刻的彩色視頻幀；圖10b為“Video3”三維視頻序列的第59時(shí)刻的深度視頻幀；圖10c為“Video3”三維視頻序列的第59時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀。具體實(shí)施方式以下結(jié)合附圖實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。本發(fā)明提出的一種三維視頻重定位方法，其總體實(shí)現(xiàn)框圖如圖1所示，其包括以下步驟：①待處理的原始三維視頻序列由彩色視頻序列和深度視頻序列構(gòu)成，假定彩色視頻序列中包含的彩色圖像的總幀數(shù)和深度視頻序列中包含的深度圖像的總幀數(shù)均為T，將彩色視頻序列中t時(shí)刻的彩色圖像記為{It(x,y)}，將深度視頻序列中t時(shí)刻的深度圖像記為{Dt(x,y)}，其中，T>1，如取T＝10，1≤t≤T，1≤x≤W,1≤y≤H，W表示彩色視頻序列中的彩色圖像和深度視頻序列中的深度圖像的寬度，H表示彩色視頻序列中的彩色圖像和深度視頻序列中的深度圖像的高度，It(x,y)表示{It(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，Dt(x,y)表示{Dt(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值。②對(duì)由T幀彩色圖像構(gòu)成并呈三維立方體的彩色視頻序列在X方向上進(jìn)行采樣，得到彩色視頻序列的W個(gè)Y-T截面圖像，將彩色視頻序列的第x個(gè)Y-T截面圖像記為{Ix(y,t)}，將{Ix(y,t)}中坐標(biāo)位置為(y,t)的像素點(diǎn)的像素值記為Ix(y,t)，Ix(y,t)＝It(x,y)，即兩者相等；同樣，對(duì)由T幀彩色圖像構(gòu)成并呈三維立方體的彩色視頻序列在Y方向上進(jìn)行采樣，得到彩色視頻序列的H個(gè)X-T截面圖像，將彩色視頻序列的第y個(gè)X-T截面圖像記為{Iy(x,t)}，將{Iy(x,t)}中坐標(biāo)位置為(x,t)的像素點(diǎn)的像素值記為Iy(x,t)，Iy(x,t)＝It(x,y)，即兩者相等。③由于Y-T截面圖像和X-T截面圖像包含了二維視頻在垂直和水平方向的運(yùn)動(dòng)信息，因此本發(fā)明通過(guò)對(duì)彩色視頻序列的每個(gè)Y-T截面圖像進(jìn)行低秩矩陣分解(low-rankmatrixdecomposition)，獲取彩色視頻序列的每個(gè)Y-T截面圖像的最優(yōu)垂直方向運(yùn)動(dòng)矩陣，將{Ix(y,t)}的最優(yōu)垂直方向運(yùn)動(dòng)矩陣記為同樣，通過(guò)對(duì)彩色視頻序列的每個(gè)X-T截面圖像進(jìn)行低秩矩陣分解，獲取彩色視頻序列的每個(gè)X-T截面圖像的最優(yōu)水平方向運(yùn)動(dòng)矩陣，將{Iy(x,t)}的最優(yōu)水平方向運(yùn)動(dòng)矩陣記為然后根據(jù)彩色視頻序列的每個(gè)Y-T截面圖像的最優(yōu)垂直方向運(yùn)動(dòng)矩陣和每個(gè)X-T截面圖像的最優(yōu)水平方向運(yùn)動(dòng)矩陣，獲取彩色視頻序列中每個(gè)時(shí)刻的彩色圖像的運(yùn)動(dòng)顯著圖，將{It(x,y)}的運(yùn)動(dòng)顯著圖記為{Mt(x,y)}，其中，Mt(x,y)表示{Mt(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值。在此具體實(shí)施例中，步驟③中的的獲取過(guò)程為：③-a1、對(duì){Ix(y,t)}進(jìn)行低秩矩陣分解，得到{Ix(y,t)}的所有垂直方向背景矩陣和所有垂直方向運(yùn)動(dòng)矩陣。③-a2、利用現(xiàn)有的最小化概率密度函數(shù)，獲取{Ix(y,t)}的最優(yōu)垂直方向背景矩陣和最優(yōu)垂直方向運(yùn)動(dòng)矩陣將和的組合記為其中，Sx為{Ix(y,t)}的矩陣形式表示，Sx＝Bx+Mx，Sx、Bx和Mx的維數(shù)均為H×T，argmin[]為最小化概率密度函數(shù)，表示取使得的值最小時(shí)的(Bx,Mx)，Ωx表示{Ix(y,t)}的所有垂直方向背景矩陣和所有垂直方向運(yùn)動(dòng)矩陣的組合(Bx,Mx)的集合，(Bx,Mx)∈Ωx，Bx指{Ix(y,t)}的垂直方向背景矩陣，Mx指{Ix(y,t)}的垂直方向運(yùn)動(dòng)矩陣，符號(hào)“||||*”為求取矩陣核的范數(shù)符號(hào)，符號(hào)“||||1”為求取矩陣的1-范數(shù)符號(hào)，λ為拉格朗日乘子，在本實(shí)施例中取λ＝0.06，s.t.表示“受約束于”。在此具體實(shí)施例中，步驟③中的的獲取過(guò)程為：③-b1、對(duì){Iy(x,t)}進(jìn)行低秩矩陣分解，得到{Iy(x,t)}的所有水平方向背景矩陣和所有水平方向運(yùn)動(dòng)矩陣。③-b2、利用現(xiàn)有的最小化概率密度函數(shù)，獲取{Iy(x,t)}的最優(yōu)水平方向背景矩陣和最優(yōu)水平方向運(yùn)動(dòng)矩陣將和的組合記為其中，Sy為{Iy(x,t)}的矩陣形式表示，Sy＝By+My，Sy、By和My的維數(shù)均為W×T，表示取使得的值最小時(shí)的(By,My)，Ωy表示{Iy(x,t)}的所有水平方向背景矩陣和所有水平方向運(yùn)動(dòng)矩陣的組合(By,My)的集合，(By,My)∈Ωy，By指{Iy(x,t)}的水平方向背景矩陣，My指{Iy(x,t)}的水平方向運(yùn)動(dòng)矩陣。在此具體實(shí)施例中，步驟③中的{Mt(x,y)}的獲取過(guò)程為：③-c1、將彩色視頻序列的W個(gè)Y-T截面圖像各自的最優(yōu)垂直方向運(yùn)動(dòng)矩陣在X方向上進(jìn)行疊加，構(gòu)造得到Y(jié)-T截面圖像的立方體，記為ScubeYT，其中，ScubeYT的維數(shù)為W×H×T。同樣，將彩色視頻序列的H個(gè)X-T截面圖像各自的最優(yōu)水平方向運(yùn)動(dòng)矩陣在Y方向上進(jìn)行疊加，構(gòu)造得到X-T截面圖像的立方體，記為ScubeXT，其中，ScubeXT的維數(shù)為W×H×T。③-c2、計(jì)算norm(ScubeXT·*ScubeYT)，然后將計(jì)算結(jié)果作為彩色視頻序列的初步的運(yùn)動(dòng)顯著序列，其中，norm()表示歸一化操作函數(shù)，norm(ScubeXT·*ScubeYT)中的符號(hào)“·*”為矩陣點(diǎn)乘符號(hào)。③-c3、采用高斯濾波器對(duì)呈三維立方體的彩色視頻序列的初步的運(yùn)動(dòng)顯著序列中t時(shí)刻的X-Y截面圖像進(jìn)行平滑操作，得到{It(x,y)}的運(yùn)動(dòng)顯著圖{Mt(x,y)}，Mt(x,y)＝M't(x,y)*Gσ(x,y)，其中，M't(x,y)表示彩色視頻序列的初步的運(yùn)動(dòng)顯著序列中t時(shí)刻的X-Y截面圖像，“*”為卷積操作符號(hào)，Gσ(x,y)表示標(biāo)準(zhǔn)差為σ的高斯函數(shù)中位置為(x,y)處的元素的值，在本實(shí)施例中取σ＝5，exp()為以自然基數(shù)e為底的指數(shù)函數(shù)，e＝2.718281828。④將彩色視頻序列中當(dāng)前待處理的t時(shí)刻的彩色圖像定義為當(dāng)前彩色圖像，記為{It(x,y)}；并將深度視頻序列中與{It(x,y)}對(duì)應(yīng)的深度圖像定義為當(dāng)前深度圖像，記為{Dt(x,y)}，其中，此處t的初始值為2，2≤t≤T。⑤人眼會(huì)高度關(guān)注場(chǎng)景中運(yùn)動(dòng)的對(duì)象,而對(duì)于某一幀而言，高對(duì)比度的局部區(qū)域與紋理復(fù)雜的邊緣部分也會(huì)在一定程度上吸引眼球的關(guān)注；另外，場(chǎng)景中物體的遠(yuǎn)近位置信息也能反映出人眼視覺注意的分配，因此本發(fā)明提取{It(x,y)}的圖像顯著圖、梯度能量圖和運(yùn)動(dòng)顯著圖；然后對(duì){It(x,y)}的圖像顯著圖、梯度能量圖和運(yùn)動(dòng)顯著圖進(jìn)行融合，得到{It(x,y)}的視覺注意力圖，記為其中，表示中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值,α1、β1和γ1為加權(quán)參數(shù)，在本實(shí)施例中取α1＝0.1、β1＝0.3和γ1＝0.6，St(x,y)表示{It(x,y)}的圖像顯著圖中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，Gt(x,y)表示{It(x,y)}的梯度能量圖中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值。在此具體實(shí)施例中，步驟⑤中的{It(x,y)}的圖像顯著圖的獲取過(guò)程為：利用現(xiàn)有的基于圖論的視覺顯著(Graph-BasedVisualSaliency，GBVS)模型提取出{It(x,y)}的圖像顯著圖，記為{St(x,y)}，其中，St(x,y)表示{St(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值。在此具體實(shí)施例中，步驟⑤中的{It(x,y)}的梯度能量圖的獲取過(guò)程為：采用現(xiàn)有的Sobel算子對(duì){It(x,y)}進(jìn)行卷積，得到{It(x,y)}中的每個(gè)像素點(diǎn)的水平方向梯度和垂直方向梯度，將{It(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的水平方向梯度記為將{It(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的垂直方向梯度記為然后根據(jù){It(x,y)}中的所有像素點(diǎn)各自的水平方向梯度和垂直方向梯度，計(jì)算{It(x,y)}的梯度能量圖，記為{Gt(x,y)}，將{Gt(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為Gt(x,y)，⑥為了避免由于縫隙移除所造成的幀內(nèi)結(jié)構(gòu)扭曲失真，本發(fā)明計(jì)算{It(x,y)}的幀內(nèi)一致性能量圖，記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，即{It(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的幀內(nèi)一致性能量值記為橫坐標(biāo)位置或與坐標(biāo)位置(x,y)水平相鄰的橫坐標(biāo)位置，x*∈{x-1,x,x+1}，根據(jù)x*與坐標(biāo)位置(x,y)的位置關(guān)系，有3種可能的取值，如果x-1≥1，則It(x-1,y)表示{It(x,y)}中坐標(biāo)位置為(x-1,y)的像素點(diǎn)的像素值，如果x-1<1，則令I(lǐng)t(x-1,y)＝It(1,y)；如果x+1≤W，則It(x+1,y)表示{It(x,y)}中坐標(biāo)位置為(x+1,y)的像素點(diǎn)的像素值，如果x+1>W，則令I(lǐng)t(x+1,y)＝It(W,y)；當(dāng)k＝x-1時(shí)如果k≥1且y-1≥1，則It(k,y-1)表示{It(x,y)}中坐標(biāo)位置為(k,y-1)的像素點(diǎn)的像素值，當(dāng)k＝x-1時(shí)如果k≥1且y-1<1，則令I(lǐng)t(k,y-1)＝It(k,1)，當(dāng)k＝x-1時(shí)如果k<1且y-1≥1，則令I(lǐng)t(k,y-1)＝It(1,y-1)，當(dāng)k＝x-1時(shí)如果k<1且y-1<1，則令I(lǐng)t(k,y-1)＝It(1,1)；當(dāng)k＝x時(shí)如果y-1≥1，則It(k,y-1)表示{It(x,y)}中坐標(biāo)位置為(k,y-1)的像素點(diǎn)的像素值，當(dāng)k＝x時(shí)如果y-1<1，則令I(lǐng)t(k,y-1)＝It(k,1)；當(dāng)k＝x+1時(shí)如果k≤W且y-1≥1，則It(k,y-1)表示{It(x,y)}中坐標(biāo)位置為(k,y-1)的像素點(diǎn)的像素值，當(dāng)k＝x+1時(shí)如果k≤W且y-1<1，則令I(lǐng)t(k,y-1)＝It(k,1)，當(dāng)k＝x+1時(shí)如果k>W且y-1≥1，則令I(lǐng)t(k,y-1)＝It(W,y-1)，當(dāng)k＝x+1時(shí)如果k>W且y-1<1，則令I(lǐng)t(k,y-1)＝It(W,1)；當(dāng)k＝x-1時(shí)It(k+1,y)表示{It(x,y)}中坐標(biāo)位置為(k+1,y)的像素點(diǎn)的像素值，當(dāng)k＝x時(shí)如果k+1≤W，則It(k+1,y)表示{It(x,y)}中坐標(biāo)位置為(k+1,y)的像素點(diǎn)的像素值，當(dāng)k＝x時(shí)如果k+1>W，則令I(lǐng)t(k+1,y)＝It(W,y)；It(1,y)、It(W,y)、It(k,1)、It(1,y-1)、It(1,1)、It(W,y-1)、It(W,1)對(duì)應(yīng)表示{It(x,y)}中坐標(biāo)位置為(1,y)、(W,y)、(k,1)、(1,y-1)、(1,1)、(W,y-1)、(W,1)的像素點(diǎn)的像素值，符號(hào)“||”為取絕對(duì)值符號(hào)。⑦對(duì)彩色視頻逐幀進(jìn)行細(xì)縫裁剪處理的過(guò)程中，保持當(dāng)前幀與前一幀之間取縫位置一致性非常重要，否則會(huì)造成嚴(yán)重的視頻畫面抖動(dòng)和幀間內(nèi)容差異等問(wèn)題，因此本發(fā)明計(jì)算{It(x,y)}的幀間一致性能量圖，記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值，即{It(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的幀間一致性能量值記為其中，2×B+1表示{It(x,y)}中以坐標(biāo)位置為(x+i,y+j)的像素點(diǎn)為中心的塊的尺寸，在本實(shí)施例中取B＝3，即塊的尺寸為7×7，St-1,i'(y)表示彩色視頻序列中t-1時(shí)刻的彩色圖像的第i'條垂直縫隙的縱坐標(biāo)位置為y時(shí)的橫坐標(biāo)位置，ln()為以自然基數(shù)e為底的對(duì)數(shù)函數(shù)，符號(hào)“||”為取絕對(duì)值符號(hào)，如果x+i<1且y+j<1，則令E(x+i,y+j)＝E(1,1)，并令I(lǐng)t(x+i,y+j)＝It(1,1)；如果x+i<1且1≤y+j≤H，則令E(x+i,y+j)＝E(1,y+j)，并令I(lǐng)t(x+i,y+j)＝It(1,y+j)；如果x+i<1且y+j>H，則令E(x+i,y+j)＝E(1,H)，并令I(lǐng)t(x+i,y+j)＝It(1,H)；如果1≤x+i≤W且y+j<1，則令E(x+i,y+j)＝E(x+i,1)，并令I(lǐng)t(x+i,y+j)＝It(x+i,1)；如果1≤x+i≤W且1≤y+j≤H，則It(x+i,y+j)表示{It(x,y)}中坐標(biāo)位置為(x+i,y+j)的像素點(diǎn)的像素值；如果1≤x+i≤W且y+j>H，則令E(x+i,y+j)＝E(x+i,H)，并令I(lǐng)t(x+i,y+j)＝It(x+i,H)；如果x+i>W且y+j<1，則令E(x+i,y+j)＝E(W,1)，并令I(lǐng)t(x+i,y+j)＝It(W,1)；如果x+i>W且1≤y+j≤H，則令E(x+i,y+j)＝E(W,y+j)，并令I(lǐng)t(x+i,y+j)＝It(W,y+j)；如果x+i>W且y+j>H，則令E(x+i,y+j)＝E(W,H)，并令I(lǐng)t(x+i,y+j)＝It(W,H)；如果St-1,i'(y)+i<1且y+j<1，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(1,1)；如果St-1,i'(y)+i<1且1≤y+j≤H，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(1,y+j)；如果St-1,i'(y)+i<1且y+j>H，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(1,H)；如果1≤St-1,i'(y)+i≤W且y+j<1，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,1)；如果1≤St-1,i'(y)+i≤W且1≤y+j≤H，則It-1(St-1,i'(y)+i,y+j)表示彩色視頻序列中t-1時(shí)刻的彩色圖像中坐標(biāo)位置為(St-1,i'(y)+i,y+j)的像素點(diǎn)的像素值；如果1≤St-1,i'(y)+i≤W且y+j>H，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,H)；如果St-1,i'(y)+i>W且y+j<1，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(W,1)；如果St-1,i'(y)+i>W且1≤y+j≤H，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(W,y+j)；如果St-1,i'(y)+i>W且y+j>H，則令I(lǐng)t-1(St-1,i'(y)+i,y+j)＝It-1(W,H)；上述It(1,1)、It(1,y+j)、It(1,W)、It(x+i,1)、It(x+i,H)、It(W,1)，It(W,y+j)、It(W,H)對(duì)應(yīng)表示{It(x,y)}中坐標(biāo)位置為(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素點(diǎn)的像素值，上述It-1(1,1)、It-1(1,y+j)、It-1(1,W)、It-1(x+i,1)、It-1(x+i,H)、It-1(W,1)、It-1(W,y+j)、It-1(W,H)對(duì)應(yīng)表示彩色視頻序列中t-1時(shí)刻的彩色圖像中坐標(biāo)位置為(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素點(diǎn)的像素值。⑧根據(jù)和計(jì)算{It(x,y)}的總能量圖，記為將中坐標(biāo)位置為(x,y)的像素點(diǎn)的像素值記為其中，α2、β2和γ2為加權(quán)參數(shù)，在本實(shí)施例中取α2＝0.25、β2＝0.125和γ2＝0.625。⑨將重定位彩色圖像和重定位深度圖像的寬度記為W'，將{It(x,y)}和{Dt(x,y)}的垂直縫隙的條數(shù)記為Ns，Ns＝W-W'，其中，W'<W。⑩根據(jù)通過(guò)現(xiàn)有的動(dòng)態(tài)規(guī)劃方法找出{It(x,y)}的Ns條垂直縫隙，將{It(x,y)}的第i'條垂直縫隙記為{St,i'(y)|1≤y≤H}，其中，1≤i'≤Ns，St,i'(y)表示{St,i'(y)|1≤y≤H}在縱坐標(biāo)位置為y時(shí)的橫坐標(biāo)位置。在此具體實(shí)施例中，步驟⑩的具體過(guò)程為：⑩-1、根據(jù)計(jì)算{It(x,y)}中的每個(gè)像素點(diǎn)的累計(jì)能量值，將{It(x,y)}中坐標(biāo)位置為(x,y)的像素點(diǎn)的累計(jì)能量值記為其中，min()為取最小值函數(shù)。⑩-2、根據(jù){It(x,y)}中的每個(gè)像素點(diǎn)的累計(jì)能量值，采用動(dòng)態(tài)規(guī)劃方法找出{It(x,y)}中從y＝1到y(tǒng)＝H的Ns條成本最小的路徑，將每條成本最小的路徑作為{It(x,y)}的一條垂直縫隙。將{It(x,y)}中所有落在{It(x,y)}的Ns條垂直縫隙內(nèi)的像素點(diǎn)刪除，得到重定位彩色圖像，記為將{Dt(x,y)}中所有落在相同的Ns條垂直縫隙內(nèi)的像素點(diǎn)刪除，得到重定位深度圖像，記為其中，1≤x1≤W'，表示中坐標(biāo)位置為(x1,y)的像素點(diǎn)的像素值，表示中坐標(biāo)位置為(x1,y)的像素點(diǎn)的像素值。令t＝t+1；然后將彩色視頻序列中t時(shí)刻的彩色圖像作為當(dāng)前彩色圖像，記為{It(x,y)}；并將深度視頻序列中與{It(x,y)}對(duì)應(yīng)的深度圖像作為當(dāng)前深度圖像，記為{Dt(x,y)}；再返回步驟⑤繼續(xù)執(zhí)行，直至三維視頻序列中的所有彩色圖像和深度圖像處理完畢，得到三維視頻序列中的每幀彩色圖像對(duì)應(yīng)的重定位彩色圖像、三維視頻序列中的每幀深度圖像對(duì)應(yīng)的重定位深度圖像；其中，t＝t+1中的“＝”為賦值符號(hào)。以下就利用本發(fā)明方法對(duì)普林斯頓大學(xué)提供的PrincetonTrackingBenchmark(PTB)數(shù)據(jù)庫(kù)中的Video1、Video2和Video3三組三維視頻序列進(jìn)行重定位實(shí)驗(yàn)。圖2a給出了“Videol”三維視頻序列的第1時(shí)刻的彩色視頻幀、圖2b給出了“Videol”三維視頻序列的第1時(shí)刻的深度視頻幀、圖2c給出了“Videol”三維視頻序列的第1時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖3a給出了“Videol”三維視頻序列的第34時(shí)刻的彩色視頻幀、圖3b給出了“Videol”三維視頻序列的第34時(shí)刻的深度視頻幀、圖3c給出了“Videol”三維視頻序列的第34時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖4a給出了“Videol”三維視頻序列的第59時(shí)刻的彩色視頻幀、圖4b給出了“Videol”三維視頻序列的第59時(shí)刻的深度視頻幀、圖4c給出了“Videol”三維視頻序列的第59時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖5a給出了“Video2”三維視頻序列的第1時(shí)刻的彩色視頻幀、圖5b給出了“Video2”三維視頻序列的第1時(shí)刻的深度視頻幀、圖5c給出了“Video2”三維視頻序列的第1時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖6a給出了“Video2”三維視頻序列的第34時(shí)刻的彩色視頻幀、圖6b給出了“Video2”三維視頻序列的第34時(shí)刻的深度視頻幀、圖6c給出了“Video2”三維視頻序列的第34時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖7a給出了“Video2”三維視頻序列的第59時(shí)刻的彩色視頻幀、圖7b給出了“Video2”三維視頻序列的第59時(shí)刻的深度視頻幀、圖7c給出了“Video2”三維視頻序列的第59時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖8a給出了“Video3”三維視頻序列的第1時(shí)刻的彩色視頻幀、圖8b給出了“Video3”三維視頻序列的第1時(shí)刻的深度視頻幀、圖8c給出了“Video3”三維視頻序列的第1時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖9a給出了“Video3”三維視頻序列的第34時(shí)刻的彩色視頻幀、圖9b給出了“Video3”三維視頻序列的第34時(shí)刻的深度視頻幀、圖9c給出了“Video3”三維視頻序列的第34時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀；圖10a給出了“Video3”三維視頻序列的第59時(shí)刻的彩色視頻幀、圖10b給出了“Video3”三維視頻序列的第59時(shí)刻的深度視頻幀、圖10c給出了“Video3”三維視頻序列的第59時(shí)刻的重定位到原始圖像寬度70％后的彩色視頻幀。從圖2a至圖10c中可以看出，采用本發(fā)明方法得到的重定位彩色圖像能夠較好地保留重要的顯著語(yǔ)義信息，同時(shí)又能保證時(shí)域一致性。