本發(fā)明屬于視頻信息處理技術(shù)領(lǐng)域，涉及視頻拼接技術(shù)，尤其涉及一種基于動(dòng)態(tài)最優(yōu)縫合線(xiàn)的視頻拼接方法。

背景技術(shù)：

視頻拼接是指將多個(gè)攝像機(jī)從不同視角拍攝的多個(gè)圖像序列拼接成全景視頻的技術(shù)，廣泛應(yīng)用于大場(chǎng)景的監(jiān)控系統(tǒng)和無(wú)人駕駛系統(tǒng)。

視頻拼接的一個(gè)核心問(wèn)題在于如何消除視差引起的重影，特別是重疊區(qū)域包含運(yùn)動(dòng)物體的場(chǎng)景。為了降低視頻拼接中視差引起的拼接重影，又稱(chēng)為“鬼影”，一類(lèi)方法是采用先進(jìn)的圖像合成技術(shù)，如seamcutting(切縫)方法，但有移動(dòng)目標(biāo)經(jīng)過(guò)縫合線(xiàn)時(shí)，應(yīng)用這類(lèi)方法拼接圖像中會(huì)出現(xiàn)運(yùn)動(dòng)目標(biāo)斷裂。

另一類(lèi)方法為spatially-varyingwarping(空間變化扭曲)方法，即是在圖像配準(zhǔn)階段采用局部參數(shù)變換模型代替全局變換模型。如zaragoza等人提出的as-projective-as-possible(apap)方法，將圖像劃分為多個(gè)密集矩形網(wǎng)格，對(duì)每一矩形網(wǎng)格，利用匹配的特征點(diǎn)對(duì)估計(jì)局部射影變換矩陣，并引入了距離權(quán)重因子，近距離的特征點(diǎn)權(quán)重大，遠(yuǎn)距離的特征點(diǎn)權(quán)重小，距離權(quán)重因子自適應(yīng)地調(diào)整射影模型參數(shù)。這類(lèi)方法可以消除靜態(tài)場(chǎng)景的拼接重影、錯(cuò)位問(wèn)題，但不能很好地消除運(yùn)動(dòng)目標(biāo)的重影，而且該類(lèi)方法計(jì)算成本高，實(shí)時(shí)性較差。

故亟需一種視頻拼接方法，解決現(xiàn)有技術(shù)中重疊區(qū)域包含運(yùn)動(dòng)物體時(shí)視頻拼接后出現(xiàn)的重影現(xiàn)象。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)重疊區(qū)域包含運(yùn)動(dòng)物體時(shí)視頻拼接容易出現(xiàn)重影的問(wèn)題，提供了一種基于動(dòng)態(tài)最優(yōu)縫合線(xiàn)的視頻拼接方法，消除了視頻拼接出現(xiàn)的重影現(xiàn)象。

一種基于動(dòng)態(tài)最優(yōu)縫合線(xiàn)的視頻拼接方法，包括：s1：計(jì)算空間相鄰圖像的重疊區(qū)域；

s2：分離重疊區(qū)域的前景和背景圖像；

s201：提取重疊區(qū)域圖像的顏色特征、紋理特征和光流軌跡；

s202：利用所述顏色特征、紋理特征、光流軌跡的統(tǒng)計(jì)信息建立嵌套模型；

s203：利用嵌套模型對(duì)重疊圖像區(qū)域中的運(yùn)動(dòng)區(qū)域進(jìn)行判定，從而得出重疊區(qū)域圖像的前景信息和背景信息；

s3：基于重疊區(qū)域的背景圖像計(jì)算最優(yōu)初始縫合線(xiàn)；

s4：分別計(jì)算重疊區(qū)域前后幀縫合線(xiàn)上所有像素點(diǎn)的梯度值之差，并根據(jù)梯度值之差判斷每一像素點(diǎn)是否為運(yùn)動(dòng)像素；

s5：對(duì)縫合線(xiàn)上運(yùn)動(dòng)像素點(diǎn)進(jìn)行求和，并與預(yù)設(shè)閾值進(jìn)行比較，并判斷運(yùn)動(dòng)像素點(diǎn)之和是否大于預(yù)設(shè)閾值，如果運(yùn)動(dòng)像素點(diǎn)之和大于預(yù)設(shè)閾值，則跳轉(zhuǎn)到步驟s61，否則，跳轉(zhuǎn)到步驟s62；

s61：更新最優(yōu)縫合線(xiàn)；

s62：保持當(dāng)前最優(yōu)縫合線(xiàn)；

s7：根據(jù)最優(yōu)縫合線(xiàn)對(duì)圖像進(jìn)行融合，從而得到拼接后的全景圖像。

進(jìn)一步的，計(jì)算空間相鄰圖像的重疊區(qū)域具體包括：

計(jì)算相鄰兩幅圖像的重疊角度:

overlapangle＝(fovhangle*numcams-360)/numcams

其中，overlapangle為相鄰兩幅圖像的重疊角度，fovhangle是指攝像機(jī)的水平視角，numcams表示攝像機(jī)的個(gè)數(shù)，numcams數(shù)量的攝像機(jī)獲取水平360度場(chǎng)景視頻；

然后，根據(jù)重疊角度計(jì)算空間相鄰兩幅圖像重疊區(qū)域的圖像寬度：

其中，overlapimgwidth指相鄰兩幅圖像重疊區(qū)域的圖像寬度，imgwidth表示原圖像的圖像寬度，overlapangle為相鄰兩幅圖像的重疊角度，fovhangle是指攝像機(jī)的水平視角。

進(jìn)一步的，所述s201中紋理特征提取方法如下：

紋理特征采用局部二值模式(localbinarypattern，lbp)，通過(guò)對(duì)中心像素和鄰域像素的灰度變化閾值化，形成由0、1組成的二進(jìn)制字符串；像素p＝(x,y)的lbp定義為：

其中，表示t時(shí)刻p像素點(diǎn)的lbp向量，i^g表示灰度圖像，p是像素點(diǎn)，q是像素點(diǎn)p在n鄰域內(nèi)的像素點(diǎn)，r是鄰域半徑，ε是噪音系數(shù)，表示級(jí)聯(lián)算子。

進(jìn)一步的，所述s202中建立嵌套模型的方法如下：1)、建立統(tǒng)計(jì)模型；

設(shè)表示t時(shí)刻圖像的統(tǒng)計(jì)模型函數(shù)：

其中表示統(tǒng)計(jì)模型的分布數(shù)，統(tǒng)計(jì)模型中前項(xiàng)分布被當(dāng)作為背景；像素的統(tǒng)計(jì)模型是通過(guò)對(duì)顏色、紋理和光流軌跡的時(shí)間統(tǒng)計(jì)信息學(xué)習(xí)得到；表示rgb顏色值，表示紋理信息，表示光流信息，表示k分布屬于背景的概率大小，表示k分布在前t幀的最大權(quán)值；

利用t時(shí)刻獲得的像素rgb顏色值i^t、紋理特征lbp^t和光流信息flow^t與按權(quán)值系數(shù)進(jìn)行降序排列的t-1時(shí)刻統(tǒng)計(jì)模型進(jìn)行匹配，匹配函數(shù)定義為：

其中dcolor、dtexture和dflow中函數(shù)σ＝8為高斯核函數(shù)方差，‖·‖為歐氏距離，λ1、λ2∈[0,1]分別表示顏色和紋理的權(quán)重因子；設(shè)與模型匹配分?jǐn)?shù)最高的分布為如果最高匹配得分小于閾值t1，表示該像素與統(tǒng)計(jì)模型中的任何一個(gè)分布不匹配，此時(shí)中分布數(shù)目小于時(shí)，分布將被添加；當(dāng)分布數(shù)目等于時(shí)，分布將替代權(quán)值系數(shù)最小的分布；若中存在分布則對(duì)分布的參數(shù)進(jìn)行如下更新：

其中α、β∈(0,1)表示學(xué)習(xí)參數(shù)；

2)、建立背景模型；

基于背景的時(shí)間一致性特征和統(tǒng)計(jì)模型建立可靠的背景模型，t時(shí)刻的背景模型定義為：

其中，表示背景模型的分布數(shù)，背景模型中前項(xiàng)分布被當(dāng)作為背景；像素的背景模型是通過(guò)聚類(lèi)于統(tǒng)計(jì)模型中權(quán)值系數(shù)較大的前b1分布學(xué)習(xí)得到的；是像素rgb顏色均值，表示光流，為背景模型b分布的權(quán)值，表示b分布在前t幀的最大權(quán)值；計(jì)算分布與背景模型進(jìn)行匹配，匹配函數(shù)：

同樣，分布與中匹配分?jǐn)?shù)最高的分布標(biāo)記為如果小于閾值t2，表示像素與背景模型中的任何一個(gè)分布都不匹配，此時(shí)若中分布數(shù)目小于時(shí)，該分布將被添加；當(dāng)分布數(shù)目等于時(shí)，該分布將替代中權(quán)值系數(shù)最小的分布；如果在存在分布，則對(duì)分布參數(shù)進(jìn)行更新，更新方法與統(tǒng)計(jì)模型的分布相同。

進(jìn)一步的，所述s203中得出重疊區(qū)域圖像的前景信息和背景信息的方法如下：

利用背景模型中權(quán)值系數(shù)較大的前項(xiàng)分布，估計(jì)t時(shí)刻像素屬于背景的顏色期望值lbp紋理期望值和擬合的光流期望值計(jì)算公式如下：

其中，表示t時(shí)刻背景模型b分布的權(quán)值系數(shù)，i^t、lbp^t和flow^t分別表示t時(shí)刻像素的rgb顏色向量、lbp紋理特征與擬合的光流估計(jì)信息；t時(shí)刻像素屬于背景的匹配分?jǐn)?shù)，定義為輸入圖像像素觀(guān)察數(shù)據(jù)與上述估計(jì)的期望值的匹配得分，匹配分?jǐn)?shù)的計(jì)算公式為：

其中i^t、lbp^t和flow^t分別表示t時(shí)刻像素的rgb顏色向量、lbp紋理特征與擬合的光流估計(jì)信息，dcolor是顏色特征的匹配分?jǐn)?shù)，dtexture是lbp紋理特征的匹配分?jǐn)?shù)，dflow是光流特征的匹配分?jǐn)?shù)，匹配分?jǐn)?shù)計(jì)算公式σ＝8為高斯核函數(shù)方差，‖·‖為歐氏距離，為t時(shí)刻像素屬于背景的顏色期望值、為lbp紋理期望值；為擬合的光流速度期望值；ρ1、ρ2∈[0,1]分別表示顏色特征和紋理特征的權(quán)重因子；最后，設(shè)定閾值tbg，將匹配得分大于閾值tbg的像素標(biāo)記為背景像素，得分小于閾值tbg的像素標(biāo)記為運(yùn)動(dòng)像素；判別公式如下所示：

其中m表示場(chǎng)景中的運(yùn)動(dòng)像素的集合，b表示背景像素的集合。

進(jìn)一步的，所述s3中計(jì)算最優(yōu)初始縫合線(xiàn)的方法如下：

利用最小化左右圖像上縫合線(xiàn)位置上的像素值差異eintensity，最小化左右圖像上縫合線(xiàn)位置上的梯度值差異egradient，兩者的計(jì)算公式如下：

eintensity＝|il(x，y)-ir(x，y)|/max(il(xiy)，ir(x，y))

其中，il(x,y)表示左圖像(x,y)點(diǎn)的灰度值，ir(x,y)表示右圖像(x,y)點(diǎn)的灰度值；表示左圖像(x,y)點(diǎn)梯度值，表示右圖像(x,y)點(diǎn)的梯度值，‖·‖為歐氏距離；eintensity表示左右圖像縫合線(xiàn)上的像素值差異，egradient表示梯度值差異；

引入像素值差異和梯度差異構(gòu)成能量函數(shù)：

e＝∑xy(eintensity+αegradient)

e表示總能量差異，eintensity表示像素值差異，egradient表示梯度值差異，基于graph-cut方法計(jì)算最佳縫合線(xiàn)路徑，使得能量函數(shù)最小。

進(jìn)一步的，所述s4中計(jì)算運(yùn)動(dòng)像素的方法如下：

分別計(jì)算t時(shí)刻和t+1時(shí)刻縫合線(xiàn)的灰度梯度值，計(jì)算公式如下：

其中git表示t時(shí)刻縫合線(xiàn)上像素點(diǎn)pi＝(x,y)的梯度值，git+1則表示t+1時(shí)刻縫合線(xiàn)上像素點(diǎn)pi的梯度值；然后計(jì)算兩者之間的梯度差：

其中，δ為經(jīng)驗(yàn)閾值，一般取值為0.5，ci表示前后幀縫合線(xiàn)上像素點(diǎn)是否為運(yùn)動(dòng)像素，ci為1表示該前后幀縫合線(xiàn)上像素點(diǎn)pi為運(yùn)動(dòng)像素，否則為背景像素。

本發(fā)明的視頻拼接方法中采用了顏色特征、紋理特征和光流軌跡的統(tǒng)計(jì)信息建立嵌套模型，避免了運(yùn)動(dòng)區(qū)域判斷的失敗，從而能夠很好的檢測(cè)出重疊區(qū)域圖像的前景信息和背景信息，根據(jù)檢測(cè)出的前景信息和背景信息計(jì)算最優(yōu)縫合線(xiàn)，然后對(duì)圖像進(jìn)行融合，從而解決了重疊區(qū)域包含運(yùn)動(dòng)物體時(shí)視頻拼接容易出現(xiàn)重影的問(wèn)題，達(dá)到了較好的視頻圖像拼接效果。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實(shí)施例提供的一種基于動(dòng)態(tài)最優(yōu)縫合線(xiàn)的視頻拼接方法的流程圖；

圖2是本發(fā)明實(shí)施例中基于多特征與嵌套模型的運(yùn)動(dòng)區(qū)域檢測(cè)方法的流程圖；

圖3是本發(fā)明實(shí)施例中嵌套模型結(jié)構(gòu)示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明了，下面結(jié)合具體實(shí)施方式并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。應(yīng)該理解，這些描述只是示例性的，而并非要限制本發(fā)明的范圍。此外，在以下說(shuō)明中，省略了對(duì)公知結(jié)構(gòu)和技術(shù)的描述，以避免不必要地混淆本發(fā)明的概念。

為了解決本領(lǐng)域技術(shù)人員一直著力解決，卻沒(méi)徹底解決的技術(shù)問(wèn)題，該問(wèn)題是：重疊區(qū)域包含運(yùn)動(dòng)物體時(shí)視頻拼接容易出現(xiàn)重影。本發(fā)明提供了一種基于動(dòng)態(tài)最優(yōu)縫合線(xiàn)的視頻拼接方法。該方法很好的消除了視頻拼接后出現(xiàn)的重影現(xiàn)象。如圖1所示，該方法包括：

s1：計(jì)算空間相鄰圖像的重疊區(qū)域；

首先，計(jì)算相鄰兩幅圖像的重疊角度:

overlapangle＝(fovhangle*numcams-360)/numcams

其中，overlapangle為相鄰兩幅圖像的重疊角度，fovhangle是指攝像機(jī)的水平視角，numcams表示攝像機(jī)的個(gè)數(shù)，numcams數(shù)量的攝像機(jī)獲取水平360度場(chǎng)景視頻。

然后，根據(jù)重疊角度計(jì)算空間相鄰兩幅圖像重疊區(qū)域的圖像寬度：

其中，overlapimgwidth指相鄰兩幅圖像重疊區(qū)域的圖像寬度，imgwidth表示原圖像的圖像寬度，overlapangle為相鄰兩幅圖像的重疊角度，fovhangle是指攝像機(jī)的水平視角。

s2：分離重疊區(qū)域的前景和背景圖像；

得到重疊區(qū)域圖像后，采用li等人的基于多特征與嵌套模型分離前景和背景；算法流程如圖2所示，具體包括如下步驟：

s201：提取重疊區(qū)域圖像的顏色特征、紋理特征和光流軌跡；

顏色特征采用rgb值，紋理特征采用局部二值模式(localbinarypattern，lbp)，lbp反映了像素紋理結(jié)構(gòu)、對(duì)灰度、旋轉(zhuǎn)變換具有較好的魯棒性。通過(guò)對(duì)中心像素和鄰域像素的灰度變化閾值化，形成由0、1組成的二進(jìn)制字符串。像素p＝(x,y)的lbp定義為：

其中，表示t時(shí)刻p像素點(diǎn)的lbp向量，i^g表示灰度圖像，p是像素點(diǎn)，q是像素點(diǎn)p在n鄰域內(nèi)的像素點(diǎn)，r是鄰域半徑，ε是噪音系數(shù)，表示級(jí)聯(lián)算子。

在低紋理或無(wú)紋理區(qū)域，僅利用lbp紋理特征與rgb顏色特征可能會(huì)檢測(cè)失敗，因此在lbp紋理特征與rgb顏色特征基礎(chǔ)上進(jìn)一步提取光流信息。首先估計(jì)圖像像素在t-1時(shí)刻和t時(shí)刻的光流大小和方向，因?yàn)檫\(yùn)動(dòng)物體軌跡在時(shí)間相鄰圖像近似為直線(xiàn)，利用最小二乘法直線(xiàn)擬合像素在相鄰4幀圖像的光流軌跡。

s202：利用所述顏色特征、紋理特征、光流軌跡的統(tǒng)計(jì)信息建立嵌套模型；

首先利用顏色特征、紋理特征、光流軌跡的統(tǒng)計(jì)信息建立統(tǒng)計(jì)模型，再基于背景像素時(shí)間一致性假設(shè)和背景聚類(lèi)于統(tǒng)計(jì)模型中一個(gè)或多個(gè)分布的特點(diǎn)建立魯棒的背景模型，嵌套模型如圖3所示，對(duì)重疊區(qū)域圖像像素特征集合，建立按權(quán)值系數(shù)降序排列的統(tǒng)計(jì)模型及按權(quán)值系數(shù)降序排列的背景模型建立嵌套模型的具體步驟如下：

1)、建立統(tǒng)計(jì)模型；

設(shè)表示t時(shí)刻圖像的統(tǒng)計(jì)模型函數(shù)：

其中表示統(tǒng)計(jì)模型的分布數(shù)，統(tǒng)計(jì)模型中前項(xiàng)分布被當(dāng)作為背景。像素的統(tǒng)計(jì)模型是通過(guò)對(duì)顏色、紋理和光流軌跡的時(shí)間統(tǒng)計(jì)信息學(xué)習(xí)得到。表示rgb顏色值，表示紋理信息，表示光流軌跡信息，表示k分布屬于背景的概率大小，表示k分布在前t幀的最大權(quán)值。

利用t時(shí)刻獲得的像素rgb顏色值i^t、紋理特征lbp^t和光流信息flow^t與按權(quán)值系數(shù)進(jìn)行降序排列的t-1時(shí)刻統(tǒng)計(jì)模型進(jìn)行匹配，匹配函數(shù)定義為：

其中dcolor、dtexture和dflow中函數(shù)σ＝8為高斯核函數(shù)方差，‖·‖為歐氏距離，λ1、λ2∈[0,1]分別表示顏色和紋理的權(quán)重因子。設(shè)與模型匹配分?jǐn)?shù)最高的分布為如果最高匹配得分小于閾值t1，表示該像素與統(tǒng)計(jì)模型中的任何一個(gè)分布不匹配，此時(shí)中分布數(shù)目小于時(shí)，分布將被添加；當(dāng)分布數(shù)目等于時(shí)，分布將替代權(quán)值系數(shù)最小的分布。若中存在分布則對(duì)分布的參數(shù)進(jìn)行如下更新：

其中α、β∈(0,1)表示學(xué)習(xí)參數(shù)。

2)、建立背景模型；

基于背景的時(shí)間一致性特征和統(tǒng)計(jì)模型建立可靠的背景模型，t時(shí)刻的背景模型定義為：

其中，表示背景模型的分布數(shù)，背景模型中前項(xiàng)分布被當(dāng)作為背景。像素的背景模型是通過(guò)聚類(lèi)于統(tǒng)計(jì)模型中權(quán)值系數(shù)較大的前b1分布學(xué)習(xí)得到的。是像素rgb顏色均值，表示光流，為背景模型b分布的權(quán)值，表示b分布在前t幀的最大權(quán)值。計(jì)算分布與背景模型進(jìn)行匹配，匹配函數(shù)：

同樣，分布與中匹配分?jǐn)?shù)最高的分布標(biāo)記為如果小于閾值t2，表示像素與背景模型中的任何一個(gè)分布都不匹配，此時(shí)若

中分布數(shù)目小于時(shí)，該分布將被添加；當(dāng)分布數(shù)目等于時(shí)，該分布將替代中權(quán)值系數(shù)最小的分布。如果在存在分布，則對(duì)分布參數(shù)進(jìn)行更新，更新方法與統(tǒng)計(jì)模型的分布相同。

該嵌套模型可以快速地適應(yīng)場(chǎng)景變化，如恢復(fù)長(zhǎng)時(shí)間被遮擋的背景，消除物體重影開(kāi)始運(yùn)動(dòng)產(chǎn)生的鬼影以及周期運(yùn)動(dòng)的背景像素，并且通過(guò)統(tǒng)計(jì)模型和背景模型密切的層間交互，可以加快恢復(fù)長(zhǎng)時(shí)間被遮擋的背景和減慢長(zhǎng)時(shí)間被靜止物體遮擋的背景。

s203：利用嵌套模型對(duì)重疊圖像區(qū)域中的運(yùn)動(dòng)區(qū)域進(jìn)行判定，從而得出重疊區(qū)域圖像的前景信息和背景信息；

基于背景像素時(shí)間一致性特征，利用背景模型中權(quán)值系數(shù)較大的前項(xiàng)分布，估計(jì)t時(shí)刻像素屬于背景的顏色期望值lbp紋理期望值和擬合的光流速度期望值計(jì)算公式如下：

其中，表示t時(shí)刻背景模型b分布的權(quán)值系數(shù)，i^t、lbp^t和flow^t分別表示t時(shí)刻像素的rgb顏色向量、lbp紋理特征與擬合的光流估計(jì)信息。t時(shí)刻像素屬于背景的匹配分?jǐn)?shù)，定義為輸入圖像像素觀(guān)察數(shù)據(jù)與上述估計(jì)的期望值的匹配得分，匹配分?jǐn)?shù)的計(jì)算公式為：

其中i^t、lbp^t和flow^t分別表示t時(shí)刻像素的rgb顏色向量、lbp紋理特征與擬合的光流軌跡估計(jì)信息，dcolor是顏色特征的匹配分?jǐn)?shù)，dtexture是lbp紋理特征的匹配分?jǐn)?shù)，dflow是光流特征的匹配分?jǐn)?shù)，匹配分?jǐn)?shù)計(jì)算公式σ＝8為高斯核函數(shù)方差，‖·‖為歐氏距離，為t時(shí)刻像素屬于背景的顏色期望值、為lbp紋理期望值；為擬合的光流速度期望值；ρ1、ρ2∈[0,1]分別表示顏色特征和紋理特征的權(quán)重因子。最后，設(shè)定閾值tbg，將匹配得分大于閾值tbg的像素標(biāo)記為背景區(qū)域，得分小于閾值tbg的像素標(biāo)記為運(yùn)動(dòng)像素。判別公式如下所示：

其中m表示場(chǎng)景中的運(yùn)動(dòng)像素的集合(前景信息)，b表示背景像素的集合(背景信息)。

s3：基于重疊區(qū)域的背景圖像計(jì)算最優(yōu)初始縫合線(xiàn)；

對(duì)重疊區(qū)域的背景圖像，采用seam-cutting方法計(jì)算最優(yōu)縫合線(xiàn)。最優(yōu)縫合線(xiàn)不應(yīng)該引入不一致的場(chǎng)景和強(qiáng)度差異，因此，引入兩條準(zhǔn)則作為選擇標(biāo)準(zhǔn)：(1)最小化左右圖像上縫合線(xiàn)位置上的像素值差異eintensity，(2)最小化左右圖像上縫合線(xiàn)位置上的梯度值差異egradient，兩者的計(jì)算公式如下：

eintensity＝|il(x，y)-ir(x，y)|/max(il(x，y)，ir(x，y))

其中，il(x，y)表示左圖像(x，y)點(diǎn)的灰度值，ir(x，y)表示右圖像(x，y)點(diǎn)的灰度值。表示左圖像(x，y)點(diǎn)梯度值，表示右圖像(x，y)點(diǎn)的梯度值，||·||為歐氏距離。eintensity表示左右圖像縫合線(xiàn)上的像素值差異，egradient表示梯度值差異。

引入像素值差異和梯度差異構(gòu)成能量函數(shù)：

e∑xy(eintensity+αegradient)

e表示總能量差異，eintensity表示像素值差異，egradient表示梯度值差異，基于graph-cut方法計(jì)算最佳縫合線(xiàn)路徑，使得能量函數(shù)最小。該步驟中基于亮度差異和梯度差異最小化選擇最優(yōu)縫合線(xiàn)，可以消除背景圖像中因視差引起的拼接重影和拼接縫。

s4：分別計(jì)算重疊區(qū)域前后幀縫合線(xiàn)上所有像素點(diǎn)的梯度值之差，并根據(jù)梯度值之差判斷每一像素點(diǎn)是否為運(yùn)動(dòng)像素；

當(dāng)運(yùn)動(dòng)目標(biāo)橫穿縫合線(xiàn)運(yùn)動(dòng)時(shí)，若不更新縫合線(xiàn)，直接基于原有的縫合線(xiàn)融合，會(huì)出現(xiàn)運(yùn)動(dòng)目標(biāo)斷裂或鬼影。針對(duì)該問(wèn)題，本發(fā)明采用智能動(dòng)態(tài)縫合線(xiàn)算法，根據(jù)像素梯度差動(dòng)態(tài)更新縫合線(xiàn)。分別計(jì)算t時(shí)刻和t+1時(shí)刻縫合線(xiàn)的灰度梯度值，計(jì)算公式如下：

其中git表示t時(shí)刻縫合線(xiàn)上像素點(diǎn)pi＝(x,y)的梯度值，git+1則表示t+1時(shí)刻縫合線(xiàn)上像素點(diǎn)pi的梯度值。然后計(jì)算兩者之間的梯度差：

其中，δ為經(jīng)驗(yàn)閾值，一般取值為0.5，ci表示前后幀縫合線(xiàn)上像素點(diǎn)是否為運(yùn)動(dòng)像素，ci為1表示該前后幀縫合線(xiàn)上像素點(diǎn)pi為運(yùn)動(dòng)像素，否則為背景像素。

s5：對(duì)縫合線(xiàn)上運(yùn)動(dòng)像素點(diǎn)進(jìn)行求和，并與預(yù)設(shè)閾值進(jìn)行比較，并判斷運(yùn)動(dòng)像素點(diǎn)之和是否大于預(yù)設(shè)閾值，如果運(yùn)動(dòng)像素點(diǎn)之和大于預(yù)設(shè)閾值，則跳轉(zhuǎn)到步驟s61，否則，跳轉(zhuǎn)到步驟s62；

s61：更新最優(yōu)縫合線(xiàn)；

s62：保持當(dāng)前最優(yōu)縫合線(xiàn)；

具體的，將前后幀縫合線(xiàn)上的與預(yù)設(shè)閾值進(jìn)行比較，預(yù)設(shè)閾值設(shè)置為0.3*n，如果則更新最佳縫合線(xiàn)；否則，不對(duì)縫合線(xiàn)進(jìn)行更新，保持當(dāng)前最優(yōu)縫合線(xiàn)。其中，n為縫合線(xiàn)像素點(diǎn)的總個(gè)數(shù)。根據(jù)公式，統(tǒng)計(jì)縫合線(xiàn)上梯度變化明顯的像素個(gè)數(shù)。若縫合線(xiàn)上像素點(diǎn)中滿(mǎn)足梯度變化閾值的像素點(diǎn)的總和大于0.3*n，則判定t+1時(shí)刻縫合線(xiàn)上有運(yùn)動(dòng)目標(biāo)穿過(guò)，則重復(fù)s3步驟采用當(dāng)前幀(t+1時(shí)刻)的背景圖像重新計(jì)算縫合線(xiàn)。否則，t+1時(shí)刻采用t時(shí)刻相同的最優(yōu)縫合線(xiàn)。

該步驟通過(guò)更新縫合線(xiàn)，可以消除運(yùn)動(dòng)目標(biāo)拼接重影問(wèn)題，同時(shí)，通過(guò)梯度值變化智能判斷是否需要更新，避免每幀都更新縫合線(xiàn)，計(jì)算復(fù)雜度降低，時(shí)間成本降低。

s7：根據(jù)最優(yōu)縫合線(xiàn)對(duì)圖像進(jìn)行融合，從而得到拼接后的全景圖像。

得到最優(yōu)縫合線(xiàn)后，在縫合線(xiàn)位置，采用線(xiàn)性加權(quán)融合方法融合重疊區(qū)域；再將非重疊區(qū)域和拼接后的重疊區(qū)域圖像融合，得到拼接后的全景圖像。

本發(fā)明的視頻拼接方法中采用了顏色特征、紋理特征和光流軌跡的統(tǒng)計(jì)信息建立嵌套模型，避免了運(yùn)動(dòng)區(qū)域判斷的失敗，從而能夠很好的檢測(cè)出重疊區(qū)域圖像的前景信息和背景信息，根據(jù)檢測(cè)出的前景信息和背景信息計(jì)算最優(yōu)縫合線(xiàn)，然后對(duì)圖像進(jìn)行融合，從而解決了重疊區(qū)域包含運(yùn)動(dòng)物體時(shí)視頻拼接容易出現(xiàn)重影的問(wèn)題，達(dá)到了較好的視頻圖像拼接效果。

應(yīng)當(dāng)理解的是，本發(fā)明的上述具體實(shí)施方式僅僅用于示例性說(shuō)明或解釋本發(fā)明的原理，而不構(gòu)成對(duì)本發(fā)明的限制。因此，在不偏離本發(fā)明的精神和范圍的情況下所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。此外，本發(fā)明所附權(quán)利要求旨在涵蓋落入所附權(quán)利要求范圍和邊界、或者這種范圍和邊界的等同形式內(nèi)的全部變化和修改例。