本發(fā)明涉及計算機視覺和圖像處理，尤其涉及一種基于縫合線搜索的雙目視頻拼接方法。

背景技術：

1、隨著計算機視覺和圖像處理技術的快速發(fā)展，視頻拼接技術在多個領域得到了廣泛應用，如虛擬現(xiàn)實、全景視頻制作、監(jiān)控系統(tǒng)和智能駕駛等。視頻拼接技術旨在將來自不同視角的視頻流無縫地拼接在一起，形成一個連續(xù)、完整的視頻畫面，從而擴展視野，提高視頻的視覺效果和信息量。然而，現(xiàn)有的視頻拼接技術在處理動態(tài)場景、尤其是包含運動物體的場景時，仍然面臨許多挑戰(zhàn)。

2、傳統(tǒng)的靜態(tài)圖像拼接方法主要包括配準、縫合線查找和融合三個步驟。視頻拼接技術可以視為圖像拼接的擴展，每個視頻幀可以獨立進行拼接，也可以通過固定對齊視頻拼接框架進行拼接。然而，在實際應用中，視頻拼接不僅要求對齊精度高，還需要在拼接過程中實時處理幀間變化，特別是在有運動物體穿過接縫時，需要有效消除運動偽影和重影現(xiàn)象。

3、現(xiàn)有的圖像拼接技術主要采用全局投影扭曲和圖割優(yōu)化方法進行對齊和拼接。全局投影扭曲方法通過對圖像進行全局變換，使其在整體上對齊，但對于包含大視差的雙目視頻，容易導致局部區(qū)域的失真和錯位。圖割優(yōu)化方法通過在圖像重疊區(qū)域構建能量函數，尋找最優(yōu)縫合線，但計算復雜度高，難以滿足實時視頻拼接的要求。

4、針對這些問題，現(xiàn)有技術提出了一些改進方法。例如，基于網格優(yōu)化的方法通過將圖像劃分為多個網格單元，利用特征點和網格頂點進行對齊，能夠提高對齊的精度和魯棒性。然而，這些方法在處理動態(tài)場景時，仍然存在重影和偽影現(xiàn)象，特別是在運動物體穿過接縫時，難以保證拼接效果的一致性。

5、在實際應用中，視頻拼接的另一個難點在于運動檢測和縫合線的更新。運動檢測是判斷視頻幀中是否有運動物體的關鍵步驟，對于拼接過程中出現(xiàn)的運動偽影和重影現(xiàn)象，必須進行有效檢測和處理。傳統(tǒng)的運動檢測方法主要基于幀差法和背景減除法，但這些方法在復雜場景中容易受到噪聲和光照變化的影響，檢測精度不高。

6、因此，如何提供一種基于縫合線搜索的雙目視頻拼接方法是本領域技術人員亟需解決的問題。

技術實現(xiàn)思路

1、本發(fā)明的一個目的在于提出一種基于縫合線搜索的雙目視頻拼接方法，本發(fā)明采用改進網格優(yōu)化算法和動態(tài)規(guī)劃的縫合線搜索算法，實現(xiàn)了高精度、實時的雙目視頻拼接。通過實時更新縫合線和運動檢測，有效消除運動偽影和重影現(xiàn)象，適應動態(tài)場景，確保拼接結果一致性和完整性，具備高精度、高效率和廣泛應用前景的優(yōu)點。

2、根據本發(fā)明實施例的一種基于縫合線搜索的雙目視頻拼接方法，包括如下步驟：

3、s1、視頻采集與預處理：使用雙目攝像頭獲取視頻流，并對每幀圖像進行預處理，得到左視點視頻序列和右視點視頻序列；

4、s2、標定階段：采用改進的網格優(yōu)化算法對每個視頻幀進行特征點提取和網格構建，將網格特征點對齊，并生成標定數據；

5、s3、查找表生成：根據標定數據生成查找表，將每個像素映射到新的位置，使左視點圖像和右視點圖像對齊；

6、s4、縫合線查找：在視頻拼接過程中，利用基于動態(tài)規(guī)劃的縫合線搜索算法進行縫合線查找；

7、s5、運動檢測與縫合線更新：計算縫合線區(qū)域的梯度差異，判斷是否有運行物體穿過接縫，若有運動物體穿過接縫，則更新縫合線，反之則不更新縫合線；

8、s6、圖像融合：對接縫區(qū)域進行平均融合，通過對重疊區(qū)域的像素值進行加權平均，消除拼接縫。

9、進一步的，所述標定階段使用幀差法提取包含移動物體的區(qū)域和移動物體外的背景區(qū)域，對所述背景區(qū)域進行特征提取，將連續(xù)兩幀的圖像數據進行差分法：

10、d(x,y)＝|in+1(x,y)-in(x,y)|；

11、

12、其中，d(x,y)表示圖像數據的差分，in+1(x,y)表示第n+1幀圖像，in(x,y)表示第n幀圖像，r(x,y)表示運動圖像的掩碼，t表示運動檢測預測，值設為30。

13、更進一步，所述s4具體包括：

14、s41、構建能量圖，將圖像顏色差異強度值和圖像結構差異強度值相加，得到每個像素點的能量值；

15、s42、計算累計能量圖，累計能量圖中第一行的值與能量圖一致，從第二行開始遍歷每一行，每個像素對應累計能量值為當前位置能量值與上一行中的三個像素位置對應最小的能量值的和；

16、s43、查找最小累計能量值所對應的縫合線，在最后一行中找到最小能量值以及對應的列索引，從倒數第二行遍歷每一行，找到記錄的列索引與左右兩個相鄰像素的累計能量值進行比較，記錄最小能量值對應的列索引，完成遍歷后，存儲的列索引即為最小能量圖對應的最佳縫合線位置。

17、更進一步，所述最佳縫合線的能量函數構造準則為：

18、e(x,y)＝ecolor2(x,y)+egeometry(x,y)；

19、其中，ecolor表示圖像顏色差異強度值，egeometry表示圖像結構差異強度值；

20、所述圖像顏色差異強度值ecolor的求解公式為：

21、ecolor＝|i1(x,y)-i2(x,y)|；

22、其中，i1(x,y)表示重疊區(qū)域內左視圖的圖像像素值，i2(x,y)表示重疊區(qū)域內右視圖的圖像像素值；

23、引入sobel算子，用來計算某像素點在水平和垂直方向上的梯度信息，卷積模板如下：

24、

25、

26、所述圖像結構差異強度值egeometry的求解公式為：

27、egeometry(x,y)＝[sx·(i1(x,y)-i2(x,y))]2+

28、[sy·(i1(x,y)-i2(x,y))]2；

29、其中，sx和sy分別表示3×3的sobel算子在x和y方向的模板。

30、更進一步，所述運動檢測具體包括：

31、判斷像素pi是否發(fā)生變化：

32、

33、其中，表示當前接縫中像素pi的原始梯度，表示時間t接縫中像素pi的梯度，δ表示常數；

34、如果ct中的總像素數大于n，則重疊區(qū)域中存在新的移動對象，并且應更新最佳接縫，其中n表示設定的常數。

35、更進一步，所述s6具體包括：

36、s61、對左視點圖像和右視點圖像的重疊區(qū)域進行處理，獲取接縫區(qū)域的像素值；

37、s62、計算重疊區(qū)域內左視點圖像和右視點圖像的像素加權平均值：

38、ifused(x,y)＝w1·i1(x,y)+w2·i2(x,y)；

39、其中，ifused(x,y)表示融合后的圖像像素值，i1(x,y)表示左視點圖像像素值，i2(x,y)表示右視點圖像像素值，w1表示左視點的加權系數，w2表示右視點的加權系數，滿足w1+w2＝1；

40、s63、對接縫區(qū)域的像素梯度進行計算，獲取梯度信息和

41、s64、根據梯度信息調整加權系數，使得加權系數與梯度值成反比：

42、

43、

44、s65、對接縫區(qū)域使用高斯平滑濾波器，減小像素值變化的劇烈程度，并通過多次迭代平滑處理，逐步消除拼接縫。

45、本發(fā)明的有益效果是：

46、(1)高精度的圖像對齊：采用改進的網格優(yōu)化算法對每個視頻幀進行特征點提取和網格構建，通過優(yōu)化后的網格將左右視點圖像中的特征點對齊，生成標定數據，從而實現(xiàn)高精度的圖像對齊。這種方法不僅能夠有效減少局部區(qū)域的失真和錯位，還提高了整體對齊的精度。

47、(2)實時性強：本發(fā)明通過生成查找表，將每個像素點映射到新的位置，使左視點圖像和右視點圖像對齊，從而簡化了后續(xù)處理步驟，提高了視頻拼接的實時性。同時，利用動態(tài)規(guī)劃的縫合線搜索算法，相比傳統(tǒng)的圖割優(yōu)化方法，計算復雜度顯著降低，進一步提升了拼接效率。

48、(3)消除運動偽影和重影現(xiàn)象：在視頻拼接過程中，通過計算縫合線區(qū)域的梯度差異，判斷是否有運動物體穿過接縫，若有運動物體穿過接縫，則更新縫合線，反之則不更新縫合線。這種基于運動檢測與縫合線更新的策略，有效解決了傳統(tǒng)方法中存在的重影問題，顯著減少了因運動物體產生的偽影。

49、(4)自適應的圖像融合：通過對接縫區(qū)域進行平均融合和加權平均處理，利用圖像梯度信息自適應調整加權系數，使得加權系數與梯度值成反比，從而在重疊區(qū)域實現(xiàn)平滑過渡，消除拼接縫。進一步應用高斯平滑濾波器對接縫區(qū)域進行平滑處理，使拼接結果更加平滑和自然。

50、(5)適應動態(tài)場景：本發(fā)明的方法特別適用于包含運動物體的動態(tài)場景，通過實時更新縫合線和運動檢測，有效避免了運動物體穿過接縫時造成的斷裂現(xiàn)象，確保拼接結果在視覺上的一致性和完整性。