本發(fā)明屬于計算機視覺處理，尤其涉及一種基于不確定度引導(dǎo)解耦傳播與自適應(yīng)采樣的光流估計方法及系統(tǒng)。

背景技術(shù)：

1、光流估計是計算機視覺領(lǐng)域中的一個基本任務(wù)，它通過在兩幀圖像之間尋找匹配的像素，從而獲取圖像的運動信息。然而，過去的光流模型在應(yīng)對物體快速移動、遮擋、模糊以及紋理不明確等復(fù)雜情況時的表現(xiàn)仍有待提高。

2、目前，光流已被廣泛應(yīng)用在了以視頻編輯、關(guān)鍵點追蹤、即時定位與地圖構(gòu)建等為代表的各種現(xiàn)實場景中。在實時場景中，模型需具備高效的計算性能以保證實時響應(yīng)，這意味著在追求模型估計高精度光流的同時，必須兼顧其計算量的控制，以實現(xiàn)精度與計算成本之間的有效平衡。然而，現(xiàn)有光流模型通常使用大量參考點的查詢迭代操作，導(dǎo)致昂貴的計算成本，這在很大程度上會限制其在現(xiàn)實場景中的應(yīng)用。與性能表現(xiàn)優(yōu)異的傳統(tǒng)光流模型相比，輕量級光流模型受到的關(guān)注相對較少，因此輕量化模型在精度上與傳統(tǒng)模型存在明顯差距。

3、這一現(xiàn)象反映了目前在光流模型設(shè)計與計算成本控制平衡方面的研究不足。盡管在某些應(yīng)用場景中，高精度的光流估計至關(guān)重要，但在計算資源受限的情況下，對輕量級模型的需求同樣迫切。當(dāng)前的研究趨勢往往偏向于追求模型的高精度，而對于如何在保持良好精度的同時降低計算成本的問題尚未得到充分關(guān)注。因此，需要探索如何在精度和計算成本之間找到平衡，以滿足光流不同應(yīng)用場景的需求。

4、專利文獻cn118037773a公開了一種基于深度光流的目標(biāo)跟蹤方法，包括：對視頻進行處理得到圖像序列；所述圖像序列包括多幀幀圖像；確定跟蹤目標(biāo)的初始目標(biāo)框，并基于所述初始目標(biāo)框確定多個跟蹤點及其初始位置；將所述圖像序列和所述初始位置輸入深度光流模型，所述深度光流模型輸出所述跟蹤點在所述幀圖像中的跟蹤狀態(tài)和跟蹤位置；根據(jù)所述跟蹤位置，實現(xiàn)在所述視頻中對所述跟蹤目標(biāo)的跟蹤。

5、專利文獻cn117058219a公開了一種基于改進遞歸全對場變換光流模型的視頻測流方法，獲取河流視頻并進行切幀處理得到視頻幀；基于所述河流視頻和預(yù)先獲取的勘測結(jié)果計算變換矩陣，通過變換矩陣將河流視頻中各測速點在各視頻幀中的圖上坐標(biāo)變換為世界坐標(biāo)，獲取各測速點之間的斷面面積；將所述視頻幀輸入到訓(xùn)練好的改進遞歸全對場變換光流模型中，輸出各測速點相鄰兩幀之間的像素位移；根據(jù)所述像素位移、所述世界坐標(biāo)和所述斷面面積計算河流表面流速。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供種一種基于不確定度引導(dǎo)解耦傳播與自適應(yīng)采樣的光流估計方法及系統(tǒng)，該方法能降低光流估計任務(wù)的運算要求，從而實現(xiàn)光流精度與任務(wù)成本之間的有效平衡。

2、為了實現(xiàn)本發(fā)明的第一個目的，提供如下技術(shù)方案:一種基于不確定度引導(dǎo)解耦傳播與自適應(yīng)采樣的光流估計方法，包括以下步驟：

3、獲取原視頻數(shù)據(jù)并基于每兩幀圖像進行特征提取，以獲得對應(yīng)的圖像增強特征數(shù)據(jù)集合；

4、基于自注意力機制操作獲取圖像增強特征數(shù)據(jù)之間的稠密相關(guān)特征，并通過所述稠密相關(guān)特征構(gòu)建對應(yīng)的匹配分布矩陣，利用所述匹配分布矩陣獲取每兩幀圖像之間的原始光流；

5、根據(jù)圖像增強特征數(shù)據(jù)之間的稠密相關(guān)特征，通過多層池化處理以獲得對應(yīng)的局部相關(guān)特征；

6、基于原始光流、局部相關(guān)特征、上下文特征以及畸變誤差生成不確定度，并基于所述不確定度將原始光流劃分為有效光流區(qū)和無效光流區(qū)；

7、根據(jù)劃分后的有效光流區(qū)和無效光流區(qū)進行解耦傳播，以更新對應(yīng)的局部相關(guān)特征和上下文特征，以更新對應(yīng)的光流；

8、利用更新后光流的不確定度對局部相關(guān)性特進行動態(tài)自適應(yīng)采樣，以進一步更行光流，直至滿足迭代終止條件輸出最佳的精細化光流結(jié)果。

9、本發(fā)明使用不確定度對全局進行可靠的初始化劃分，通過解耦傳播模塊減輕不可靠估計的干擾，并基于不確定度進行自適應(yīng)采樣迭代優(yōu)化，從而實現(xiàn)光流精度與計算成本之間的有效平衡。

10、具體的，采用雙線性插值采樣兩幀圖像中的rgb數(shù)據(jù)以獲取圖像特征數(shù)據(jù)，并將所述圖像特征數(shù)據(jù)輸入特征特增強網(wǎng)絡(luò)進行數(shù)據(jù)增強，以獲得圖像增強特征數(shù)據(jù)。

11、具體的，所述圖像增強特征數(shù)據(jù)的表達式如下

12、

13、其中，γ表示特征增強網(wǎng)絡(luò)，p表示位置編碼，和表示圖像特征數(shù)據(jù)。

14、具體的，所述稠密相關(guān)特征通過自注意力機制操作獲取，其表達式如下：

15、

16、其中，表示圖像增強特征數(shù)據(jù)，h表示圖像高度，w表示圖像寬度，d表示f1與f2的特征通道數(shù)。

17、具體的，所述匹配分布矩陣通過對稠密相關(guān)特征在后兩維上進行歸一化指數(shù)函數(shù)計算獲取。

18、具體的，所述畸變誤差通過計算從目標(biāo)幀圖像投影到參考幀視角并與參考幀圖像的差值得到，其表達式如下：

19、

20、其中，i1(x)指參考幀圖像雙線性插值下采樣在坐標(biāo)x下的rgb結(jié)果，指目標(biāo)幀圖像坐標(biāo)投影到參考幀視角坐標(biāo)x下的rgb結(jié)果，表示當(dāng)前坐標(biāo)x的光流。

21、具體的，所述解耦傳播包括利用圖像增強特征數(shù)據(jù)進行交叉注意力機制和自注意力機制計算實現(xiàn)，具體過程如下：

22、使用交叉注意力機制將有效光流傳播至無效區(qū)域進行更新；

23、使用自注意力機制分別對無效區(qū)域光流和有效區(qū)域光流進行更新。

24、具體的，所述迭代更新以給定搜索半徑設(shè)置自適應(yīng)的采樣步長，并設(shè)定中心坐標(biāo)為不確定度進行局部采樣，其表達如下：

25、

26、其中，r表示搜索半徑，x表示輸入的不確定度，表示當(dāng)前坐標(biāo)x的光流，μ表示比例參數(shù)。

27、具體的，所述比例參數(shù)的表達式如下：

28、

29、其中，指的是當(dāng)前坐標(biāo)x的不確定度，可由下方公式計算得到：

30、

31、此處cnn表示卷積操作。

32、具體的，所述上下文特征通過對兩幀圖像中的參考幀圖像進行卷積操作獲得。

33、為了實現(xiàn)本發(fā)明的第二目的，提供了如下技術(shù)方案：一種光流估計系統(tǒng)，通過上述的基于不確定度引導(dǎo)解耦傳播與自適應(yīng)采樣的光流估計方法實現(xiàn)，包括數(shù)據(jù)增強模塊，全局匹配模塊，解耦傳播模塊以及自適應(yīng)采樣迭代優(yōu)化模塊；

34、所述數(shù)據(jù)增強模塊，用于提取輸入視頻數(shù)據(jù)中的圖像增強特征數(shù)據(jù)；

35、所述全局匹配模塊，用于根據(jù)提取獲得的圖像增強特征數(shù)據(jù)，生成對應(yīng)的稠密相關(guān)特征，并基于所述稠密相關(guān)特征生成輸入視頻數(shù)據(jù)的原始光流；

36、所述解耦傳播模塊，用于根據(jù)原始光流，局部相似性特征，上下文特征以及畸變誤差，生成不確定度；

37、所述自適應(yīng)采樣迭代優(yōu)化模塊，用于從稠密相關(guān)特征中自適應(yīng)采樣局部相似性特征，并基于更新后的局部相似性特征通過解耦傳播模塊生成新的不確定度，直至滿足迭代終止條件輸出最終不確定度，基于最終不確定度生成最佳的精細化光流結(jié)果。

38、具體的，所述數(shù)據(jù)增強模塊包括基于efficientvit構(gòu)建的輕量化主干網(wǎng)絡(luò)和特征增強網(wǎng)絡(luò)。

39、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：

40、基于原始光流數(shù)據(jù)得到的不確定度，劃分光流區(qū)域，分別在有效與無效區(qū)域之間、有效區(qū)域內(nèi)部及無效區(qū)域內(nèi)部對原始光流進行解耦細化傳播操作，為后續(xù)迭代優(yōu)化模塊提供一個減少離群值的光流優(yōu)化值，給定了一個可靠的優(yōu)化方向，從而減少了迭代優(yōu)化次數(shù)，有效降低了模型的計算量；

41、基于不確定度減少采樣點個數(shù)，并動態(tài)調(diào)整采樣稠密相關(guān)性特征搜尋區(qū)域，在減少模型計算量的同時，為迭代優(yōu)化提供更為有效自適應(yīng)局部相似性特征，在有限迭代次數(shù)內(nèi)得到更為精確的光流預(yù)測結(jié)果。