專利名稱：基于3d視頻的時空域運動分割與估計模型的凸優(yōu)化方法
技術領域：
本發(fā)明涉及基于計算機視覺的運動分析領域，特別涉及一種利用凸松弛的概念將基于3D視頻的運動分割與估計模型轉(zhuǎn)化為全局凸優(yōu)化極值問題的方法。
背景技術：
視頻序列的運動分析是計算機視覺領域中的一個基本研究課題，它的應用領域包括治安監(jiān)控、機器視覺、自動導航、國防兵器、數(shù)字媒體、視頻編碼、3D電視、虛擬現(xiàn)實和智能交通等領域，這些都是國內(nèi)外重點發(fā)展和研究領域。盡管從二維序列圖像或視頻中進行運動分割、提取場景獲得三維結(jié)構和物體的運動信息，無論從理論上還是在實際中都很重要，但由于圖像形成的復雜性、三維運動場與圖像特征的二維運動場之間的非線性關系和缺乏深度信息不能夠?qū)ΧS運動場精確建模等原因，所得的解通常是在某種先驗知識作為約束條件下的近似解，且所得解對數(shù)據(jù)的噪聲非常敏感。隨著立體視覺系統(tǒng)和距離傳感器的發(fā)展和進入實用，三維數(shù)據(jù)能夠比較容易的直接獲得。由于三維數(shù)據(jù)的信息量遠高于二維圖像，能夠準確地表達三維運動和二維運動，三維運動的估計大為簡化，將三維數(shù)據(jù)用于運動分割、提取場景的三維結(jié)構和物體的運動信息估計，可以期望得到更為準確和魯棒的解。Osher和Sethian首先提出了依賴于時間的運動曲面的水平集描述。水平集方法避免了對拓撲結(jié)構變化的處理，計算穩(wěn)定，已在圖像/視頻處理和計算機視覺等領域得到了廣泛的應用。國內(nèi)外，不少學者將水平集方法應用在運動分割和光流估算上。有文獻將由攝像機運動引起的背景運動用勻速模型表示，同時實現(xiàn)由攝像機運動引起的二維運動場估算和分割曲面的演化，曲面的演變用水平集方法實現(xiàn)。我們在前面研究了基于偏微分方程組水平集方法的多運動目標分割、跟蹤、背景運動補償和運動速度估計，方法中考慮了背景各點運動速度不相同的情況，它能同時進行背景光流的估算、背景運動補償和運動目標的分割，但不能對攝像機的三維運動進行估算。然而，水平集方法也有一定的局限性，就是它對初始化條件敏感，產(chǎn)生這種現(xiàn)象的原因正是因為能量函數(shù)的非凸性使得水平集表示存在局部最小值。目前，很多的研究者將目光放在了如何建立全局凸模型的方法上，克服了水平集方法局部最小值和速度慢的問題，成為又一個研究熱點。

發(fā)明內(nèi)容
本發(fā)明要解決的技術問題是提供一種對目標數(shù)量變化的適應性強、分割結(jié)果不依賴初始化輪廓、運算效率高的基于3D視頻的時空域運動分割與估計模型的凸優(yōu)化方法。為解決上述技術問題，本發(fā)明采用的技術方案為—種基于3D視頻的時空域運動分割與估計模型的凸優(yōu)化方法，其實施步驟如下1)根據(jù)活動輪廓思想以及背景三維運動參數(shù)與二維光流的映射關系建立基于3D視頻的時空域運動分割與估計模型；2)將所述時空域運動分割與估計模型轉(zhuǎn)換為對應的水平集描述方程，求出所述水平集描述方程對應的梯度下降方程，求出所述梯度下降方程的等價方程，求解對應于所述等價方程的能量泛函，對能量泛函進行凸松弛，得到凸優(yōu)化后的時空域運動分割與估計模型；3)引入代價變量對凸優(yōu)化后的時空域運動分割與估計模型進行進一步的松弛，采用多變量交替迭代算法最小化所述凸優(yōu)化后的時空域運動分割與估計模型，迭代收斂后根據(jù)選擇的門限函數(shù)得到最終的分割曲面。作為本發(fā)明上述技術方案的進一步改進所述步驟1)中建立的時空域運動分割與估計模型的函數(shù)表達式為
權利要求
1.一種基于3D視頻的時空域運動分割與估計模型的凸優(yōu)化方法，其特征在于其實施步驟如下1)根據(jù)活動輪廓思想以及背景三維運動參數(shù)與二維光流的映射關系建立基于3D視頻的時空域運動分割與估計模型；2)將所述時空域運動分割與估計模型轉(zhuǎn)換為對應的水平集描述方程，求出所述水平集描述方程對應的梯度下降方程，求出所述梯度下降方程的等價方程，求解對應于所述等價方程的能量泛函，對能量泛函進行凸松弛，得到凸優(yōu)化后的時空域運動分割與估計模型；3)引入代價變量對凸優(yōu)化后的時空域運動分割與估計模型進行進一步的松弛，采用多變量交替迭代算法最小化所述凸優(yōu)化后的時空域運動分割與估計模型，迭代收斂后根據(jù)選擇的門限函數(shù)得到最終的分割曲面。
2.根據(jù)權利要求1所述的基于3D視頻的時空域運動分割與估計模型的凸優(yōu)化方法，其特征在于，所述步驟1)中建立的時空域運動分割與估計模型的函數(shù)表達式為其中E為能量泛函，C為分割曲面，T為背景的平移變量，W為背景的旋轉(zhuǎn)變量，T和W的表達分別為T = (ti; t2，t3)、W = (wi; w2, w3)，It為圖像的時間差分，Cin、Cout分別為時空域中曲面的內(nèi)部(目標)和外部(背景)區(qū)域，ds為單位曲面，dx為單位像素點，α、λ為比例因子，s和q分別為對應于每個像素點的常數(shù)向量；s和q的函數(shù)表達式分別為其中，Ix為圖像的橫向差分，Iy為圖像的縱向差分，X為像素點在圖像坐標中的X軸坐標值，y為像素點在圖像坐標中的y軸坐標值，Z為像素點在空間坐標中的ζ軸坐標值，f為攝像機焦距。
3.根據(jù)權利要求2所述的基于3D視頻的時空域運動分割與估計模型的凸優(yōu)化方法，其特征在于，所述步驟幻的詳細步驟為A)將所述時空域運動分割與估計模型轉(zhuǎn)換為對應的水平集描述方程，所述水平集描述方程的函數(shù)表達式為其中，Ω為整個時空域積分區(qū)域，(廠^4)為內(nèi)部(目標)區(qū)域的運動描述符，為外部(背景)區(qū)域的運動描述符，Φ為符號距離函數(shù)，為符號距離函數(shù)Φ的梯度的模，δ (φ)為關于符號距離函數(shù)Φ的Dirac函數(shù)，Η(Φ)為關于符號距離函數(shù)Φ的Heaviside函數(shù)，λ為比例因子；g';(T,W,x)m (Γ, Γ,χ)的函數(shù)表達式為其中，It為圖像的時間差分，T為背景的平移變量，W為背景的旋轉(zhuǎn)變量，α為比例因子，s和q分別為對應于每個像素點的常數(shù)向量；B)求出所述水平集描述方程對應的梯度下降方程，所述梯度下降方程的函數(shù)表達式為
4.根據(jù)權利要求3所述的基于3D視頻的時空域運動分割與估計模型的凸優(yōu)化方法，其特征在于，所述步驟幻的詳細步驟為a)引入一個輔助變量νe
來松弛對分割變量的限制，將所述優(yōu)化后的時空域運動分割與估計模型進一步松弛，進一步松弛后的時空域運動分割與估計模型的函數(shù)表達式為
5.根據(jù)權利要求4所述的基于3D視頻的時空域運動分割與估計模型的凸優(yōu)化方法，其特征在于，所述步驟c)的詳細步驟為對背景的運動參數(shù)(Τ，W)建立超定線性方程組θ ^ = bi;其中Qi= (Ti, Wi)為第i次迭代的背景運動變量，Ai是6XNi的矩陣，h是IXNi的向量，其中Ni為第i次迭代時百景區(qū)域的像素點個數(shù)，
6.根據(jù)權利要求4所述的基于3D視頻的時空域運動分割與估計模型的凸優(yōu)化方法，其特征在于，所述步驟d)的詳細步驟為引入與原始分割變量U相對應的對偶變量CT，當運動變量和代價變量固定，根據(jù)原始-對偶變量定義，U的泛函極值子問題的函數(shù)表達式為
7.根據(jù)權利要求4所述的基于3D視頻的時空域運動分割與估計模型的凸優(yōu)化方法，其特征在于，所述步驟e)的詳細步驟為當運動變量和分割變量固定時，代價變量的泛函極值子問題為
全文摘要
本發(fā)明公開了一種基于3D視頻的時空域運動分割與估計模型的凸優(yōu)化方法，實施步驟如下1)根據(jù)活動輪廓思想以及背景三維運動參數(shù)與二維光流的映射關系建立基于3D視頻的時空域運動分割與估計模型；2)將模型轉(zhuǎn)換為對應的水平集描述方程，求出對應的梯度下降方程，求出所述梯度下降方程的等價方程，求出對應于所述等價方程的能量泛函，對能量泛函進行凸松弛，得到凸優(yōu)化后的時空域運動分割與估計模型；3)引入代價變量對凸優(yōu)化后的時空域運動分割與估計模型進行進一步的松弛，采用多變量交替迭代算法最小化凸優(yōu)化后的時空域運動分割與估計模型，迭代收斂后根據(jù)選擇的門限函數(shù)得到最終的分割曲面。本發(fā)明具有對目標數(shù)量變化的適應性強、分割結(jié)果不依賴初始化輪廓、運算效率高的優(yōu)點。
文檔編號G06T7/20GK102592287SQ20111045737
公開日2012年7月18日 申請日期2011年12月31日 優(yōu)先權日2011年12月31日
發(fā)明者于慧敏, 王詩言 申請人:浙江大學