本發(fā)明屬于圖像處理技術領域,更具體地,涉及一種基于區(qū)塊匹配和增強onecut的交互式視頻分割方法和系統(tǒng)。
背景技術:
視頻分割是一類二值標記問題,旨在把作為一個整體的視頻或圖像序列,通過一定的方法分割出具有實際意義的對象。視頻分割在很多領域中均有著重要的作用,例如:在目標識別中,視頻分割可以為目標識別提供先驗信息;在圖像編碼中,視頻分割可以提高視頻壓縮編碼的效率。雖然國內外眾多研究者對視頻分割技術進行了較長時間的研究,而且各種視頻分割算法也層出不窮,但是由于視頻場景的復雜性,待分割視頻的多樣性,以及各種噪聲干擾,因此到目前為止,仍然沒有一種適用所有視頻的分割算法。
一般地,根據(jù)是否加入人工交互,視頻分割可以分為非交互式視頻分割和交互式視頻分割兩種。非交互式視頻分割不需要加入人工標記,主要采用視頻對象的運動特征,如基于光流或基于梯度下降法的非交互式視頻分割方法。該類方法對視頻中存在運動物體的情況適用性較好,如果待分割的目標固定或者運動緩慢或者交替著運動,該類方法由于無法通過運動特征來預測目標物體的可能區(qū)域,從而無法達到分割的目的。而交互式視頻分割方法通過加入人工交互能夠較好地解決上述目標不規(guī)律運動的問題,而且,在某些特殊情況下,必須采用人工交互給出先驗信息才能分割出目標物體。
目前大多數(shù)視頻分割方法都是基于圖論的,有很多方法直接將圖割模型從圖像分割推廣到視頻分割,通過光流或其他跟蹤方式在原有的空間連續(xù)性基礎上加入時間連續(xù)性。運用graphcut或者grabcut在考慮像素間相似性的時候通常只考慮鄰近的一些像素點,這類方法沒有很好地考慮大范圍顏色相近的像素點之間的聯(lián)系,而onecut則充分考慮了全局顏色空間,將距離很遠的兩個像素點劃分在同一個顏色直方圖中,計算前背景直方圖的l1距離,在保證全局最優(yōu)的情況下,一次分割便可得到最終的分割結果。
技術實現(xiàn)要素:
針對現(xiàn)有技術的以上缺陷或改進需求,本發(fā)明提供了一種基于區(qū)塊匹配和增強onecut的交互式視頻分割方法和系統(tǒng),其目的在于融合顏色特征、形狀信息和目標物體運動特征,以較少的人工交互得到滿意的分割結果,由此解決現(xiàn)有交互式視頻分割技術中的分割結果精確性不強,時空連續(xù)性不一致,以及交互量過大等技術問題。
為實現(xiàn)上述目的,按照本發(fā)明的一個方面,提供了一種基于區(qū)塊匹配和增強onecut的交互式視頻分割方法,所述步驟包括以下步驟:
(1)視頻當前幀不是關鍵幀時,獲取上一幀的分割輪廓,沿輪廓線均勻取采樣點,以采樣點為中心,初始化局部分類器的位置、大小和混合高斯模型;若上一幀不為關鍵幀,則通過上一幀的分割輪廓更新全局概率模型;所述關鍵幀為視頻第一幀及視頻中確定進行交互的幀;
(2)利用區(qū)塊匹配跟蹤上一幀分割輪廓獲得當前幀輪廓,以當前幀輪廓更新局部分類器的位置和混合高斯模型,構建局部分類器;
(3)利用前一幀全局概率模型、當前幀局部分類器模型和相鄰幀間的時空連續(xù)性新建增強onecut數(shù)據(jù)項,構建增強onecut能量模型;
(4)加權結合當前幀局部分類器模型和前一幀全局概率模型求取每個像素屬于前景和背景的綜合概率,結合綜合概率和該像素點到輪廓線的最近距離來選取onecut能量模型種子點,求解增強onecut能量模型的最大流,得到當前幀的分割輪廓;若視頻分割未結束,則將當前幀轉換為上一幀,返回步驟(1),否則結束。
進一步地,所述方法還包括步驟(5):
(5)當前幀是關鍵幀時,對當前幀進行交互式圖像分割,得到分割輪廓,由分割輪廓統(tǒng)計前景點集合和背景點集合,分別對這兩個集合進行聚類,優(yōu)選kmeans++聚類操作,選用高斯分布進行擬合,初始化得到前景和背景全局混合高斯模型
進一步地,所述步驟(1)包括以下子步驟:
(11)計算分類器大小,每個局部分類器是邊長為r的正方形:
其中,ymin表示整幀圖像短邊長度;λ表示分割目標物占整幀圖像的大小比重;
(12)沿輪廓線均勻取采樣點,以采樣點為局部分類器的中心,并以分割結果初始化第t幀圖像第k個局部分類器的前景和背景局部混合高斯模型
(13)第t幀不是關鍵幀時,根據(jù)分割輪廓統(tǒng)計前景點集合和背景點集合,分別根據(jù)兩個集合更新前景和背景全局混合高斯模型
進一步地,所述步驟(2)包括以下子步驟:
(21)利用區(qū)塊匹配跟蹤第t幀分割輪廓獲得第t+1幀輪廓,區(qū)塊匹配后輪廓的位置l(xt+1)為:
其中,
(22)更新局部分類器中心點的位置到新的輪廓上,并更新第t+1幀前景和背景局部混合高斯模型
(23)在第t+1幀的第k個局部分類器中,像素x屬于前景和背景的局部概率分別為
其中,st+1(x|k)表示區(qū)塊匹配后的預估前景和背景標記,若像素x預估為前景則取值為1,否則取值為0;
其中,w(x)為距離影響權重,
w(x)=exp(-|d(x)|2/σ2c)
其中,|d(x)|為像素x距離最近輪廓線的距離,當像素x越接近物體輪廓線,其顏色概率模型的作用越大,所以w(x)也越大;σc為經驗值,大小設為局部分類器尺寸的,其取值范圍為0.4~0.6,優(yōu)選0.5;sk表示第k個分類器的像素集合;
(24)由于經過區(qū)塊匹配之后,第t+1幀圖像的某個像素可能同時存在于多個局部分類器中,所以通過疊加所有覆蓋局部分類器的作用以求得像素x屬于前景和背景的局部概率p1local(x)和p0local(x):
其中,k表示覆蓋像素x的局部分類器數(shù)量;ck為第k個局部分類器的中心位置;δ是一個非常小的常數(shù),防止出現(xiàn)分母為0的情況。
進一步地,所述步驟(3)包括以下子步驟:
(31)構建增強onecut能量模型:
其中,能量模型的優(yōu)化結果只取決于分割結果s,這里s表示前景像素集合,
其中,sx和sy表示相鄰像素對x和y的標記,像素點為前景取值1,像素點為背景取值0;n表示幀內相鄰像素對的集合;ωxy表示像素x和y的相似度,
其中,||x-y||表示像素x和y的歐式距離,δi表示像素x和y的顏色距離,σ設置為整個圖像的梯度均值;
(32)基于全局概率模型和局部分類器的增強onecut數(shù)據(jù)項為像素x屬于前景和背景的綜合概率d(x),
其中,α為計算綜合前景概率時,全局概率模型所占比例,α取值范圍為0.5~0.7,優(yōu)選0.6;β為計算綜合前景概率時,全局概率模型所占比例,β取值范圍為0.3~0.5,優(yōu)選0.4;
(33)基于幀間平滑項n-links折算的增強onecut數(shù)據(jù)項為
其中,
按照本發(fā)明的另一方面,提供了一種基于區(qū)塊匹配和增強onecut的交互式視頻分割系統(tǒng),所述系統(tǒng)包括:
上一幀處理模塊,用于判斷若視頻當前幀不是關鍵幀時,則獲取上一幀的分割輪廓,初始化局部分類器的位置、大小和混合高斯模型;若上一幀不為關鍵幀,則通過上一幀的分割輪廓更新全局概率模型;所述關鍵幀為視頻第一幀及視頻中確定進行交互的幀;
當前幀處理模塊,用于利用區(qū)塊匹配跟蹤上一幀分割輪廓獲得當前幀輪廓,以當前幀輪廓更新局部分類器的位置和混合高斯模型,構建局部分類器;
增強onecut能量模型構建模塊,用于利用前一幀全局概率模型、當前幀局部分類器模型和相鄰幀間的時空連續(xù)性新建增強onecut數(shù)據(jù)項,構建增強onecut能量模型;
求解當前幀分割模塊,用于加權結合當前幀局部分類器模型和前一幀全局概率模型求取每個像素屬于前景和背景的綜合概率,結合綜合概率和該像素點到輪廓線的最近距離來選取onecut能量模型種子點,求解增強onecut能量模型的最大流,得到當前幀的分割輪廓;若視頻分割未結束,則將當前幀轉換為上一幀,返回上一幀處理模塊,否則結束。
進一步地,所述系統(tǒng)還包括關鍵幀交互模塊,用于判斷若當前幀是關鍵幀時,則對當前幀進行交互式圖像分割,得到分割輪廓,由分割輪廓統(tǒng)計前景點集合和背景點集合,分別對這兩個集合進行聚類,優(yōu)選kmeans++聚類操作,選用高斯分布進行擬合,初始化得到前景和背景全局混合高斯模型
進一步地,所述上一幀處理模塊包括以下單元:
分類器大小計算單元,用于計算分類器大小,每個局部分類器是邊長為r的正方形:
其中,ymin表示整幀圖像短邊長度;λ表示分割目標物占整幀圖像的大小比重;
混合高斯模型初始化單元,用于沿輪廓線均勻取采樣點,以采樣點為局部分類器的中心,并以分割結果初始化第t幀圖像第k個局部分類器的前景和背景局部混合高斯模型
全局概率更新單元,用于判斷若第t幀不是關鍵幀時,則根據(jù)分割輪廓統(tǒng)計前景點集合和背景點集合,分別根據(jù)兩個集合更新前景和背景全局混合高斯模型
進一步地,所述當前幀處理模塊包括以下單元:
區(qū)塊匹配單元,用于利用區(qū)塊匹配跟蹤第t幀分割輪廓獲得第t+1幀輪廓,區(qū)塊匹配后輪廓的位置l(xt+1)為:
其中,
混合高斯模型更新單元,用于更新局部分類器中心點的位置到新的輪廓上,并更新第t+1幀前景和背景局部混合高斯模型
局部概率計算單元,用于在第t+1幀的第k個局部分類器中,像素x屬于前景和背景的局部概率分別為
其中,st+1(x|k)表示區(qū)塊匹配后的預估前景和背景標記,若像素x預估為前景則取值為1,否則取值為0;
其中,w(x)為距離影響權重,
w(x)=exp(-|d(x)|2/σ2c)
其中,|d(x)|為像素x距離最近輪廓線的距離,當像素x越接近物體輪廓線,其顏色概率模型的作用越大,所以w(x)也越大;σc為經驗值,大小設為局部分類器尺寸的,其取值范圍為0.4~0.6,優(yōu)選0.5;sk表示第k個分類器的像素點集合;
局部分類器構建單元,用于構建分類器,由于經過區(qū)塊匹配之后,第t+1幀圖像的某個像素可能同時存在于多個局部分類器中,所以通過疊加所有覆蓋局部分類器的作用以求得像素x屬于前景和背景的局部概率p1local(x)和p0local(x):
其中,k表示覆蓋像素x的局部分類器數(shù)量;ck為第k個局部分類器的中心位置;δ是一個非常小的常數(shù),防止出現(xiàn)分母為0的情況。
進一步地,所述增強onecut能量模型構建模塊包括以下單元:
onecut能量模型單元,用于構建增強onecut能量模型:
其中,能量模型的優(yōu)化結果只取決于分割結果s,這里s表示前景像素集合,
其中,sx和sy表示相鄰像素對x和y的標記,像素點為前景取值1,像素點為背景取值0;n表示幀內相鄰像素對的集合;ωxy表示像素x和y的相似度,
其中,||x-y||表示像素x和y的歐式距離,δi表示像素x和y的顏色距離,σ設置為整個圖像的梯度均值;
綜合概率數(shù)據(jù)項單元,用于構建綜合概率數(shù)據(jù)項,基于全局概率模型和局部分類器的增強onecut數(shù)據(jù)項為像素x屬于前景和背景的綜合概率d(x),
其中,α為計算綜合前景概率時,全局概率模型所占比例,α取值范圍為0.5~0.7,優(yōu)選0.6;β為計算綜合前景概率時,全局概率模型所占比例,β取值范圍為0.3~0.5,優(yōu)選0.4;
幀間平滑數(shù)據(jù)項單元,用于構建幀間平滑數(shù)據(jù)項單元,基于幀間平滑項n-links折算的增強onecut數(shù)據(jù)項為
其中,
總體而言,通過本發(fā)明所構思的以上技術方案與現(xiàn)有技術相比,具有以下技術特征及有益效果:
(1)本發(fā)明技術方案采用全局概率模型和局部分類器模型,綜合了目標顏色特征和目標形狀特征信息,既保證了目標對象的整體性,又兼顧到目標的局部輪廓,具有較高的容錯性;
(2)本發(fā)明技術方案采用區(qū)塊匹配的方法跟蹤分割輪廓,改進了單點稀疏匹配抗噪能力弱的問題,并充分利用了目標的運動信息,增加了目標對象輪廓傳遞的魯棒性;
(3)本發(fā)明技術方案采用全局概率模型、局部分類器模型以及幀間平滑項n-links增強了onecut分割模型,通過實驗驗證,本發(fā)明提出的增強onecut模型具有較高的分割性能。
附圖說明
圖1是本發(fā)明方法的實施流程圖;
圖2是采用本發(fā)明技術方案的實施例中上一幀的分割結果;
圖3是實施例中上一幀目標輪廓上均勻選取的局部分類器;
圖4是實施例中區(qū)塊匹配后得到的當前幀局部分類器;
圖5是本發(fā)明中onecut能量模型圖結構;
圖6是實施例中當前幀的分割結果。
具體實施方式
為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白,以下結合附圖及實施例,對本發(fā)明進行進一步詳細說明。應當理解,此處所描述的具體實施例僅用以解釋本發(fā)明,并不用于限定本發(fā)明。此外,下面所描述的本發(fā)明各個實施方式中所涉及到的技術特征只要彼此之間未構成沖突就可以相互組合。
視頻分割旨在將視頻中的每一個有意義的實體,從背景中分離出來,這些實體都是完整的個體,對圖像進行全局建模保證了目標物體的完整性,然而視頻分割與其他目標提取方法的區(qū)別之處在于視頻分割是一種精確的標記,對于每個像素都要明確給定其屬于前景或背景的標簽,所以物體邊界分割的準確與否對最終分割結果至關重要,這就是本發(fā)明結合全局建模和局部建模的目的,既突出目標物體的整體性又兼顧目標的局部細節(jié)。
如圖1所述,本發(fā)明方法包括以下步驟:
(1)若視頻當前幀不是關鍵幀時,則獲取上一幀的分割輪廓,沿輪廓線均勻取采樣點,以采樣點為中心,初始化局部分類器的位置、大小和混合高斯模型;若上一幀不為關鍵幀,則通過上一幀的分割輪廓更新全局概率模型;若視頻當前幀是關鍵幀時,則進入步驟(5);
本步驟包括以下子步驟:
(11)計算分類器大小,每個局部分類器是邊長為r的正方形:
其中,ymin表示整幀圖像短邊長度;λ表示分割目標物占整幀圖像的大小比重;如圖1所述為實施例視屏中上一幀圖片的分割輪廓;
(12)沿輪廓線均勻取采樣點,以采樣點為局部分類器的中心,由分割輪廓統(tǒng)計局部前景點集合和背景點集合,分別對兩個集合進行聚類,優(yōu)選kmeans++聚類操作,選用3個高斯分布進行擬合,并以分割結果初始化第t幀圖像第k個局部分類器的前景和背景局部混合高斯模型
(13)第t幀不是關鍵幀時,根據(jù)分割輪廓統(tǒng)計前景點集合和背景點集合,分別根據(jù)兩個集合更新前景和背景全局混合高斯模型
(2)利用區(qū)塊匹配跟蹤上一幀分割輪廓獲得當前幀輪廓,以當前幀輪廓更新局部分類器的位置和混合高斯模型,構建局部分類器;
本步驟包括以下子步驟:
(21)利用區(qū)塊匹配跟蹤第t幀分割輪廓獲得第t+1幀輪廓,區(qū)塊匹配后輪廓的位置l(xt+1)為:
其中,
(22)更新局部分類器中心點的位置到新的輪廓上,并更新第t+1幀前景和背景局部混合高斯模型
(23)在第t+1幀的第k個局部分類器中,像素x屬于前景和背景的局部概率分別為
其中,lt+1(x|k)表示區(qū)塊匹配后的預估前景和背景標記,若像素x預估為前景則取值為1,否則取值為0;
其中,w(x)為距離影響權重,
w(x)=exp(-|d(x)|2/σ2c)
其中,|d(x)|為像素x距離最近輪廓線的距離,當像素x越接近物體輪廓線,其顏色概率模型的作用越大,所以w(x)也越大;σc為經驗值,大小設為局部分類器尺寸的,本實施例選0.5;st+1(x|k)表示第k個分類器中像素x為前景或背景,前景取值為1,背景取值為0;sk表示第k個分類器的像素點集合;
(24)由于經過區(qū)塊匹配之后,第t+1幀圖像的某個像素可能同時存在于多個局部分類器中,所以通過疊加所有覆蓋局部分類器的作用以求得像素x屬于前景和背景的局部概率p1local(x)和p0local(x):
其中,k表示覆蓋像素x的局部分類器集合;ck為第k個局部分類器的中心位置;δ是一個非常小的常數(shù),防止出現(xiàn)分母為0的情況,本實施例中δ取0.01。
(3)利用前一幀全局概率模型、當前幀局部分類器模型和相鄰幀間的時空連續(xù)性新建增強onecut數(shù)據(jù)項,構建增強onecut能量模型;
本步驟包括以下子步驟:
(31)構建增強onecut能量模型:
其中,能量模型的優(yōu)化結果只取決于分割結果s,這里s表示前景像素集合,
其中,sx和sy表示相鄰像素對x和y的標記,像素點為前景取值1,像素點為背景取值0;n表示幀內相鄰像素對的集合;ωxy表示像素x和y的相似度,
其中,||x-y||表示像素x和y的歐式距離,δi表示像素x和y的顏色距離,σ設置為整個圖像的梯度均值;
(32)基于全局概率模型和局部分類器的增強onecut數(shù)據(jù)項為像素x屬于前景和背景的綜合概率d(x),
其中,α為計算綜合前景概率時,全局概率模型所占比例,本實施例α選0.6;β為計算綜合前景概率時,全局概率模型所占比例,本實施例β選0.4;為了滿足全局概率模型和局部分類器模型的歸一性,本發(fā)明對它們均采用了相對概率,即有效的前景和背景概率值需要先用其前景概率與背景概率之和進行歸一化處理;
(33)基于幀間平滑項n-links折算的增強onecut數(shù)據(jù)項為
其中,
(4)加權結合當前幀局部分類器模型和前一幀全局概率模型求取每個像素屬于前景和背景的綜合概率,結合綜合概率和該像素點到輪廓線的最近距離來選取onecut能量模型種子點,求解增強onecut能量模型的最大流,得到當前幀的分割結果,求解增強onecut能量模型等價于求解圖5的最小割,數(shù)據(jù)項為圖結構中的中間節(jié)點分別與上下頂點連接的邊,由于在圖論中最大流問題和最小割問題是對偶問題,所以最終等價于求解圖的最大流,本實施例采用maxflow算法,得到當前幀分割結果,如圖6所示;若視頻分割未結束,則將當前幀轉換為上一幀,返回步驟(1),否則結束:
本實施例中選取種子點具體過程為:如果某像素點的綜合前景概率大于0.9,而該像素點又在預估初始輪廓線之內且到輪廓線的最小距離大于局部分類器邊長的1/3,則選取其為前景種子點;如果某像素點的綜合背景概率大于0.9,而該像素點又在預估初始輪廓線之外且到輪廓線的最小距離距離大于局部分類器邊長的1/3,則選取其為背景種子點。
(5)當前幀是關鍵幀時,對當前幀進行交互式圖像分割,得到分割輪廓,由分割輪廓統(tǒng)計前景點集合和背景點集合,分別對兩個集合進行聚類,選用kmeans++聚類操作,選用5個高斯分布進行擬合,初始化得到前景和背景全局混合高斯模型
本領域的技術人員容易理解,以上所述僅為本發(fā)明的較佳實施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內所作的任何修改、等同替換和改進等,均應包含在本發(fā)明的保護范圍之內。