專利名稱：基于局部特征結(jié)構(gòu)保持的視頻圖像內(nèi)容編輯傳播方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理、計(jì)算機(jī)視覺(jué)和增強(qiáng)處理技術(shù)領(lǐng)域，具體地說(shuō)是一種基于局部特征結(jié)構(gòu)保持的視頻圖像內(nèi)容編輯傳播方法。
背景技術(shù)：
數(shù)字圖像領(lǐng)域中，最常見(jiàn)的圖像處理方法之一是根據(jù)視頻圖像內(nèi)容，進(jìn)行編輯處理。例如，改變視頻圖像的顏色；將不同視頻源的對(duì)象融合到一起，形成一個(gè)無(wú)編輯痕跡的視頻；精確提取圖像中的毛發(fā)等。對(duì)于藝術(shù)設(shè)計(jì)者或者從事影視編輯的工作人員來(lái)說(shuō)，為了對(duì)一個(gè)視頻的顏色、內(nèi)容進(jìn)行編輯，將進(jìn)行大量的手工編輯。事實(shí)上，視頻圖像內(nèi)容特征之間通常具有某種內(nèi)在聯(lián)系。能根據(jù)這些內(nèi)在聯(lián)系，自動(dòng)的進(jìn)行視頻圖像編輯，可以在很大程度上提高視頻圖像編輯效率。 目前，一些科研工作者在相關(guān)技術(shù)上開(kāi)展了研究。在圖像編輯方面，大量的研究工作已經(jīng)對(duì)此進(jìn)行了探討。Fabio Pellacini等人在2008年提出了基于所有像素相似性的編輯傳播方法，但是該方法需要的時(shí)空資源太大，無(wú)法處理大圖像或者視頻數(shù)據(jù)；Kun Xu等人基于Fabio Pellacini等人的工作，在2009年提出了基于KD tree的編輯傳播方法，該方法解決了 Fabio Pellacini等提出方法的時(shí)空消耗問(wèn)題，節(jié)省了系統(tǒng)資源，但是其針對(duì)顏色過(guò)渡區(qū)域會(huì)出現(xiàn)顏色異?，F(xiàn)象。Zeev Farbman等人在2010年提出了基于擴(kuò)散圖(diffusionmap)的編輯傳播方法,該方法利用擴(kuò)散距離(diffusion distance)來(lái)衡量所有像素點(diǎn)之間的相似度，但是其依然在效率上不高，同時(shí)，這種方法不能有效的反映出像素之間的不相似性，而且針對(duì)顏色過(guò)渡區(qū)域的像素點(diǎn)，處理結(jié)果不理想。在顏色風(fēng)格一致化方面,2001年,布里斯托大學(xué)的Eric Reinhard等人是利用顏色空間的轉(zhuǎn)換，將目標(biāo)圖像和參考圖像首先從RGB顏色空間轉(zhuǎn)換到I α β顏色空間，然后在這三個(gè)通道上分別求取二階統(tǒng)計(jì)量期望方差，再針對(duì)目標(biāo)圖像的每一個(gè)像素，進(jìn)行縮放旋轉(zhuǎn)，求得的最終結(jié)果轉(zhuǎn)換為RGB顏色空間即為結(jié)果圖像的像素顏色值，該方法簡(jiǎn)單有效，但是針對(duì)復(fù)雜的圖像，需要用戶指定樣本進(jìn)行顏色轉(zhuǎn)換。針對(duì)這個(gè)問(wèn)題，2005年，日本的Chang等人提出了一種基于顏色分類的方法實(shí)現(xiàn)顏色轉(zhuǎn)換。其首先將目標(biāo)圖像和參考圖像按照顏色差異，分成多個(gè)顏色類，然后在對(duì)應(yīng)的顏色類之間進(jìn)行顏色轉(zhuǎn)換。Pitie. F等人以一種全新的思路，在證明了 N維概率密度函數(shù)轉(zhuǎn)移的可行性并將它運(yùn)用到顏色遷移領(lǐng)域，在灰度圖像中，利用直方圖規(guī)定化實(shí)現(xiàn)圖像灰度變換使其具有特定的直方圖形式。直方圖是概率分布密度的體現(xiàn)，而直方圖規(guī)定化是目標(biāo)圖像概率分布密度映射到期望概率分布密度的過(guò)程，也就一維概率密度函數(shù)轉(zhuǎn)移。而N維概率密度函數(shù)轉(zhuǎn)移是基于一維展開(kāi)的。設(shè)f (x)和g(x)是源圖像和目標(biāo)圖像的顏色概率密度分布，Xi = Cri, gi； bi), Γ > gi、bi分別代表紅綠藍(lán)三色，選擇任意一個(gè)旋轉(zhuǎn)矩陣尺，旋轉(zhuǎn)后對(duì)N維分別作一維概率密度函數(shù)轉(zhuǎn)移，重復(fù)多次，直到收斂，得到遷移后的新圖像。但是，現(xiàn)有技術(shù)的生成的結(jié)果圖像顏色過(guò)渡不平滑，有很多塊狀，需要通過(guò)二次處理對(duì)圖像進(jìn)行平滑，并且容易產(chǎn)生一些不自然的著色效果。因此，針對(duì)自動(dòng)顏色轉(zhuǎn)換方法中的這些問(wèn)題，出現(xiàn)了一些基于交互式的顏色轉(zhuǎn)換方法。Takahiko將概率松弛法引入顏色遷移，以選取最優(yōu)的顏色信息遷移給目標(biāo)圖像素。2003年Takahiko等人又提出種子像素的概念，由用戶選取一些彩色像素作為灰度圖像的種子，利用顏色繁殖完成顏色遷移。Tomohisa等人改進(jìn)了顏色繁殖算法，引入圖像分割防止錯(cuò)誤繁殖邊緣像素顏色，并提出了新的基于CIELAB顏色空間的彩色化算法，但是該方法不能保證結(jié)果圖像既能在顏色視覺(jué)上逼近參考圖像的顏色的同時(shí)，保持目標(biāo)圖像的顏色流形線性結(jié)構(gòu)。在場(chǎng)景對(duì)象融合方面，一些研究機(jī)構(gòu)在這方面也開(kāi)展了研究。2003年P(guān)erez等人提出了一種基于泊松方程和狄利克雷邊界條件的圖像場(chǎng)景融合方法。該種方法能夠較好的融合插入的對(duì)象，但是時(shí)間空間消耗率太大。2009年，Zeev Farbman等人提出了基于中值坐標(biāo)的視頻圖像場(chǎng)景快速融合方法，很大程度上改善了泊松方法的時(shí)空效率，但是該種方法容易受到插入對(duì)象的形狀影響。在精確對(duì)象提取方面，Jian Sun等人在2004年提出了基于泊松方程的精確對(duì)象提取方法，該方法為國(guó)際首次提出的精確對(duì)象提取方法，但是該方法計(jì)算速度慢，存儲(chǔ)空間耗費(fèi)大，而且在半透明的圖像區(qū)域不能很好的提取前景。Ahat Levin等人在2008年提出了 一種基于頻譜聚類的方法，該方法一定程度上提高了前景提取的準(zhǔn)確率，但是效率低，而且在半透明的圖像區(qū)域不能很好的提取前景。在灰度圖像著色方面,Welsh等人在2001年首先提出基于灰度匹配的灰度圖像著色方法，該方法需要給定一張與灰度圖像場(chǎng)景類似的彩色圖像，然后根據(jù)兩幅圖像的灰度匹配，給灰度圖像著色。但是該方法對(duì)場(chǎng)景復(fù)查的圖像，不能很好的著色，著色過(guò)程中交互量太大。

發(fā)明內(nèi)容
根據(jù)上述實(shí)際需求和關(guān)鍵問(wèn)題，本發(fā)明的目的在于提出一種基于局部特征結(jié)構(gòu)保持的視頻圖像內(nèi)容編輯傳播方法。其保持圖像/視頻的編輯傳播不受對(duì)象形狀影響，具有一定的適應(yīng)性和魯棒性。為實(shí)現(xiàn)本發(fā)明目的而提供的一種基于局部特征結(jié)構(gòu)保持的視頻圖像內(nèi)容編輯傳播方法，該方法包括以下步驟步驟S100，將輸入的圖像/視頻中所有像素點(diǎn)映射到預(yù)設(shè)的特征空間；步驟S200，在特征空間中，對(duì)每一個(gè)像素點(diǎn)，求取其最近K個(gè)鄰居；步驟S300，利用局部線性嵌入降維方法，將所有像素點(diǎn)構(gòu)建局部線性關(guān)系；步驟S400，將用戶預(yù)設(shè)的圖像/視頻編輯請(qǐng)求對(duì)應(yīng)到所述圖像/視頻的部分像素上；步驟S500，根據(jù)像素間的結(jié)構(gòu)關(guān)系，利用步驟S400中的部分像素的對(duì)應(yīng)，將用戶預(yù)設(shè)的編輯請(qǐng)求傳播到圖像/視頻所有其他像素。步驟S600，對(duì)異常結(jié)果進(jìn)行處理，包括異常顏色值、邊緣，生成最終結(jié)果。較優(yōu)地，所述步驟SlOO中，將輸入的圖像/視頻中所有像素點(diǎn)映射到預(yù)設(shè)的特征空間，是根據(jù)預(yù)設(shè)的應(yīng)用需求，包括自動(dòng)顏色變換、交互式顏色編輯、精準(zhǔn)對(duì)象提取、場(chǎng)景對(duì)象融合、灰度圖像著色，選定不同的特征；其中，針對(duì)顏色變換和交互式顏色編輯，所選擇的特征空間為RGB顏色空間；
針對(duì)對(duì)象精準(zhǔn)提取和場(chǎng)景對(duì)象融合，所選擇的特征空間為RGBXYT六維空間，其中RGB指示顏色，XY指示像素的坐標(biāo)，T指示第幾幀；針對(duì)灰度圖像著色，選擇的特征空間為灰度-SIFT-紋理-位置特征空間。較優(yōu)地，在步驟S300中，在特征空間中，對(duì)每一個(gè)像素點(diǎn)，求取其最近K個(gè)鄰居，是指對(duì)特征空間中的每個(gè)像素，求取與其特征最接近的K個(gè)像素點(diǎn)；其中，針對(duì)顏色變換和交互式顏色編輯,所選擇的K個(gè)特征鄰居為顏色距離上最接近的K個(gè)鄰居；針對(duì)對(duì)象精準(zhǔn)提取和場(chǎng)景對(duì)象融合，所選擇的K個(gè)特征鄰居為顏色和空間位置距離上最接近的K個(gè)鄰居；
·
針對(duì)灰度圖像著色，所選擇的K個(gè)特征鄰居為在灰度、SIFT、紋理和空間位置四種特征距離上最接近的K個(gè)鄰居。其中，所采用的距離計(jì)算方法為歐氏距離計(jì)算方法。較優(yōu)地，所述步驟S300中的局部線性嵌入降維方法，為所有像素點(diǎn)構(gòu)建局部線性關(guān)系，包括如下步驟步驟S310，針對(duì)每一個(gè)像素，根據(jù)其特征，尋找與其在歐氏距離上最接近的K個(gè)像素；步驟S320，通過(guò)求得最優(yōu)的每組K近鄰的線性組合系數(shù)，使得當(dāng)前像素特征向量值與它的K近鄰線性組合值盡可能的接近；所述求得最優(yōu)的每組K近鄰的線性組合系數(shù)，是通過(guò)構(gòu)建當(dāng)前像素特征值與其K近鄰的線性組合值的平方差之和，采用最小二乘法求解該方程，得到最優(yōu)每組K近鄰的線性組合系數(shù)。較優(yōu)地,設(shè)定Xi表示像素i的特征，Xil, . . . , Xik表示Xi的K個(gè)鄰居的特征向量，其局部特征的結(jié)構(gòu)關(guān)系構(gòu)建方法為
權(quán)利要求
1.一種基于局部特征結(jié)構(gòu)保持的視頻圖像內(nèi)容編輯傳播方法，其特征在于，包括如下步驟 步驟S100，將輸入的圖像/視頻中所有像素點(diǎn)映射到預(yù)設(shè)的特征空間； 步驟S200，在特征空間中，對(duì)每一個(gè)像素點(diǎn)，求取其最近K個(gè)鄰居； 步驟S300，利用局部線性嵌入降維方法，將所有像素點(diǎn)構(gòu)建局部線性關(guān)系； 步驟S400，將用戶預(yù)設(shè)的圖像/視頻編輯請(qǐng)求對(duì)應(yīng)到所述圖像/視頻的部分像素上；步驟S500，根據(jù)像素間的結(jié)構(gòu)關(guān)系，利用步驟S400中的部分像素的對(duì)應(yīng)，將用戶預(yù)設(shè)的編輯請(qǐng)求傳播到圖像/視頻所有其他像素。
2.根據(jù)權(quán)利要求I所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，還包括如下步驟 步驟S600，對(duì)異常結(jié)果進(jìn)行處理，包括異常顏色值、邊緣，生成最終結(jié)果。
3.根據(jù)權(quán)利要求I或2所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，所述步驟Sioo中，將輸入的圖像/視頻中所有像素點(diǎn)映射到預(yù)設(shè)的特征空間，是根據(jù)預(yù)設(shè)的應(yīng)用需求，包括自動(dòng)顏色變換、交互式顏色編輯、精準(zhǔn)對(duì)象提取、場(chǎng)景對(duì)象融合、灰度圖像著色，選定不同的特征； 其中，針對(duì)顏色變換和交互式顏色編輯，所選擇的特征空間為RGB顏色空間； 針對(duì)對(duì)象精準(zhǔn)提取和場(chǎng)景對(duì)象融合，所選擇的特征空間為RGBXYT六維空間，其中RGB指示顏色，XY指示像素的坐標(biāo)，T指示第幾幀； 針對(duì)灰度圖像著色，選擇的特征空間為灰度-SIFT-紋理-位置特征空間。
4.根據(jù)權(quán)利要求I或2所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，在步驟S300中，在特征空間中，對(duì)每一個(gè)像素點(diǎn)，求取其最近K個(gè)鄰居，是指對(duì)特征空間中的每個(gè)像素，求取與其特征最接近的K個(gè)像素點(diǎn)； 其中，針對(duì)顏色變換和交互式顏色編輯，所選擇的K個(gè)特征鄰居為顏色距離上最接近的K個(gè)鄰居； 針對(duì)對(duì)象精準(zhǔn)提取和場(chǎng)景對(duì)象融合，所選擇的K個(gè)特征鄰居為顏色和空間位置距離上最接近的K個(gè)鄰居； 針對(duì)灰度圖像著色，所選擇的K個(gè)特征鄰居為在灰度、SIFT、紋理和空間位置四種特征距離上最接近的K個(gè)鄰居。
其中，所采用的距離計(jì)算方法為歐氏距離計(jì)算方法。
5.根據(jù)權(quán)利要求I或2所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，所述步驟S300中的局部線性嵌入降維方法，為所有像素點(diǎn)構(gòu)建局部線性關(guān)系，包括如下步驟 步驟S310，針對(duì)每一個(gè)像素，根據(jù)其特征，尋找與其在歐氏距離上最接近的K個(gè)像素；步驟S320，通過(guò)求得最優(yōu)的每組K近鄰的線性組合系數(shù)，使得當(dāng)前像素特征向量值與它的K近鄰線性組合值盡可能的接近； 所述求得最優(yōu)的每組K近鄰的線性組合系數(shù)，是通過(guò)構(gòu)建當(dāng)前像素特征值與其K近鄰的線性組合值的平方差之和，采用最小二乘法求解該方程，得到最優(yōu)每組K近鄰的線性組合系數(shù)。
6.根據(jù)權(quán)利要求I或2所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，設(shè)定Xi表示像素i的特征，Xn，...，Xik表示Xi的K個(gè)鄰居的特征向量，其局部特征的結(jié)構(gòu)關(guān)系構(gòu)建方法為
7.根據(jù)權(quán)利要求I或2所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，所述步驟S400中的在根據(jù)用戶預(yù)設(shè)的編輯，對(duì)應(yīng)到部分像素上，包括如下步驟 步驟S410，將用戶預(yù)設(shè)的自動(dòng)色調(diào)調(diào)整請(qǐng)求對(duì)應(yīng)到預(yù)設(shè)的色調(diào)模板的像素的色調(diào)上；步驟S420，將用戶預(yù)設(shè)的交互式色調(diào)調(diào)整請(qǐng)求對(duì)應(yīng)到在圖像/視頻的關(guān)鍵幀上指定部分像素的色調(diào)上； 步驟S430，將用戶預(yù)設(shè)的精細(xì)分割請(qǐng)求對(duì)應(yīng)到預(yù)設(shè)的三分圖的像素上； 步驟S440，將用戶預(yù)設(shè)的無(wú)縫融合請(qǐng)求對(duì)應(yīng)到選定的目標(biāo)融合區(qū)域的像素上； 步驟S450，將用戶預(yù)設(shè)的灰度圖像著色要求對(duì)應(yīng)到在部分區(qū)域上指定部分像素的色調(diào)上。
8.根據(jù)權(quán)利要求I或2所述的視頻圖像內(nèi)容編輯傳播方法，其特征在于，所述步驟S500包括如下步驟 步驟S510，針對(duì)自動(dòng)色調(diào)調(diào)整，將指定的色調(diào)傳遞到其他像素上，改變像素顏色； 步驟S520，針對(duì)交互式色調(diào)調(diào)整，將用戶指定部分像素的色調(diào)，傳遞到其他像素顏色；步驟S530，針對(duì)精細(xì)分割，根據(jù)三分圖確定的前景和背景，得到未知區(qū)域的像素屬于前景的概率； 步驟S540，針對(duì)無(wú)縫融合，根據(jù)插入?yún)^(qū)域邊界和目標(biāo)背景的色差，改變插入?yún)^(qū)域的顏色； 步驟S550，針對(duì)灰度圖像著色，根據(jù)超像素的特征關(guān)系，將其著色。
全文摘要
本發(fā)明公開(kāi)了一種基于局部特征結(jié)構(gòu)保持的視頻圖像內(nèi)容編輯傳播方法，包括如下步驟將輸入的圖像/視頻中所有像素點(diǎn)映射到預(yù)設(shè)的特征空間；在特征空間中，對(duì)每一個(gè)像素點(diǎn)，求取其最近K個(gè)鄰居；利用局部線性嵌入降維方法，將所有像素點(diǎn)構(gòu)建局部線性關(guān)系；將用戶預(yù)設(shè)的圖像/視頻編輯請(qǐng)求對(duì)應(yīng)到所述圖像/視頻的部分像素上；根據(jù)像素間的結(jié)構(gòu)關(guān)系，利用步驟S400中的部分像素的對(duì)應(yīng)，將用戶預(yù)設(shè)的編輯請(qǐng)求傳播到圖像/視頻所有其他像素。其保持圖像/視頻的編輯傳播不受對(duì)象形狀影響，具有一定的適應(yīng)性和魯棒性。
文檔編號(hào)G06T5/00GK102903128SQ201210331180
公開(kāi)日2013年1月30日 申請(qǐng)日期2012年9月7日 優(yōu)先權(quán)日2012年9月7日
發(fā)明者陳小武, 鄒冬青, 趙沁平, 李健偉, 丁峰 申請(qǐng)人:北京航空航天大學(xué)