專利名稱：基于粒子紋理的流體視頻合成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的方法，具體是一種基于粒子紋理的流體
視頻合成方法。
背景技術(shù)：
流體主要是指自然界里的水流、瀑布、煙霧等現(xiàn)象，流體視頻合成是目前計(jì)算機(jī)視 覺領(lǐng)域中的一個(gè)研究熱點(diǎn)，在數(shù)字游戲，電影特效等領(lǐng)域都有很廣闊的應(yīng)用前景。真實(shí)世界 中拍攝的流體圖像，具有那些合成的圖像無法攀比的細(xì)膩和美感。近些年來，盡管隨著仿 真，渲染，圖像處理的技術(shù)進(jìn)步，視頻合成的水平有所提高，但是合成的視頻還是無法做到 像自然世界中的景象那樣真實(shí)。但是自然世界中得到的真實(shí)視頻畢竟是時(shí)間上有限的并 且受到了場景物理因素的限制。因此，一方面為了得到任意時(shí)間長度的流體視頻，另一方面 為了使得用戶可以方便地按照需要編輯視頻，研究者們提出了一些基于視頻紋理的研究方 法，但是這些方法都是以較高的計(jì)算復(fù)雜度為代價(jià)，并且一般局限于某一種特定類型的流 體運(yùn)動(dòng)，如煙，水流或者火焰等。 經(jīng)過對現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，Doretto等人在《International Journal ofComputer Vision (計(jì)算機(jī)視覺期刊)》(2003年第91-109頁)上發(fā)表了題為 "DynamicTexture (動(dòng)態(tài)紋理)"的文章，該文使用自回歸過濾法對視頻序列中流體的復(fù)雜 運(yùn)動(dòng)進(jìn)行建模和編輯。對于特定的處理過程，該方法可成功合成任意長的紋理序列，從而得 到任意長度的流體視頻。但是該技術(shù)只能對整幅圖片或者視頻進(jìn)行合成，而不能靈活的根 據(jù)用戶的需要進(jìn)行合成，合成速度慢且效果欠佳。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)存在的問題和不足，提出了一種基于粒子紋理的流體視頻合 成方法。本發(fā)明在輸入視頻片段的基礎(chǔ)上進(jìn)行任意長度的視頻幀序列，并可以根據(jù)用戶的 需求對視頻中流體的運(yùn)動(dòng)進(jìn)行編輯，計(jì)算量小，應(yīng)用方便，通用性強(qiáng)。
本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，包括以下步驟 第一步，根據(jù)輸入視頻中的流體運(yùn)動(dòng)部分，畫出表征流體運(yùn)動(dòng)軌跡和運(yùn)動(dòng)趨勢的 流線。 第二步，在輸入視頻的每一幀，沿著流體的流線，在若干個(gè)固定位置點(diǎn)處選擇并存 儲(chǔ)紋理片，確定流體運(yùn)動(dòng)區(qū)域的紋理結(jié)構(gòu)。 第三步，根據(jù)每個(gè)固定位置點(diǎn)處的紋理片信息，按照紋理片排布規(guī)則進(jìn)行紋理圖 的排布，并利用重疊區(qū)域像素融合方法對重疊區(qū)域的紋理片結(jié)構(gòu)進(jìn)行像素融合處理。
所述的紋理片排布規(guī)則是當(dāng)輸入視頻有N幀圖像時(shí)，在第一個(gè)固定位置點(diǎn)處，將 第一個(gè)紋理片放置在第一幀，第二個(gè)紋理片放置在第二幀，以此類推，將第N個(gè)紋理片放在 第N幀；在第二個(gè)固定位置點(diǎn)處，將第一個(gè)紋理片放在第二幀，第二個(gè)紋理片放在第三幀， 以此類推，第N-l個(gè)紋理片放在第N幀，第N個(gè)紋理片放在第一幀；在第三個(gè)固定位置點(diǎn)處，將第一個(gè)紋理片放在第三幀，第二個(gè)紋理片放在第四幀，以此類推，第N-2個(gè)紋理片放在第 N幀，第N-l個(gè)紋理片放在第一幀，第N個(gè)紋理片放在第二幀；以此類推，在第N個(gè)固定位置 點(diǎn)處，第一個(gè)紋理片放在N幀，第二個(gè)紋理片放在第一幀，以此類推，第N個(gè)紋理片放在第 N-l幀。 所述的重疊區(qū)域像素融合方法是對于紋理片K和紋理片K+l重疊區(qū)域的像素點(diǎn)
的合成像素顏色R，由下式確定 R = Rk X dk/d+Rk+1 X (d-dk) /d 其中，Rk表示紋理片K的像素顏色，Rk+1表示紋理片K+l的像素顏色，dk表示重疊 區(qū)域像素到紋理片K與重疊區(qū)域交線的距離，d表示紋理片K和紋理片K+l重疊區(qū)域的寬 度。 第四步，對紋理片重疊區(qū)域內(nèi)像素值不連續(xù)的圖片進(jìn)行插值和濾波處理，進(jìn)而將 得到的像素連續(xù)的圖片按時(shí)間順序連接成視頻。 第五步，基于法線信息保留法對得到的視頻中的流體運(yùn)動(dòng)部分進(jìn)行編輯。 所述的法線信息保留法是將已知流體運(yùn)動(dòng)軌跡的法線方向上的信息經(jīng)過變化映
射到用戶畫定的軌跡法線上的對應(yīng)位置，使得兩條軌跡的法線信息得到保留。 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是采用紋理片調(diào)整的方式來生成無限長視
頻，合成的速度更快；且可以輸入流線，根據(jù)流體紋理特征生成新的視頻，合成的效果更豐
雖o


圖1為實(shí)施例輸入的圖片； 圖2為實(shí)施例經(jīng)第一步處理后的圖片； 圖3為實(shí)施例經(jīng)第二步處理后的圖片； 圖4為實(shí)施例經(jīng)第四步處理后的圖片； 圖5為實(shí)施例經(jīng)第五步處理后的圖片。
具體實(shí)施例方式
下面結(jié)合附圖對本發(fā)明的方法作詳細(xì)說明本實(shí)施例在以本發(fā)明技術(shù)方案為前提 下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述 的實(shí)施例。
實(shí)施例 如圖l所示，本實(shí)施例用于含有煙霧的圖片的視頻合成，該圖片的參數(shù)為幀尺
寸320*240 ;時(shí)間長度2秒；幀率30幀/秒；彩色RGB 3通道，具體步驟如下 第一步，根據(jù)輸入視頻中的流體運(yùn)動(dòng)部分，畫出表征流體運(yùn)動(dòng)軌跡和運(yùn)動(dòng)趨勢的
流線，如圖2中線條所示； 第二步，在輸入視頻的每一幀，沿著煙霧的流線，在若干個(gè)固定位置點(diǎn)處選擇并存 儲(chǔ)紋理片，確定煙霧運(yùn)動(dòng)區(qū)域的紋理結(jié)構(gòu)，如圖3所示，其中圖中的縱向是若干幀的紋理 結(jié)構(gòu)，圖中的橫向是四個(gè)固定位置點(diǎn)的紋理結(jié)構(gòu)。
第三步，根據(jù)每個(gè)固定位置點(diǎn)處的紋理片信息，按照紋理片排布規(guī)則進(jìn)行紋理圖 的排布，并利用重疊區(qū)域像素融合方法對重疊區(qū)域的紋理片結(jié)構(gòu)進(jìn)行像素融合處理。
所述的紋理片排布規(guī)則是當(dāng)輸入視頻有N幀圖像時(shí)，在第一個(gè)固定位置點(diǎn)處，將 第一個(gè)紋理片放置在第一幀，第二個(gè)紋理片放置在第二幀，以此類推，將第N個(gè)紋理片放在 第N幀；在第二個(gè)固定位置點(diǎn)處，將第一個(gè)紋理片放在第二幀，第二個(gè)紋理片放在第三幀， 以此類推，第N-l個(gè)紋理片放在第N幀，第N個(gè)紋理片放在第一幀；在第三個(gè)固定位置點(diǎn)處， 將第一個(gè)紋理片放在第三幀，第二個(gè)紋理片放在第四幀，以此類推，第N-2個(gè)紋理片放在第 N幀，第N-l個(gè)紋理片放在第一幀，第N個(gè)紋理片放在第二幀；以此類推，在第N個(gè)固定位置 點(diǎn)處，第一個(gè)紋理片放在N幀，第二個(gè)紋理片放在第一幀，以此類推，第N個(gè)紋理片放在第 N-l幀。 所述的重疊區(qū)域像素融合方法是對于紋理片K和紋理片K+l重疊區(qū)域的像素點(diǎn) 的合成像素顏色R，由下式確定
R = Rk X dk/d+Rk+1 X (d_dk) /d 其中，Rk表示紋理片K的像素顏色，Rk+1表示紋理片K+l的像素顏色，dk表示重疊 區(qū)域像素到紋理片K與重疊區(qū)域交線的距離，d表示紋理片K和紋理片K+l重疊區(qū)域的寬 度。 第四步，對紋理片重疊區(qū)域內(nèi)像素值不連續(xù)的圖片進(jìn)行線性插值和高斯濾波處
理，進(jìn)而將得到的像素連續(xù)的圖片按時(shí)間順序連接成視頻，如圖4所示。 第五步，基于法線信息保留法對得到的視頻中的流體運(yùn)動(dòng)部分進(jìn)行編輯，如圖5所示。 所述的法線信息保留法是將已知流體運(yùn)動(dòng)軌跡的法線方向上的信息經(jīng)過變化映
射到用戶畫定的軌跡法線上的對應(yīng)位置，使得兩條軌跡的法線信息得到保留。 本實(shí)施例對包含煙霧的視頻片段完全能夠?qū)嵤?yīng)用，并可按照用戶的需要，任意
編輯視頻，且合成速度快，合成效果好。
權(quán)利要求
一種基于粒子紋理的流體視頻合成方法，其特征在于，包括如下步驟第一步，根據(jù)輸入視頻中的流體運(yùn)動(dòng)部分，畫出表征流體運(yùn)動(dòng)軌跡和運(yùn)動(dòng)趨勢的流線；第二步，在輸入視頻的每一幀，沿著流體的流線，在若干個(gè)固定位置點(diǎn)處選擇并存儲(chǔ)紋理片，確定流體運(yùn)動(dòng)區(qū)域的紋理結(jié)構(gòu)；第三步，根據(jù)每個(gè)固定位置點(diǎn)處的紋理片信息，按照紋理片排布規(guī)則進(jìn)行紋理圖的排布，并利用重疊區(qū)域像素融合方法對重疊區(qū)域的紋理片結(jié)構(gòu)進(jìn)行像素融合處理；第四步，對紋理片重疊區(qū)域內(nèi)像素值不連續(xù)的圖片進(jìn)行插值和濾波處理，進(jìn)而將得到的像素連續(xù)的圖片按時(shí)間順序連接成視頻；第五步，基于法線信息保留法對得到的視頻中的流體運(yùn)動(dòng)部分進(jìn)行編輯。
2. 根據(jù)權(quán)利要求1所述的基于粒子紋理的流體視頻合成方法，其特征是，第三步中所 述的紋理片排布規(guī)則是當(dāng)輸入視頻有N幀圖像時(shí)，在第一個(gè)固定位置點(diǎn)處，將第一個(gè)紋理 片放置在第一幀，第二個(gè)紋理片放置在第二幀，以此類推，將第N個(gè)紋理片放在第N幀；在第 二個(gè)固定位置點(diǎn)處，將第一個(gè)紋理片放在第二幀，第二個(gè)紋理片放在第三幀，以此類推，第 N-l個(gè)紋理片放在第N幀，第N個(gè)紋理片放在第一幀；在第三個(gè)固定位置點(diǎn)處，將第一個(gè)紋 理片放在第三幀，第二個(gè)紋理片放在第四幀，以此類推，第N-2個(gè)紋理片放在第N幀，第N-l 個(gè)紋理片放在第一幀，第N個(gè)紋理片放在第二幀；以此類推，在第N個(gè)固定位置點(diǎn)處，第一個(gè) 紋理片放在N幀，第二個(gè)紋理片放在第一幀，以此類推，第N個(gè)紋理片放在第N-l幀。
3. 根據(jù)權(quán)利要求1所述的基于粒子紋理的流體視頻合成方法，其特征是，第三步中所 述的重疊區(qū)域像素融合方法是對于紋理片K和紋理片K+l重疊區(qū)域的像素點(diǎn)的合成像素 顏色R，由下式確定<formula>formula see original document page 2</formula>其中，Rk表示紋理片K的像素顏色，Rk+1表示紋理片K+l的像素顏色，dk表示重疊區(qū)域 像素到紋理片K與重疊區(qū)域交線的距離，d表示紋理片K和紋理片K+l重疊區(qū)域的寬度。
4. 根據(jù)權(quán)利要求1所述的基于粒子紋理的流體視頻合成方法，其特征是，第五步中所 述的法線信息保留法是將已知流體運(yùn)動(dòng)軌跡的法線方向上的信息經(jīng)過變化映射到用戶畫 定的軌跡法線上的對應(yīng)位置，使得兩條軌跡的法線信息得到保留。
全文摘要
本發(fā)明公開一種圖像處理技術(shù)領(lǐng)域的基于粒子紋理的流體視頻合成方法，包括以下步驟根據(jù)輸入視頻的流體運(yùn)動(dòng)部分，畫出表征流體運(yùn)動(dòng)軌跡和運(yùn)動(dòng)趨勢的流線；在輸入視頻的每一幀，沿著流體的流線，在若干個(gè)固定位置點(diǎn)選擇并存儲(chǔ)紋理片，確定流體運(yùn)動(dòng)區(qū)域的紋理結(jié)構(gòu)；根據(jù)每個(gè)固定位置點(diǎn)處的紋理片信息，按照紋理片排布規(guī)則進(jìn)行紋理圖的排布，并利用重疊區(qū)域像素融合方法對重疊區(qū)域的紋理片結(jié)構(gòu)進(jìn)行像素融合處理；對紋理片重疊區(qū)域內(nèi)像素值不連續(xù)的圖片進(jìn)行插值和濾波處理，進(jìn)而將得到的像素連續(xù)的圖片按時(shí)間順序連接成視頻；基于法線信息保留法對得到的視頻中的流體運(yùn)動(dòng)部分進(jìn)行編輯。本發(fā)明可生成無限長視頻，合成的速度快，且合成的效果更豐富。
文檔編號H04N5/262GK101710945SQ200910310619
公開日2010年5月19日 申請日期2009年11月30日 優(yōu)先權(quán)日2009年11月30日
發(fā)明者劉允才, 趙語濤 申請人:上海交通大學(xué)