一種基于筆畫(huà)合成的圖像風(fēng)格遷移合成方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于筆畫(huà)合成的圖像風(fēng)格遷移合成方法，包括以下步驟：步驟(1)，對(duì)用戶(hù)輸入的目標(biāo)圖像進(jìn)行圖像分割，得到一組圖像區(qū)域；步驟(2)，根據(jù)步驟(1)的圖像區(qū)域，對(duì)分割后的目標(biāo)圖像的各區(qū)域進(jìn)行筆畫(huà)設(shè)置；步驟(3)，對(duì)樣本圖像進(jìn)行特征分析，進(jìn)行基于不規(guī)則四邊形的筆畫(huà)遷移合成得到結(jié)果圖像；步驟(4)，將目標(biāo)圖的顏色信息傳遞給結(jié)果圖，得到保留原圖顏色信息的結(jié)果圖。
【專(zhuān)利說(shuō)明】一種基于筆畫(huà)合成的圖像風(fēng)格遷移合成方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)圖像處理和計(jì)算機(jī)圖形學(xué)【技術(shù)領(lǐng)域】，特別是基于筆畫(huà)合成的圖像風(fēng)格遷移合成方法。

【背景技術(shù)】
[0002]圖像的風(fēng)格化繪制已成為非真實(shí)感繪制的一個(gè)研究熱點(diǎn)，其可以通過(guò)對(duì)圖像內(nèi)容的識(shí)別和解析，依據(jù)多種類(lèi)型藝術(shù)創(chuàng)作的藝術(shù)理念和藝術(shù)準(zhǔn)則，模擬各類(lèi)藝術(shù)風(fēng)格的手工繪制過(guò)程和效果。近年來(lái)，國(guó)內(nèi)外的研究者從不同的研究角度出發(fā)提出了很多卓有成效的方法，根據(jù)出發(fā)點(diǎn)的不同，概括起來(lái)，其中代表性的方法大致可以分為兩類(lèi):一類(lèi)是基于模擬的繪制技術(shù)(Simulat1n-based),其致力于模擬真實(shí)的繪畫(huà)創(chuàng)作過(guò)程,通過(guò)在畫(huà)布上疊加各種顏色、尺寸的筆畫(huà)來(lái)獲得不同風(fēng)格的結(jié)果圖，如文獻(xiàn)IHertzmann A.Fast PaintTexture.Proceedings of the 2nd internat1nal symposium on Non-photorealisticanimat1n and rendering, 2002.91-96.和文獻(xiàn)2 Zeng K, Zhao M, X1ng C, Zhu S C..Formimage parsing to painterly rendering.ACM Trans.Graph.2009.29 (I), 2:1-2:11.等介紹的，該類(lèi)方法屬于一種臨摹式的繪制方式，雖然能夠很好的體現(xiàn)繪畫(huà)創(chuàng)作過(guò)程，但在其繪制框架中，不同風(fēng)格藝術(shù)作品通常由一些封裝好的繪制參數(shù)決定。如果希望得到喜愛(ài)的風(fēng)格，用戶(hù)必須對(duì)這些繪制參數(shù)的含義有較好的理解，通過(guò)反復(fù)調(diào)整這些參數(shù)，得到個(gè)性化的繪制結(jié)果。這對(duì)于用戶(hù)來(lái)說(shuō)，操作過(guò)于復(fù)雜。另一類(lèi)是基于樣本風(fēng)格遷移的繪制技術(shù)(Example-based),它多通過(guò)紋理合成的方法模擬給定樣圖的風(fēng)格特征等,使結(jié)果不僅能夠保持目標(biāo)圖像本身的內(nèi)容還能夠具有樣圖的繪制風(fēng)格。如文獻(xiàn)3 Lee H., Seo S., Ryoo
S.，et al..Direct1nal texture transfer.Proc.Non-photorealistic Animat1n andRendering.ACM 2010.43-48.和文獻(xiàn) 4 Huang H.，Zang Y.，Li C.F., Example-basedpainting guided by color features.The Visual Computer.2010, 26(6-8):933.等介紹的，該類(lèi)方法通過(guò)為用戶(hù)提供各種不同類(lèi)型的已有風(fēng)格模板，將用戶(hù)選擇的樣本風(fēng)格迀移到目標(biāo)圖像上。
[0003]基于模擬的繪畫(huà)技術(shù)主要從筆畫(huà)屬性定義、筆畫(huà)布置策略以及筆畫(huà)方向設(shè)計(jì)三方面來(lái)模仿畫(huà)家的創(chuàng)作過(guò)程。在發(fā)展初期，對(duì)筆畫(huà)的定義以及筆畫(huà)布置策略的設(shè)計(jì)成為諸多研究關(guān)注的重點(diǎn)，如何自動(dòng)布置筆畫(huà)、渲染筆畫(huà)是這方面的主要研究工作；隨著這二個(gè)方面研究的逐漸成熟，如何生成更自然、逼真的藝術(shù)作品漸漸成為研究者追求的新目標(biāo)，而由于筆畫(huà)的方向在視覺(jué)上的顯著性，模擬更自然、更貼近現(xiàn)實(shí)藝術(shù)作品的筆畫(huà)走向，逐漸也成為了新的研究熱點(diǎn)。基于模擬的繪畫(huà)技術(shù)屬于一種臨摹式的繪制方式，雖然能夠很好的體現(xiàn)繪畫(huà)創(chuàng)作過(guò)程，但在其繪制框架中，不同風(fēng)格藝術(shù)作品通常由一些封裝好的繪制參數(shù)決定。如果希望得到喜愛(ài)的風(fēng)格，用戶(hù)必須對(duì)這些繪制參數(shù)的含義有較好的理解，通過(guò)反復(fù)調(diào)整這些參數(shù)，得到個(gè)性化的繪制結(jié)果。這對(duì)于用戶(hù)來(lái)說(shuō)，操作過(guò)于復(fù)雜。
[0004]基于樣本風(fēng)格遷移的繪制技術(shù)通過(guò)為用戶(hù)提供各種不同類(lèi)型的已有風(fēng)格模板，讓計(jì)算機(jī)照著這個(gè)模板風(fēng)格進(jìn)行繪制，通過(guò)不同的學(xué)習(xí)模板和學(xué)習(xí)方法，用戶(hù)被允許對(duì)作品進(jìn)行更廣泛的設(shè)計(jì)。


【發(fā)明內(nèi)容】

[0005]發(fā)明目的:本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于筆畫(huà)合成的圖像風(fēng)格遷移合成方法。
[0006]技術(shù)方案:為了解決上述技術(shù)問(wèn)題，本發(fā)明公開(kāi)了一種基于筆畫(huà)合成的圖像風(fēng)格遷移合成方法，該方法用于將樣本圖像的風(fēng)格遷移到目標(biāo)圖像上，得到結(jié)果圖像，包括以下步驟:
[0007]步驟(I)，對(duì)用戶(hù)輸入的目標(biāo)圖像進(jìn)行圖像分割；
[0008]步驟(2)，根據(jù)步驟(I)的分割結(jié)果，對(duì)分割后的目標(biāo)圖像的各區(qū)域進(jìn)行筆畫(huà)設(shè)置；
[0009]步驟(3)，對(duì)樣本圖像進(jìn)行特征分析，進(jìn)行基于不規(guī)則四邊形的筆畫(huà)遷移合成；
[0010]步驟(4)，將目標(biāo)圖的顏色信息傳遞給結(jié)果圖，得到保留原圖顏色信息的結(jié)果圖。
[0011]本發(fā)明步驟(2)中，根據(jù)對(duì)目標(biāo)圖像進(jìn)行圖像分割的結(jié)果，對(duì)分割后的目標(biāo)圖像的各區(qū)域進(jìn)行筆畫(huà)設(shè)置，具體步驟為:
[0012]步驟(21)，根據(jù)目標(biāo)圖像的圖像分割結(jié)果和求得的各區(qū)域的輪廓情況，對(duì)區(qū)域邊界筆畫(huà)進(jìn)行設(shè)置；
[0013]步驟(211)，設(shè)置區(qū)域邊界筆畫(huà)方向；
[0014]步驟(212)，設(shè)置區(qū)域邊界筆畫(huà)寬度；
[0015]步驟(213)，設(shè)置區(qū)域邊界筆畫(huà)長(zhǎng)度；
[0016]步驟(22)，根據(jù)目標(biāo)圖像的圖像分割結(jié)果和求得的各區(qū)域的輪廓情況，對(duì)區(qū)域內(nèi)部筆畫(huà)進(jìn)行設(shè)置；
[0017]步驟(221)，設(shè)置區(qū)域內(nèi)部筆畫(huà)方向；
[0018]步驟(222),設(shè)置區(qū)域內(nèi)部筆畫(huà)寬度；
[0019]步驟(223),設(shè)置區(qū)域內(nèi)部筆畫(huà)長(zhǎng)度。
[0020]本發(fā)明步驟(3)中，用戶(hù)選擇不同的區(qū)域作為輸入并進(jìn)行基于筆畫(huà)的遷移合成。首先對(duì)輸入的樣本圖像進(jìn)行特征分析，以獲得高層風(fēng)格信息，然后將待合成的空筆畫(huà)分割為多個(gè)不規(guī)則的四邊形，利用所得特征將筆畫(huà)遷移合成問(wèn)題轉(zhuǎn)化為各四邊形的在樣圖中的匹配搜索問(wèn)題，建立一個(gè)一致性衡量問(wèn)題的能量方程，并根據(jù)相似塊偏移量統(tǒng)計(jì)方法優(yōu)化此能量方程，求解出能量最小值，以完成各空筆畫(huà)的優(yōu)化合成，具體步驟為:
[0021]步驟(31)，對(duì)選定的樣本進(jìn)行高層特征的分析，分析選定樣本的筆畫(huà)走向、紋理特征以及顏色特征等；
[0022]步驟(32)，基于不規(guī)則四邊形對(duì)空筆畫(huà)進(jìn)行優(yōu)化遷移合成；
[0023]步驟(321)，根據(jù)已求得的筆畫(huà)寬度和長(zhǎng)度等信息，將各待合成的空筆畫(huà)分割為多個(gè)不規(guī)則的四邊形；
[0024]步驟(322)，構(gòu)建合成優(yōu)化函數(shù)，根據(jù)樣本圖像的筆畫(huà)走向、紋理特征以及顏色特征為每個(gè)四邊形在樣本圖像上尋找匹配的四邊形，將搜索匹配問(wèn)題作為一致性衡量問(wèn)題處理；具體為:
[0025]計(jì)算第i個(gè)待合成四邊形Pi的筆畫(huà)走向與水平方向的夾角a i ;計(jì)算樣本圖像的筆畫(huà)走向與水平方向的夾角β，將樣本圖像以右上角為旋轉(zhuǎn)中心按逆時(shí)針旋轉(zhuǎn)(c^-β)度。為每個(gè)四邊形在旋轉(zhuǎn)后的樣本圖像中搜索紋理特征LBP值和顏色特征RGB值最優(yōu)匹配的四邊形。搜素匹配過(guò)程可以看作為一致性衡量(coherence measure)問(wèn)題。
[0026]所述能量方程為:
[0027]^vuhere = [ mill — R\\

Box€SK~il
[0028]其中，為一致性衡量的量度值，S為步驟(32)中定義的空筆畫(huà)，Ω為用戶(hù)選定的樣本區(qū)域，Box為連接相鄰四邊形的三角區(qū)域，R為在Ω內(nèi)搜索到的與Box的匹配區(qū)域；
[0029]步驟(323)，根據(jù)相似塊偏移量統(tǒng)計(jì)思想，優(yōu)化步驟(322)中能量方程；
[0030]所述能量方程為:
[00311 ifIVhere = Σ.1)—伽.V(X + off set j 川 2

χΖ^?ββ%€?￡--
[0032]其中，S為步驟(32)中定義的空筆畫(huà)，Ω為用戶(hù)選定的樣本區(qū)域，offset為偏移量，Offseti是第i個(gè)三角區(qū)域Box(X)和其最優(yōu)匹配區(qū)域Box(X+offsetJ之間的偏移量，Box (X)為中心在坐標(biāo)X，大小為3*3的三角區(qū)域；
[0033]對(duì)所有設(shè)定的空筆畫(huà)采用上述步驟優(yōu)化合成后，便可完成目標(biāo)圖像的風(fēng)格遷移，得到結(jié)果圖像。
[0034]本發(fā)明步驟(4)包括以下步驟:
[0035]步驟(41)，根據(jù)全局色彩傳遞方法，將目標(biāo)圖像的顏色信息傳遞給結(jié)果圖像，得到保留原圖顏色信息的結(jié)果圖像。具體為:
[0036]全局色彩傳遞方法為將目標(biāo)圖的整體顏色統(tǒng)計(jì)信息傳輸至結(jié)果圖，達(dá)到改變結(jié)果圖
[0037]色彩的目的。本實(shí)施中，首先計(jì)算目標(biāo)圖S和結(jié)果圖T所有像素在1，α，β三個(gè)通道的均值Γ，as, βΜ\ Qt, f以及目標(biāo)圖和結(jié)果圖的標(biāo)準(zhǔn)差σ Λ σ as，σ /，O1S σ /，σ / ;然后從目標(biāo)圖中移走均值，將剩余部分按照標(biāo)準(zhǔn)差的比值縮放，最后加入結(jié)果圖的均值得到保留原圖顏色信息的結(jié)果圖像，其變換公式為:
[0038]I* = ( σ χ7 σ 嚴(yán))I，+It
[0039]a* = ( σ a V σ a s) a J + a 1
[0040]β* = (σ //σ /) β，+ ^t
[0041]I， = 10-1s
[0042]a，= a 0- a s
[0043]β，= β 0-β s
[0044]其中，1。，α0, β。為結(jié)果圖單個(gè)像素在1，a , β三個(gè)通道的初始值。1*，a *，β *為結(jié)果圖單個(gè)像素變換后新的值。
[0045]有益效果:本發(fā)明的圖像風(fēng)格遷移合成方法與現(xiàn)有圖像風(fēng)格遷移合成方法相比優(yōu)點(diǎn)在于:用戶(hù)可將輸入樣圖作為調(diào)色板，根據(jù)自己的喜好以筆畫(huà)為構(gòu)造元素完成目標(biāo)圖像的風(fēng)格遷移；在輸入任意形狀、大小樣本的情況下，在無(wú)需對(duì)樣本進(jìn)行形變等特殊處理前提下，通過(guò)分析和提取樣圖表達(dá)的高層風(fēng)格特征，便能夠自動(dòng)合成連續(xù)、無(wú)縫、隨機(jī)性強(qiáng)，并具有輸入樣本特征的平滑筆畫(huà)曲線(xiàn)。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0046]下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明做更進(jìn)一步的具體說(shuō)明，本發(fā)明的上述和/或其他方面的優(yōu)點(diǎn)將會(huì)變得更加清楚。
[0047]圖1為本發(fā)明空筆畫(huà)分割示意圖。
[0048]圖2為本發(fā)明主要流程圖。
[0049]圖3a和圖3b為實(shí)施例輸入樣本圖像以及目標(biāo)圖像示意圖。
[0050]圖4為風(fēng)格遷移合成結(jié)果示意圖。
[0051]圖5為合成結(jié)果示意圖。

【具體實(shí)施方式】
[0052]本發(fā)明涉及一種圖像風(fēng)格遷移合成方法，該方法將輸入的樣圖作為調(diào)色板，并對(duì)其進(jìn)行風(fēng)格特征的分析，然后利用所得特征將筆畫(huà)遷移合成問(wèn)題轉(zhuǎn)化為各四邊形的在樣圖中的匹配搜索問(wèn)題，建立一個(gè)一致性衡量問(wèn)題的能量方程，并根據(jù)相似塊偏移量統(tǒng)計(jì)方法優(yōu)化此能量方程，求解出能量最小值，以完成目標(biāo)圖指定區(qū)域內(nèi)所求得的筆畫(huà)曲線(xiàn)的風(fēng)格遷移合成，再將目標(biāo)圖的顏色信息傳遞給結(jié)果圖，最終所得結(jié)果即為與樣圖有相同繪畫(huà)風(fēng)格的結(jié)果圖。本發(fā)明的方法能夠高效、自動(dòng)地完成目標(biāo)圖像的個(gè)性化藝術(shù)風(fēng)格遷移。
[0053]如圖1所示，本發(fā)明中:對(duì)于空筆畫(huà)的分割，將各待合成的空筆畫(huà)分割為多個(gè)四邊形，定義當(dāng)前待合成空筆畫(huà)S，求得S沿筆畫(huà)方向內(nèi)外二條輪廓線(xiàn)T和B，沿內(nèi)外二條輪廓線(xiàn)等距離采樣，將待合成空筆畫(huà)S分割成多個(gè)小四邊形，定義所分割的四邊形為Pi,則其坐標(biāo)可定義為((Txi，Tyi)，(Bxi, Byi), (Txi+1，Tyi+1)，(Bxi+1，Byi+1))，其中 Ixi = i，yi = i}。
[0054]如圖2所示，本發(fā)明包括以下步驟:
[0055]步驟(I)，對(duì)用戶(hù)輸入的目標(biāo)圖像進(jìn)行圖像分割；
[0056]步驟(2)，根據(jù)步驟⑴的分割結(jié)果，對(duì)分割后的目標(biāo)圖像的各區(qū)域進(jìn)行筆畫(huà)設(shè)置；
[0057]步驟(3)，對(duì)樣本圖像進(jìn)行特征分析，進(jìn)行基于不規(guī)則四邊形的筆畫(huà)遷移合成；
[0058]步驟(4)，將目標(biāo)圖的顏色信息傳遞給結(jié)果圖，得到保留原圖顏色信息的結(jié)果圖。
[0059]更具體地說(shuō)，本發(fā)明對(duì)用戶(hù)輸入的目標(biāo)圖像和樣本圖像，采用基于筆畫(huà)合成的遷移合成方法將樣本圖像的風(fēng)格傳遞到目標(biāo)圖像上。首先用戶(hù)輸入目標(biāo)圖像，對(duì)目標(biāo)圖像進(jìn)行圖像分割。是對(duì)分割所得的目標(biāo)圖像各區(qū)域進(jìn)行筆畫(huà)設(shè)置，根據(jù)分割所得區(qū)域信息求取各筆畫(huà)的方向、大小和長(zhǎng)度等描述信息。對(duì)設(shè)定的筆畫(huà)進(jìn)行風(fēng)格遷移合成。將具有一定風(fēng)格的輸入樣本圖像作為調(diào)色板，用戶(hù)在樣圖上選取任意區(qū)域作為筆畫(huà)合成的輸入模式，對(duì)用戶(hù)選取的區(qū)域或邊界進(jìn)行了高層的特征分析。利用所獲得的風(fēng)格樣圖特征，基于合成思想，通過(guò)設(shè)定合理的優(yōu)化函數(shù)實(shí)現(xiàn)了各筆畫(huà)的風(fēng)格遷移。將目標(biāo)圖的顏色信息傳遞給結(jié)果圖，得到保留原圖顏色信息的結(jié)果圖。
[0060]實(shí)施例
[0061]下面根據(jù)實(shí)施例說(shuō)明本發(fā)明的各個(gè)步驟。
[0062]步驟(I)，對(duì)用戶(hù)輸入的目標(biāo)圖像進(jìn)行圖像分割。
[0063]對(duì)圖3b所示的輸入目標(biāo)圖像，本實(shí)施例釆用文獻(xiàn)5 Limj Joseph J.，C.Lawrence Zitnickj and P1tr Dollar."Sketch tokens: A learned mid-levelrepresentat1n for contour and object detect1n."Computer Vis1n and PatternRecognit1n(CVPR)，2013 IEEE Conference on.1EEE, 2013.提出的方法對(duì)目標(biāo)圖像進(jìn)行圖像分割。
[0064]步驟(2)，根據(jù)步驟⑴的分割結(jié)果，對(duì)分割后的目標(biāo)圖像的各區(qū)域進(jìn)行筆畫(huà)設(shè)置。
[0065]本實(shí)施例根據(jù)目標(biāo)圖像的分割結(jié)果，在各區(qū)域邊界以及區(qū)域內(nèi)鋪設(shè)了相應(yīng)筆畫(huà)。本實(shí)施例定義筆畫(huà)為S，將其設(shè)為沿區(qū)域紋理走向Θ所確定的具有一定弧度的曲線(xiàn)，同時(shí)該曲線(xiàn)還具有一定寬度W、長(zhǎng)度I以及相應(yīng)的紋理信息t。可將模擬的相應(yīng)筆畫(huà)定義為如下形式 S= ( Θ，W，1，t)。
[0066]步驟(21)根據(jù)目標(biāo)圖像的圖像分割結(jié)果和求得的各區(qū)域的輪廓情況，對(duì)區(qū)域邊界筆畫(huà)進(jìn)行設(shè)置。
[0067]本實(shí)施例對(duì)目標(biāo)圖像進(jìn)行區(qū)域分割后，根據(jù)求得的各區(qū)域的輪廓情況可以設(shè)置筆畫(huà)的各個(gè)屬性值。
[0068]步驟(211)設(shè)置區(qū)域邊界筆畫(huà)方向。
[0069]本實(shí)施例采用sketch tokens分割方法對(duì)目標(biāo)圖像進(jìn)行區(qū)域分割，易求得各區(qū)域的輪廓情況，因此將邊界筆畫(huà)方向Θ設(shè)為所求區(qū)域輪廓走向。
[0070]步驟(212)設(shè)置區(qū)域邊界筆畫(huà)寬度。
[0071]本實(shí)施例筆畫(huà)寬度w將根據(jù)用戶(hù)需求進(jìn)行設(shè)定，本文通過(guò)實(shí)驗(yàn)將邊界筆畫(huà)寬度設(shè)為5-6像素，因?yàn)楣P畫(huà)寬度選取太小將不利于筆畫(huà)合成，選取太大則會(huì)使邊界過(guò)于明顯，整體效果將不協(xié)調(diào)。
[0072]步驟(213)設(shè)置區(qū)域邊界筆畫(huà)長(zhǎng)度。
[0073]本實(shí)施例筆畫(huà)長(zhǎng)度I為區(qū)域輪廓長(zhǎng)度。
[0074]步驟(22)根據(jù)目標(biāo)圖像的圖像分割結(jié)果和求得的各區(qū)域的輪廓情況，對(duì)區(qū)域內(nèi)部筆畫(huà)進(jìn)行設(shè)置。
[0075]本實(shí)施例還需設(shè)置區(qū)域內(nèi)部的筆畫(huà)信息，同樣需設(shè)置筆畫(huà)方向Θ、筆畫(huà)寬度w以及筆畫(huà)長(zhǎng)度I等信息。
[0076]步驟(221)設(shè)置區(qū)域內(nèi)部筆畫(huà)方向。
[0077]本實(shí)施例借助所求得的矢量場(chǎng)方向Θ來(lái)設(shè)置筆畫(huà)方向。對(duì)掃描線(xiàn)進(jìn)行一定的形變，增加曲線(xiàn)模擬的控制點(diǎn)，進(jìn)而通過(guò)3次B樣條擬合來(lái)模擬藝術(shù)家繪制時(shí)候線(xiàn)條的自然弧度。
[0078]步驟(222)設(shè)置區(qū)域內(nèi)部筆畫(huà)寬度。
[0079]原理上用戶(hù)可以設(shè)定任意寬度的筆畫(huà)，但由于所設(shè)定的筆畫(huà)寬度，將影響各區(qū)域內(nèi)的筆畫(huà)覆蓋情況以及后續(xù)的筆畫(huà)遷移合成計(jì)算。如筆畫(huà)寬度過(guò)小則各區(qū)域覆蓋筆畫(huà)將過(guò)多，這不利于后續(xù)基于樣圖的筆畫(huà)遷移合成計(jì)算；如筆畫(huà)寬度過(guò)大則各區(qū)域覆蓋筆畫(huà)將過(guò)少，這將導(dǎo)致后續(xù)基于樣圖的筆畫(huà)遷移合成結(jié)果的隨機(jī)性降低。本實(shí)施例將筆畫(huà)寬度w設(shè)定為14-20像素之間。
[0080]步驟(223)設(shè)置區(qū)域內(nèi)部筆畫(huà)長(zhǎng)度。
[0081]本實(shí)施例筆畫(huà)的長(zhǎng)度與所需覆蓋的區(qū)域相關(guān)，當(dāng)利用上述筆畫(huà)方向來(lái)確定生成筆畫(huà)走向后，所擬合的形變掃描線(xiàn)將不能超過(guò)所需覆蓋的區(qū)域邊界，因此在區(qū)域內(nèi)的擬合曲線(xiàn)長(zhǎng)度I既為當(dāng)前筆畫(huà)的長(zhǎng)度。
[0082]步驟(3)用戶(hù)在如圖3a所示的樣本圖像中選擇不同的區(qū)域作為輸入并進(jìn)行基于筆畫(huà)的遷移合成。首先對(duì)輸入的樣本圖像進(jìn)行特征分析，以獲得高層風(fēng)格信息，然后基于所求特征，沿所求得的各空筆畫(huà)曲線(xiàn)進(jìn)行優(yōu)化合成。
[0083]步驟(31)，對(duì)選定的樣本進(jìn)行高層特征的分析，分析選定樣本的筆畫(huà)走向、紋理特征以及顏色特征等。
[0084]很多風(fēng)格的形成與筆畫(huà)走向、紋理特征以及顏色特征這些高層特征相關(guān)，合理利用這些高層特征將能更好的表達(dá)樣圖原有風(fēng)格。本實(shí)施例在進(jìn)行筆畫(huà)遷移合成前，對(duì)選定的樣本進(jìn)行了高層特征的分析。
[0085]步驟(32)，基于不規(guī)則四邊形對(duì)空筆畫(huà)進(jìn)行優(yōu)化遷移合成。
[0086]步驟(321)，根據(jù)已求得的筆畫(huà)寬度和長(zhǎng)度等信息，將各待合成的空筆畫(huà)分割為多個(gè)不規(guī)則的四邊形。
[0087]步驟(322)，構(gòu)建合成優(yōu)化函數(shù)，根據(jù)選定樣本的筆畫(huà)走向、紋理特征以及顏色特征為每個(gè)四邊形在樣本圖像上尋找匹配的四邊形，將搜索匹配問(wèn)題轉(zhuǎn)化為一致性衡量問(wèn)題。
[0088]步驟(323)，根據(jù)相似塊偏移量統(tǒng)計(jì)思想，優(yōu)化步驟(322)。
[0089]本實(shí)施例將各待合成的空筆畫(huà)如圖1所示分割為一些不規(guī)則的四邊形，圖1為當(dāng)前待合成空筆畫(huà)S,我們知道該筆畫(huà)的方向?yàn)棣?，寬度為w,長(zhǎng)度為I ;我們很容易求得S延筆畫(huà)方向Θ內(nèi)外二條輪廓線(xiàn)T和B，延內(nèi)外二條輪廓線(xiàn)等距離采樣，便可將待合成空筆畫(huà)S分割成多個(gè)小四邊形，設(shè)所分割的四邊形為Pi，則其坐標(biāo)可定義為((Txi，Tyi), (Bxi,Byi), (Txi+1, Tyi+1), (Bxi+1, Byi+1)),其中(Xi = i, Yi = i} o
[0090]為保持原樣本的連續(xù)性，本實(shí)施例采用類(lèi)似于紋理合成思想，要求塊與塊之間具有一定的重疊，為便于后續(xù)的匹配搜索，通過(guò)相鄰四邊形邊界來(lái)確定重疊區(qū)域，以相鄰塊之間的邊界為對(duì)角線(xiàn)生成連接二個(gè)小四邊形的三角形Box，首先，由于已知分割所得各四邊形的坐標(biāo)信息，則很容易求得當(dāng)三角形Box的坐標(biāo)；另外，該三角形連接二個(gè)四邊形，通過(guò)其進(jìn)行匹配搜索將能保持合成區(qū)域的連續(xù)性。搜素匹配過(guò)程可以看作為一致性衡量(coherence measure)問(wèn)題,可將當(dāng)前筆畫(huà)求取的能量方程定義為
「00911 “(vhere = [ mil! j--/?| |
L JIrtV6S(I)
[0092]其中，S為步驟(32)中定義的空筆畫(huà)，Ω為用戶(hù)選定的樣本區(qū)域，Box為連接相鄰四邊形的三角區(qū)域，R為在Ω內(nèi)搜索到的與Box的匹配區(qū)域。
[0093]有了上述能量方程，可以采用多種方法對(duì)其進(jìn)行優(yōu)化。本實(shí)施例利用塊偏移思想能很好解決上述問(wèn)題，只用少量的塊偏移就可以反映出圖像的特征分布情況，所以可以用來(lái)實(shí)現(xiàn)本文的匹配遷移過(guò)程。本實(shí)施例結(jié)合需解決問(wèn)題的特點(diǎn)，進(jìn)行改進(jìn)，可將優(yōu)化后的能量方程定義為γππγμ? ^cohere =niiU |.βο,\ (A ) ^ (X + <\f f Al
[0094]￡Ts0.tfseteil^
[0095]其中，S為步驟(32)中定義的空筆畫(huà)，Ω為用戶(hù)選定的樣本區(qū)域，offset為偏移量，Offseti是Box (X)和其最優(yōu)匹配塊Box (X+offSeti)之間的偏移量，Box (X)為中心在X，大小為3*3的塊。
[0096]在定義該能量方程后，本實(shí)施例為對(duì)于每個(gè)Box的最優(yōu)匹配塊將根據(jù)偏移量分布情況在用戶(hù)選定的樣本中獲得。另外，根據(jù)所求得的每個(gè)Box坐標(biāo)以及要合成四邊形坐標(biāo)之間的關(guān)系，能夠很容易確定最終四邊形區(qū)域內(nèi)的信息。各四邊形合成完畢后，就可以獲得完整的筆畫(huà)傳遞結(jié)果。完成所有筆畫(huà)的遷移合成結(jié)果如圖4所示。
[0097]步驟(4)將目標(biāo)圖的顏色信息傳遞給結(jié)果圖，得到保留原圖顏色信息的結(jié)果圖。
[0098]本實(shí)施例采用的顏色信息為樣圖中原有的信息，所以遷移后的圖片將不具有原圖的顏色信息，而為了表現(xiàn)原圖的顏色信息，我們還需將顏色進(jìn)行遷移，顏色傳遞具體步驟如下:
[0099]步驟(41)，根據(jù)全局色彩傳遞方法，將目標(biāo)圖像的顏色信息傳遞給結(jié)果圖像，得到保留原圖顏色信息的結(jié)果圖像如圖5所示。
[0100]全局色彩傳遞方法為將目標(biāo)圖的整體顏色統(tǒng)計(jì)信息傳輸至結(jié)果圖，達(dá)到改變結(jié)果圖色彩的目的。本實(shí)施中，首先計(jì)算目標(biāo)圖和結(jié)果圖各個(gè)通道的均值，目標(biāo)圖和結(jié)果圖的標(biāo)準(zhǔn)差；然后從目標(biāo)圖中移走均值，將剩余部分按照標(biāo)準(zhǔn)差的比值縮放，最后加入結(jié)果圖的均值得到保留原圖顏色信息的結(jié)果圖像。
[0101]下面將具體介紹算法每步的細(xì)節(jié):
[0102]匹配搜索過(guò)程。本實(shí)施例合成過(guò)程相當(dāng)于為每個(gè)四邊形在樣本圖像上尋找匹配的四邊形。由于待合成的筆畫(huà)為曲線(xiàn)為了在保持紋理連續(xù)的前提下，獲得與目標(biāo)圖原紋理方向一致的繪制筆畫(huà)，需在每合成一個(gè)四邊形時(shí)，將所選取的樣本筆畫(huà)延目標(biāo)圖像的紋理走向進(jìn)行旋轉(zhuǎn)，以保持樣本筆畫(huà)走向與筆畫(huà)曲線(xiàn)走向一致。對(duì)于當(dāng)前要合成的四邊形Pi，我們首先計(jì)算所求得的筆畫(huà)走向與水平方向的夾角，記為CIi ;然后為使樣本筆畫(huà)隨該角度進(jìn)行旋轉(zhuǎn)變化，我們還需求取樣本筆畫(huà)紋理走向與水平線(xiàn)的傾斜角度β，該角度為樣本筆畫(huà)在原樣圖中最初方向與水平線(xiàn)的夾角；最后為使樣本筆畫(huà)走向與筆畫(huà)曲線(xiàn)走向一致，我們將樣本筆畫(huà)以右上角為旋轉(zhuǎn)中心按逆時(shí)針旋轉(zhuǎn)(α「β)度，該旋轉(zhuǎn)后的樣本即為當(dāng)前待合成四邊形Pi接下來(lái)要完成匹配搜索的樣本。我們對(duì)曲率變化比較大的筆畫(huà)，為獲得符合視覺(jué)效果的結(jié)構(gòu)，對(duì)每一待合成四邊形都需進(jìn)行上述操作。
[0103]相似塊偏移量統(tǒng)計(jì)。相似塊偏移量統(tǒng)計(jì)基本思想為:先通過(guò)基于一定大小塊來(lái)全局搜索各塊匹配情況，再統(tǒng)計(jì)匹配塊之間的偏移情況，最后利用這些塊偏移量完成快速的圖像修復(fù)。因?yàn)樗麄兺ㄟ^(guò)大量實(shí)驗(yàn)證明圖像中的塊偏移具有稀疏特性，并且用來(lái)求取偏移量的塊大小不影響最終所獲得的偏移量分布，另外只用少量的塊偏移就可以反映出圖像的特征分布情況，所以可以用來(lái)實(shí)現(xiàn)本實(shí)施例的匹配遷移過(guò)程。原方法求取各塊之間的匹配時(shí)只采用每塊中所包含像素點(diǎn)的顏色信息進(jìn)行計(jì)算，對(duì)樣圖風(fēng)格影響因素不僅包括顏色信息，還包括方向、紋理等高層信息，本實(shí)施例在塊匹配搜索過(guò)程中考慮上述二個(gè)因素，進(jìn)行了如下改進(jìn):搜索方向?yàn)樵谟脩?hù)選定樣本上所求得的矢量場(chǎng)方向；求取塊之間匹配程度時(shí)，將所求的各像素點(diǎn)的紋理特征作為一維特征與顏色特征一起參與計(jì)算。
[0104]形成筆畫(huà)遷移合成結(jié)果。在實(shí)際的合成過(guò)程中，還需注意以下二點(diǎn)。I)遷移合成目標(biāo)圖像邊界筆畫(huà)時(shí)，當(dāng)邊界為封閉曲線(xiàn)，所以在遷移合成筆畫(huà)最后一個(gè)四邊形時(shí)，我們采用2個(gè)Box來(lái)確定當(dāng)前四邊形區(qū)域內(nèi)信息，本實(shí)施例將根據(jù)最后四邊形左右二條邊來(lái)設(shè)定相應(yīng)的Box，并利用其進(jìn)行搜素。2)遷移合成目標(biāo)圖像區(qū)域筆畫(huà)時(shí)，采用從左向右、從上到下的合成順序來(lái)合成筆畫(huà)，為了保持筆畫(huà)的連續(xù)性，在遷移合成中間筆畫(huà)時(shí)，也要采用2個(gè)Box來(lái)確定當(dāng)前四邊形區(qū)域內(nèi)信息，即當(dāng)前合成區(qū)域信息要由與其相鄰的已合成完二個(gè)區(qū)域信息來(lái)確定。合成四邊形區(qū)域時(shí)，本實(shí)施例將利用該四邊形的上邊界和左邊界來(lái)確定對(duì)應(yīng)的Box，進(jìn)行匹配搜索。
[0105]本發(fā)明提供了一種基于筆畫(huà)合成的圖像風(fēng)格遷移合成方法，具體實(shí)現(xiàn)該技術(shù)方案的方法和途徑很多，以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本【技術(shù)領(lǐng)域】的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。本實(shí)施例中未明確的各組成部分均可用現(xiàn)有技術(shù)加以實(shí)現(xiàn)。
【權(quán)利要求】
1.一種基于筆畫(huà)合成的圖像風(fēng)格遷移合成方法，其特征在于，包括以下步驟: 步驟(I)，對(duì)用戶(hù)輸入的目標(biāo)圖像進(jìn)行圖像分割，得到一組圖像區(qū)域； 步驟(2)，根據(jù)步驟(I)的圖像區(qū)域，對(duì)分割后的目標(biāo)圖像的各區(qū)域進(jìn)行筆畫(huà)設(shè)置；步驟(3)，對(duì)樣本圖像進(jìn)行特征分析，進(jìn)行基于不規(guī)則四邊形的筆畫(huà)遷移合成得到結(jié)果圖像； 步驟(4)，將目標(biāo)圖的顏色信息傳遞給結(jié)果圖，得到保留原圖顏色信息的結(jié)果圖。
2.根據(jù)權(quán)利要求1所述的一種基于筆畫(huà)合成的圖像風(fēng)格遷移合成方法，其特征在于， 步驟(2)中具體步驟為: 步驟(21)，根據(jù)目標(biāo)圖像的各區(qū)域和各區(qū)域的區(qū)域邊界，對(duì)區(qū)域邊界筆畫(huà)進(jìn)行設(shè)置； 步驟(211)，用戶(hù)設(shè)置區(qū)域邊界筆畫(huà)方向； 步驟(212)，用戶(hù)設(shè)置區(qū)域邊界筆畫(huà)寬度； 步驟(213)，用戶(hù)設(shè)置區(qū)域邊界筆畫(huà)長(zhǎng)度； 步驟(22)，根據(jù)目標(biāo)圖像的圖像分割結(jié)果和求得的各區(qū)域的輪廓情況，對(duì)區(qū)域內(nèi)部筆畫(huà)進(jìn)行設(shè)置； 步驟(221)，用戶(hù)設(shè)置區(qū)域內(nèi)部筆畫(huà)方向； 步驟(222)，用戶(hù)設(shè)置區(qū)域內(nèi)部筆畫(huà)寬度； 步驟(223)，用戶(hù)設(shè)置區(qū)域內(nèi)部筆畫(huà)長(zhǎng)度。
3.根據(jù)權(quán)利要求2所述的一種基于筆畫(huà)合成的圖像風(fēng)格遷移合成方法，其特征在于，步驟(3)中，用戶(hù)選擇不同的區(qū)域作為輸入并進(jìn)行基于筆畫(huà)的遷移合成；首先對(duì)輸入的樣本圖像進(jìn)行特征分析，以獲得高層風(fēng)格特征，然后將待合成的空筆畫(huà)分割為多個(gè)不規(guī)則的四邊形，利用所得高層風(fēng)格特征將筆畫(huà)遷移合成問(wèn)題轉(zhuǎn)化為各四邊形的在樣圖中的匹配搜索問(wèn)題，建立一個(gè)一致性衡量問(wèn)題的能量方程，并根據(jù)相似塊偏移量統(tǒng)計(jì)方法優(yōu)化此能量方程，求解出能量最小值，以完成各空筆畫(huà)的優(yōu)化合成，具體步驟為: 步驟(31)，對(duì)樣本圖像進(jìn)行高層特征的分析，分析選定樣本的筆畫(huà)走向、紋理特征以及顏色特征； 步驟(32)，基于不規(guī)則四邊形對(duì)空筆畫(huà)進(jìn)行優(yōu)化遷移合成； 步驟(321)，根據(jù)步驟(2)得到的筆畫(huà)寬度和長(zhǎng)度，將各待合成的空筆畫(huà)分割為兩個(gè)以上不規(guī)則的四邊形； 步驟(322)，構(gòu)建合成優(yōu)化函數(shù)，根據(jù)樣本圖像的筆畫(huà)走向、紋理特征以及顏色特征為每個(gè)四邊形在樣本圖像上尋找匹配的四邊形，將搜索匹配問(wèn)題作為一致性衡量問(wèn)題處理；所述能量方程為:
(ivahere = ￡ mill !|Λ?ν -1?| |2
UrtVGS^fcil， 其中，為一致性衡量的量度值，S為步驟(321)中定義的空筆畫(huà)，Ω為用戶(hù)選定的樣本圖像區(qū)域，Box為連接相鄰四邊形的三角區(qū)域，R為在Ω內(nèi)搜索到的與Box的匹配區(qū)域； 步驟(323)，根據(jù)相似塊偏移量統(tǒng)計(jì)方法，優(yōu)化步驟(322)中能量方程； 所述優(yōu)化能量方程為:
^cohere = Tl mm 1 \B<niX ) _ Bd\(X + "/7—ΛΠ/)|Γ
Χ€5ο/ρα￡￡?.--., 其中，offset為偏移量，Offseti是第i個(gè)三角區(qū)域Box(X)和其最優(yōu)匹配區(qū)域Box (X+offSeti)之間的偏移量，Box (X)為中心在坐標(biāo)X，大小為3*3的三角區(qū)域； 對(duì)所有設(shè)定的空筆畫(huà)采用上述步驟優(yōu)化合成后，便完成目標(biāo)圖像的風(fēng)格遷移，得到結(jié)果圖像。
4.根據(jù)權(quán)利要求3所述的一種基于筆畫(huà)合成的圖像風(fēng)格遷移合成方法，其特征在于，步驟⑷包括以下步驟: 步驟(41)，根據(jù)全局色彩傳遞方法，將目標(biāo)圖像的顏色信息傳遞給結(jié)果圖像，得到保留原圖顏色信息的結(jié)果圖像。
【文檔編號(hào)】G06K9/00GK104239855SQ201410446767
【公開(kāi)日】2014年12月24日 申請(qǐng)日期:2014年9月3日 優(yōu)先權(quán)日:2014年9月3日
【發(fā)明者】張巖, 繆崢, 鄭智斌, 孫正興 申請(qǐng)人:南京大學(xué)