專(zhuān)利名稱(chēng)：一種基于幾何空間的語(yǔ)義約束紋理合成方法
技術(shù)領(lǐng)域：
本發(fā)明涉 及一種基于樣圖的紋理合成方法。
背景技術(shù)：
基于樣圖的紋理合成是計(jì)算機(jī)圖形與圖像學(xué)領(lǐng)域非常熱門(mén)和重要的研究方向。在早期，人們主要研究如何利用一小塊樣例紋理獲取大塊紋理，涌現(xiàn)出了基于鄰域匹配算法的逐像素合成和基于塊拼接思想的逐塊合成等眾多優(yōu)秀方法。中后期，特別是近些年，大量的研究都不再單純的致力于提升合成質(zhì)量和提高速度，而是從多個(gè)方面呈現(xiàn)出發(fā)散性，如特征匹配合成，動(dòng)態(tài)紋理的合成，非均勻紋理合成，多尺度紋理合成，以及紋理的混合與平滑轉(zhuǎn)換等。1)平面紋理合成方法逐像素紋理合成方法每次合成一個(gè)像素，基于鄰域匹配算法進(jìn)行合成。該算法最早見(jiàn)于Efros等的非參數(shù)化采樣合成方法，基本思想是通過(guò)對(duì)比所有樣圖像素鄰域與待合成像素的鄰域的距離來(lái)選取最佳匹配像素，如此逐像素進(jìn)行，從而合成目標(biāo)紋理。像素鄰域一般按豎直方向和水平方向構(gòu)造，分為全鄰域、半鄰域、L形鄰域。全鄰域用于并行紋理合成和紋理的優(yōu)化，半鄰域和L形鄰域適合于串行合成方法。平行可控合成方法是一種實(shí)時(shí)可交互方法。基于該方法的外觀空間紋理合成利用外觀向量極大的提升了合成質(zhì)量。平行可控合成最近又被Risser等改進(jìn)，用于結(jié)構(gòu)化圖像的混合。逐塊合成方法每次從樣圖中選取一個(gè)紋理塊拷貝到目標(biāo)紋理中。Efros等和Kwatra等運(yùn)用動(dòng)態(tài)規(guī)劃在新塊與已合成部分的重疊區(qū)域中尋找一條分界線。Wang Tiles紋理合成技術(shù)以Efros等的方法為基礎(chǔ)，具有實(shí)時(shí)性，它的最新研究成果是SchlSmer等的半隨機(jī)性Tile合成方法。2)曲面紋理合成方法在曲面上合成紋理目前主要有三種方式第一種是直接合成，先將曲面細(xì)化，再計(jì)算所有曲面頂點(diǎn)的顏色。這種方式最適合動(dòng)態(tài)紋理的合成。第二種是間接合成方式，Ying 等以及Lefebvre等的基于紋理地圖的方法，將整個(gè)曲面分割為若干個(gè)區(qū)域映射到平面上， 再在平面上合成這些區(qū)域紋理。第三種是給曲面鋪上紋理塊，直到整個(gè)曲面都被覆蓋為止。 在Soler等的方法中，一個(gè)紋理塊對(duì)應(yīng)一個(gè)曲面三角形。Praun等的方法用一塊不規(guī)則紋理在曲面上重復(fù)鋪蓋。Fu等基于Tarini等的PolyCube映射將Wang Tiles方法擴(kuò)展到曲面上。3)特征分析與匹配方法紋理粒子和特征變形方法實(shí)現(xiàn)了在圖元層對(duì)紋理合成進(jìn)行控制。Wu等利用特征圖保持紋理的結(jié)構(gòu)特征?；谟行У奶卣鞣治龇椒?，紋理的混合與平滑轉(zhuǎn)換才得以實(shí)現(xiàn)。因?yàn)橥敢曇约肮庹盏任锢硪蛩氐拇嬖冢掌械募y理往往具有很強(qiáng)的立體感。Liu等利用變形域在照片中進(jìn)行紋理替換，Eisenacher等則基于雅可比場(chǎng)實(shí)現(xiàn)了從照片合成紋理。特征匹配合成基于紋理優(yōu)化算法，合成結(jié)果匹配模型表面的特征曲線。Dischler等基于紋理網(wǎng)格對(duì)紋理合成進(jìn)行語(yǔ)義相關(guān)的控制。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問(wèn)題是紋理可從結(jié)構(gòu)特征上分為結(jié)構(gòu)性和非結(jié)構(gòu)性紋理，又可根據(jù)特征的分布情況分為均勻和非均勻紋理。針對(duì)均勻結(jié)構(gòu)性紋理，本發(fā)明提出一種語(yǔ)義約束合成方法，通過(guò)對(duì)其語(yǔ)義特征(結(jié)構(gòu)特征)進(jìn)行分析與處理，使用戶(hù)可以按自己的意愿選擇合成紋理的結(jié)構(gòu)特征。解決了已有紋理合成方法只能合成與樣例紋理具有同 一種結(jié)構(gòu)特征的紋理的缺陷。本發(fā)明的技術(shù)方案為(1)紋理網(wǎng)格的合成基于塊拼接技術(shù)合成目標(biāo)紋理網(wǎng)格。用樣本紋理網(wǎng)格(從樣本紋理中提取或用戶(hù)給定)生成一個(gè)左邊界和右邊界匹配，上邊界和下邊界匹配的網(wǎng)格塊。將該網(wǎng)格塊的多個(gè)副本相互拼接得到初始目標(biāo)紋理網(wǎng)格，然后再經(jīng)過(guò)優(yōu)化，降低目標(biāo)紋理網(wǎng)格的重復(fù)度，提升網(wǎng)格質(zhì)量。這里，分為兩種情況一是若用于合成目標(biāo)紋理網(wǎng)格的樣本網(wǎng)格就是樣本紋理的紋理網(wǎng)格，那么目標(biāo)紋理網(wǎng)格與樣本紋理的網(wǎng)格具有同一種拓?fù)浣Y(jié)構(gòu)，這樣，最終的目標(biāo)紋理就與樣圖在語(yǔ)義結(jié)構(gòu)上保持一致；二是若用另一個(gè)不同于樣本紋理的網(wǎng)格的樣本網(wǎng)格進(jìn)行合成，則目標(biāo)網(wǎng)格與樣本紋理的網(wǎng)格具有不同的拓?fù)浣Y(jié)構(gòu)，從而最終的目標(biāo)紋理將具有用戶(hù)指定的語(yǔ)義結(jié)構(gòu)，不再受限于樣本紋理。(2)在紋理網(wǎng)格的約束下基于鄰域匹配算法合成目標(biāo)紋理本發(fā)明因?yàn)橐獙?shí)現(xiàn)語(yǔ)義約束紋理合成，采用傳統(tǒng)鄰域匹配算法無(wú)法獲取令人滿(mǎn)意的合成質(zhì)量，所以引入特征矢量進(jìn)行輔助合成。傳統(tǒng)合成方法沒(méi)有意圖改變紋理語(yǔ)義特征， 可以直接按豎直和水平方向構(gòu)造像素鄰域，而在本發(fā)明中，鄰域的構(gòu)造需要依據(jù)特征矢量。 特征矢量是由像素與紋理特征的相對(duì)位置決定的。直觀的看，特征矢量與圖元邊界大體垂直(圖6)。對(duì)于目標(biāo)紋理，先對(duì)每個(gè)目標(biāo)紋理網(wǎng)格的網(wǎng)格單元，從樣本紋理的紋理網(wǎng)格的所有網(wǎng)格單元中隨機(jī)選取一個(gè)，根據(jù)多邊形映射建立這兩個(gè)網(wǎng)格單元內(nèi)部點(diǎn)的映射關(guān)系。用這種方法為目標(biāo)紋理的每個(gè)像素在樣本紋理中確定一個(gè)位置。這里，該位置坐標(biāo)不可能剛好是整數(shù)，可基于雙線性插值確定像素顏色。在初始化像素之后，根據(jù)特征矢量構(gòu)造像素的全鄰域，再基于鄰域匹配算法矯正每個(gè)像素顏色，得到最終結(jié)果。本發(fā)明主要有兩點(diǎn)貢獻(xiàn)第一，給出一種二維紋理網(wǎng)格合成算法，適用于不規(guī)則， 近似規(guī)則，以及規(guī)則網(wǎng)格。相比于Dischler等的遞歸優(yōu)化方法，我們的方法不需要大量的手工輸入。第二，使用特征矢量提升合成效果，解決了傳統(tǒng)鄰域匹配算法用于語(yǔ)義約束紋理合成效果不理想的問(wèn)題，也優(yōu)于已有的子紋理方法。


圖1算法整體流程圖；圖2(a)樣本紋理，圖2(b)圖元掩碼，圖2 (c)特征圖，圖2 (d)紋理網(wǎng)格；圖3網(wǎng)格塊邊界匹配代價(jià)；圖4網(wǎng)格塊的矯正方法；圖5 (a)是樣本網(wǎng)格，圖5(b)是由樣本網(wǎng)格合成的結(jié)果；圖6 (a)標(biāo)出了樣本紋理中像素的特征矢量，圖6(b)標(biāo)出了目標(biāo)紋理中像素的特征矢量；圖7(a)是樣本紋理，圖7(b)是已有方法的合成效果，圖7 (c)是本發(fā)明方法的合成效果；圖8(a)是樣本紋理，圖8(b)是語(yǔ)義約束條件(每個(gè)樣圖分別有兩個(gè)不同的約束條件)，圖8 (c)是用同一張樣圖，在不同約束條件下合成紋理的效果。
具體實(shí)施例方式我們的方法依靠紋理網(wǎng)格，它是一種二維幾何空間內(nèi)的結(jié)構(gòu)，用于描述紋理的結(jié)構(gòu)特征，由頂點(diǎn)和邊組成。該網(wǎng)格可根據(jù)圖像處理技術(shù)獲取(圖2)先生成樣本紋理的圖元掩碼(一種二值圖，白色部分是圖元區(qū)，其他區(qū)域是黑色)，然后根據(jù)圖元掩碼生成特征圖， 特征圖中每個(gè)線條是單像素寬的，最后用特征圖生成樣本紋理的紋理網(wǎng)格。該網(wǎng)格被當(dāng)作樣本網(wǎng)格用于合成目標(biāo)紋理網(wǎng)格。因?yàn)闃颖揪W(wǎng)格也可人為給定，因此用戶(hù)就可根據(jù)自己的意愿決定目標(biāo)紋理具有什么樣的結(jié)構(gòu)特征。本發(fā)明的基于幾何空間的語(yǔ)義約束紋理合成方法具體如下第一步驟合成目標(biāo)紋理網(wǎng)格我們的整個(gè)紋理網(wǎng)格合成過(guò)程以網(wǎng)格塊邊界匹配代價(jià)函數(shù)為基礎(chǔ)。如圖3所示， 邊界匹配代價(jià)的計(jì)算方法是對(duì)于任意兩個(gè)網(wǎng)格塊ρ和q，bp是P的右邊界，bq是q的左邊界。、將與一些網(wǎng)格中的邊相交，換一種說(shuō)法即有若干條(可以為0)邊被邊界、分割，同樣存在若干條邊被分割。如果被bp、bq各自分割的邊的數(shù)目不同，則稱(chēng)bp、bq不匹配，或匹配代價(jià)為無(wú)窮大，否則，稱(chēng)他們相互匹配，亦稱(chēng)互為約束邊界?，F(xiàn)假設(shè)他們相互匹配，令< 表示按分割點(diǎn)與、起始端點(diǎn)(豎直邊界取上端點(diǎn)，水平邊界取左端點(diǎn))的距離升序排列的第i條邊，ν "，V^i分別是邊的兩個(gè)端點(diǎn)。這里的in是端點(diǎn)屬性，表示該端點(diǎn)與bp所屬的網(wǎng)格塊位于bp的同側(cè)，反之out表示位于、的異側(cè)，如圖3所示。ν "，ν”的坐標(biāo)值取相對(duì)于bp起始端點(diǎn)的坐標(biāo)偏移量。同樣，<，Vfi，別表示被邊界分割的第i條邊， 以及該邊的兩個(gè)端點(diǎn)。邊<和< 實(shí)際上是二維空間中的兩條線段，我們分別從兩個(gè)方向計(jì)算他們之間的距離。下式計(jì)算從<到<的距離D{e'p,e'q)= (l + Dist(y'；",V^ai + A η(γ'；", V^ai)- η(ν'；",V1q1"| j(1)其中，/^(力“，！；廣^是^ V^i的距離， (ν，,々0沿)表示方向向量，λ是權(quán)重。 的計(jì)算正好與相反。我們定義邊<與<的匹配代價(jià)為E(e'pyq)=D(e'pyq) + D(e'qyp)(2)現(xiàn)假設(shè)分別被邊界bp和各自分割的邊數(shù)為N。ut，那么這兩條邊界的匹配代價(jià)是
AT t⑶
i=\對(duì)于任意一個(gè)網(wǎng)格塊MP，記它的四條邊界為6;，^mp, jj1mp, 6:，由它們構(gòu)成的集合為B (MP)，同時(shí)這四條邊界的約束邊界及其集合記為‘，^ , bl , b;, Β{ΜΡ), 則總匹配代價(jià)為
權(quán)利要求
1.一種基于幾何空間的語(yǔ)義約束紋理合成方法，包括以下兩個(gè)步驟(1)利用圖像處理技術(shù)從樣本紋理中提取或由用戶(hù)給定樣本紋理網(wǎng)格，然后基于網(wǎng)格塊拼接技術(shù)合成目標(biāo)紋理網(wǎng)格；(2)根據(jù)樣本紋理網(wǎng)格和目標(biāo)紋理網(wǎng)格生成樣本紋理和目標(biāo)紋理的特征矢量，并采用基于特征矢量的鄰域匹配算法合成目標(biāo)紋理。
2.根據(jù)權(quán)利要求1所述的一種基于幾何空間的語(yǔ)義約束紋理合成方法，其特征在于 步驟(1)具體如下二維紋理網(wǎng)格的合成在幾何空間內(nèi)進(jìn)行，目標(biāo)紋理網(wǎng)格由若干個(gè)同樣大小的網(wǎng)格塊互相拼接而成；對(duì)于任意兩個(gè)同尺寸的網(wǎng)格塊P、q，若被P的右邊界分割的網(wǎng)格中的邊的數(shù)目等于被q的左邊界分割的邊數(shù)目，那么稱(chēng)P的右邊界與q的左邊界相匹配；匹配代價(jià)函數(shù)則以被這兩條邊界分割的兩組邊為輸入，對(duì)第一組的每條邊與它在第二組中相對(duì)應(yīng)的邊，計(jì)算它們的距離，然后將所有這些邊對(duì)之間的距離相加得到一個(gè)正實(shí)數(shù)，稱(chēng)為P的右邊界與q 的左邊界的匹配代價(jià)；對(duì)于P，可能存在多個(gè)網(wǎng)格塊，它們的左邊界都與P的右邊界相匹配， 那么匹配代價(jià)最小的那個(gè)網(wǎng)格塊就是最佳的；然后通過(guò)兩個(gè)步驟，可以得到目標(biāo)紋理網(wǎng)格 首先根據(jù)網(wǎng)格塊邊界匹配代價(jià)函數(shù)和用戶(hù)給定的小塊網(wǎng)格生成一組邊界相互匹配的網(wǎng)格塊，所述小塊網(wǎng)格亦稱(chēng)為語(yǔ)義約束條件，該網(wǎng)格也可從紋理中提?。痪唧w生成過(guò)程是從小塊網(wǎng)格中選出若干個(gè)網(wǎng)格塊，這些網(wǎng)格塊的邊界相互匹配；對(duì)每一個(gè)匹配方案，用邊界匹配代價(jià)函數(shù)計(jì)算出該匹配方案中所有匹配邊界間的匹配代價(jià)，并加起來(lái)得到該匹配方案的總匹配代價(jià)；總匹配代價(jià)最小的匹配方案就是最佳的；然后最佳匹配方案的網(wǎng)格塊互相拼接就得到了目標(biāo)紋理網(wǎng)格。
3.根據(jù)權(quán)利要求1所述的一種基于幾何空間的語(yǔ)義約束紋理合成方法，其特征在于 步驟(2)具體如下采用基于特征矢量的鄰域匹配算法合成目標(biāo)紋理的每個(gè)像素，一個(gè)像素的鄰域是以該像素為中心的一個(gè)正方形區(qū)域；鄰域相當(dāng)于一個(gè)高維向量，構(gòu)造方法是從鄰域的左上角像素開(kāi)始按掃描線順序逐像素收集r、g、b分量值；鄰域匹配算法通過(guò)對(duì)比所有樣圖像素鄰域與待合成像素的鄰域的距離來(lái)選取最佳匹配像素，并以該像素顏色作為待合成像素的顏色；如此逐像素進(jìn)行，從而合成目標(biāo)紋理，所述基于特征矢量的鄰域匹配算法在構(gòu)造鄰域時(shí)，根據(jù)像素的特征矢量，所謂像素的特征矢量是一個(gè)方向，該方向與像素最靠近的圖元邊界相垂直。
全文摘要
本發(fā)明提出了一種基于幾何空間的語(yǔ)義約束紋理合成方法，使得合成結(jié)果具有與樣圖不同的結(jié)構(gòu)特征。本方法關(guān)鍵在于對(duì)紋理拓?fù)浣Y(jié)構(gòu)的分析與處理，用二維紋理網(wǎng)格來(lái)描述這種紋理獨(dú)有的特征。首先由樣本紋理的圖元掩碼構(gòu)造樣本紋理網(wǎng)格。再根據(jù)給定的拓?fù)浣Y(jié)構(gòu)約束條件，即用戶(hù)給定的小塊網(wǎng)格，合成目標(biāo)紋理網(wǎng)格。然后在紋理網(wǎng)格指導(dǎo)和控制下，采用基于特征矢量的逐像素合成算法合成目標(biāo)紋理的每一個(gè)像素，達(dá)到改變紋理拓?fù)浣Y(jié)構(gòu)的目的。本方法實(shí)現(xiàn)了基于一張樣例紋理合成多張結(jié)構(gòu)特征各不相同的紋理。
文檔編號(hào)G06T11/00GK102385757SQ20111032819
公開(kāi)日2012年3月21日 申請(qǐng)日期2011年10月25日 優(yōu)先權(quán)日2011年10月25日
發(fā)明者何兵, 王莉莉, 金其江, 馬志強(qiáng) 申請(qǐng)人:北京航空航天大學(xué)