具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯方法及裝置的制造方法
【專利摘要】本發(fā)明涉及一種具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯方法及裝置，其中，所述方法包括對(duì)待編輯的自然圖像通過(guò)超像素分割方法進(jìn)行圖像預(yù)處理，以將所述自然圖像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域；提取所述自然圖像的顏色特征和紋理特征，并根據(jù)所述顏色特征和紋理特征構(gòu)建特征空間向量；根據(jù)所述特征空間向量對(duì)所述預(yù)設(shè)數(shù)量的圖像子塊區(qū)域進(jìn)行聚類處理，以根據(jù)所述聚類處理的結(jié)果對(duì)所述自然圖像進(jìn)行局部顏色分配；通過(guò)全局優(yōu)化算法對(duì)經(jīng)過(guò)局部顏色分配的自然圖像進(jìn)行顏色傳遞，以獲取顏色編輯結(jié)果圖像。本發(fā)明可提高顏色編輯的速度，且能有效的保持重復(fù)場(chǎng)景元素顏色的一致性，實(shí)現(xiàn)不同標(biāo)記的圖像子塊區(qū)域的不同顏色的編輯，獲得豐富的顏色編輯結(jié)果。
【專利說(shuō)明】
具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及圖像編輯技術(shù)領(lǐng)域，尤其設(shè)及一種具有重復(fù)場(chǎng)景元素的自然圖像顏色 編輯方法及裝置。
【背景技術(shù)】
[0002] 隨著數(shù)碼相機(jī)和數(shù)碼攝像機(jī)的普及W及互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，人們很容易得到 大量的數(shù)字圖像和數(shù)字視頻，進(jìn)而使得人們對(duì)于處理工具的方便快捷性的期望越來(lái)越高， W滿足對(duì)數(shù)字圖像和視頻編輯的需求。因此，數(shù)字圖像和視頻的智能編輯處理的研究已成 為相關(guān)領(lǐng)域的研究熱點(diǎn)，其中的顏色編輯處理技術(shù)近年來(lái)倍受研究人員關(guān)注。
[0003] 目前，圍繞顏色處理技術(shù)的功能、性能和用戶友好度=個(gè)方面，研究者希望能為廣 大用戶提供具有較強(qiáng)功能、性能優(yōu)越、使用方便的顏色處理工具，并將其廣泛應(yīng)用于影視特 效、計(jì)算機(jī)游戲、動(dòng)畫(huà)制作、虛擬現(xiàn)實(shí)等多個(gè)領(lǐng)域中，運(yùn)將有助于推動(dòng)我國(guó)影視動(dòng)漫、互動(dòng)娛 樂(lè)等數(shù)字內(nèi)容產(chǎn)業(yè)的發(fā)展。現(xiàn)有的顏色處理技術(shù)主要設(shè)及兩種類型：用戶交互指定顏色的 方式和用戶提供實(shí)例圖像的方式。
[0004] 重復(fù)場(chǎng)景元素在自然圖像中是普遍存在的，且在外觀上具有一定相似性的特點(diǎn)。 在對(duì)運(yùn)類自然圖像進(jìn)行局部或全局的編輯處理中，基于用戶交互指定顏色的彩色化方法需 要在待編輯區(qū)域內(nèi)標(biāo)注部分顏色信息，W獲取整幅圖像的彩色化效果。而運(yùn)類方法未考慮 自然圖像中具有大量重復(fù)場(chǎng)景元素的情況，因而往往需要標(biāo)注大量的顏色線條:一方面，顏 色編輯過(guò)程中無(wú)法保持重復(fù)場(chǎng)景元素顏色風(fēng)格的一致及空間上的連續(xù)；另一方面，在進(jìn)行 用戶標(biāo)記的時(shí)候需要在區(qū)域邊緣的地方進(jìn)行仔細(xì)的標(biāo)記，運(yùn)使得標(biāo)記工作耗時(shí)耗力。而用 戶提供實(shí)例圖像的方式需要尋找合適的參考圖像才能獲得令人滿意的效果，很大程度上增 加了顏色編輯的難度，限制了圖像處理的質(zhì)量。

【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有顏色編輯方法無(wú)法保持重復(fù)場(chǎng)景元素顏色風(fēng)格的一致及空間上的連續(xù)， 標(biāo)記工作耗時(shí)耗力，顏色編輯難度大，圖像處理質(zhì)量差的缺陷，本發(fā)明提出如下技術(shù)方案：
[0006] -種具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯方法，包括：
[0007] 對(duì)待編輯的自然圖像通過(guò)超像素分割方法進(jìn)行圖像預(yù)處理，W將所述自然圖像劃 分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域；
[000引其中，所述自然圖像為具有重復(fù)場(chǎng)景元素的自然景觀圖像；
[0009] 提取所述自然圖像的顏色特征和紋理特征，并根據(jù)所述顏色特征和紋理特征構(gòu)建 特征空間向量；
[0010] 根據(jù)所述特征空間向量對(duì)所述預(yù)設(shè)數(shù)量的圖像子塊區(qū)域進(jìn)行聚類處理，W根據(jù)所 述聚類處理的結(jié)果對(duì)所述自然圖像進(jìn)行局部顏色分配；
[0011] 通過(guò)全局優(yōu)化算法對(duì)經(jīng)過(guò)局部顏色分配的自然圖像進(jìn)行顏色傳遞，W獲取顏色編 輯結(jié)果圖像。
[0012] 可選地，所述對(duì)待編輯的自然圖像通過(guò)超像素分割方法進(jìn)行圖像預(yù)處理，W將所 述自然圖像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域，包括：
[0013] 針對(duì)所述自然圖像的不同區(qū)域進(jìn)行預(yù)設(shè)顏色的線條標(biāo)記；
[0014] 根據(jù)所述線條標(biāo)記的結(jié)果確定標(biāo)記的所述顏色線條的集合S={si，....，sj，...， sm}；
[0015] 為所述顏色線條集合分配對(duì)應(yīng)的顏色標(biāo)簽值4 = {4,，....與,，...，4"};
[0016] 其中，Sj表示第j個(gè)顏色對(duì)應(yīng)的顏色線條，且Sj的取值為所述顏色線條Sj覆蓋的像 素點(diǎn)的總數(shù)目；M為所述顏色線條的總數(shù)目；與為所述顏色線條S苗4應(yīng)的顏色標(biāo)簽值；
[0017] 采用超像素分割方法將所述自然圖像的像素點(diǎn)聚合成超像素，W根據(jù)所述聚合的 結(jié)果將所述自然圖像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域。
[0018] 可選地，所述提取所述自然圖像的顏色特征和紋理特征，并根據(jù)所述顏色特征和 紋理特征構(gòu)建特征空間向量，包括：
[0019] 將所述自然圖像中某一像素點(diǎn)P的顏色特征用所述像素點(diǎn)P的鄰域內(nèi)顏色的均值 和標(biāo)準(zhǔn)差表示，W構(gòu)成顏色特征向量C= [CMean Cvar]T;
[0020] 其中，CMean和Cvar分別為所述像素點(diǎn)P的鄰域內(nèi)R、G和BS個(gè)通道的均值和方差；
[0021 ]采用傳統(tǒng)的伽柏小波變換Gabor Wavelet Transform方法對(duì)所述自然圖像進(jìn)行紋 理特征分析，并確定影響紋理分析的參數(shù)窗口大小W、尺度值m和方向值n的取值；
[0022] 逐行掃描所述自然圖像，針對(duì)W每個(gè)像素為中屯、的wXw大小的子塊，在多尺度和 多方向上進(jìn)行紋理特征統(tǒng)計(jì)，W獲得變換系數(shù)；
[0023] 計(jì)算每個(gè)尺度及方向上所述變換系數(shù)的均值和標(biāo)準(zhǔn)差化，其中，i = l，…，m，j =1，...，n;
[0024] 根據(jù)所述每個(gè)尺度及方向上所述變換系數(shù)的均值iiu和標(biāo)準(zhǔn)差確定紋理特征向 量W=[]i〇,0 〇0,0 ]i〇,l ... iVn 〇m,n]T;
[0025] 根據(jù)所述顏色特征向量C和所述紋理特征向量W確定所述自然圖像的特征空間向 量F=[C W]。
[0026] 可選地，所述根據(jù)所述特征空間向量對(duì)所述預(yù)設(shè)數(shù)量的圖像子塊區(qū)域進(jìn)行聚類處 理，W根據(jù)所述聚類處理的結(jié)果對(duì)所述自然圖像進(jìn)行局部顏色分配，包括：
[0027] 根據(jù)所述特征空間向量確定圖像子塊區(qū)域ri和圖像子塊區(qū)域n的外觀相似性程度 量D(ri，n)，所述外觀相似性程度量的計(jì)算公式為：
[0028]
(公戎一);；
[0029] 其中，F(xiàn)m、Fn分別為圖像子塊區(qū)域ri和圖像子塊區(qū)域rj中像素點(diǎn)的顏色特征向量;M 和N分別為圖像子塊區(qū)域ri和n中的總像素?cái)?shù)；
[0030] 采用加權(quán)的模糊C均值方法進(jìn)行圖像子塊區(qū)域的聚類，W將相似的圖像子塊區(qū)域 標(biāo)記為相同的類別標(biāo)簽；
[0031] 所沐橫糊C挽估中誤差巧數(shù)的計(jì)算公式為：
[003。
（公式二）；
[0033] 其中；
[0034]
[0035] (公式四);
[0036] 是第i個(gè)圖像子塊區(qū)域?qū)?yīng)于第j類顏色線條的隸屬度函數(shù)，且令一個(gè)圖像 子塊區(qū)域到各類顏色線條的隸屬度之和為l;D(ri，Sj)為圖像子塊區(qū)域ri和第j類顏色線條 的相似性程度，所述D(ri，Sj )由公式一計(jì)算得到;b取值為2;
[0037] 采用就近取整法將所述聚類的結(jié)果進(jìn)行去模糊化，W獲取所述圖像子塊區(qū)域的分 類標(biāo)記結(jié)果；
[0038] 根據(jù)所述分類標(biāo)記結(jié)果確定所述圖像子塊區(qū)域中各像素點(diǎn)的置信度值，W根據(jù)所 述置信度值的確定結(jié)果進(jìn)行局部顏色分配；
[0039] 所沐閣像子塊區(qū)城r 4中像素占 D的置信度conf (P，ri)的計(jì)算公式為：
[0040]
(會(huì)戎五)；
[0041] 其中，Mp為該像素點(diǎn)P所在區(qū)域ri對(duì)應(yīng)的顏色線條中的最佳匹配像素點(diǎn);D(p，Mp)為 像素點(diǎn)P與像素點(diǎn)Mp距離，所述D(p，Mp)由公式一計(jì)算得到。
[0042] 可選地，所述通過(guò)全局優(yōu)化算法對(duì)經(jīng)過(guò)局部顏色分配的自然圖像進(jìn)行顏色傳遞， 包括：
[0043] 通過(guò)最小化YUV顏色空間上的能量函數(shù)對(duì)經(jīng)過(guò)局部顏色分配的自然圖像進(jìn)行全局 優(yōu)化，所述能量函數(shù)的計(jì)算公式為：
[0044] (公式六）;
[0045]
[0046] (後戴毛）；
[0047] N(P)為像素點(diǎn)P的鄰域，q為鄰域N(P)中的像素點(diǎn);C(P)為P點(diǎn)的顏色值，分別為U通 道或V通道的值;Wpq為權(quán)值系數(shù)，表示當(dāng)像素點(diǎn)P和q在Y通道的值越相近時(shí)，其值越大，反之， 其值越小;Up和Op分別為P鄰域內(nèi)亮度的平均值和方差;Y(P)和Y(q)分別為像素點(diǎn)P和q在Y通 道的值。
[004引一種具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯裝置，包括：
[0049] 圖像預(yù)處理單元，用于對(duì)待編輯的自然圖像通過(guò)超像素分割方法進(jìn)行圖像預(yù)處 理，W將所述自然圖像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域；
[0050] 其中，所述自然圖像為具有重復(fù)場(chǎng)景元素的自然景觀圖像；
[0051] 特征空間向量構(gòu)建單元，用于提取所述自然圖像的顏色特征和紋理特征，并根據(jù) 所述顏色特征和紋理特征構(gòu)建特征空間向量；
[0052] 局部顏色分配單元，用于根據(jù)所述特征空間向量對(duì)所述預(yù)設(shè)數(shù)量的圖像子塊區(qū)域 進(jìn)行聚類處理，W根據(jù)所述聚類處理的結(jié)果對(duì)所述自然圖像進(jìn)行局部顏色分配；
[0053] 編輯結(jié)果圖像獲取單元，用于通過(guò)全局優(yōu)化算法對(duì)經(jīng)過(guò)局部顏色分配的自然圖像 進(jìn)行顏色傳遞，W獲取顏色編輯結(jié)果圖像。
[0054] 可選地，所述圖像預(yù)處理單元，進(jìn)一步用于：
[0055] 針對(duì)所述自然圖像的不同區(qū)域進(jìn)行預(yù)設(shè)顏色的線條標(biāo)記；
[0056] 根據(jù)所述線條標(biāo)記的結(jié)果確定標(biāo)記的所述顏色線條的集合S= {si,--,Sj,..., sm}；
[0化7]為所述顏色線條集合分配對(duì)應(yīng)的顏色標(biāo)簽值^ = {a,，...，A,，…，i,；| ；
[005引其中，Sj表示第j個(gè)顏色對(duì)應(yīng)的顏色線條，且Sj的取值為所述顏色線條Sj覆蓋的像 素點(diǎn)的總數(shù)目；M為所述顏色線條的總數(shù)目；A,為所述顏色線條S乃4應(yīng)的顏色標(biāo)簽值；
[0059] 采用超像素分割方法將所述自然圖像的像素點(diǎn)聚合成超像素，W根據(jù)所述聚合的 結(jié)果將所述自然圖像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域。
[0060] 可選地，所述特征空間向量構(gòu)建單元，進(jìn)一步用于：
[0061] 將所述自然圖像中某一像素點(diǎn)P的顏色特征用所述像素點(diǎn)P的鄰域內(nèi)顏色的均值 和標(biāo)準(zhǔn)差表示，W構(gòu)成顏色特征向量C= [CMean Cvar]T;
[00創(chuàng)其中，CMean和Cvar分別為所述像素點(diǎn)P的鄰域內(nèi)R、G和8;個(gè)通道的均值和方差；
[0063] 采用傳統(tǒng)的伽柏小波變換Gabor Wavelet Transform方法對(duì)所述自然圖像進(jìn)行紋 理特征分析，并確定影響紋理分析的參數(shù)窗口大小W、尺度值m和方向值n的取值；
[0064] 逐行掃描所述自然圖像，針對(duì)W每個(gè)像素為中屯、的wXw大小的子塊，在多尺度和 多方向上進(jìn)行紋理特征統(tǒng)計(jì)，W獲得變換系數(shù)；
[0065] 計(jì)算每個(gè)尺度及方向上所述變換系數(shù)的均值化j和標(biāo)準(zhǔn)差〇ij，其中，i = l，…，m，j =1，...，n;
[0066] 根據(jù)所述每個(gè)尺度及方向上所述變換系數(shù)的均值iiu和標(biāo)準(zhǔn)差確定紋理特征向 里W二[叫，0 00,0 ii0,l . . . iim,n 0m,n]；
[0067] 根據(jù)所述顏色特征向量C和所述紋理特征向量W確定所述自然圖像的特征空間向 量F=[C W]。
[0068] 可選地，所述局部顏色分配單元，進(jìn)一步用于：
[0069] 根據(jù)所述特征空間向量確定圖像子塊區(qū)域ri和圖像子塊區(qū)域n的外觀相似性程度 量Dbi ,rj)，所述外觀相似性程度量的計(jì)算公式為：
[0070]
(公或'一):；
[0071] 其中，F(xiàn)m、Fn分別為圖像子塊區(qū)域ri和圖像子塊區(qū)域rj中像素點(diǎn)的顏色特征向量;M 和N分別為圖像子塊區(qū)域ri和n中的總像素?cái)?shù)；
[0072] 采用加權(quán)的模糊C均值方法進(jìn)行圖像子塊區(qū)域的聚類，W將相似的圖像子塊區(qū)域 標(biāo)記為相同的類別標(biāo)簽；
[0073] 所述模糊C均值中誤差函數(shù)的計(jì)算公式為：
[0074]
(么式二）;
[0075] 其中；
[0076]
[0077]
[0078] 是第i個(gè)圖像子塊區(qū)域?qū)?yīng)于第j類顏色線條的隸屬度函數(shù)，且令一個(gè)圖像 子塊區(qū)域到各類顏色線條的隸屬度之和為l;D(ri，Sj)為圖像子塊區(qū)域ri和第j類顏色線條 的相似性程度，所述D(ri，Sj )由公式一計(jì)算得到;b取值為2;
[0079] 采用就近取整法將所述聚類的結(jié)果進(jìn)行去模糊化，W獲取所述圖像子塊區(qū)域的分 類標(biāo)記結(jié)果；
[0080] 根據(jù)所述分類標(biāo)記結(jié)果確定所述圖像子塊區(qū)域中各像素點(diǎn)的置信度值，W根據(jù)所 述置信度值的確定結(jié)果進(jìn)行局部顏色分配；
[0081] 所述圖像子塊區(qū)域ri中像素點(diǎn)P的置信度conf(p，r〇的計(jì)算公式為：
[0082]
(公式五）；
[0083] 其中，Mp為該像素點(diǎn)P所在區(qū)域ri對(duì)應(yīng)的顏色線條中的最佳匹配像素點(diǎn);D(p，Mp)為 像素點(diǎn)P與像素點(diǎn)Mp距離，所述D(p，Mp)由公式一計(jì)算得到。
[0084] 可選地，所述編輯結(jié)果圖像獲取單元，進(jìn)一步用于：
[0085] 通過(guò)最小化YUV顏色空間上的能量函數(shù)對(duì)經(jīng)過(guò)局部顏色分配的自然圖像進(jìn)行全局
1? ^女臺(tái)仁縣歲米^齡^本咎/入才屯*
[0086] (公式六）；
[0087]
[00則 （會(huì)式韋）；
[0089] N(P)為像素點(diǎn)P的鄰域，q為鄰域N(P)中的像素點(diǎn);C(P)為P點(diǎn)的顏色值，分別為U通 道或V通道的值;Wpq為權(quán)值系數(shù)，表示當(dāng)像素點(diǎn)P和q在Y通道的值越相近時(shí)，其值越大，反之， 其值越小;Up和Op分別為P鄰域內(nèi)亮度的平均值和方差;Y(P)和Y(q)分別為像素點(diǎn)P和q在Y通 道的值。
[0090] 本發(fā)明的具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯方法及裝置，通過(guò)利用超像素分 割方法將自然圖像劃分成圖像子塊區(qū)域，能夠使用圖像子塊區(qū)域代替像素點(diǎn)進(jìn)行顏色編 輯，極大地提高了顏色編輯的速度;并且，在提供少量用戶交互的情況下，根據(jù)重復(fù)場(chǎng)景元 素之間具有的外觀相似特性，通過(guò)定義魯棒的外觀相似性度量機(jī)制，能夠精確地聚類圖像 子塊區(qū)域，不僅能夠在顏色編輯結(jié)果中有效的保持重復(fù)場(chǎng)景元素顏色的一致性，而且能夠 實(shí)現(xiàn)不同標(biāo)記的圖像子塊區(qū)域的不同顏色的編輯，從而獲得豐富的顏色編輯結(jié)果。
【附圖說(shuō)明】
[0091] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā)明 的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可W根據(jù) 運(yùn)些附圖獲得其他的附圖。
[0092] 圖1為本發(fā)明一個(gè)實(shí)施例的具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯方法的流程 圖；
[0093] 圖2為本發(fā)明一個(gè)實(shí)施例的具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯裝置的結(jié)構(gòu)示 意圖；
[0094] 圖3為本發(fā)明一個(gè)實(shí)施例的具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯方法原理框架 圖；
[00%]圖4為本發(fā)明一個(gè)實(shí)施例的具有重復(fù)場(chǎng)景元素的自然圖像；
[0096] 圖5為本發(fā)明一個(gè)實(shí)施例的顏色線條標(biāo)記結(jié)果示意圖；
[0097] 圖6為本發(fā)明一個(gè)實(shí)施例的圖像預(yù)處理結(jié)果示意圖；
[0098] 圖7為本發(fā)明一個(gè)實(shí)施例的圖像子塊區(qū)域聚類結(jié)果示意圖；
[0099] 圖8為本發(fā)明一個(gè)實(shí)施例的圖像子塊區(qū)域顏色分配結(jié)果；
[0100] 圖9為本發(fā)明一個(gè)實(shí)施例的具有重復(fù)場(chǎng)景元素的自然圖像的局部顏色編輯結(jié)果；
[0101] 圖10為本發(fā)明一個(gè)實(shí)施例的具有重復(fù)場(chǎng)景元素的自然圖像的全局顏色編輯結(jié)果。
【具體實(shí)施方式】
[0102] 為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚地描述，顯然，所描述的實(shí)施例是本發(fā)明 一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有 做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0103] 圖1為本發(fā)明一個(gè)實(shí)施例的具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯方法的流程 圖；如圖1所示，該方法包括：
[0104] SI:對(duì)待編輯的自然圖像通過(guò)超像素分割方法進(jìn)行圖像預(yù)處理，W將所述自然圖 像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域；
[0105] 其中，所述自然圖像為具有重復(fù)場(chǎng)景元素的自然景觀圖像；
[0106] S2:提取所述自然圖像的顏色特征和紋理特征，并根據(jù)所述顏色特征和紋理特征 構(gòu)建特征空間向量；
[0107] S3:根據(jù)所述特征空間向量對(duì)所述預(yù)設(shè)數(shù)量的圖像子塊區(qū)域進(jìn)行聚類處理，W根 據(jù)所述聚類處理的結(jié)果對(duì)所述自然圖像進(jìn)行局部顏色分配；
[0108] S4:通過(guò)全局優(yōu)化算法對(duì)經(jīng)過(guò)局部顏色分配的自然圖像進(jìn)行顏色傳遞，W獲取顏 色編輯結(jié)果圖像。
[0109] 本實(shí)施例的具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯方法，通過(guò)利用超像素分割方 法將自然圖像劃分成圖像子塊區(qū)域，能夠使用圖像子塊區(qū)域代替像素點(diǎn)進(jìn)行顏色編輯，極 大地提高了顏色編輯的速度;并且，在提供少量用戶交互的情況下，根據(jù)重復(fù)場(chǎng)景元素之間 具有的外觀相似特性，通過(guò)定義魯棒的外觀相似性度量機(jī)制，能夠精確地聚類圖像子塊區(qū) 域，不僅能夠在顏色編輯結(jié)果中有效的保持重復(fù)場(chǎng)景元素顏色的一致性，而且能夠?qū)崿F(xiàn)不 同標(biāo)記的圖像子塊區(qū)域的不同顏色的編輯，從而獲得豐富的顏色編輯結(jié)果。
[0110] 作為本實(shí)施例的優(yōu)選，步驟Sl中對(duì)待編輯的自然圖像通過(guò)超像素分割方法進(jìn)行圖 像預(yù)處理，W將所述自然圖像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域，可進(jìn)一步包括：
[0111] Sl 1:針對(duì)所述自然圖像的不同區(qū)域進(jìn)行預(yù)設(shè)顏色的線條標(biāo)記；
[0112] S12:根據(jù)所述線條標(biāo)記的結(jié)果確定標(biāo)記的所述顏色線條的集合S= ki，....， Sj,? ? ? ,sm};
[0113] S13:為所述顏色線條集合分配對(duì)應(yīng)的顏色標(biāo)簽值= {4,….，與,，...，4,,};
[0114] 其中，Sj表示第j個(gè)顏色對(duì)應(yīng)的顏色線條，且Sj的取值為所述顏色線條Sj覆蓋的像 素點(diǎn)的總數(shù)目；M為所述顏色線條的總數(shù)目；鳴為所述顏色線條S乃4應(yīng)的顏色標(biāo)簽值；
[0115] S14:采用超像素分割方法將所述自然圖像的像素點(diǎn)聚合成超像素，W根據(jù)所述聚 合的結(jié)果將所述自然圖像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域。
[0116] 作為本實(shí)施例的優(yōu)選，步驟S2中提取所述自然圖像的顏色特征和紋理特征，并根 據(jù)所述顏色特征和紋理特征構(gòu)建特征空間向量，可進(jìn)一步包括：
[0117] S21:將所述自然圖像中某一像素點(diǎn)P的顏色特征用所述像素點(diǎn)P的鄰域內(nèi)顏色的 均值和標(biāo)準(zhǔn)差表示，W構(gòu)成顏色特征向量C= [CMean Cvar]T;
[01 1 8]其中，CMean和Cvar分別為所述像素點(diǎn)P的鄰域內(nèi)R、G和BS個(gè)通道的均值和方差； [0119] S22:采用傳統(tǒng)的伽柏小波變換Gabor Wavelet Transform方法對(duì)所述自然圖像進(jìn) 行紋理特征分析，并確定影響紋理分析的參數(shù)窗口大小W、尺度值m和方向值n的取值；
[0120] S23:逐行掃描所述自然圖像，針對(duì)W每個(gè)像素為中屯、的wXw大小的子塊，在多尺 度和多方向上進(jìn)行紋理特征統(tǒng)計(jì)，W獲得變換系數(shù)；
[0121] S24:計(jì)算每個(gè)尺度及方向上所述變換系數(shù)的均值化神日標(biāo)準(zhǔn)差OU，其中，i = l，…， m，j = l，...，n;
[0122] S25:根據(jù)所述每個(gè)尺度及方向上所述變換系數(shù)的均值iiu和標(biāo)準(zhǔn)差〇。確定紋理特 化向里胖二山0,0 〇0,0 ii〇,l . . . iim,n 〇m,n];
[0123] S26:根據(jù)所述顏色特征向量C和所述紋理特征向量W確定所述自然圖像的特征空 間向量F=[C W]。
[0124] 作為本實(shí)施例的優(yōu)選，步驟S3中根據(jù)所述特征空間向量對(duì)所述預(yù)設(shè)數(shù)量的圖像子 塊區(qū)域進(jìn)行聚類處理，W根據(jù)所述聚類處理的結(jié)果對(duì)所述自然圖像進(jìn)行局部顏色分配，可 進(jìn)一步包括：
[0125] S31:根據(jù)所述特征空間向量確定圖像子塊區(qū)域ri和圖像子塊區(qū)域n的外觀相似性 程度量D(ri，n)，所述外觀相似性程度量的計(jì)算公式為：
[0126]
(公式一)；
[0127] 其中，F(xiàn)m、Fn分別為圖像子塊區(qū)域ri和圖像子塊區(qū)域r沖像素點(diǎn)的顏色特征向量;M 和N分別為圖像子塊區(qū)域ri和n中的總像素?cái)?shù)；
[0128] S32:采用加權(quán)的模糊C均值方法進(jìn)行圖像子塊區(qū)域的聚類，W將相似的圖像子塊 區(qū)域標(biāo)記為相同的類別標(biāo)簽；
[0129] 所述模糊C均值中誤差函數(shù)的計(jì)算公式為：
[0130] 'sT-），
[0131]
[0132] 「 I (公式四）:
[0133]
[0134] 托,）是第i個(gè)圖像子塊區(qū)域?qū)?yīng)于第j類顏色線條的隸屬度函數(shù)，且令一個(gè)圖像 子塊區(qū)域到各類顏色線條的隸屬度之和為l;D(ri，Sj)為圖像子塊區(qū)域ri和第j類顏色線條 的相似性程度，所述D(ri，Sj )由公式一計(jì)算得到;b取值為2;
[0135] S33:采用就近取整法將所述聚類的結(jié)果進(jìn)行去模糊化，W獲取所述圖像子塊區(qū)域 的分類標(biāo)記結(jié)果；
[0136] S34:根據(jù)所述分類標(biāo)記結(jié)果確定所述圖像子塊區(qū)域中各像素點(diǎn)的置信度值，W根 據(jù)所述置信度值的確定結(jié)果進(jìn)行局部顏色分配；
[0137] 所述圖像子塊區(qū)域ri中像素點(diǎn)P的置信度conf(p，r〇的計(jì)算公式為：
[013引
（公式五）；
[0139] 其中，Mp為該像素點(diǎn)P所在區(qū)域ri對(duì)應(yīng)的顏色線條中的最佳匹配像素點(diǎn);D(p，Mp)為 像素點(diǎn)P與像素點(diǎn)Mp距離，所述D(p，Mp)由公式一計(jì)算得到。
[0140] 作為本實(shí)施例的優(yōu)選，步驟S4中通過(guò)全局優(yōu)化算法對(duì)經(jīng)過(guò)局部顏色分配的自然圖 像進(jìn)行顏色傳遞，可進(jìn)一步包括：
[0141 ] S41:通過(guò)最小化YUV顏色空間上的能量函數(shù)對(duì)經(jīng)過(guò)局部顏色分配的自然圖像進(jìn)行 全局優(yōu)化，所述能量函數(shù)的計(jì)算公式為：
[0142] (公式六）；
[0143]
[0144] (後式屯）；
[0145] WP j刃像奈巧P W鄰蝴，q刃鄰蝴WP j中的像素點(diǎn)；C(P)為P點(diǎn)的顏色值，分別為U通 道或V通道的值;Wpq為權(quán)值系數(shù)，表示當(dāng)像素點(diǎn)P和q在Y通道的值越相近時(shí)，其值越大，反之， 其值越小;Up和Op分別為P鄰域內(nèi)亮度的平均值和方差;Y(P)和Y(q)分別為像素點(diǎn)P和q在Y通 道的值。
[0146] 圖2為本發(fā)明一個(gè)實(shí)施例的具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯裝置的結(jié)構(gòu)示 意圖；如圖2所示，該裝置包括：
[0147] 圖像預(yù)處理單元10,用于對(duì)待編輯的自然圖像通過(guò)超像素分割方法進(jìn)行圖像預(yù)處 理，W將所述自然圖像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域；
[0148] 其中，所述自然圖像為具有重復(fù)場(chǎng)景元素的自然景觀圖像；
[0149] 特征空間向量構(gòu)建單元20,用于提取所述自然圖像的顏色特征和紋理特征，并根 據(jù)所述顏色特征和紋理特征構(gòu)建特征空間向量；
[0150] 局部顏色分配單元30,用于根據(jù)所述特征空間向量對(duì)所述預(yù)設(shè)數(shù)量的圖像子塊區(qū) 域進(jìn)行聚類處理，W根據(jù)所述聚類處理的結(jié)果對(duì)所述自然圖像進(jìn)行局部顏色分配；
[0151] 編輯結(jié)果圖像獲取單元40,用于通過(guò)全局優(yōu)化算法對(duì)經(jīng)過(guò)局部顏色分配的自然圖 像進(jìn)行顏色傳遞，W獲取顏色編輯結(jié)果圖像。
[0152] 本實(shí)施例所述的裝置可W用于執(zhí)行上述方法實(shí)施例，其原理和技術(shù)效果類似，此 處不再寶述。
[0153] 作為本實(shí)施例的優(yōu)選，圖像預(yù)處理單元10可進(jìn)一步用于：
[0154] 針對(duì)所述自然圖像的不同區(qū)域進(jìn)行預(yù)設(shè)顏色的線條標(biāo)記；
[0155] 根據(jù)所述線條標(biāo)記的結(jié)果確定標(biāo)記的所述顏色線條的集合S= {si,--,Sj,..., sm}；
[0156] 為所述顏色線條集合分配對(duì)應(yīng)的顏色標(biāo)簽值;
[0157] 其中，Sj表示第j個(gè)顏色對(duì)應(yīng)的顏色線條，且Sj的取值為所述顏色線條Sj覆蓋的像 素點(diǎn)的總數(shù)目；M為所述顏色線條的總數(shù)目；4,為所述顏色線條S乃4應(yīng)的顏色標(biāo)簽值；
[0158] 采用超像素分割方法將所述自然圖像的像素點(diǎn)聚合成超像素，W根據(jù)所述聚合的 結(jié)果將所述自然圖像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域。
[0159] 作為本實(shí)施例的優(yōu)選，特征空間向量構(gòu)建單元20可進(jìn)一步用于：
[0160] 將所述自然圖像中某一像素點(diǎn)P的顏色特征用所述像素點(diǎn)P的鄰域內(nèi)顏色的均值 和標(biāo)準(zhǔn)差表示，W構(gòu)成顏色特征向量C= [CMean Cvar]T;
[0161] 其中，CMean和Cvar分別為所述像素點(diǎn)P的鄰域內(nèi)R、G和8;個(gè)通道的均值和方差；
[0162] 采用傳統(tǒng)的伽柏小波變換Gabor Wavelet Transform方法對(duì)所述自然圖像進(jìn)行紋 理特征分析，并確定影響紋理分析的參數(shù)窗口大小W、尺度值m和方向值n的取值；
[0163] 逐行掃描所述自然圖像，針對(duì)W每個(gè)像素為中屯、的wXw大小的子塊，在多尺度和 多方向上進(jìn)行紋理特征統(tǒng)計(jì)，W獲得變換系數(shù)；
[0164] 計(jì)算每個(gè)尺度及方向上所述變換系數(shù)的均值化神日標(biāo)準(zhǔn)差〇。，其中，i = l，…，m，j =1，...，n;
[0165] 根據(jù)所述每個(gè)尺度及方向上所述變換系數(shù)的均值iiu和標(biāo)準(zhǔn)差確定紋理特征向 里W二[叫，0 00,0 ii0,l . . . iim,n 0m,n]；
[0166] 根據(jù)所述顏色特征向量C和所述紋理特征向量W確定所述自然圖像的特征空間向 量F=[C W]。
[0167] 作為本實(shí)施例的優(yōu)選，局部顏色分配單元30可進(jìn)一步用于：
[0168] 根據(jù)所述特征空間向量確定圖像子塊區(qū)域ri和圖像子塊區(qū)域n的外觀相似性程度 量Dbi ,rj)，所述外觀相似性程度量的計(jì)算公式為：
[0169]
(公式一)；
[0170] 其中，F(xiàn)m、Fn分別為圖像子塊區(qū)域ri和圖像子塊區(qū)域rj中像素點(diǎn)的顏色特征向量;M 和N分別為圖像子塊區(qū)域ri和n中的總像素?cái)?shù)；
[0171] 采用加權(quán)的模糊C均值方法進(jìn)行圖像子塊區(qū)域的聚類，W將相似的圖像子塊區(qū)域 標(biāo)記為相同的類別標(biāo)簽；
[0172] 所述模糊C均值中誤差函數(shù)的計(jì)算公式為：
[017引 或二
[0174]
[0175]
[0176] (娜)；
[0177] <</(4,)是第i個(gè)圖像子塊區(qū)域?qū)?yīng)于第j類顏色線條的隸屬度函數(shù)，且令一個(gè)圖像 子塊區(qū)域到各類顏色線條的隸屬度之和為l;D(ri，Sj)為圖像子塊區(qū)域ri和第j類顏色線條 的相似性程度，所述D(ri，Sj )由公式一計(jì)算得到;b取值為2;
[0178] 采用就近取整法將所述聚類的結(jié)果進(jìn)行去模糊化，W獲取所述圖像子塊區(qū)域的分 類標(biāo)記結(jié)果；
[0179] 根據(jù)所述分類標(biāo)記結(jié)果確定所述圖像子塊區(qū)域中各像素點(diǎn)的置信度值，W根據(jù)所 述置信度值的確定結(jié)果進(jìn)行局部顏色分配；
[0180] 所述圖像子塊區(qū)域ri中像素點(diǎn)P的置信度conf(p，r〇的計(jì)算公式為：
[0181]
(公式五）；
[0182] 其中，Mp為該像素點(diǎn)P所在區(qū)域ri對(duì)應(yīng)的顏色線條中的最佳匹配像素點(diǎn);D(p，Mp)為 像素點(diǎn)P與像素點(diǎn)Mp距離，所述D(p，Mp)由公式一計(jì)算得到。
[0183] 作為本實(shí)施例的優(yōu)選，編輯結(jié)果圖像獲取單元40可進(jìn)一步用于：
[0184] 通過(guò)最小化YUV顏色空間上的能量函數(shù)對(duì)經(jīng)過(guò)局部顏色分配的自然圖像進(jìn)行全局 優(yōu)化，所述能量函數(shù)的計(jì)算公式為：
[0185] (.簽戎巧）；
[0186]
[0187] (公或屯）；
[0188] N(P)為像素點(diǎn)P的鄰域，q為鄰域N(P)中的像素點(diǎn);C(P)為P點(diǎn)的顏色值，分別為U通 道或V通道的值;Wpq為權(quán)值系數(shù)，表示當(dāng)像素點(diǎn)P和q在Y通道的值越相近時(shí)，其值越大，反之， 其值越小;Up和Op分別為P鄰域內(nèi)亮度的平均值和方差;Y(P)和Y(q)分別為像素點(diǎn)P和q在Y通 道的值。
[0189] 本實(shí)施例所述的裝置可W用于執(zhí)行上述方法實(shí)施例，其原理和技術(shù)效果類似，此 處不再寶述。
[0190] 下面W-具體的實(shí)施例來(lái)說(shuō)明本發(fā)明，但不限定本發(fā)明的保護(hù)范圍。圖3為本發(fā)明 一個(gè)實(shí)施例的具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯方法原理框架圖；如圖3所示，本實(shí)施 例的具有重復(fù)場(chǎng)景元素的復(fù)雜自然圖像顏色編輯方法的詳細(xì)步驟如下：
[0191] 步驟一：圖像的預(yù)處理
[0192] 首先，用戶僅需要對(duì)復(fù)雜自然圖像(參見(jiàn)圖4)的不同區(qū)域進(jìn)行少量的且粗略的顏 色線條標(biāo)記;對(duì)自然圖像進(jìn)行顏色線條標(biāo)記后，運(yùn)些標(biāo)記的顏色線條的總和用S表示，貝化= {Sl，....，Sj，...，Sm}，其中Sj表示某一顏色線條覆蓋的像素點(diǎn)的總數(shù)目；同時(shí)，為不同顏色 線條分配對(duì)應(yīng)的顏色標(biāo)簽值，表示為4 ，…，4。}，其中4,為顏色線條Sj對(duì)應(yīng)的顏色 標(biāo)簽值，M為線條標(biāo)記的總數(shù)目；在進(jìn)行圖像顏色線條標(biāo)記后，圖像預(yù)處理階段還采用超像 素分割方法將像素點(diǎn)聚合成超像素，W將圖像劃分成一定數(shù)量的圖像子塊區(qū)域;顏色線條 標(biāo)記結(jié)果和圖像的預(yù)分割結(jié)果分別如圖5、圖6所示。
[0193] 步驟二:特征空間的構(gòu)建
[0194] 首先，將圖像中某一像素點(diǎn)P的顏色特征用其鄰域內(nèi)顏色的均值和標(biāo)準(zhǔn)差表示，W 構(gòu)成顏色特征向量C= [CMean Cvar]T，其中，CMean和Cvar分別為其鄰域內(nèi)1?、6和6;個(gè)通道的均 值和方差；
[01巧]然后，采用傳統(tǒng)的伽柏小波變換(Gabor Wavelet化ansform)對(duì)樣本紋理圖像中 的紋理特征進(jìn)行分析，在對(duì)給定的復(fù)雜自然圖像進(jìn)行紋理特征分析時(shí)，確定影響紋理分析 的=個(gè)參數(shù)的取值，包括窗口大小W、尺度值m和方向值n的設(shè)置；
[0196]逐行掃描復(fù)雜自然圖像，對(duì)W每一個(gè)像素點(diǎn)為中屯、的wXw大小的子塊，需要先在 多尺度和多方向上進(jìn)行紋理特征統(tǒng)計(jì)，W獲得Gabor變換系數(shù)；
[0197]其次，計(jì)算每個(gè)尺度及方向上變換系數(shù)的均值化和標(biāo)準(zhǔn)差化。=1:111〇 = 1:]1);
[0198] 然后，獲得每個(gè)像素對(duì)應(yīng)的紋理特征T，即由運(yùn)運(yùn)些均值和標(biāo)準(zhǔn)差組成的特征向量 T=[ii0,0 00,0 ii0,l . . . iim,n 0m,n]；
[0199] 最后，復(fù)雜自然圖像的特征空間是由圖像中各像素點(diǎn)的顏色特征和紋理特征構(gòu)成 的特征向量F= [C T]。
[0200] 步驟基于局部特征相似的顏色分配
[0201] 首先，根據(jù)已構(gòu)建的特征空間，圖像子塊區(qū)域ri和圖像子塊區(qū)域n的外觀相似性度 量Dbi ,rj)定義如下：
[020^
( 1')
[0203] 其中，F(xiàn)m、Fn分別為圖像子塊區(qū)域ri和圖像子塊區(qū)域rj中像素點(diǎn)的顏色特征向量;M 和N分布為圖像子塊區(qū)域ri和n中的總像素?cái)?shù)。
[0204] 然后，采用加權(quán)的模糊C均值方法進(jìn)行圖像子塊區(qū)域的聚類，其目的是為了將相似 的圖像子塊區(qū)域標(biāo)記相同的類別標(biāo)簽，便于進(jìn)行局部的相似顏色分配。模糊C均值中誤差函 數(shù)定義如下：
[020引 C 2 )
[0206] ( 3 ) (4)
[0207]
[0208] 其中，)是第i個(gè)圖像子塊區(qū)域?qū)?yīng)與第j類顏色線條的隸屬度函數(shù)，且要求 一個(gè)圖像子塊區(qū)域到各類顏色線條的隸屬度之和為l;D(ri，Sj)為圖像子塊區(qū)域ri和第j類 顏色線條的相似性度，可由公式（1)計(jì)算求得到;b通常取值為2左右;采用就近取整法將模 糊聚類結(jié)果進(jìn)行去模糊化，具有相似特征的圖像子塊區(qū)域能夠準(zhǔn)確地進(jìn)行聚類，從而能夠 自動(dòng)地獲得圖像子塊區(qū)域分類標(biāo)記的結(jié)果。
[0209] 最后，根據(jù)圖像子塊聚類結(jié)果，通過(guò)計(jì)算圖像子塊區(qū)域中各像素點(diǎn)的置信度值，實(shí) 現(xiàn)具有較高置信度像素點(diǎn)的局部顏色分配。圖像子塊區(qū)域ri中像素點(diǎn)P的置信度conf(p，ri) 定義如了-
[0210] (5)
[0211]其中，Mp為該像素點(diǎn)P所在區(qū)域r擁應(yīng)的顏色線條中的最佳匹配像素點(diǎn)，D(p，Mp)為 像素點(diǎn)P與像素點(diǎn)Mp距離，由公式（1)計(jì)算得到。采用運(yùn)種局部顏色分配機(jī)制，能夠?qū)哂休^ 高置信度值的像素點(diǎn)進(jìn)行顏色信息分配。圖像子塊區(qū)域聚類結(jié)果和顏色分配結(jié)果分別如圖 7、圖8所示。
[0212] 步驟四：基于全局優(yōu)化的顏色傳遞
[0213] 在對(duì)自然圖像的局部區(qū)域分配顏色信息之后，為了對(duì)整幅自然圖像進(jìn)行顏色編輯 處理，采用全局優(yōu)化算法進(jìn)行顏色傳遞。全局優(yōu)化通過(guò)最小化YUV顏色空間上的能量函數(shù)實(shí) 現(xiàn)，能量巧逍女化下：
[0214] (6)
[0215] (7)
[0216] 其中，N(P)為像素點(diǎn)P的鄰域，q為鄰域N( P)中的像素點(diǎn);C (P)為P點(diǎn)的顏色值，分別 為U通道或V通道的值。Wpq為權(quán)值系數(shù)，表示當(dāng)像素點(diǎn)P和q在Y通道的值越相近時(shí)，其值越大； 反之，其值越小。叫和Op分別為P鄰域內(nèi)亮度的平均值和方差;Y(P)和Y(q)分別為像素點(diǎn)P和q 在Y通道的值，局部顏色編輯結(jié)果和全局顏色編輯結(jié)果分別如圖9、圖10所示。
[0217] 與現(xiàn)有技術(shù)相比，本發(fā)明提出的技術(shù)方案中通過(guò)利用超像素分割方法將圖像首先 劃分成一定數(shù)量的圖像子塊區(qū)域，此時(shí)能夠使用圖像子塊區(qū)域代替像素點(diǎn)進(jìn)行顏色編輯， 運(yùn)極大地提高了顏色編輯的速度。
[0218] 在提供少量用戶交互的情況下，根據(jù)重復(fù)場(chǎng)景元素之間具有的外觀相似特性，通 過(guò)定義魯棒的外觀相似性度量機(jī)制，能夠精確地聚類圖像子塊區(qū)域，運(yùn)不僅能夠在顏色編 輯結(jié)果中有效的保持重復(fù)場(chǎng)景元素顏色的一致性，而且能夠?qū)崿F(xiàn)不同標(biāo)記的圖像子塊區(qū)域 的不同顏色的編輯，從而獲得豐富的顏色編輯結(jié)果。
[0219] W上實(shí)施例僅用于說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述實(shí)施例 對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可W對(duì)前述各實(shí)施 例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換;而運(yùn)些修改或替 換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。
【主權(quán)項(xiàng)】
1. 一種具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯方法，其特征在于，包括： 對(duì)待編輯的自然圖像通過(guò)超像素分割方法進(jìn)行圖像預(yù)處理，以將所述自然圖像劃分成 預(yù)設(shè)數(shù)量的圖像子塊區(qū)域； 其中，所述自然圖像為具有重復(fù)場(chǎng)景元素的自然景觀圖像； 提取所述自然圖像的顏色特征和紋理特征，并根據(jù)所述顏色特征和紋理特征構(gòu)建特征 空間向量； 根據(jù)所述特征空間向量對(duì)所述預(yù)設(shè)數(shù)量的圖像子塊區(qū)域進(jìn)行聚類處理，以根據(jù)所述聚 類處理的結(jié)果對(duì)所述自然圖像進(jìn)行局部顏色分配； 通過(guò)全局優(yōu)化算法對(duì)經(jīng)過(guò)局部顏色分配的自然圖像進(jìn)行顏色傳遞，以獲取顏色編輯結(jié) 果圖像。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)待編輯的自然圖像通過(guò)超像素分割 方法進(jìn)行圖像預(yù)處理，以將所述自然圖像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域，包括： 針對(duì)所述自然圖像的不同區(qū)域進(jìn)行預(yù)設(shè)顏色的線條標(biāo)記； 根據(jù)所述線條標(biāo)記的結(jié)果確定標(biāo)記的所述顏色線條的集合S= {S1，....，，...，sM}; 為所述顏色線條集合分配對(duì)應(yīng)的顏色標(biāo)簽值= ; 其中，表示第j個(gè)顏色對(duì)應(yīng)的顏色線條，且的取值為所述顏色線條覆蓋的像素點(diǎn) 的總數(shù)目；Μ為所述顏色線條的總數(shù)目；'為所述顏色線條&對(duì)應(yīng)的顏色標(biāo)簽值； 采用超像素分割方法將所述自然圖像的像素點(diǎn)聚合成超像素，以根據(jù)所述聚合的結(jié)果 將所述自然圖像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域。3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取所述自然圖像的顏色特征和紋理 特征，并根據(jù)所述顏色特征和紋理特征構(gòu)建特征空間向量，包括： 將所述自然圖像中某一像素點(diǎn)Ρ的顏色特征用所述像素點(diǎn)Ρ的鄰域內(nèi)顏色的均值和標(biāo) 準(zhǔn)差表示，以構(gòu)成顏色特征向量C = [ Cm_ Cvar ]Τ ; 其中，Cm_和Cvar分別為所述像素點(diǎn)Ρ的鄰域內(nèi)R、G和Β三個(gè)通道的均值和方差； 采用傳統(tǒng)的伽柏小波變換Gabor Wave 1 et Transform方法對(duì)所述自然圖像進(jìn)行紋理特 征分析，并確定影響紋理分析的參數(shù)窗口大小w、尺度值m和方向值η的取值； 逐行掃描所述自然圖像，針對(duì)以每個(gè)像素為中心的wXw大小的子塊，在多尺度和多方 向上進(jìn)行紋理特征統(tǒng)計(jì)，以獲得變換系數(shù)； 計(jì)算每個(gè)尺度及方向上所述變換系數(shù)的均值和標(biāo)準(zhǔn)差〇ij，其中，i = 1，…，m，j = 1，…，n; 根據(jù)所述每個(gè)尺度及方向上所述變換系數(shù)的均值和標(biāo)準(zhǔn)差〇^確定紋理特征向量 [U〇,0 〇0,0 U〇，l · · · Um，n 〇m，n]; 根據(jù)所述顏色特征向量C和所述紋理特征向量W確定所述自然圖像的特征空間向量F = [C ff]o4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述特征空間向量對(duì)所述預(yù)設(shè)數(shù) 量的圖像子塊區(qū)域進(jìn)行聚類處理，以根據(jù)所述聚類處理的結(jié)果對(duì)所述自然圖像進(jìn)行局部顏 色分配，包括： 根據(jù)所述特征空間向量確定圖像子塊區(qū)域rdP圖像子塊區(qū)域^的外觀相似性程度量D (η，η)，所述外觀相似性程度量的計(jì)算公式為：其中，F(xiàn)m、Fn分別為圖像子塊區(qū)域rdP圖像子塊區(qū)域^中像素點(diǎn)的顏色特征向量;Μ和Ν分 別為圖像子塊區(qū)域rdPn中的總像素?cái)?shù)； 采用加權(quán)的模糊C均值方法進(jìn)行圖像子塊區(qū)域的聚類，以將相似的圖像子塊區(qū)域標(biāo)記 為相同的類別標(biāo)簽； 所述模糊C均值中誤差函數(shù)的計(jì)算公式為：?,(&)是第i個(gè)圖像子塊區(qū)域?qū)?yīng)于第j類顏色線條的隸屬度函數(shù)，且令一個(gè)圖像子塊 區(qū)域到各類顏色線條的隸屬度之和為l;D(ri，Sj)為圖像子塊區(qū)域^和第j類顏色線條的相 似性程度，所述D( ri，s」）由公式一計(jì)算得到;b取值為2; 采用就近取整法將所述聚類的結(jié)果進(jìn)行去模糊化，以獲取所述圖像子塊區(qū)域的分類標(biāo) 記結(jié)果； 根據(jù)所述分類標(biāo)記結(jié)果確定所述圖像子塊區(qū)域中各像素點(diǎn)的置信度值，以根據(jù)所述置 信度值的確定結(jié)果進(jìn)行局部顏色分配； 所述圖像子塊區(qū)域r沖像素點(diǎn)p的置信度conf(p，ri)的計(jì)算公式為：其中，MP為該像素點(diǎn)p所在區(qū)域^對(duì)應(yīng)的顏色線條中的最佳匹配像素點(diǎn);D(p，MP)為像素 點(diǎn)P與像素點(diǎn)仏距離，所述D(p，MP)由公式一計(jì)算得到。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)全局優(yōu)化算法對(duì)經(jīng)過(guò)局部顏色分 配的自然圖像進(jìn)行顏色傳遞，包括： 通過(guò)最小化YUV顏色空間上的能量函數(shù)對(duì)經(jīng)過(guò)局部顏色分配的自然圖像進(jìn)行全局優(yōu) 化，所述能量函數(shù)的計(jì)算公式為： 其中：N( p)為像素點(diǎn)p的鄰域，q為鄰域N (p)中的像素點(diǎn);C (p)為p點(diǎn)的顏色值，分別為U通道或 V通道的值;Wpq為權(quán)值系數(shù)，表示當(dāng)像素點(diǎn)P和q在Y通道的值越相近時(shí)，其值越大，反之，其值 越小;UP和σρ分別為ρ鄰域內(nèi)亮度的平均值和方差;Υ(ρ)和Y(q)分別為像素點(diǎn)ρ和q在Υ通道的 值。 6 . -種具有重復(fù)場(chǎng)景元素的自然圖像顏色編輯裝置，其特征在于，包括： 圖像預(yù)處理單元，用于對(duì)待編輯的自然圖像通過(guò)超像素分割方法進(jìn)行圖像預(yù)處理，以 將所述自然圖像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域； 其中，所述自然圖像為具有重復(fù)場(chǎng)景元素的自然景觀圖像； 特征空間向量構(gòu)建單元，用于提取所述自然圖像的顏色特征和紋理特征，并根據(jù)所述 顏色特征和紋理特征構(gòu)建特征空間向量； 局部顏色分配單元，用于根據(jù)所述特征空間向量對(duì)所述預(yù)設(shè)數(shù)量的圖像子塊區(qū)域進(jìn)行 聚類處理，以根據(jù)所述聚類處理的結(jié)果對(duì)所述自然圖像進(jìn)行局部顏色分配； 編輯結(jié)果圖像獲取單元，用于通過(guò)全局優(yōu)化算法對(duì)經(jīng)過(guò)局部顏色分配的自然圖像進(jìn)行 顏色傳遞，以獲取顏色編輯結(jié)果圖像。7. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述圖像預(yù)處理單元，進(jìn)一步用于： 針對(duì)所述自然圖像的不同區(qū)域進(jìn)行預(yù)設(shè)顏色的線條標(biāo)記； 根據(jù)所述線條標(biāo)記的結(jié)果確定標(biāo)記的所述顏色線條的集合S= {S1，....，，...，sm}; 為所述顏色線條集合分配對(duì)應(yīng)的顏色標(biāo)簽值Λ 4^.，為 其中，^表示第j個(gè)顏色對(duì)應(yīng)的顏色線條，且~的取值為所述顏色線條~覆蓋的像素點(diǎn) 的總數(shù)目；Μ為所述顏色線條的總數(shù)目；氣為所述顏色線條~對(duì)應(yīng)的顏色標(biāo)簽值； 采用超像素分割方法將所述自然圖像的像素點(diǎn)聚合成超像素，以根據(jù)所述聚合的結(jié)果 將所述自然圖像劃分成預(yù)設(shè)數(shù)量的圖像子塊區(qū)域。8. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述特征空間向量構(gòu)建單元，進(jìn)一步用于： 將所述自然圖像中某一像素點(diǎn)Ρ的顏色特征用所述像素點(diǎn)Ρ的鄰域內(nèi)顏色的均值和標(biāo) 準(zhǔn)差表示，以構(gòu)成顏色特征向量C = [ Cm_ Cvar ]Τ ; 其中，Cm_和Cvar分別為所述像素點(diǎn)Ρ的鄰域內(nèi)R、G和Β三個(gè)通道的均值和方差； 采用傳統(tǒng)的伽柏小波變換Gabor Wave 1 et Transform方法對(duì)所述自然圖像進(jìn)行紋理特 征分析，并確定影響紋理分析的參數(shù)窗口大小w、尺度值m和方向值η的取值； 逐行掃描所述自然圖像，針對(duì)以每個(gè)像素為中心的wXw大小的子塊，在多尺度和多方 向上進(jìn)行紋理特征統(tǒng)計(jì)，以獲得變換系數(shù)； 計(jì)算每個(gè)尺度及方向上所述變換系數(shù)的均值和標(biāo)準(zhǔn)差〇ij，其中，i = 1，…，m，j = 1，…，n; 根據(jù)所述每個(gè)尺度及方向上所述變換系數(shù)的均值和標(biāo)準(zhǔn)差〇^確定紋理特征向量 [U〇,0 〇0,0 U〇，l · · · Um，n 〇m，n]; 根據(jù)所述顏色特征向量C和所述紋理特征向量W確定所述自然圖像的特征空間向量F = [C ff]o9. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述局部顏色分配單元，進(jìn)一步用于： 根據(jù)所述特征空間向量確定圖像子塊區(qū)域rdP圖像子塊區(qū)域^的外觀相似性程度量D (^，〇)，所述外觀相似性程度量的計(jì)算公式為：(公式一）； 其中，F(xiàn)m、Fn分別為圖像子塊區(qū)域rdP圖像子塊區(qū)域^中像素點(diǎn)的顏色特征向量;Μ和N分 別為圖像子塊區(qū)域rdPn中的總像素?cái)?shù)； 采用加權(quán)的模糊C均值方法進(jìn)行圖像子塊區(qū)域的聚類，以將相似的圖像子塊區(qū)域標(biāo)記 為相同的類別標(biāo)簽； 所述模糊C均值中誤差函數(shù)的計(jì)算公式為： K-1?,·(&)是第i個(gè)圖像子塊區(qū)域?qū)?yīng)于第j類顏色線條的隸屬度函數(shù)，且令一個(gè)圖像子塊 區(qū)域到各類顏色線條的隸屬度之和為l;D(ri，Sj)為圖像子塊區(qū)域^和第j類顏色線條的相 似性程度，所述D( ri，s」）由公式一計(jì)算得到;b取值為2; 采用就近取整法將所述聚類的結(jié)果進(jìn)行去模糊化，以獲取所述圖像子塊區(qū)域的分類標(biāo) 記結(jié)果； 根據(jù)所述分類標(biāo)記結(jié)果確定所述圖像子塊區(qū)域中各像素點(diǎn)的置信度值，以根據(jù)所述置 信度值的確定結(jié)果進(jìn)行局部顏色分配； 所述圖像子塊區(qū)域r沖像素點(diǎn)p的置信度conf(p，ri)的計(jì)算公式為：其中，MP為該像素點(diǎn)p所在區(qū)域^對(duì)應(yīng)的顏色線條中的最佳匹配像素點(diǎn);D(p，MP)為像素 點(diǎn)P與像素點(diǎn)仏距離，所述D(p，MP)由公式一計(jì)算得到。10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述編輯結(jié)果圖像獲取單元，進(jìn)一步用 于： 通過(guò)最小化YUV顏色空間上的能量函數(shù)對(duì)經(jīng)過(guò)局部顏色分配的自然圖像進(jìn)行全局優(yōu) 化，所述能量函數(shù)的計(jì)算公式為： 其中：N( p)為像素點(diǎn)p的鄰域，q為鄰域N (p)中的像素點(diǎn);C (p)為p點(diǎn)的顏色值，分別為U通道或 V通道的值;wPq為權(quán)值系數(shù)，表示當(dāng)像素點(diǎn)p和q在Y通道的值越相近時(shí)，其值越大，反之，其值 越小;Up和σρ分別為p鄰域內(nèi)亮度的平均值和方差;γ(ρ)和Y(q)分別為像素點(diǎn)p和q在γ通道的 值。
【文檔編號(hào)】G06T11/60GK105957124SQ201610248743
【公開(kāi)日】2016年9月21日
【申請(qǐng)日】2016年4月20日
【發(fā)明人】張建明, 桂彥, 何豪杰, 李峰
【申請(qǐng)人】長(zhǎng)沙理工大學(xué)