一種運(yùn)筆動作捕捉系統(tǒng)、裝置及繪畫風(fēng)格仿真方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及的是一種運(yùn)筆動作捕捉系統(tǒng)、裝置及繪畫風(fēng) 格仿真方法。
【背景技術(shù)】
[0002] 近年來，中國數(shù)字內(nèi)容產(chǎn)業(yè)飛躍蓬勃發(fā)展，尤其是動畫、游戲等數(shù)字娛樂產(chǎn)品水平 進(jìn)步飛速，已經(jīng)有逐步趕超外國產(chǎn)品勢頭。然而，隨著市場的日趨成熟，消費(fèi)者對于數(shù)字娛 樂產(chǎn)品不論是數(shù)量還是質(zhì)量的要求不斷提升。由此，在數(shù)字娛樂產(chǎn)品(游戲、動漫)生產(chǎn)環(huán)節(jié) 中，對內(nèi)容創(chuàng)作平臺及數(shù)字內(nèi)容數(shù)據(jù)處理技術(shù)提出了更加嚴(yán)苛的要求。為此，如何能夠加速 動漫、游戲等高質(zhì)量數(shù)字娛樂產(chǎn)品的生產(chǎn)成為目前行業(yè)面臨的挑戰(zhàn)。從數(shù)碼手繪技術(shù)角度， 著重解決數(shù)碼繪畫風(fēng)格化效果質(zhì)量和產(chǎn)量的提升問題。
[0003] 計(jì)算機(jī)圖形學(xué)被廣泛地應(yīng)用于數(shù)字內(nèi)容處理領(lǐng)域。尤其是非真實(shí)繪制技術(shù)、手繪 藝術(shù)風(fēng)格化繪制被廣泛地實(shí)現(xiàn)在數(shù)字創(chuàng)意軟件工具(如：Adobe Photoshop，Corel Painter 和G頂P繪畫工具軟件等）當(dāng)中。藝術(shù)家利用這些軟件，創(chuàng)作出了動漫、游戲中栩栩如生的 角色、宏大逼真的場景和美輪美奐的視覺特效。在眾多仿自然手繪效果算法當(dāng)中，基于筆畫 的繪制方式是被應(yīng)用最為廣泛的方式，被大量應(yīng)用在動畫、游戲的角色、道具和場景可視化 效果中。
[0004] 現(xiàn)有相關(guān)繪畫軟件產(chǎn)品當(dāng)中的工作流程主要采用筆刷紋理位圖復(fù)用的方式，即： 將現(xiàn)有筆觸紋理貼圖進(jìn)行剪裁、變形及拼接來完成預(yù)生成新的筆觸效果生成。然而，為了創(chuàng) 作出更加逼真的角色和宏大的場景，設(shè)計(jì)師不得不對每個筆觸進(jìn)行精細(xì)的手動調(diào)整。這一 過度依賴手動且繁瑣而耗時的操作成為了制約數(shù)字內(nèi)容創(chuàng)作瓶頸之一。更重要的是，為了 同一系列數(shù)字娛樂作品在藝術(shù)風(fēng)格上的統(tǒng)一性，設(shè)計(jì)師團(tuán)隊(duì)需要對參數(shù)調(diào)整進(jìn)行一系列嚴(yán) 格的流程化規(guī)范操作。在本方法中認(rèn)定此類定制化的操作均視為"風(fēng)格化行為"。
[0005] 對于多人團(tuán)隊(duì)來說，想要實(shí)現(xiàn)作品的藝術(shù)風(fēng)格統(tǒng)一，每個成員都要進(jìn)行十分繁瑣 和耗時的標(biāo)準(zhǔn)化手動操作。由此可見，作品風(fēng)格化的手動設(shè)定操作成為了制約數(shù)字內(nèi)容創(chuàng) 作的另一個大瓶頸。綜上所述，由于創(chuàng)意軟件的數(shù)字內(nèi)容智能處理能力不足，導(dǎo)致"過度依 賴手動操作"和"藝術(shù)風(fēng)格化設(shè)定難"成為了阻礙文化創(chuàng)意產(chǎn)業(yè)，尤其是高質(zhì)量手繪風(fēng)格數(shù) 字內(nèi)容(動漫、游戲）產(chǎn)品生產(chǎn)的瓶頸。急需數(shù)字內(nèi)容的智能化處理技術(shù)來破解困局。針對 數(shù)字媒體內(nèi)容平臺的數(shù)字內(nèi)容智能處理及創(chuàng)作媒體軟件的關(guān)鍵技術(shù)，解決繪畫行為風(fēng)格學(xué) 習(xí)與模擬本身就是一個非常具有挑戰(zhàn)性的工作。
[0006] 而且傳統(tǒng)的藝術(shù)風(fēng)格化算法集中在于對畫作本身的分析與風(fēng)格特點(diǎn)表達(dá)。這類方 法只是單純的對靜態(tài)作品的分析，而且對風(fēng)格的分析是平面化、局部化和非連續(xù)化的。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于提供一種運(yùn)筆動作捕捉系統(tǒng)、裝置及繪畫風(fēng)格仿真方法，旨在 設(shè)計(jì)設(shè)備捕捉畫家的運(yùn)筆行為并通過計(jì)算機(jī)程序?qū)W習(xí)并模擬繪畫進(jìn)行輔助創(chuàng)作。
[0008] 本發(fā)明的上述技術(shù)目的是通過以下技術(shù)方案得以實(shí)現(xiàn)的： 一種運(yùn)筆動作捕捉系統(tǒng)，包括：主控制模塊，用于產(chǎn)生控制信號；視頻采集模塊，用于 采集圖像數(shù)據(jù)；影像投射模塊，用于視頻信號播放；數(shù)據(jù)存儲模塊，用于運(yùn)筆視頻數(shù)據(jù)的存 儲；處理模塊，用于筆刷的運(yùn)筆姿態(tài)數(shù)據(jù)的采樣、提取和同步化處理；所述的處理模塊設(shè)置 有為所述的視頻采集模塊采集得到的圖像數(shù)據(jù)構(gòu)建的用于生成原子特征信息樣本的特征 向量表達(dá)函數(shù)和反饋式風(fēng)格行為特征表達(dá)函數(shù)；且設(shè)置有智能輔助手繪風(fēng)格化優(yōu)化策略。
[0009] 視頻采集模塊采集到的圖像數(shù)據(jù)通過影像投射模塊視頻信號播放，然后處理模塊 根據(jù)特征向量表達(dá)函數(shù)、反饋式風(fēng)格行為特征表達(dá)函數(shù)和智能輔助手繪風(fēng)格化優(yōu)化策略進(jìn) 行運(yùn)筆姿態(tài)數(shù)據(jù)的采樣、提取和同步化處理，形成特定風(fēng)格并記錄在數(shù)據(jù)存儲模塊中。
[0010] 作為優(yōu)選，所述的特征向量表達(dá)函數(shù)嫌由原子特征構(gòu)建而來φ f丄Φ)，其 中涵f為原子特征向量:.s_y ;χ為μ維的二進(jìn)制標(biāo)記符，表征原子向量是否參與某一反饋 特征構(gòu)建中;Z和U代表先驗(yàn)知識，Z具體標(biāo)記某些原子特征參與反饋特征，U表示針對反饋特征， 某一對原子特征同時出現(xiàn)的概率分布。
[0011] 作為優(yōu)選，所述的反饋式風(fēng)格行為特征表達(dá)函數(shù)R為
其中，S表不某一時刻的狀態(tài)，a表不某一時刻的動作，f表不筆刷在某一時刻的姿態(tài)信 息，具體地，
[0012] 作為優(yōu)選，所述的智能輔助手繪風(fēng)格化優(yōu)化策略包括確定性決策 決策參數(shù)i是由具有超參數(shù)#的先驗(yàn)分布得來的；期望的反饋值可以表示為超參數(shù)P的形 式：
其中，為一組狀態(tài)和動作的數(shù)據(jù)，可以表示為_ 於最優(yōu)化從而得到最大值#彳:與，
。
[0013] 運(yùn)筆動作捕捉系統(tǒng)進(jìn)行繪畫風(fēng)格仿真方法，其特征在于，所述的方法包括如下步 驟： 步驟1，影像投射模塊進(jìn)行視頻信號播放。
[0014] 步驟2,視頻采集模塊采集記錄筆觸繪制過程的圖像數(shù)據(jù)。
[0015] 步驟3,處理模塊進(jìn)行筆觸繪制過程中筆刷的運(yùn)筆姿態(tài)的采樣、提取和同步化處 理。
[0016] 步驟4,處理模塊根據(jù)步驟3采集的運(yùn)筆姿態(tài)進(jìn)行原子特征抽取和分析。
[0017] 步驟5,處理模塊根據(jù)步驟4中原子特征，構(gòu)建特征向量表達(dá)函數(shù)和反饋式風(fēng)格行 為特征表達(dá)函數(shù)R并形成特定風(fēng)格。
[0018] 步驟6,引入所述步驟5形成特定風(fēng)格的行為特征表達(dá)函數(shù)，采用確定性決策 并且在繪畫先驗(yàn)知識的基礎(chǔ)上，對模型中的繪畫行為參數(shù)引入隨機(jī)性模式形 成智能輔助手繪風(fēng)格化優(yōu)化策略。
[0019] 步驟7,設(shè)置筆刷智能代理，根據(jù)以上步驟形成的運(yùn)筆姿態(tài)進(jìn)行繪畫得出所述步驟 1圖像數(shù)據(jù)的藝術(shù)風(fēng)格化結(jié)果。
[0020] 作為優(yōu)選，所述的步驟4中原子特征抽取的方法包括以下步驟： 1) 將步驟1采集的圖像數(shù)據(jù)分割成rgb圖像（Red，Green，Blue); 2) 將步驟1采集的圖像數(shù)據(jù)分割成hsv (Hue, Saturation, Value)，grab，sat圖像； 3) 根據(jù)步驟I)中的：red部分圖像與步驟2) hsv模型下飽和度saturation分量進(jìn)行 對比進(jìn)行圖像尋找目標(biāo)足跡點(diǎn)，若red和saturation顏色差異較小，則說明目標(biāo)足跡點(diǎn)已 經(jīng)尋找到； 4) 與提前設(shè)定的閾值進(jìn)行比較，所述的閾值是指red和saturation顏色差異的差值； 若不大于閾值，則重新執(zhí)行步驟4);若大于閾值，則尋找基于主成分分析（PCA)算法提取筆 觸的原子特征； 5) 建立子文件夾，將采集來的圖像數(shù)據(jù)自動保存； 6) 保存灰度圖像。
[0021] 作為優(yōu)選，所述步驟7中的筆刷智能代理是指將筆刷進(jìn)行建模，形成基于紙面的 筆刷印記模型，對于所述的模型賦予自主策略，實(shí)現(xiàn)不用人控制，筆刷印記可以自動運(yùn)筆書 寫筆觸完成自主位移、方向變化及大小變化的動作。
[0022] 具體地將所述步驟4抽取的原子特征信息樣本的特征向量形成訓(xùn)練集數(shù)據(jù)D數(shù) 據(jù)，然后按照所述步驟5形成特定風(fēng)格，利用訓(xùn)練集數(shù)據(jù)D數(shù)據(jù)對參數(shù)進(jìn)行學(xué)習(xí)并賦值， 隨后，針對反饋式風(fēng)格行為特征表達(dá)函數(shù)R對所述的筆刷智能代理的策略進(jìn)行自主優(yōu)化學(xué) 習(xí)，從而使之達(dá)到可以實(shí)現(xiàn)圖片輔助手繪風(fēng)格化操作。
[0023] 作為優(yōu)選，所述的步驟4)中尋找基于主成分分析（PCA)算法提取筆觸的原子特征 的方法包括：將視頻拆分成為一組幀，進(jìn)而分析筆刷運(yùn)動過程中筆劃的生成過程，對于其中 的每一幀，利用主成分分析（PCA )算法計(jì)算運(yùn)動中筆刷的主軸信息，依據(jù)所述的主軸信息來 定位計(jì)算出控制的筆刷的運(yùn)動姿態(tài)信息，包括運(yùn)動速度、筆頭所指方向、筆觸姿態(tài)和同環(huán)境 (目標(biāo)筆觸形狀）的相對位置信息以及隨時間變化的規(guī)律要素。
[0024] -種根據(jù)繪畫風(fēng)格仿真方法采集圖像數(shù)據(jù)的運(yùn)筆動作捕捉裝置，包括設(shè)置有筆觸 繪制工作區(qū)域的框架、設(shè)置在所述筆觸繪制工作區(qū)域用于運(yùn)筆姿態(tài)捕捉的采集板、用于記 錄繪畫動作的圖像采集設(shè)備、用于將圖像投影在所述筆觸繪制工作區(qū)域內(nèi)的投影設(shè)備和用 于整個裝置的控制及數(shù)據(jù)存儲與處理相關(guān)工作的主控制電腦，所述的主控制電腦設(shè)置有數(shù) 據(jù)存儲模塊和處理模塊。
[0025] 為了方便運(yùn)筆姿態(tài)的捕捉，在筆觸繪制工作區(qū)域采用透明亞克力板支撐。
[0026] 繪畫時，選用毛筆、普通宣紙和墨水等傳統(tǒng)繪畫材料為繪畫工具進(jìn)行。
[0027] 所述的圖像采集設(shè)備包括照相機(jī)，設(shè)置在框架的底面中心位置。
[0028] 所述的投影設(shè)備使得用戶可以在繪制的同時，觀察都所要繪制物體的真實(shí)圖片， 設(shè)置在框架的底面中心位置。
[0029] 綜上所述，本發(fā)明具有以下有益效果： 1、由于本發(fā)明通過運(yùn)筆動作捕捉系統(tǒng)和裝置記錄一副普通的照片的藝術(shù)風(fēng)格并形成 藝術(shù)風(fēng)格化結(jié)果，根據(jù)本發(fā)明的繪畫風(fēng)格仿真方法可以將任意輸入的照片都形成該藝術(shù)風(fēng) 格。
[0030] 2、本發(fā)明將人手繪過程中運(yùn)筆動作的動作行為習(xí)慣通過進(jìn)行有效捕捉分析，不僅 適用于靜態(tài)作品，而且實(shí)現(xiàn)了立體化、整體化、連續(xù)化的風(fēng)格分析。
【附圖說明】
[0031] 圖1是本發(fā)明根據(jù)運(yùn)筆動作捕捉系統(tǒng)進(jìn)行繪畫風(fēng)格仿真方法的工作流程示意圖。
[0032] 圖2是本發(fā)明步驟3中原子特征抽取方法的工作流程示意圖。
[0033] 圖3是本發(fā)明的一種運(yùn)筆動作捕捉裝置的示意圖。
[0034] 圖4是本發(fā)明基于主成分分析（PCA)算法提取筆觸的原子特征的示意圖。
[0035] 圖5是本發(fā)明的筆刷智能代理的結(jié)構(gòu)示意圖。
[0036] 圖中，1、框架；2、采集板；3、圖像采集設(shè)備；4、投影設(shè)備；5、主控制電腦。
【具體實(shí)施方式】
[0037] 以下結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)說明。
[0038] -種運(yùn)筆動作捕捉系統(tǒng)，包括：主控制模塊，用于產(chǎn)生控制信號；視頻采集模塊， 用于采集圖像數(shù)據(jù)；影像投射模塊，用于視頻信號播放；數(shù)據(jù)存儲，用于運(yùn)筆視頻數(shù)據(jù)的存 儲；處理模塊，用于筆刷的運(yùn)筆姿態(tài)數(shù)據(jù)的采樣、提取和同步化處理，設(shè)置有為所述的視頻 采集模塊采集得到的圖像數(shù)據(jù)構(gòu)建的特征向量表達(dá)函數(shù)權(quán)、反饋式風(fēng)格行為特征表達(dá)函數(shù) R和智能輔助手繪風(fēng)格化優(yōu)化策略P。
[0039] 具體的，特征向量表達(dá)函數(shù)_ 爲(wèi)臟，其中砸為原子特征向量： X為M維的二進(jìn)制標(biāo)記符，表征原子向量是否參與某一反饋特征構(gòu)建中； Z和U代表先驗(yàn)知識，Z具體標(biāo)記某些原子特征參與反饋特征，U表示針對反饋特征，某 一對原子特征同時出現(xiàn)的概率分布。
[0040] 反饋式風(fēng)格行為特征表達(dá)函數(shù)R:
其中，s表不某一時刻的狀態(tài)，a表不某一時刻的動作，f表不筆刷在某一