專利名稱：智能機器人皮影戲表演的編輯與控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種機器人控制方法，具體涉及一種智能機器人皮影戲表演的編輯與控制方法。
背景技術(shù)：
皮影戲是一種用燈光照射獸皮或紙板做成的人物剪影以表演故事的民間戲劇，用于表演的皮影人的四肢和頭部是分別雕成的，用繩線聯(lián)綴而成，在透光的幕布上由竹棍操縱進行表演。但這種極富中國鄉(xiāng)土特色的傳統(tǒng)民間藝術(shù)正面臨著失傳的窘境，技藝純熟的表演者越來越少，只能通過攝錄影像資料進行流傳。皮影戲這種形式的傀儡藝術(shù)是可以通過機械裝置進行操控的，代替真人演繹，也能進行現(xiàn)場表演，但簡單的機械操控只能呆板地拉拽線、繩，表現(xiàn)動作單一，缺乏感染力，失去了皮影戲本該有的靈動性和精彩度。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種一種靈活度和操控性更好、并能對表演流程即動作進行實時編輯的智能機器人皮影戲表演的編輯與控制方法。本發(fā)明所采用的技術(shù)方案是
一種智能機器人皮影戲表演的編輯與控制方法，其特征在于
由以下步驟實現(xiàn)
步驟一使用基于2D圖形的動畫皮影人物進行動作的預先編排；
步驟二 使用點對點空間映射算法將2D圖形人物的運動軌跡轉(zhuǎn)換為皮影機器人的舵機運動數(shù)據(jù)；
步驟三按皮影戲表演時播放的音樂的節(jié)奏來排放和調(diào)整由步驟二生成的舵機運動數(shù)據(jù)，同時編輯移動控制模塊的控制數(shù)據(jù)；
步驟四使用BPM探測算法和自耦合算法對步驟三所排放的數(shù)據(jù)進行進一步調(diào)整和優(yōu)
化；
步驟五如果選擇普通播放模式，則將步驟四最終生成的一系列數(shù)據(jù)發(fā)送給皮影機器人控制模塊，并同時播放皮影戲的音樂和背景動畫；否則，轉(zhuǎn)向步驟六，進入即興表演模式；
步驟六對外界的聲音使用語音識別算法和BPM探測算法進行識別，根據(jù)識別的結(jié)果來播放不同的皮影動作。步驟一和步驟二中的舵機運動數(shù)據(jù)由動作編輯器取得，通過對虛擬動畫皮影的動作調(diào)整，配合動作記錄時間軸的標記，將一個或一組動作錄制為動作數(shù)據(jù)庫的一個子集，并為其標注該動作的類型以及相關(guān)屬性。所述的動作編輯器與皮影機器人的舵機驅(qū)動相關(guān)聯(lián)，在進行動作編輯的同時，皮影動畫影響所對應的皮影機器人會進行實時的動作映射。所述的動作編輯器設(shè)置有皮影機器人移動控制模塊的驅(qū)動接口，在進行動作編輯的同時訪問移動控制模塊，驅(qū)動皮影機器人所設(shè)置的履帶式底盤，進而控制皮影機器人在戲臺軌道上的位移。步驟三中的皮影戲表演排放和調(diào)整由劇本編輯器完成，劇本編輯器將舵機運動數(shù)據(jù)集合打包成劇本數(shù)據(jù)，進行自上而下的模型翻譯，即從劇本層逐步翻譯為動作集合、機械臂動作集合、舵機運動集合，然后按照對劇本的編排輸出給皮影控制結(jié)構(gòu)以及移動控制模塊完成皮影的動作演出。步驟四中的調(diào)整和優(yōu)化是指，使用BPM探測算法和自耦合算法對步驟三所排放的數(shù)據(jù)進行播放時間點和時間長度的細微調(diào)整，使動作的播放與音樂的節(jié)奏點一致，而又不會發(fā)生兩個動作之間的數(shù)據(jù)碰撞。本發(fā)明具有以下優(yōu)點
本發(fā)明所描述的方法是根據(jù)皮影機器人以及表演舞臺的機械設(shè)施、嵌入式主板以及傳感器回傳的數(shù)據(jù)而制作的一套機器人表演皮影戲的編排、錄制與表演工具。為了實現(xiàn)上述功能，系統(tǒng)軟件提供了動作編輯器與劇本編輯播放器。這其中包含了 2D物理引擎、點對點空間映射算法、BPM探測算法以及動作自耦合算法，用于提高動作和劇本的編輯效率和表演效果。同時為了增加表演的娛樂性和趣味性，除了提供了普通劇本表演模式外，還設(shè)計了一種智能即興表演模式。利用投影儀投射電腦動畫來作為皮影的成影光源，也大大增強了皮影戲表演的感染力。本發(fā)明能夠讓機器人活靈活現(xiàn)地再現(xiàn)皮影戲的同時，增加了現(xiàn)代的娛樂元素，能夠更好地宣傳和弘揚皮影戲這一傳統(tǒng)藝術(shù)，真正做到對皮影藝術(shù)傳承的作用，系統(tǒng)運行穩(wěn)定，人物控制靈活，響應快，精度高，為保護皮影藝術(shù)提供了新的途徑。


圖I為本發(fā)明系統(tǒng)構(gòu)成圖。圖2為皮影機器人控制結(jié)構(gòu)圖。圖3為本發(fā)明系統(tǒng)流程圖。圖4為動作編輯器的流程框圖。圖中，I-嵌入式平臺主板，2-調(diào)試器，3-皮影機器人，4-傳感器組，5-移動控制模塊，6-數(shù)據(jù)總線接口，7-機械臂，8-舵機，9-導軌，10-履帶式移動底盤。
具體實施例方式下面結(jié)合具體實施方式
對本發(fā)明進行詳細的說明。一、系統(tǒng)組成
本發(fā)明所述的一種智能機器人皮影戲表演系統(tǒng)，設(shè)置有嵌入式平臺主板1，嵌入式平臺主板I通過調(diào)試器2與皮影機器人3上的運動驅(qū)動裝置進行數(shù)字通信控制，控制皮影機器人3的肢體運動，移動控制模塊5采集皮影機器人3上傳感器組4的數(shù)據(jù)，計算后并通過數(shù)據(jù)總線接口 6反饋到嵌入式平臺主板1，控制皮影機器人3在戲臺上的位移。其中，嵌入式平臺主板I為Intel Atom平臺EMB-4650工控板，移動控制模塊5的核心為MSP430F149超低功耗單片機，傳感器組4為紅外光電開關(guān)，數(shù)據(jù)總線接口 6為RS232/ RS-485總線。嵌入式平臺主板I通過USB接口與調(diào)試器2連接；調(diào)試器2與皮影機器人3上運動驅(qū)動裝置之間通過UART進行數(shù)字通信控制；移動控制模塊5通過UART與數(shù)據(jù)總線接口 6連接。
根據(jù)傳統(tǒng)皮影戲的表演方式，系統(tǒng)在皮影機器人3上設(shè)計了三個3R串聯(lián)型機械臂組，每個機械臂組有機械臂7和數(shù)字舵機8組成，并配以設(shè)置在導軌9上的履帶式移動底盤 10。CDS5500數(shù)字舵機有控制靈活、響應快、扭矩大、高轉(zhuǎn)速、高精度、總線式連接等優(yōu)點，能夠滿足系統(tǒng)要求。系統(tǒng)使用接口豐富的Intel Atom平臺中的USB以及RS232/RS485總線接口對皮影機器人3進行數(shù)據(jù)通信，在Intel Atom Z510 CPU的高效處理能力的支持下，使用 2D物理引擎實現(xiàn)動作編輯功能，配合空間點對點映射算法將虛擬動畫皮影與真實皮影的動作進行同步。Z510 CPU主頻為I. 1GHz，并且擁有512KB的二級緩存，支持超線程技術(shù)，這對于系統(tǒng)在使用BPM探測算法以及動作子耦合算法的時更好地利用CPU的多線程處理能力， 加快計算。為了能讓用戶在對皮影戲編劇時可以靈活調(diào)整劇本的內(nèi)容，系統(tǒng)軟件設(shè)計了劇本編輯播放器。在進行劇本編輯的時，用戶需要參照劇本背景音樂的節(jié)奏、曲調(diào)等信息。這些信息由BPM探測算法在對音樂文件加載的同時進行處理。在對音頻文件進行處理時，BPM探測算法需要消耗大量系統(tǒng)資源，Intel Atom平臺對大容量內(nèi)存的良好支持保證了在算法最復雜情況下的系統(tǒng)穩(wěn)定性。此外，Intel Atom平臺的IDE外部存儲通道為對動作數(shù)據(jù)庫以及已經(jīng)存儲的劇本的快速訪問提供了良好的支持。在對劇本進行播放時，系統(tǒng)利用了 Intel Atom平臺強大的娛樂處理能力，使用DVI高清圖像輸出接口將劇本配套的WPF動畫輸出至投影機，投影機從舞臺幕布后方將動畫透射至幕布上。同時投影機也作為皮影人物在幕布上的投影光源。系統(tǒng)還利用Intel Atom對音頻輸入輸出的完美支持將皮影戲劇本的背景音樂輸出至媒體音箱。在智能即興模式下，用戶可以通過麥克風使用音頻輸入接口將音頻輸入給系統(tǒng)，系統(tǒng)通過算法智能匹配出皮影動作并進行播放。系統(tǒng)對皮影機器人3使用星形網(wǎng)絡結(jié)構(gòu)進行統(tǒng)一控制。使用板載的USB以及RS232 接口實現(xiàn)對皮影機器人3以及移動控制結(jié)構(gòu)的數(shù)據(jù)傳輸與控制。系統(tǒng)對皮影控制結(jié)構(gòu)使用一個USB對應一套控制結(jié)構(gòu)，而對于皮影的移動控制結(jié)構(gòu)則使用modbus總線由一個RS232 接口實現(xiàn)對多達255個下位機的控制。此外，系統(tǒng)使用平臺的IDE接口接駁大容量硬盤，大容量硬盤可以為系統(tǒng)提供足夠的硬盤空間存放皮影戲的動作數(shù)據(jù)庫以及皮影戲的影音文件。二、流程方法
技術(shù)領(lǐng)域：
本發(fā)明所述的一種智能機器人皮影戲表演的編輯與控制方法，由以下步驟實現(xiàn) 步驟一使用基于2D圖形的動畫皮影人物進行動作的預先編排；
步驟二 使用點對點空間映射算法將2D圖形人物的運動軌跡轉(zhuǎn)換為皮影機器人的舵機運動數(shù)據(jù)；
步驟三按皮影戲表演時播放的音樂的節(jié)奏來排放和調(diào)整由步驟二生成的舵機運動數(shù)據(jù)，同時編輯移動控制模塊的控制數(shù)據(jù)；
步驟四使用BPM探測算法和自耦合算法對步驟三所排放的數(shù)據(jù)進行進一步調(diào)整和優(yōu)
化；
步驟五如果選擇普通播放模式，則將步驟四最終生成的一系列數(shù)據(jù)發(fā)送給皮影機器人控制模塊和移動控制模塊，并同時播放皮影戲的音樂和背景動畫；否則，轉(zhuǎn)向步驟六，進入即興表演模式。
步驟六對外界的聲音使用語音識別算法和BPM探測算法進行識別，根據(jù)識別的結(jié)果來播放不同的皮影動作。步驟一和步驟二中的舵機運動數(shù)據(jù)由動作編輯器取得，通過對虛擬動畫皮影的動作調(diào)整，配合動作記錄時間軸的標記，將一個或一組動作錄制為動作數(shù)據(jù)庫的一個子集，并為其標注該動作的類型以及相關(guān)屬性。動作編輯器使用WPF開發(fā)，基于開源2D物理引擎 FarseerPhysicso動作編輯器提供動作記錄功能，通過用戶對虛擬動畫皮影的動作調(diào)整，配合動作記錄時間軸的標記，用戶可以將一個(組)動作錄制為動作數(shù)據(jù)庫的一個子集，并為其標注該動作的類型以及相關(guān)屬性。動作編輯器除了有直觀的虛擬動畫皮影的動作創(chuàng)建方式外，還可以使用純數(shù)據(jù)編輯方式，系統(tǒng)軟件提供了純數(shù)據(jù)編輯方式，可以對動作的每個細節(jié)進行仔細打理。每個動作保存編輯后都會自動進入系統(tǒng)的動作數(shù)據(jù)庫中，由劇本編輯器進行智能調(diào)度。動作編輯器也與舵機驅(qū)動相關(guān)聯(lián)，在進行動作編輯的同時，動畫小人所對應的皮影結(jié)構(gòu)也會完全仿制動畫小人的動作，做到實時動作映射，使用戶的動作編輯更為直觀。動作編輯器也提供動作播放功能，可以對正在進行的編輯或者數(shù)據(jù)庫中的動作進行播放，便于用戶進行動作評估。動作編輯器也提供了移動控制模塊的驅(qū)動接口，用戶可以在進行動作編輯的同時對移動控制模塊進行訪問，驅(qū)動履帶式底盤進而設(shè)置動畫小人對應的控制結(jié)構(gòu)的位置。動作編輯器的流程框圖如圖4所示。步驟三中的皮影戲表演排放和調(diào)整由劇本編輯器完成，劇本編輯器將舵機運動數(shù)據(jù)集合打包成劇本數(shù)據(jù)，進行自上而下的模型翻譯，即從劇本層逐步翻譯為動作集合、機械臂動作集合、舵機運動集合，然后按照對劇本的編排輸出給皮影控制結(jié)構(gòu)以及移動控制模塊完成皮影的動作演出。劇本播放器是將劇本編輯器編輯好的劇本內(nèi)容打包好，然后進行自上而下的模型翻譯，即從劇本層逐步翻譯為動作集合、機械臂動作集合、舵機運動集合。 然后按照用戶對劇本的編排輸出給皮影控制結(jié)構(gòu)以及移動控制模塊完成皮影的動作演出。 演出的同時會嚴格按照用戶預先編輯的動作順序、開始時間進行播放；也會與音樂播放器播放的音樂時間匹配，保證動作的時間準確性。此外，用戶預先準備好的背景動畫也會同時經(jīng)過系統(tǒng)的顯示輸出接口輸出給投影設(shè)備，在幕布的后方顯示出當前的動畫內(nèi)容，做到情景交融，將傳統(tǒng)的燈影子與現(xiàn)代數(shù)字技術(shù)完美結(jié)合。步驟四中的劇本是針對戲曲設(shè)計的。因此每部劇本在編輯之前必須要導入該劇本的音頻。在音頻導入后系統(tǒng)會調(diào)用BPM算法以及頻譜處理算法對音頻文件進行分析，將鼓點信息以及音頻能量等信息進行處理。用戶在進行劇本編輯時，有兩個關(guān)鍵元素，即時間和動作。時間即為對時間軸的操控。由于本系統(tǒng)支持2個皮影同時演出，所以建立了兩個時間軸，但是兩個時間軸的長度跟導入的音頻文件的長度是相同的，兩個時間軸的位置也是同步的。劇本新建后用戶需要添加動作，動作分兩類，一類為皮影動作，另一類為皮影的履帶式底盤的運動。添加動作時，用戶需要首先選擇這個動作的開始點和結(jié)束點。在代碼實現(xiàn)中是記錄的開始點和持續(xù)時間。然后用戶再對之前建立的“空動作”進行賦值操作。若為皮影動作，則直接從動作列表中自行選擇，即可添加。而履帶式底盤的運動，則需要用戶輸入運動目的地。用戶添加過動作后可以繼續(xù)對動作的開始時間以及持續(xù)時間進行修改。 此時對開始時間以及持續(xù)時間的修改也會影響到該動作內(nèi)部對應的機械臂運動以及舵機運動的時間。由于用戶不可能將一部戲中所有的動作都逐一編輯好，然后逐個添加，因此在非特定劇情區(qū)間內(nèi)，比如某段時間內(nèi)皮影只是站在某處以一種普通的方式去說話或者聆聽，將使用動作自耦合算法進行自動的動作插入與分配。特定劇情區(qū)間和非特定劇情區(qū)間的動作的起止時間均需要用戶進行指定，但是非特定區(qū)間的動作用戶只需要指定其大致類型，而后根據(jù)動作自耦合算法進行自動填補。用戶在進行劇本編輯的同時，可以參考劇本對應戲曲的鼓點等信息進行編輯。在編輯的同時，可以使用播放器對動作進行實時播放，用戶可以對播放效果進行劇本的進一步修改與完善。二、算法說明
I、為了給系統(tǒng)自稱合算法提供稱合依據(jù)，選擇BPM (Beat Per Minutes)音樂節(jié)拍探測算法，提取出播放的音樂或者麥克風輸入音樂的鼓點信息。算法流程如下
在通過播放器播放音頻文件或通過NAudio捕獲音頻輸入時，首先要對音頻數(shù)據(jù)進行分幀處理。音頻播放中使用的是44100Hz雙聲道高質(zhì)量WAV音頻文件，音頻輸入中采用 8000Hz采樣率，單聲道，16Bit量化寬度。統(tǒng)一使用1024個采樣點為一幀，分別用a[n]、b [η] 存儲左右聲道的1024個采樣值，采用下式計算短時能量
權(quán)利要求
1.一種智能機器人皮影戲表演的編輯與控制方法,其特征在于由以下步驟實現(xiàn)步驟一使用基于2D圖形的動畫皮影人物進行動作的預先編排；步驟二 使用點對點空間映射算法將2D圖形人物的運動軌跡轉(zhuǎn)換為皮影機器人的舵機運動數(shù)據(jù)；步驟三按皮影戲表演時播放的音樂的節(jié)奏來排放和調(diào)整由步驟二生成的舵機運動數(shù)據(jù)，同時編輯移動控制模塊的控制數(shù)據(jù)；步驟四使用BPM探測算法和自耦合算法對步驟三所排放的數(shù)據(jù)進行進一步調(diào)整和優(yōu)化；步驟五如果選擇普通播放模式，則將步驟四最終生成的一系列數(shù)據(jù)發(fā)送給皮影機器人控制模塊，并同時播放皮影戲的音樂和背景動畫；否則，轉(zhuǎn)向步驟六，進入即興表演模式；步驟六對外界的聲音使用語音識別算法和BPM探測算法進行識別，根據(jù)識別的結(jié)果來播放不同的皮影動作。
2.根據(jù)權(quán)利要求I所述的智能機器人皮影戲表演的編輯與控制方法，其特征在于 步驟一和步驟二中的舵機運動數(shù)據(jù)由動作編輯器取得，通過對虛擬動畫皮影的動作調(diào)整，配合動作記錄時間軸的標記，將一個或一組動作錄制為動作數(shù)據(jù)庫的一個子集，并為其標注該動作的類型以及相關(guān)屬性。
3.根據(jù)權(quán)利要求2所述的智能機器人皮影戲表演的編輯與控制方法，其特征在于所述的動作編輯器與皮影機器人的舵機驅(qū)動相關(guān)聯(lián)，在進行動作編輯的同時，皮影動畫影響所對應的皮影機器人會進行實時的動作映射。
4.根據(jù)權(quán)利要求2或3所述的智能機器人皮影戲表演的編輯與控制方法，其特征在于所述的動作編輯器設(shè)置有皮影機器人移動控制模塊的驅(qū)動接口，在進行動作編輯的同時訪問移動控制模塊，驅(qū)動皮影機器人所設(shè)置的履帶式底盤，進而控制皮影機器人在戲臺軌道上的位移。
5.根據(jù)權(quán)利要求1、2或3所述的智能機器人皮影戲表演的編輯與控制方法，其特征在于步驟三中的皮影戲表演排放和調(diào)整由劇本編輯器完成，劇本編輯器將舵機運動數(shù)據(jù)集合打包成劇本數(shù)據(jù)，進行自上而下的模型翻譯，即從劇本層逐步翻譯為動作集合、機械臂動作集合、舵機運動集合，然后按照對劇本的編排輸出給皮影控制結(jié)構(gòu)以及移動控制模塊完成皮影的動作演出。
6.根據(jù)權(quán)利要求1、2或3所述的智能機器人皮影戲表演的編輯與控制方法，其特征在于步驟四中的調(diào)整和優(yōu)化是指，使用BPM探測算法和自耦合算法對步驟三所排放的數(shù)據(jù)進行播放時間點和時間長度的細微調(diào)整，使動作的播放與音樂的節(jié)奏點一致，而又不會發(fā)生兩個動作之間的數(shù)據(jù)碰撞。
全文摘要
本發(fā)明涉及一種智能機器人皮影戲表演的編輯與控制方法。皮影戲可通過機械裝置進行操控，但表現(xiàn)動作單一，缺乏感染力。本發(fā)明使用基于2D圖形的動畫皮影人物進行動作的預先編排；使用點對點空間映射算法將2D圖形人物的運動軌跡轉(zhuǎn)換為皮影機器人的舵機運動數(shù)據(jù)；按皮影戲表演時播放的音樂的節(jié)奏來排放和調(diào)整由步驟二生成的舵機運動數(shù)據(jù)，同時編輯移動控制模塊的控制數(shù)據(jù)；使用BPM探測算法和自耦合算法對步驟三所排放的數(shù)據(jù)進行進一步調(diào)整和優(yōu)化；進行普通播放和即興表演。本發(fā)明系統(tǒng)運行穩(wěn)定，人物控制靈活，響應快，精度高，增加了現(xiàn)代的娛樂元素，真正做到對皮影藝術(shù)傳承的作用。
文檔編號G06T13/80GK102580327SQ20121008373
公開日2012年7月18日 申請日期2012年3月27日 優(yōu)先權(quán)日2012年3月27日
發(fā)明者付少鋒, 劉鑫, 張靜媛, 朱萌, 王浩然, 王美月 申請人:付少鋒, 劉鑫, 朱萌, 王浩然