本發(fā)明涉及一種人臉識(shí)別、玩偶合成、語(yǔ)音錄制及調(diào)用、手機(jī)屏幕的錄制及分享等技術(shù)領(lǐng)域。

背景技術(shù)：

隨著移動(dòng)技術(shù)的迅速發(fā)展和使用Android操作系統(tǒng)的手機(jī)用戶的普及，基于移動(dòng)端的各類(lèi)手游軟件愈發(fā)受到了青睞。一個(gè)典型的例子是由Outfit7公司推出的手機(jī)寵物類(lèi)應(yīng)用游戲“會(huì)說(shuō)話的湯姆貓”，該軟件是一只可愛(ài)的寵物貓玩偶，它可以在用戶觸摸玩偶不同的身體部位時(shí)做出各種反應(yīng)，并且可以用滑稽的聲音完整地復(fù)述用戶所說(shuō)的內(nèi)容。錄制湯姆貓復(fù)述用戶說(shuō)話的視頻，還可以上傳至YouTube、Facebook、Sina微博或者是朋友圈，并通過(guò)電子郵件發(fā)送給親友，因此受到各個(gè)年齡層次的用戶的極大喜愛(ài)。但是，由于隨著用戶群體的變化，此類(lèi)簡(jiǎn)單的Talking Avater手游軟件已不再能滿足不同用戶群體的需求，比如：用戶希望看見(jiàn)屏幕上和他們互動(dòng)的不是寵物貓，是用戶自己的Talking Avatar形象，或者說(shuō)是其他的新奇的形象，這樣才能更好地適用不同用戶的需求；用戶也希望把很多的簡(jiǎn)單實(shí)用的軟件功能也加入進(jìn)去，這樣可以讓一個(gè)軟件具備多樣的功能，也可以減少用戶手機(jī)內(nèi)存的占用。

技術(shù)實(shí)現(xiàn)要素：

發(fā)明目的：為了彌補(bǔ)現(xiàn)如今此類(lèi)手機(jī)游戲功能覆蓋不夠全面的不足，本發(fā)明提供一種基于Android系統(tǒng)的Talking Avatar手游軟件的構(gòu)建方法。本發(fā)明除了具有上述湯姆貓也具有的功能以外，用戶還可以通過(guò)點(diǎn)擊按鈕調(diào)用前置攝像頭拍照或?qū)胱约菏謾C(jī)中的照片，然后系統(tǒng)通過(guò)面目識(shí)別技術(shù)生成一個(gè)與用戶相似的玩偶形象，該玩偶形象可完成用戶指定的一系列動(dòng)作，生成Avatar。之后通過(guò)點(diǎn)擊界面的圖標(biāo)按鈕在所給的服裝造型中挑選出自己喜歡的造型即可完成對(duì)Avatar的換裝。當(dāng)用戶對(duì)著Avatar說(shuō)出一段話時(shí)，它會(huì)復(fù)述出來(lái)這段話，并根據(jù)不一樣的說(shuō)話內(nèi)容做出相應(yīng)的肢體動(dòng)作以及豐富的面部表情等。當(dāng)用戶完成對(duì)Avatar的錄音之后，可以將其復(fù)述及其動(dòng)作進(jìn)行屏幕錄制，點(diǎn)擊保存即可保存該段視頻文件到本地，用戶可在保存對(duì)應(yīng)的保存路徑中找到該視頻文件，并通過(guò)點(diǎn)擊分享按鈕將其進(jìn)行分享至朋友圈、微博等社交平臺(tái)。

技術(shù)方案：一種基于Android系統(tǒng)的Talking Avatar手游軟件的構(gòu)建方法，其功能特征主要包括如下方面：

功能1：用戶導(dǎo)入一張照片，通過(guò)人臉識(shí)別，得到用戶臉部相應(yīng)特征點(diǎn)的值，然后生成一個(gè)和用戶相似的玩偶形象，即Talking Avatar；人臉偵測(cè)寬松化了對(duì)人臉的要求，可多角度對(duì)人臉進(jìn)行偵測(cè)，根據(jù)對(duì)稱(chēng)映射，補(bǔ)全特征點(diǎn)信息，可檢測(cè)的范圍是以正前方為原點(diǎn)正負(fù)45度。獲取到特征點(diǎn)信息后，對(duì)特征點(diǎn)信息進(jìn)行人臉比列縮放處理，再應(yīng)用歐式距離相似度算法，分別計(jì)算出與人臉庫(kù)中的各組像的相似度值，對(duì)其進(jìn)行統(tǒng)一比較，冒泡法抉擇最大相似度人臉，即最像臉。獲取到相關(guān)信息記錄，發(fā)送到Avatar庫(kù)，與Avatar庫(kù)對(duì)接，然后選擇對(duì)應(yīng)的Avatar人臉，合成玩偶人臉；

功能2：該軟件可以根據(jù)用戶喜好，對(duì)Talking Avatar進(jìn)行換裝和背景更換；Talking Avatar手機(jī)軟件提供多樣的服飾和背景，供用戶選擇；

功能3：Talking Avatar會(huì)把用戶說(shuō)的話錄下來(lái)然后進(jìn)行復(fù)述；實(shí)現(xiàn)了語(yǔ)音—文本—語(yǔ)音的語(yǔ)音轉(zhuǎn)換算法；

功能4：Talking Avatar會(huì)根據(jù)用戶說(shuō)的話，進(jìn)行識(shí)別，得到相應(yīng)的關(guān)鍵詞，如“你、我、他等”當(dāng)語(yǔ)音中發(fā)現(xiàn)這些關(guān)鍵詞，玩偶會(huì)做出相應(yīng)的肢體表情動(dòng)作；KMP關(guān)鍵詞提取算法從文本中獲得關(guān)鍵詞，依據(jù)關(guān)鍵詞的與動(dòng)畫(huà)之間的綁定關(guān)系。并動(dòng)態(tài)觸發(fā)動(dòng)畫(huà)，字符庫(kù)之間與動(dòng)畫(huà)庫(kù)之間實(shí)現(xiàn)動(dòng)態(tài)綁定，支持同義觸發(fā)；

功能5：用戶可以根據(jù)自己的需求，從某個(gè)時(shí)候選擇開(kāi)始錄制視頻，并且在任意的時(shí)候停止錄制，用戶還可以將錄制的視頻分享到微博、朋友圈、QQ空間等社交平臺(tái)上。調(diào)用了Mob移動(dòng)分享平臺(tái)對(duì)視頻進(jìn)行錄制和合成，之后存儲(chǔ)在用戶賬戶中。上傳視頻之后可以分享到各社交平臺(tái)，也可以查看視頻文件。

本發(fā)明使用Eclipse開(kāi)發(fā)工具，實(shí)現(xiàn)了一個(gè)具有多功能的玩偶形象的手機(jī)游戲。對(duì)于人臉的合成和識(shí)別，使用科大訊飛的人臉特征點(diǎn)獲取，然后經(jīng)過(guò)人臉識(shí)別—合成機(jī)制。人臉識(shí)別—合成機(jī)制分為三個(gè)階段：訓(xùn)練階段、識(shí)別階段和選擇階段。訓(xùn)練階段對(duì)人臉進(jìn)行擬定、測(cè)試和收集數(shù)據(jù)。識(shí)別階段經(jīng)過(guò)人臉相似度算法獲取最像臉。選擇階段就是讀取參數(shù)，選取特定的人臉，最后實(shí)現(xiàn)玩偶的人臉合成。對(duì)于聲音的轉(zhuǎn)換，使用的是語(yǔ)音轉(zhuǎn)換算法，實(shí)現(xiàn)語(yǔ)音—文本—語(yǔ)音的語(yǔ)音系統(tǒng)；字符庫(kù)與動(dòng)畫(huà)庫(kù)之間實(shí)現(xiàn)動(dòng)態(tài)綁定，中間由文本觸發(fā)動(dòng)畫(huà)；實(shí)現(xiàn)動(dòng)畫(huà)與語(yǔ)音的同步播放。對(duì)于視頻分享，引用了Mob游戲分享平臺(tái)，進(jìn)行視頻的錄制和合成。之后分享在不同的社交平臺(tái)；也可以查看錄制合成的視頻文件。

主要實(shí)現(xiàn)步驟如下：

步驟1：利用了科大訊飛人臉識(shí)別接口的調(diào)用，通過(guò)用戶輸入一張照片、或者拍攝一張照片，識(shí)別出照片上的人臉，獲取照片上人臉上特征點(diǎn)的位置，然后通過(guò)人臉相似度算法匹配到我們數(shù)據(jù)庫(kù)中相應(yīng)大小的人的特征，生成玩偶；

步驟2：然后根據(jù)用戶的選擇可以選擇用戶愛(ài)好的服裝，進(jìn)行換裝功能；

步驟3：玩偶復(fù)述語(yǔ)音及肢體表情動(dòng)作功能則依賴于科大訊飛語(yǔ)義合成接口和語(yǔ)音聽(tīng)寫(xiě)接口的調(diào)用，通過(guò)調(diào)用接口我們能讓玩偶錄入用戶所說(shuō)的話，通過(guò)識(shí)別，再經(jīng)過(guò)KMP、BM算法匹配數(shù)據(jù)庫(kù)中的數(shù)據(jù)，看是否存在關(guān)鍵詞，若存在關(guān)鍵字，再?gòu)?fù)述語(yǔ)音的同時(shí)還會(huì)做出相應(yīng)的動(dòng)作，反之，沒(méi)有動(dòng)作，但是還是會(huì)有語(yǔ)音的復(fù)述；

步驟4：利用Mob游戲分享平臺(tái)的視頻錄制接口，調(diào)用視頻合成、視頻錄制、視頻分享接口，錄制一段視頻，并且我們可以分享到新浪微博、朋友圈等各大社交平臺(tái)上。

本發(fā)明采用上述技術(shù)方案，具有以下有益效果：生成與用戶相似的玩偶；能實(shí)現(xiàn)語(yǔ)音的錄制，并且能實(shí)現(xiàn)表情和動(dòng)作；用戶體驗(yàn)得到改善；與好友共同分享自己的玩偶游戲。

附圖說(shuō)明

圖1為本發(fā)明的體系架構(gòu)圖；

圖2為軟件的功能框架圖；

圖3為軟件的使用流程圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例，進(jìn)一步闡明本發(fā)明，應(yīng)理解這些實(shí)施例僅用于說(shuō)明本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對(duì)本發(fā)明的各種等價(jià)形式的修改均落于本申請(qǐng)所附權(quán)利要求所限定的范圍。

如圖2所示，詳細(xì)介紹了應(yīng)用的各個(gè)模塊的具體功能分布，主要分為五個(gè)模塊：Talking Avatar生成、Talking Avatar錄音及復(fù)述、Talking Avatar肢體動(dòng)作、Talking Avatar換裝和視頻錄制分享。

如圖3所示，點(diǎn)擊進(jìn)入應(yīng)用之后進(jìn)行男女模式的選擇，將用戶以性別作為區(qū)分目的：讓用戶獲得更好的用戶體驗(yàn)和更利于資源的管理。進(jìn)入到不同的模式之中，通過(guò)相冊(cè)導(dǎo)入一張照片，或者調(diào)用攝像頭接口拍攝照片，經(jīng)過(guò)人臉識(shí)別—合成機(jī)制合成玩偶形象。還可以根據(jù)年齡和地區(qū)選擇不同的音色，合成比較特色的玩偶，比如廣東話、湖南話、老人、小孩等等。人臉識(shí)別—合成機(jī)制是在訊飛人臉識(shí)別和特征點(diǎn)檢測(cè)的基礎(chǔ)上，通過(guò)人臉相似度算法，與人臉庫(kù)中各人臉進(jìn)行計(jì)算，然后冒泡法抉擇出最像臉。發(fā)送信息到玩偶庫(kù)，與玩偶庫(kù)進(jìn)行對(duì)接，匹配玩偶形象。合成玩偶之后，可以根據(jù)用戶的個(gè)人愛(ài)好，更換背景和服裝。在科大訊飛語(yǔ)音的支持下，用戶可以通過(guò)文本或者語(yǔ)音兩種方式輸入信息。玩偶可以播放語(yǔ)音，同時(shí)出發(fā)相應(yīng)的肢體表情動(dòng)作。關(guān)于語(yǔ)音實(shí)現(xiàn)的是語(yǔ)音轉(zhuǎn)換算法，依賴于科大訊飛語(yǔ)義合成接口和語(yǔ)音聽(tīng)寫(xiě)接口的調(diào)用，實(shí)現(xiàn)由語(yǔ)音—文本—語(yǔ)音的語(yǔ)音轉(zhuǎn)換，中間文本經(jīng)再經(jīng)過(guò)KMP、BM算法匹配數(shù)據(jù)庫(kù)中的數(shù)據(jù)，看是否存在關(guān)鍵詞，若存在關(guān)鍵字，再?gòu)?fù)述語(yǔ)音的同時(shí)還會(huì)做出相應(yīng)的動(dòng)作，反之，沒(méi)有動(dòng)作，但是還是會(huì)有語(yǔ)音的復(fù)述；融合KMP、BM算法實(shí)現(xiàn)的關(guān)鍵詞提取算法，將后臺(tái)字符庫(kù)與動(dòng)畫(huà)庫(kù)之間動(dòng)態(tài)綁定，支持同義觸發(fā)。由關(guān)鍵詞獲取文本記錄向字符庫(kù)發(fā)送信息，字符庫(kù)匹配之后動(dòng)態(tài)觸發(fā)動(dòng)畫(huà)，實(shí)現(xiàn)與語(yǔ)音的同步播放。最后是視頻錄制分享功能，調(diào)用了Mob移動(dòng)分享平臺(tái)對(duì)視頻進(jìn)行錄制和合成，錄制一段視頻，合成視頻并存儲(chǔ)在用戶賬戶中。上傳視頻之后可以分享到各社交平臺(tái)，比如分享到新浪微博、朋友圈等，也可以查看合成的視頻文件。