国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      移動(dòng)設(shè)備及通話方法

      文檔序號(hào):6580781閱讀:260來(lái)源:國(guó)知局
      專利名稱:移動(dòng)設(shè)備及通話方法
      技術(shù)領(lǐng)域
      本發(fā)明涉及通信領(lǐng)域,具體而言,涉及一種移動(dòng)設(shè)備及通話方法。
      背景技術(shù)
      隨著通信技術(shù)的發(fā)展,移動(dòng)設(shè)備(例如,手機(jī))已經(jīng)成為人們 日常工作和生活中必不可少的工具,^昔助于移動(dòng)i殳備,人們無(wú)i侖^f可
      時(shí)何地都可以方i"更快捷的找到對(duì)方。
      隨著移動(dòng)設(shè)備的普及,移動(dòng)設(shè)備的輸入方法也得到了快速的發(fā) 展,從最初的鍵盤輸入到觸摸屏輸入,再到目前的語(yǔ)音輸入,方式 更加多樣化。然而,雖然移動(dòng)設(shè)備的發(fā)展日新月異,功能也越來(lái)越 強(qiáng)大,但是目前大部分移動(dòng)設(shè)備都是為普通人設(shè)計(jì)的,對(duì)于一些無(wú) 法用語(yǔ)言來(lái)表達(dá)自己感情的人來(lái)說(shuō),移動(dòng)設(shè)備無(wú)疑只是一個(gè)玩具, 無(wú)法從中享受到任何便利,同時(shí)也限制了移動(dòng)設(shè)備的使用范圍。這 樣特殊的人群需要得到人們更多的關(guān)注,同時(shí)也希望能夠與他人進(jìn)
      行更多的交流,在發(fā)生困難需要尋求幫助時(shí)可以更快的得到其他人 的幫助。
      現(xiàn)有技術(shù)中,并未提供無(wú)法用語(yǔ)言表達(dá)情感的人群所能夠使用 的移動(dòng)i殳備,因此,才是供一種無(wú)法用語(yǔ)言表達(dá)情感的特殊人群能夠 使用的移動(dòng)設(shè)備是非常必要的。

      發(fā)明內(nèi)容
      針對(duì)相關(guān)技術(shù)中未提供無(wú)法用語(yǔ)言表達(dá)情感的人群所能夠使用 的移動(dòng)設(shè)備的問(wèn)題而提出本發(fā)明,為此,本發(fā)明的主要目的在于提 供一種移動(dòng)i殳備及通纟舌方法,以解決上述問(wèn)題至少之一。
      為了實(shí)現(xiàn)上述目的,才艮據(jù)本發(fā)明的一個(gè)方面,才是供了一種移動(dòng) 設(shè)備。
      根據(jù)本發(fā)明的移動(dòng)設(shè)備包括圖像獲取模塊,用于獲取用戶的 人臉圖像;表情獲取模塊,用于從圖像獲取模塊獲取的人臉圖像中 提取用戶的表情信息;表情語(yǔ)音查詢模塊,用于通過(guò)將表情信息與 表情語(yǔ)音數(shù)據(jù)庫(kù)進(jìn)行匹配,以查找到對(duì)應(yīng)的語(yǔ)音,其中,表情語(yǔ)音 數(shù)據(jù)庫(kù)用于存儲(chǔ)表情與語(yǔ)音的對(duì)應(yīng)關(guān)系;語(yǔ)音模塊,用于播放表情
      語(yǔ)音查詢模塊查找到的語(yǔ)音。
      優(yōu)選地,表情獲取模塊還用于從人臉圖像中提取人臉特征信息, 在人臉特4正信息與用戶特4正信息庫(kù)不匹配的情況下,確定用戶是首 次通話,其中,用戶特征信息庫(kù)存儲(chǔ)有使用過(guò)移動(dòng)設(shè)備的用戶的人 臉特征信息;表情獲取模塊還用于在表情獲取模塊確定用戶是首次 通話的情況下,通過(guò)對(duì)用戶的表情進(jìn)行采集,將用戶的專用的表情 與語(yǔ)音的對(duì)應(yīng)關(guān)系加入表情i吾音翁:據(jù)庫(kù)。
      優(yōu)選地,表情獲取模塊還用于使用自動(dòng)跟蹤器對(duì)用戶的預(yù)定臉 部特征進(jìn)行跟蹤,提取表情的運(yùn)動(dòng)特征,并識(shí)別表情信息。
      優(yōu)選地,圖像獲取模塊包括攝像頭,用于獲取用戶的人臉圖 像;判斷子模塊,用于驗(yàn)證人臉圖像是否為有效的人臉圖像;控制 子模塊,用于在判斷子模塊驗(yàn)證結(jié)果為否的情況下,根據(jù)人臉的所 在位置及運(yùn)動(dòng)狀態(tài)調(diào)整攝像頭位置后,控制攝像頭再次獲取用戶的 人臉圖像直至其為有效的人臉圖像。
      6優(yōu)選地,表情語(yǔ)音查詢^^莫塊還用于將查找到的語(yǔ)音組合為語(yǔ)句。 優(yōu)選地,表情語(yǔ)音數(shù)據(jù)庫(kù)存儲(chǔ)在本地或者存儲(chǔ)在遠(yuǎn)程服務(wù)器上。 優(yōu)選地,在表情語(yǔ)音數(shù)據(jù)庫(kù)存儲(chǔ)在遠(yuǎn)程服務(wù)器上的情況下,表
      情語(yǔ)音查詢^t塊還用于將用戶的表情信息傳輸至遠(yuǎn)程服務(wù)器進(jìn)行 與表情語(yǔ)音數(shù)據(jù)庫(kù)的匹配,接收查找到的語(yǔ)音后將語(yǔ)音傳輸至語(yǔ)音 模塊進(jìn)行播放。
      為了實(shí)現(xiàn)上述目的,根據(jù)本發(fā)明的另一個(gè)方面,提供了一種通 話方法。
      根據(jù)本發(fā)明的通話方法包括獲取用戶的人臉圖像,并從人臉 圖像中提取用戶的表情信息;通過(guò)將表情信息與表情語(yǔ)音數(shù)據(jù)庫(kù)進(jìn) 行匹配,查找到對(duì)應(yīng)的語(yǔ)音并播放,其中,表情語(yǔ)音數(shù)據(jù)庫(kù)用于存 儲(chǔ)表情與語(yǔ)音的對(duì)應(yīng)關(guān)系。
      優(yōu)選地,獲取用戶的人臉圖像之后,上述方法還包括從人臉 圖像中提取人臉特征信息,在人臉特征信息與用戶特征信息庫(kù)不匹 配的情況下,確定用戶是首次通話,其中,用戶特4正信息庫(kù)存卞者有 使用過(guò)移動(dòng)設(shè)備的用戶的人臉特征信息;在確定用戶是首次通話的 情況下,通過(guò)對(duì)用戶的表情進(jìn)行釆集,將用戶的專用的表情與語(yǔ)音 的對(duì)應(yīng)關(guān)系加入表情語(yǔ)音數(shù)據(jù)庫(kù)。
      優(yōu)選地,提取用戶的表情信息包括使用自動(dòng)跟蹤器對(duì)預(yù)定臉 部特征進(jìn)行跟蹤,提取表情的運(yùn)動(dòng)特征,并識(shí)別表情信息。
      通過(guò)本發(fā)明,釆用對(duì)用戶的人臉圖像進(jìn)行獲取并提取出表情信 息,根據(jù)表情信息查找對(duì)應(yīng)的語(yǔ)音并播放該語(yǔ)音的方法,解決了相 關(guān)技術(shù)中未提供無(wú)法用語(yǔ)言表達(dá)情感的人群所能夠使用的移動(dòng)設(shè)備的問(wèn)題,使具有語(yǔ)言障礙的人能夠?qū)崿F(xiàn)與正常人進(jìn)行簡(jiǎn)單的會(huì)話交流,本發(fā)明使交流變得更方便、快捷。
      附圖j兌明
      此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解,構(gòu)成本申請(qǐng)的一部分,本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明,并
      不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中


      圖1是根據(jù)本發(fā)明實(shí)施例的移動(dòng)設(shè)備的結(jié)構(gòu)框圖2是根據(jù)本發(fā)明實(shí)施例的圖像獲取模塊的詳細(xì)結(jié)構(gòu)框圖3是根據(jù)本發(fā)明實(shí)例1的移動(dòng)設(shè)備的組成結(jié)構(gòu)框圖4是根據(jù)本發(fā)明實(shí)例1的人臉跟蹤識(shí)別模塊的結(jié)構(gòu)框圖5是根據(jù)本發(fā)明實(shí)施例的通話方法的流程圖6是根據(jù)本發(fā)明實(shí)例1的圖像獲取模塊的工作流程圖7是根據(jù)本發(fā)明實(shí)例4的通話方法的詳細(xì)流程圖。
      具體實(shí)施方式
      功能相無(wú)述
      考慮到現(xiàn)有技術(shù)中存在的問(wèn)題,本發(fā)明實(shí)施例提供了一種移動(dòng)設(shè)備及通話方法,該方案的處理原則為從人臉圖像中提取人臉特
      征信息,在人臉特4正信息與用戶特;f正信息庫(kù)不匹配的情況下,確定
      用戶是首次通話,其中,用戶特征信息庫(kù)存儲(chǔ)有使用過(guò)移動(dòng)設(shè)備的
      用戶的人臉特征信息;在確定用戶是首次通話的情況下,通過(guò)對(duì)用戶的表情進(jìn)行采集,將用戶的專用的表情與語(yǔ)音的對(duì)應(yīng)關(guān)系加入表情語(yǔ)音數(shù)據(jù)庫(kù)。該方案能夠^吏具有語(yǔ)言障礙的人能夠?qū)崿F(xiàn)與正常人進(jìn)行簡(jiǎn)單的會(huì)話交流,本發(fā)明使交流變得更方便、快捷。
      下文中將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明。需要說(shuō)明的是,在不沖突的情況下,本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以坤目互纟且合。
      裝置實(shí)施例
      根據(jù)本發(fā)明實(shí)施例,提供了一種移動(dòng)設(shè)備,圖l是根據(jù)本發(fā)明
      實(shí)施例的移動(dòng)設(shè)備的結(jié)構(gòu)框圖,如圖l所示,該移動(dòng)設(shè)備包括
      圖像獲取模塊12,用于獲取用戶的人臉圖像。
      表情獲取模塊14,連接于圖像獲取模塊12,用于從圖像獲取模塊12獲取的人臉圖像中提取用戶的表情信息。表情獲取模塊14還可以用于從人臉圖像中提取人臉特征信息,在人臉特征信息與用戶特征信息庫(kù)不匹配的情況下,確定用戶是首次通話,其中,用戶特征信息庫(kù)存儲(chǔ)有使用過(guò)移動(dòng)設(shè)備的用戶的人臉特征信息,并且,在表情獲取模塊14確定用戶是首次通話的情況下,通過(guò)對(duì)用戶的表情進(jìn)行采集,將用戶的專用的表情與語(yǔ)音的對(duì)應(yīng)關(guān)系加入表情語(yǔ)音數(shù)據(jù)庫(kù)。優(yōu)選地,表情獲取才莫塊14還可以用于^f吏用自動(dòng)跟蹤器對(duì)用戶的預(yù)定臉部特征進(jìn)行跟蹤,提取表情的運(yùn)動(dòng)特征,并識(shí)別表情信息。
      表情語(yǔ)音查詢模塊16,連接于表情獲取模塊14,用于通過(guò)將表情信息與表情語(yǔ)音數(shù)據(jù)庫(kù)進(jìn)行匹配,以查找到對(duì)應(yīng)的語(yǔ)音,其中,表情語(yǔ)音數(shù)據(jù)庫(kù)用于存儲(chǔ)表情與語(yǔ)音的對(duì)應(yīng)關(guān)系,其可以存儲(chǔ)在本地,也可以存4諸在遠(yuǎn)#呈月1務(wù)器上,在表情語(yǔ)音凄t據(jù)庫(kù)存4諸在遠(yuǎn)程月良務(wù)器上的情況下,表情語(yǔ)音查詢模塊16還用于將用戶的表情信息傳輸至遠(yuǎn)程服務(wù)器進(jìn)行與表情語(yǔ)音數(shù)據(jù)庫(kù)的匹配,接收查找到的語(yǔ)音后將語(yǔ)音傳輸至語(yǔ)音纟莫塊18進(jìn)行播放。優(yōu)選地,表情語(yǔ)音查詢^^莫塊
      還可以用于將查找到的語(yǔ)音組合為語(yǔ)句。
      語(yǔ)音模塊18,連接于表情語(yǔ)音查詢^t塊16,用于播放表情語(yǔ)音查詢模塊查找到的語(yǔ)音。
      圖2是根據(jù)本發(fā)明實(shí)施例的圖像獲取模塊的詳細(xì)結(jié)構(gòu)框圖,如圖2所示,圖像獲取模塊12包括攝像頭22,用于獲取用戶的人臉圖像;判斷子模塊24,連接于攝像頭22,用于驗(yàn)證人臉圖像是否為有效的人臉圖像;控制子模塊26,連接于攝像頭22和判斷子模塊24,用于在判斷子模塊24驗(yàn)證結(jié)果為否的情況下,根據(jù)人臉的所在位置及運(yùn)動(dòng)狀態(tài)調(diào)整纟菱J象頭22位置后,控制搨z像頭22再次獲取用戶的人臉圖像直至其為有效的人臉圖像。
      下面將結(jié)合實(shí)例對(duì)本發(fā)明實(shí)施例的實(shí)現(xiàn)過(guò)考呈進(jìn)4亍詳細(xì)描述。
      實(shí)例1
      以下對(duì)本發(fā)明實(shí)施例提供的移動(dòng)設(shè)備進(jìn)行詳細(xì)介紹。圖3是根據(jù)本發(fā)明實(shí)例1的移動(dòng)i殳備的組成結(jié)構(gòu)才匡圖。該實(shí)例中的移動(dòng)i殳備包括圖像獲取J溪塊1 、人臉跟蹤和識(shí)別模塊2、人臉表情識(shí)別模塊3、中央控制模塊4、表情語(yǔ)音存儲(chǔ)模塊5和語(yǔ)音模塊6。其中,人臉跟蹤和識(shí)別模塊2以及人臉表情識(shí)別模塊3從功能上來(lái)說(shuō)對(duì)應(yīng)于上述表情獲取^t塊14,中央控制模塊4用于對(duì)各模塊的觸發(fā)流程進(jìn)行控制,表情語(yǔ)音存儲(chǔ)模塊5對(duì)應(yīng)于上述表情語(yǔ)音數(shù)據(jù)庫(kù)及表情語(yǔ)音查詢才莫塊16,下面對(duì)以上才莫塊的功能進(jìn)行詳細(xì)^兌明。
      圖像獲取模塊1,主要用于獲取人臉圖像,為實(shí)現(xiàn)獲取人臉圖像的目的,需要相應(yīng)的攝像頭裝置,包括攝像頭、驅(qū)動(dòng)裝置、識(shí)別模塊和控制模塊,其中,識(shí)別模塊分別與攝像頭以及相應(yīng)的控制模塊相連接,用于接收并識(shí)別攝像頭捕捉到的圖像信息,并將識(shí)別后的圖像信息傳送給控制模塊,控制模塊與攝像頭的驅(qū)動(dòng)裝置連接,根據(jù)識(shí)別模塊的圖像信息,向驅(qū)動(dòng)裝置輸出控制指令,通過(guò)攝像頭的驅(qū)動(dòng)裝置來(lái)調(diào)整攝像頭以便更好的獲得圖像。
      人臉5艮蹤和識(shí)別纟莫塊2,包括人臉S艮蹤子才莫塊和人臉識(shí)別子才莫塊,人臉跟蹤子模塊用于在視頻中實(shí)時(shí)地、連續(xù)地估計(jì)人臉的位置和方向,人臉識(shí)別子模塊用于將檢測(cè)到的人臉圖像的特征信息與已知人臉的特征信息(對(duì)應(yīng)于上述用戶特征信息庫(kù)中的特征信息)進(jìn)行比較,從而判斷待識(shí)別人臉是否為一個(gè)已知人臉。對(duì)于本實(shí)例中的移動(dòng)i殳備,只要用戶<吏用該移動(dòng){殳備進(jìn)4亍過(guò)一次"通話",通過(guò)人臉識(shí)別程序模塊(即,人臉識(shí)別子模塊)能快速地識(shí)別出用戶,識(shí)別出人臉后進(jìn)一步對(duì)表情進(jìn)行識(shí)別判斷。
      圖4是根據(jù)本發(fā)明實(shí)例1的人臉跟蹤和識(shí)別模塊的結(jié)構(gòu)框圖,人臉跟蹤識(shí)別模塊2主要用于實(shí)現(xiàn)以下2個(gè)過(guò)程對(duì)人臉特征進(jìn)行提取,并將提取到的特征與特征模板進(jìn)行匹配,以下進(jìn)行詳細(xì)說(shuō)明
      特征提取的過(guò)程具體包括從獲取的人臉圖像信息檢測(cè)定位人臉部分,并在對(duì)人臉姿態(tài)進(jìn)行校正后進(jìn)行特征信息的提取。人臉特征提取過(guò)程可以由人臉檢測(cè)或人臉跟蹤子模塊、人臉特征定位與校正子模塊、人臉特征l是取子才莫塊來(lái)實(shí)現(xiàn)。其中,人臉檢測(cè)或人臉跟蹤子模塊用于在動(dòng)態(tài)的場(chǎng)景與復(fù)雜的背景中捕捉人臉并分離出人臉,并對(duì)被檢測(cè)到的人臉進(jìn)行動(dòng)態(tài)目標(biāo)跟蹤;人臉特征定位與校正子才莫塊用于利用關(guān)4定部位對(duì)人臉進(jìn)行幾4可4交正;人臉特征4是取子才莫塊用于對(duì)才全測(cè)4交正后的人臉計(jì)算提取臉部的本質(zhì)特征。實(shí)現(xiàn)特4正提取的各子模塊的集合與圖像獲取模塊相連,用于從攝像頭獲取的理想的人臉信息中提取出特征模板信息。
      特征匹配的過(guò)程具體包括將待識(shí)別的人臉特征信息與人臉特征數(shù)據(jù)庫(kù)(即,用戶特征數(shù)據(jù)庫(kù))中所存入的特征信息進(jìn)行匹配,
      ii計(jì)算匹配可信度,并判決最佳匹配對(duì)象。上述過(guò)禾呈通過(guò)特4正匹配子模塊來(lái)實(shí)現(xiàn),其中,特征匹配子模塊用于對(duì)比特征提取子模塊提取到的人臉圖像特征信息與人臉特征模板數(shù)據(jù)庫(kù)(即,用戶特征數(shù)據(jù)庫(kù))中保存的已知模板是否匹配。
      人臉表情識(shí)別才莫塊3,面部表情是被廣泛公認(rèn)的情感表達(dá)形式之一,它是人際交往中信息傳達(dá)、情感交流不可缺少的手段,也是
      了解他人主觀心理狀態(tài)的客觀指標(biāo)。人臉的表情識(shí)別模塊3 —般包
      括人臉表情的特征提取子模塊以及人臉表情識(shí)別子模塊,通過(guò)表情提取能夠體現(xiàn)人臉運(yùn)動(dòng)的關(guān)鍵特征點(diǎn), 一方面這些特征點(diǎn)反映了人
      臉的4侖廓特征,另 一方面通過(guò)對(duì)其運(yùn)動(dòng)的跟蹤可以取得人臉的變化
      過(guò)程。人臉表情的特征提取子模塊用于對(duì)人臉的表情特征進(jìn)行提取,可以使用自動(dòng)跟蹤器對(duì)預(yù)定臉部特征,例如,眉毛、眼睛、鼻子、嘴巴等處的特征點(diǎn)進(jìn)行實(shí)時(shí)跟蹤,提取表情運(yùn)動(dòng)特征。人臉表情識(shí)別子模塊用于對(duì)人臉表情進(jìn)行識(shí)別,表情識(shí)別可以采用多種方法,可以使用基于神經(jīng)網(wǎng)絡(luò)的方法,采用多狀態(tài)成分模型對(duì)人臉各部分(眼睛、下巴、臉頰、皺紋、嘴巴、眉毛等等)進(jìn)行跟蹤和建模,將跟蹤得到的結(jié)果進(jìn)行詳細(xì)的參數(shù)描述,構(gòu)造一個(gè)三層神經(jīng)網(wǎng)絡(luò),
      將相應(yīng)的特征參數(shù)作為輸入識(shí)別人臉表情;也可以采用基于沖莫板的方法,根據(jù)圖像中表情的變化構(gòu)造時(shí)空域模板,對(duì)各種表情的標(biāo)準(zhǔn)模板與待識(shí)別表情進(jìn)行最近鄰法分類,可以首先定義一套運(yùn)動(dòng)參數(shù),將表情的識(shí)別分為兩個(gè)階段,先進(jìn)行基于距離的分類,取其中三個(gè)距離最近的候選表情,然后根據(jù)在表情特征提取階段獲得的信息作進(jìn)一步比較;或者,還可以采用控制理論的方法提取圖像序列中人臉的時(shí)空域運(yùn)動(dòng)能量表達(dá),通過(guò)跟蹤不同的基本表情的運(yùn)動(dòng)過(guò)程,建立表情的時(shí)空域運(yùn)動(dòng)模板,由兩個(gè)人的時(shí)空運(yùn)動(dòng)模板取平均得到特定表情的運(yùn)動(dòng)能量模板,在識(shí)別時(shí),通過(guò)計(jì)算測(cè)量樣本運(yùn)動(dòng)能量與標(biāo)準(zhǔn)才莫板之間的歐式距離進(jìn)^亍分類,獲得識(shí)別結(jié)果。需要說(shuō)明的中央控制模塊4,人臉跟蹤和識(shí)別模塊2、人臉表情識(shí)別模塊3及表情語(yǔ)音存儲(chǔ)模塊5均與中央控制模塊4相連。中央控制模塊將識(shí)別的人臉與存儲(chǔ)器數(shù)據(jù)庫(kù)(即,表情語(yǔ)音數(shù)據(jù)庫(kù))中的人臉進(jìn)行匹配,在非首次使用時(shí)可以更快速進(jìn)入到下一個(gè)模塊,同時(shí)中央控制模塊將識(shí)別的表情與存儲(chǔ)器數(shù)據(jù)庫(kù)中的表情語(yǔ)音進(jìn)行匹配,形成會(huì)話詞句。
      表情語(yǔ)音存儲(chǔ)模塊5,該模塊主要用于實(shí)現(xiàn)表情與語(yǔ)音的相互轉(zhuǎn)換,將人的表情信息轉(zhuǎn)換成語(yǔ)音信號(hào),讓人通過(guò)聽覺來(lái)獲得信息,同一表情可以對(duì)應(yīng)不同的語(yǔ)音,以便和不同國(guó)家的人進(jìn)行溝通交流。這是很龐大的一個(gè)數(shù)據(jù)庫(kù),建立表情語(yǔ)音數(shù)據(jù)庫(kù)以及保證每一條對(duì)應(yīng)關(guān)系的正確性是一個(gè)長(zhǎng)期的過(guò)程,該凄t據(jù)庫(kù)的建立應(yīng)該獨(dú)立于程序設(shè)計(jì)。如何快速保存、建立索引以及提高數(shù)據(jù)檢索的速度需要持續(xù)的研究。在使用的過(guò)程中,如果數(shù)據(jù)庫(kù)在移動(dòng)設(shè)備所占存儲(chǔ)空間太大,可以考慮將該數(shù)據(jù)庫(kù)設(shè)置在遠(yuǎn)程服務(wù)器上,遠(yuǎn)程服務(wù)器與移動(dòng)終端之間利用無(wú)線收發(fā)裝置(例如,天線等)進(jìn)行通信,利用移動(dòng)終端與遠(yuǎn)程服務(wù)器之間存在的無(wú)線數(shù)據(jù)收發(fā)的通道,用戶可以將識(shí)別到的表情特征,即表情信息傳輸?shù)竭h(yuǎn)端服務(wù)器后在服務(wù)器端上利用其上的數(shù)據(jù)庫(kù)完成相應(yīng)的匹配,然后將結(jié)果,即對(duì)應(yīng)的語(yǔ)音返回移動(dòng)終端。
      語(yǔ)音纟莫塊6,生成連貫的語(yǔ)音通過(guò)音頻通道進(jìn)行發(fā)送。實(shí)例2
      該在實(shí)例中,詳細(xì)描述了語(yǔ)音表情數(shù)據(jù)庫(kù)的建立及存取訪問(wèn)過(guò)程。1. 建立語(yǔ)音表情H據(jù)庫(kù)
      語(yǔ)音表情數(shù)據(jù)庫(kù)是由系統(tǒng)開發(fā)者事先采集大量的人臉表情進(jìn)行訓(xùn)練,得到表情模型并存儲(chǔ)在存儲(chǔ)單元中的,可以提前建立一套標(biāo)
      準(zhǔn)的表情語(yǔ)音泰:據(jù)對(duì)應(yīng)表。4十對(duì)不同的用戶,還可以在用戶首次通話的過(guò)程中對(duì)該人臉進(jìn)行采集。在采集階段,提取用戶臉部的特征量與標(biāo)準(zhǔn)模塊人臉特征量進(jìn)行比較,在存儲(chǔ)單元建立人臉模型,并建立一套該用戶的基本表情語(yǔ)音數(shù)據(jù)表。這樣對(duì)于一直使用該移動(dòng)設(shè)備的用戶來(lái)說(shuō),只需要首次使用時(shí)建立該數(shù)據(jù)庫(kù),以后再次使用時(shí)就不需要引入繁瑣的采集過(guò)程,方便了用戶的使用。
      2. 對(duì)表情數(shù)據(jù)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行存取訪問(wèn)
      該過(guò)程可以通過(guò)直接存儲(chǔ)訪問(wèn)控制裝置來(lái)實(shí)現(xiàn),直接存儲(chǔ)訪問(wèn)控制裝置收到存取訪問(wèn)請(qǐng)求后,向中央控制模塊請(qǐng)求總線控制權(quán),中央控制器發(fā)送控制信息給直接存儲(chǔ)訪問(wèn)控制裝置,啟動(dòng)相應(yīng)功能并將相關(guān)信息通過(guò)系統(tǒng)總線發(fā)給直接存儲(chǔ)訪問(wèn)控制裝置,同時(shí)將總線控制權(quán)交予直接存儲(chǔ)訪問(wèn)控制裝置。中央控制模塊包括請(qǐng)求處理單元,用于響應(yīng)及處理其他模塊發(fā)送的直接存儲(chǔ)器請(qǐng)求,并向控制邏輯單元發(fā)送請(qǐng)求;控制邏輯單元用于接收請(qǐng)求處理單元送入的信息,并輸出控制信號(hào)到總線接口、請(qǐng)求處理單元及數(shù)據(jù)、地址和控制寄存器單元;數(shù)據(jù)、地址和控制寄存器單元,用于保存從總線接
      口獲取的相關(guān)信息,并將所保存的信息發(fā)送到總線接口;總線接口用于負(fù)責(zé)向系統(tǒng)總線收發(fā)信息,直接存儲(chǔ)訪問(wèn)控制模塊可以與存儲(chǔ)器集成在同一芯片上。
      方法實(shí)施例根據(jù)本發(fā)明的實(shí)施例,才是供了一種通話方法,圖5是#~據(jù)本發(fā)明實(shí)施例的通話方法的流-呈圖,如圖5所示,該方法包括如下的步-驟S502至步驟S508:
      步-驟S502,獲取用戶的人臉圖4象。
      步驟S504,從人臉圖像中提取人臉特征信息,在人臉特征信息與用戶特征信息庫(kù)不匹配的情況下,確定用戶是首次通話,其中,用戶特征信息庫(kù)存儲(chǔ)有使用過(guò)移動(dòng)設(shè)備的用戶的人臉特征信息;在確定用戶是首次通話的情況下,通過(guò)對(duì)用戶的表情進(jìn)行采集,將用戶的專用的表情與語(yǔ)音的對(duì)應(yīng)關(guān)系加入表情語(yǔ)音數(shù)據(jù)庫(kù)。
      步驟S506,從人臉圖像中提取用戶的表情信息,具體地,該過(guò)程可以4吏用自動(dòng)跟蹤器對(duì)預(yù)定臉部特征進(jìn)行5艮蹤,才是耳又表情的運(yùn)動(dòng)特征,并識(shí)別表情信息。
      步驟S508,通過(guò)將表情信息與表情語(yǔ)音數(shù)據(jù)庫(kù)進(jìn)行匹配,查找到對(duì)應(yīng)的語(yǔ)音并播放,其中,表情語(yǔ)音數(shù)據(jù)庫(kù)用于存儲(chǔ)表情與語(yǔ)音的只于應(yīng)關(guān)系。
      下面將結(jié)合實(shí)例對(duì)本發(fā)明實(shí)施例的實(shí)現(xiàn)過(guò)程進(jìn)行詳細(xì)描述。實(shí)例3
      在該實(shí)例中,對(duì)圖<象獲取才莫塊的工作過(guò)程進(jìn)4亍詳細(xì)描述,圖6是根據(jù)本發(fā)明實(shí)例1的圖像獲取模塊的工作流程圖,圖像獲取模塊將攝像頭采集到的人臉圖像信息,通過(guò)識(shí)別模塊進(jìn)行運(yùn)算處理,判斷人臉?biāo)谖恢靡约斑\(yùn)動(dòng)狀態(tài)并向控制模塊傳送相應(yīng)的信息,控制模塊再對(duì)上述信息進(jìn)行運(yùn)算處理,輸出對(duì)驅(qū)動(dòng)裝置中的控制指令,根據(jù)控制模塊的指令帶動(dòng)攝像頭進(jìn)行自動(dòng)旋轉(zhuǎn)以調(diào)整人臉在攝像頭視頻窗口的位置,從而可以獲得更好的人臉信息。
      15具體而言,圖〈象獲取才莫塊的工作過(guò)程包括以下步驟步驟601,啟動(dòng)搨j象頭。
      步驟602,將攝像頭采集到的圖像信息傳送到識(shí)別模塊。
      步驟603,識(shí)別模塊對(duì)采集到的圖像信息進(jìn)行分析處理,驗(yàn)證人臉圖像信息的有效性,如果識(shí)別模塊判斷攝像頭沒有采集到有效的人臉圖像信息,通過(guò)分析運(yùn)算驗(yàn)證人臉?biāo)诘奈恢靡约斑\(yùn)動(dòng)狀態(tài),將相應(yīng)信息輸出到控制模塊,并進(jìn)入步驟604,否則,圖像獲取模塊的功能結(jié)束,進(jìn)入人臉跟蹤和識(shí)別沖莫塊進(jìn)行后續(xù)處理。
      步驟604,由控制模塊根據(jù)上述信息運(yùn)算出相應(yīng)的指令,使驅(qū)動(dòng)裝置驅(qū)動(dòng)攝像頭進(jìn)行旋轉(zhuǎn),從而將人臉調(diào)整到攝像頭的視頻窗口 ,并進(jìn)入步驟602繼續(xù)采集圖4象。
      實(shí)例4
      以下結(jié)合實(shí)例1中的對(duì)各模塊的介紹,對(duì)本發(fā)明實(shí)施例提供的方法進(jìn)4亍詳細(xì)描述。圖7是才艮據(jù)本發(fā)明實(shí)例4的通話方法的詳細(xì)流程圖。當(dāng)需要4吏用無(wú)聲通話時(shí),用戶可以通過(guò)4要下移動(dòng)i殳備中特定的按一建進(jìn)入無(wú)聲通話模式,其具體步驟如下
      步驟701,觸發(fā)圖像獲取單元l,進(jìn)行人臉圖像獲取,即,移動(dòng)設(shè)備根據(jù)用戶操作進(jìn)入到人臉采集功能。
      步驟702,經(jīng)由人臉跟蹤和識(shí)別模塊2對(duì)人臉圖像進(jìn)行跟蹤和識(shí)別,將跟蹤識(shí)別出的人臉在人臉表情語(yǔ)音數(shù)據(jù)庫(kù)或用戶特征信息庫(kù)中進(jìn)行搜索,若無(wú)該人臉,進(jìn)入步驟703,否則,進(jìn)入步驟704。
      該過(guò)程具體包括以下步驟(1 )中央控制模塊開啟人臉跟蹤識(shí)別模塊對(duì)人臉圖像進(jìn)行跟蹤
      和識(shí)別;
      (2 )將識(shí)別的人臉?biāo)腿胫醒肟刂颇K,中央控制模塊將其在人臉表情語(yǔ)音數(shù)據(jù)庫(kù)或用戶特征信息庫(kù)中進(jìn)行匹配判斷處理,其中,已使用過(guò)該移動(dòng)設(shè)備的用戶的特征信息可以存儲(chǔ)在表情語(yǔ)音數(shù)據(jù)庫(kù)中,也可以獨(dú)立存卡者于其他凄欠據(jù)庫(kù),例如,用戶特4正信息庫(kù)中,圖7中畫出的是用戶的特征信息存儲(chǔ)在表情語(yǔ)音數(shù)據(jù)庫(kù)中的情況;
      (3)如果匹配成功則繼續(xù)執(zhí)行下一個(gè)表情識(shí)別模塊,即,執(zhí)行步眾《704;若未匹配成功,^U亍步驟703。
      步驟703,該用戶首次使用該移動(dòng)設(shè)備,此時(shí)根據(jù)數(shù)據(jù)庫(kù)中已經(jīng)存在的 一套標(biāo)準(zhǔn)人臉表情i吾音的對(duì)應(yīng)關(guān)系進(jìn)4亍新的凄t據(jù)更新存儲(chǔ),即,建立一套針對(duì)該用戶的基本表情語(yǔ)音數(shù)據(jù)庫(kù)。具體地,移動(dòng)設(shè)備通過(guò)采集過(guò)程在存儲(chǔ)器(表情語(yǔ)音數(shù)據(jù)庫(kù))中建立更新的表情語(yǔ)音數(shù)據(jù)庫(kù)。
      步驟704,由人臉表情模塊3識(shí)別出相應(yīng)的表情送至中央控制模塊4。
      步驟705,中央控制模塊4將識(shí)別的表情與存儲(chǔ)器數(shù)據(jù)庫(kù),即表情語(yǔ)音數(shù)據(jù)庫(kù)中的表情和語(yǔ)音進(jìn)行匹配,檢索到相似度大于一定閾值的表情所對(duì)應(yīng)的語(yǔ)音,形成會(huì)話詞句。
      步驟706,將形成的會(huì)話詞句通過(guò)語(yǔ)音才莫塊6生成連貫的語(yǔ)音,經(jīng)由音頻通道發(fā)送給對(duì)方。
      在該實(shí)例中,將圖像獲取模塊所獲取的人臉圖像由人臉跟蹤與識(shí)別模塊進(jìn)行跟蹤與識(shí)別,由人臉表情識(shí)別模塊識(shí)別出表情,然后經(jīng)由表情語(yǔ)音查詢模塊將相對(duì)應(yīng)的表情轉(zhuǎn)換為語(yǔ)音信號(hào),然后通過(guò)表情語(yǔ)音查詢才莫塊來(lái)形成會(huì)話詞句,再通過(guò)語(yǔ)音才莫塊生成連貫語(yǔ)音,通過(guò)音頻通道發(fā)送至對(duì)方進(jìn)4于交流。
      本發(fā)明實(shí)施例4是供的方案引入了人臉表情識(shí)別、表情語(yǔ)音數(shù)據(jù)庫(kù),使具有語(yǔ)言障礙的人能夠與正常人進(jìn)行簡(jiǎn)單的會(huì)話交流,使交流變得更方便、快捷。 一方面保證了具有語(yǔ)言障礙的人使用移動(dòng)設(shè)備進(jìn)4亍通信,使具有語(yǔ)言障礙的用戶就能隨時(shí)隨地的與正常人進(jìn)4亍
      簡(jiǎn)單溝通,遇到困難能及時(shí)得到幫助;另一方面使正常人更好的了解語(yǔ)言障礙者的需求。而且,本發(fā)明實(shí)施例提供的表情識(shí)別模塊可
      以直4妄集成在移動(dòng)i殳備中,只要該移動(dòng)i殳備能夠正常通話并具有標(biāo)準(zhǔn)的語(yǔ)音表情數(shù)據(jù)庫(kù)就可以正常使用,不需要對(duì)現(xiàn)有的構(gòu)架進(jìn)行改變,具有工業(yè)實(shí)用性。
      需要說(shuō)明的是,在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行,并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
      顯然,本領(lǐng)域的技術(shù)人員應(yīng)該明白,上述的本發(fā)明的各模塊或各步驟可以用通用的計(jì)算裝置來(lái)實(shí)現(xiàn),它們可以集中在單個(gè)的計(jì)算裝置上,或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上,可選地,它們可以用計(jì)算裝置可執(zhí)行的程序代碼來(lái)實(shí)現(xiàn),從而,可以將它們存儲(chǔ)
      在存儲(chǔ)裝置中由計(jì)算裝置來(lái)執(zhí)行,或者將它們分別制作成各個(gè)集成電路模塊,或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來(lái)實(shí)現(xiàn)。這樣,本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。
      以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已,并不用于限制本發(fā)明,對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō),本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的4呆護(hù)范圍之內(nèi)。
      權(quán)利要求
      1.一種移動(dòng)設(shè)備,其特征在于,包括圖像獲取模塊,用于獲取用戶的人臉圖像;表情獲取模塊,用于從所述圖像獲取模塊獲取的所述人臉圖像中提取所述用戶的表情信息;表情語(yǔ)音查詢模塊,用于通過(guò)將所述表情信息與表情語(yǔ)音數(shù)據(jù)庫(kù)進(jìn)行匹配,以查找到對(duì)應(yīng)的語(yǔ)音,其中,所述表情語(yǔ)音數(shù)據(jù)庫(kù)用于存儲(chǔ)表情與語(yǔ)音的對(duì)應(yīng)關(guān)系;語(yǔ)音模塊,用于播放所述表情語(yǔ)音查詢模塊查找到的語(yǔ)音。
      2. 才艮據(jù)片又利要求1所述的移動(dòng)i殳備,其特征在于,所述表情獲取模塊還用于從所述人臉圖像中提取人臉特 征信息,在所述人臉特征信息與用戶特征信息庫(kù)不匹配的情況 下,確定所述用戶是首次通話,其中,所述用戶特征信息庫(kù)存 儲(chǔ)有使用過(guò)所述移動(dòng)設(shè)備的用戶的人臉特征信息;所述表情獲取模塊還用于在所述表情獲取模塊確定所述 用戶是首次通話的情況下,通過(guò)對(duì)所述用戶的表情進(jìn)行采集, 將所述用戶的專用的表情與語(yǔ)音的對(duì)應(yīng)關(guān)系加入所述表情語(yǔ) 音數(shù)據(jù)庫(kù)。
      3. 根據(jù)權(quán)利要求1所述的移動(dòng)設(shè)備,其特征在于,所述表情獲取 模塊還用于使用自動(dòng)跟蹤器對(duì)所述用戶的預(yù)定臉部特征進(jìn)行 跟蹤,提取表情的運(yùn)動(dòng)特征,并識(shí)別所述表情信息。
      4. 根據(jù)權(quán)利要求1所述的移動(dòng)設(shè)備,其特征在于,所述圖像獲取 模塊包括攝像頭,用于獲取所述用戶的人臉圖像;判斷子模塊,用于驗(yàn)證所述人臉圖像是否為有效的人臉圖像;控制子模塊,用于在所述判斷子模塊驗(yàn)證結(jié)果為否的情況 下,根據(jù)人臉的所在位置及運(yùn)動(dòng)狀態(tài)調(diào)整所述攝像頭位置后, 控制所述攝像頭再次獲取所述用戶的人臉圖像直至其為有效 的人臉圖像。
      5. 根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的移動(dòng)設(shè)備,其特征在于, 所迷表情語(yǔ)音查詢才莫塊還用于將查找到的所述語(yǔ)音組合為語(yǔ) 句。
      6. 根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的移動(dòng)設(shè)備,其特征在于, 所述表情語(yǔ)音數(shù)據(jù)庫(kù)存儲(chǔ)在本地或者存儲(chǔ)在遠(yuǎn)程服務(wù)器上。
      7. 根據(jù)權(quán)利要求6所述的移動(dòng)設(shè)備,其特征在于,在所述表情語(yǔ) 音數(shù)據(jù)庫(kù)存儲(chǔ)在所述遠(yuǎn)程服務(wù)器上的情況下,所述表情語(yǔ)音查 詢模塊還用于將所述用戶的表情信息傳輸至所述遠(yuǎn)程服務(wù)器 進(jìn)行與所述表情語(yǔ)音數(shù)據(jù)庫(kù)的匹配,接收查找到的語(yǔ)音后將所 述語(yǔ)音傳輸至所述語(yǔ)音^^莫塊進(jìn)行播放。
      8. —種通話方法,其特;f正在于,包才舌獲取用戶的人臉圖像,并從所述人臉圖像中提取所述用戶 的表情信息;通過(guò)將所述表情信息與表情語(yǔ)音數(shù)據(jù)庫(kù)進(jìn)行匹配,查找到 對(duì)應(yīng)的語(yǔ)音并播放,其中,所述表情語(yǔ)音數(shù)椐庫(kù)用于存儲(chǔ)表情 與語(yǔ)音的對(duì)應(yīng)關(guān)系。
      9. 根據(jù)權(quán)利要求8所述的方法,其特征在于,獲取用戶的人臉圖 <象之后,所述方法還包括從所述人臉圖像中提取人臉特征信息,在所述人臉特征信 息與用戶特;f正信息庫(kù)不匹配的情況下,確定所述用戶是首次通 話,其中,所述用戶特征信息庫(kù)存儲(chǔ)有使用過(guò)所述移動(dòng)設(shè)備的 用戶的人臉特征信息;在確定所述用戶是首次通話的情況下,通過(guò)對(duì)所述用戶的 表情進(jìn)行采集,將所述用戶的專用的表情與語(yǔ)音的對(duì)應(yīng)關(guān)系加 入所述表情語(yǔ)音數(shù)據(jù)庫(kù)。
      10. 才艮據(jù)4又利要求8所述的方法,其特;f正在于,提取所述用戶的所 述表情信息包括使用自動(dòng)跟蹤器對(duì)預(yù)定臉部特征進(jìn)行跟蹤,提取表情的運(yùn) 動(dòng)特;f正,并識(shí)別所述表情〗言息。
      全文摘要
      本發(fā)明公開了一種移動(dòng)設(shè)備及通話方法,上述移動(dòng)設(shè)備包括圖像獲取模塊,用于獲取用戶的人臉圖像;表情獲取模塊,用于從圖像獲取模塊獲取的人臉圖像中提取用戶的表情信息;表情語(yǔ)音查詢模塊,用于通過(guò)將表情信息與表情語(yǔ)音數(shù)據(jù)庫(kù)進(jìn)行匹配,以查找到對(duì)應(yīng)的語(yǔ)音,其中,表情語(yǔ)音數(shù)據(jù)庫(kù)用于存儲(chǔ)表情與語(yǔ)音的對(duì)應(yīng)關(guān)系;語(yǔ)音模塊,用于播放表情語(yǔ)音查詢模塊查找到的語(yǔ)音。本發(fā)明使具有語(yǔ)言障礙的人能夠?qū)崿F(xiàn)與正常人進(jìn)行簡(jiǎn)單的會(huì)話交流,使交流變得更方便、快捷。
      文檔編號(hào)G06F17/30GK101674363SQ200910177789
      公開日2010年3月17日 申請(qǐng)日期2009年9月23日 優(yōu)先權(quán)日2009年9月23日
      發(fā)明者劉冬梅 申請(qǐng)人:中興通訊股份有限公司
      網(wǎng)友詢問(wèn)留言 已有0條留言
      • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
      1