本發(fā)明涉及通信的技術(shù)領(lǐng)域,特別是涉及一種語(yǔ)音操作方法、一種語(yǔ)音操作裝置和一種移動(dòng)終端。
背景技術(shù):
隨著移動(dòng)通信技術(shù)的發(fā)展,諸如手機(jī)、平板電腦等移動(dòng)終端越來(lái)越普及,給人們?cè)诘纳?、學(xué)習(xí)、工作帶來(lái)了極大的便利。
用戶(hù)通常在移動(dòng)終端中安裝各種應(yīng)用,例如,瀏覽器、新聞應(yīng)用、視頻應(yīng)用,等等,以滿(mǎn)足學(xué)習(xí)、工作、娛樂(lè)等需求。
為了方便用戶(hù)進(jìn)行操作,在移動(dòng)終端中通常配置有語(yǔ)音助手,用戶(hù)可以通過(guò)說(shuō)話(huà)進(jìn)行語(yǔ)音操作。
但是,對(duì)于大多數(shù)需要在應(yīng)用內(nèi)進(jìn)行的操作,由于語(yǔ)音助手僅能啟動(dòng)這些應(yīng)用,后續(xù)仍需要用戶(hù)手動(dòng)進(jìn)行操作,操作繁瑣。
技術(shù)實(shí)現(xiàn)要素:
鑒于上述問(wèn)題,提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的一種語(yǔ)音操作方法和相應(yīng)的一種語(yǔ)音操作裝置、一種移動(dòng)終端。
第一方面,本發(fā)明實(shí)施例提供了一種語(yǔ)音操作方法,包括:
接收語(yǔ)音數(shù)據(jù);
對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別,獲得文本信息;
掛鉤所述文本信息對(duì)應(yīng)目標(biāo)應(yīng)用中的目標(biāo)界面;
在所述目標(biāo)界面中按照所述文本信息進(jìn)行操作。
在一個(gè)可能的設(shè)計(jì)中,所述掛鉤所述文本信息對(duì)應(yīng)目標(biāo)應(yīng)用中的目標(biāo)界面的步驟包括:
將所述文本信息對(duì)應(yīng)的目標(biāo)應(yīng)用加載至指定的虛擬機(jī)中;
在所述虛擬機(jī)中掛鉤目標(biāo)界面對(duì)應(yīng)的函數(shù)。
在一個(gè)可能的設(shè)計(jì)中,所述根據(jù)所述文本信息掛鉤目標(biāo)應(yīng)用中的目標(biāo)界面的步驟包括:
從文本信息中識(shí)別操作對(duì)象信息和操作指令;
確定所述操作對(duì)象信息所屬的目標(biāo)應(yīng)用;
掛鉤所述目標(biāo)應(yīng)用中適于所述操作指令處理的目標(biāo)界面。
在一個(gè)可能的設(shè)計(jì)中,所述操作對(duì)象信息包括應(yīng)用信息和/或用戶(hù)信息;
所述確定所述操作對(duì)象信息所屬的目標(biāo)應(yīng)用的步驟包括:
查找所述應(yīng)用信息對(duì)應(yīng)的應(yīng)用,作為目標(biāo)應(yīng)用;
和/或,
查找適于處理所述用戶(hù)信息的通訊應(yīng)用,作為目標(biāo)應(yīng)用。
在一個(gè)可能的設(shè)計(jì)中,所述操作指令包括消息發(fā)送指令,所述在所述目標(biāo)應(yīng)用中掛鉤適于所述操作指令處理的目標(biāo)界面的步驟包括:
掛鉤所述通訊應(yīng)用中的搜索界面,所述搜索界面中具有第一搜索框;
將所述用戶(hù)信息輸入所述第一搜索框中;
觸發(fā)搜索操作,以所述第一搜索框中的用戶(hù)信息作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得搜索結(jié)果;
模擬點(diǎn)擊所述搜索結(jié)果,以開(kāi)啟適于按照所述消息發(fā)送指令發(fā)送通訊消息的會(huì)話(huà)窗口,作為目標(biāo)界面。
在一個(gè)可能的設(shè)計(jì)中,所述在所述目標(biāo)界面中按照所述文本信息進(jìn)行操作的步驟包括:
從文本信息中識(shí)別通訊消息;
將所述通訊消息寫(xiě)入所述會(huì)話(huà)窗口中;
按照所述消息發(fā)送指令模擬用戶(hù)操作、發(fā)送所述通訊消息。
在一個(gè)可能的設(shè)計(jì)中,所述根據(jù)所述文本信息掛鉤目標(biāo)應(yīng)用中的目標(biāo)界面的步驟包括:
從所述文本信息中識(shí)別實(shí)體詞;
查找與所述實(shí)體詞匹配的目標(biāo)應(yīng)用;
若查找到所述目標(biāo)應(yīng)用,則掛鉤所述目標(biāo)應(yīng)用中指定的處理界面,作為目標(biāo)界面。
在一個(gè)可能的設(shè)計(jì)中,所述在所述目標(biāo)界面中按照所述文本信息進(jìn)行操作的步驟包括:
將所述實(shí)體詞輸入所述目標(biāo)界面中的第二搜索框中;
觸發(fā)搜索操作,以所述搜索框中的實(shí)體詞作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得并顯示搜索結(jié)果。
在一個(gè)可能的設(shè)計(jì)中,所述根據(jù)所述文本信息掛鉤目標(biāo)應(yīng)用中的目標(biāo)界面的步驟還包括:
若未查找到所述目標(biāo)應(yīng)用,則以所述實(shí)體詞作為關(guān)鍵詞,發(fā)送至指定的搜索引擎進(jìn)行搜索;
接收并顯示所述搜索引擎返回的搜索結(jié)果。
第二方面,本發(fā)明實(shí)施例提供了一種語(yǔ)音操作裝置,包括:
語(yǔ)音數(shù)據(jù)接收模塊,用于接收語(yǔ)音數(shù)據(jù);
語(yǔ)音識(shí)別模塊,用于對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別,獲得文本信息;
目標(biāo)界面掛鉤模塊,用于掛鉤所述文本信息對(duì)應(yīng)目標(biāo)應(yīng)用中的目標(biāo)界面;
應(yīng)用操作模塊,用于在所述目標(biāo)界面中按照所述文本信息進(jìn)行操作。
在一個(gè)可能的設(shè)計(jì)中,所述目標(biāo)界面掛鉤模塊包括:
目標(biāo)應(yīng)用加載子模塊,用于將所述文本信息對(duì)應(yīng)的目標(biāo)應(yīng)用加載至指定的虛擬機(jī)中;
函數(shù)掛鉤子模塊,用于在所述虛擬機(jī)中掛鉤目標(biāo)界面對(duì)應(yīng)的函數(shù)。
在一個(gè)可能的設(shè)計(jì)中,所述目標(biāo)界面掛鉤模塊包括:
操作信息識(shí)別子模塊,用于從文本信息中識(shí)別操作對(duì)象信息和操作指令;
目標(biāo)應(yīng)用確定子模塊,用于確定所述操作對(duì)象信息所屬的目標(biāo)應(yīng)用;
指令掛鉤子模塊,用于掛鉤所述目標(biāo)應(yīng)用中適于所述操作指令處理的目標(biāo)界面。
在一個(gè)可能的設(shè)計(jì)中,所述操作對(duì)象信息包括應(yīng)用信息和/或用戶(hù)信息;
所述目標(biāo)應(yīng)用確定子模塊包括:
第一查找單元,用于查找所述應(yīng)用信息對(duì)應(yīng)的應(yīng)用,作為目標(biāo)應(yīng)用;
和/或,
第二查找單元,用于查找適于處理所述用戶(hù)信息的通訊應(yīng)用,作為目標(biāo)應(yīng)用。
在一個(gè)可能的設(shè)計(jì)中,所述操作指令包括消息發(fā)送指令,所述指令掛鉤子模塊包括:
搜索界面掛鉤單元,用于掛鉤所述通訊應(yīng)用中的搜索界面,所述搜索界面中具有第一搜索框;
用戶(hù)信息輸入單元,用于將所述用戶(hù)信息輸入所述第一搜索框中;
用戶(hù)信息搜索單元,用于觸發(fā)搜索操作,以所述第一搜索框中的用戶(hù)信息作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得搜索結(jié)果;
搜索結(jié)果點(diǎn)擊單元,用于模擬點(diǎn)擊所述搜索結(jié)果,以開(kāi)啟適于按照所述消息發(fā)送指令發(fā)送通訊消息的會(huì)話(huà)窗口,作為目標(biāo)界面。
在一個(gè)可能的設(shè)計(jì)中,所述應(yīng)用操作模塊包括:
通訊消息識(shí)別子模塊,用于從文本信息中識(shí)別通訊消息;
通訊消息寫(xiě)入子模塊,用于將所述通訊消息寫(xiě)入所述會(huì)話(huà)窗口中;
通訊消息發(fā)送子模塊,用于按照所述消息發(fā)送指令模擬用戶(hù)操作、發(fā)送所述通訊消息。
在一個(gè)可能的設(shè)計(jì)中,所述目標(biāo)界面掛鉤模塊包括:
實(shí)體詞識(shí)別子模塊,用于從所述文本信息中識(shí)別實(shí)體詞;
所述實(shí)體詞匹配子模塊,用于查找與所述實(shí)體詞匹配的目標(biāo)應(yīng)用;
處理界面掛鉤子模塊,用于若查找到所述目標(biāo)應(yīng)用,則掛鉤所述目標(biāo)應(yīng)用中指定的處理界面,作為目標(biāo)界面。
在一個(gè)可能的設(shè)計(jì)中,所述應(yīng)用操作模塊包括:
實(shí)體詞輸入子模塊,用于將所述實(shí)體詞輸入所述目標(biāo)界面中的第二搜索框中;
實(shí)體詞搜索子模塊,用于觸發(fā)搜索操作,以所述搜索框中的實(shí)體詞作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得并顯示搜索結(jié)果。
在一個(gè)可能的設(shè)計(jì)中,所述目標(biāo)界面掛鉤模塊還包括:
實(shí)體詞發(fā)送子模塊,用于若未查找到所述目標(biāo)應(yīng)用,則以所述實(shí)體詞作為關(guān)鍵詞,發(fā)送至指定的搜索引擎進(jìn)行搜索;
搜索結(jié)果處理子模塊,用于接收并顯示所述搜索引擎返回的搜索結(jié)果。
第三方面,本發(fā)明實(shí)施例提供了一種移動(dòng)終端,包括處理器和存儲(chǔ)器;
所述存儲(chǔ)器用于存儲(chǔ)支持執(zhí)行所述的語(yǔ)音操作方法的程序;
所述處理器被配置為用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的程序。
第四方面,本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì),用于儲(chǔ)存為上述移動(dòng)終端所用的計(jì)算機(jī)軟件指令,其包含用于執(zhí)行上述方面為移動(dòng)終端所設(shè)計(jì)的程序。
本發(fā)明實(shí)施例接收語(yǔ)音數(shù)據(jù)并進(jìn)行語(yǔ)音識(shí)別,獲得文本信息,通過(guò)掛鉤文本信息對(duì)應(yīng)目標(biāo)應(yīng)用中的目標(biāo)界面,使得可以在目標(biāo)界面中按照文本信息進(jìn)行操作,實(shí)現(xiàn)在應(yīng)用內(nèi)進(jìn)行操作,減少后續(xù)用戶(hù)手動(dòng)進(jìn)行操作的頻次,提高了語(yǔ)音操作的簡(jiǎn)便性,同時(shí),掛鉤操作在操作系統(tǒng)后臺(tái)進(jìn)行,用戶(hù)不可見(jiàn),減少了對(duì)前端操作造成的影響,保證了用戶(hù)體驗(yàn)。
本發(fā)明的這些方面或其他方面在以下實(shí)施例的描述中會(huì)更加簡(jiǎn)明易懂。
附圖說(shuō)明
通過(guò)閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述,各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的,而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中,用相同的參考符號(hào)表示相同的部件。在附圖中:
圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種語(yǔ)音操作方法的步驟流程圖;
圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的另一種語(yǔ)音操作方法的步驟流程圖;
圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種通訊應(yīng)用的搜索界面的示例圖;
圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種搜索結(jié)果的示例圖;
圖5示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種會(huì)話(huà)窗口的示例圖;
圖6示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種發(fā)送通訊消息的示例圖;
圖7示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種發(fā)送通訊消息后的會(huì)話(huà)窗口的示例圖;
圖8示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的另一種語(yǔ)音操作方法的步驟流程圖;
圖9示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種語(yǔ)音操作裝置的結(jié)構(gòu)框圖;以及
圖10示出的是與本發(fā)明實(shí)施例提供的終端相關(guān)的手機(jī)的部分結(jié)構(gòu)的框圖。
具體實(shí)施方式
下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施例。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施例,然而應(yīng)當(dāng)理解,可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施例所限制。相反,提供這些實(shí)施例是為了能夠更透徹地理解本公開(kāi),并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
參照?qǐng)D1,示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種語(yǔ)音操作方法的步驟流程圖,具體可以包括如下步驟:
步驟101,接收語(yǔ)音數(shù)據(jù)。
在具體實(shí)現(xiàn)中本發(fā)明實(shí)施例可以應(yīng)用在移動(dòng)終端中,例如,手機(jī)、平板電腦、個(gè)人數(shù)字助理、穿戴設(shè)備(如眼鏡、手表等)等等。
該移動(dòng)終端安裝有麥克風(fēng)等聲卡設(shè)備,用戶(hù)可以對(duì)聲卡設(shè)備說(shuō)話(huà),錄入語(yǔ)音數(shù)據(jù),即記錄用戶(hù)語(yǔ)音的數(shù)據(jù)。
這些移動(dòng)終端的操作系統(tǒng)可以包括android(安卓)、ios、windowsphone、windows等等。
在操作系統(tǒng)中,通常會(huì)預(yù)置不同類(lèi)型的系統(tǒng)應(yīng)用,以供用戶(hù)使用,為了滿(mǎn)足學(xué)習(xí)、工作、娛樂(lè)等其他需求,用戶(hù)通常會(huì)在操作系統(tǒng)中安裝各種類(lèi)型的第三方應(yīng)用,例如,即時(shí)通訊工具、瀏覽器、支付應(yīng)用、新聞應(yīng)用、視頻應(yīng)用,等等。
步驟102,對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別,獲得文本信息。
語(yǔ)音識(shí)別,也可以稱(chēng)為自動(dòng)語(yǔ)音識(shí)別(automaticspeechrecognition,asr),其任務(wù)是把用戶(hù)所發(fā)出的語(yǔ)音數(shù)據(jù)中的詞匯內(nèi)容轉(zhuǎn)換為計(jì)算機(jī)可讀入的文本信息。
在具體實(shí)現(xiàn)中,可以在移動(dòng)終端本地對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別并獲得俄文版信息,也可以將語(yǔ)音數(shù)據(jù)發(fā)送至服務(wù)器進(jìn)行語(yǔ)音識(shí)別并接收服務(wù)器返回的文本信息,本發(fā)明實(shí)施例對(duì)此不加以限制。
進(jìn)一步而言,進(jìn)行語(yǔ)音識(shí)別的語(yǔ)音識(shí)別系統(tǒng)通常包括以下幾個(gè)基本模塊:
1、信號(hào)處理及特征提取模塊
信號(hào)處理及特征提取模塊從語(yǔ)音數(shù)據(jù)中提取特征,供聲學(xué)模型處理。
同時(shí),信號(hào)處理及特征提取模塊一般也進(jìn)行一些信號(hào)處理,以盡可能降低環(huán)境噪聲、信道、說(shuō)話(huà)人等因素對(duì)語(yǔ)音數(shù)據(jù)造成的影響。
2、聲學(xué)模型
語(yǔ)音識(shí)別系統(tǒng)多采用基于一階隱馬爾科夫模型進(jìn)行建模。
3、發(fā)音詞典
發(fā)音詞典包含語(yǔ)音識(shí)別系統(tǒng)所能處理的詞匯集及其發(fā)音,提供了聲學(xué)模型與語(yǔ)言模型的映射。
4、語(yǔ)言模型
語(yǔ)言模型對(duì)語(yǔ)音識(shí)別系統(tǒng)所針對(duì)的語(yǔ)言進(jìn)行建模。
一般情況下,包括正則語(yǔ)言,上下文無(wú)關(guān)文法在內(nèi)的各種語(yǔ)言模型都可以作為語(yǔ)言模型,但目前較多采用的是基于統(tǒng)計(jì)的n元文法及其變體。
5、解碼器
解碼器是語(yǔ)音識(shí)別系統(tǒng)的核心之一,對(duì)輸入的信號(hào),根據(jù)聲學(xué)、語(yǔ)言模型及詞典的處理結(jié)果,尋找能夠以最大概率輸出該信號(hào)的詞串,從數(shù)學(xué)角度可以更加清楚的了解上述模塊之間的關(guān)系。
步驟103,掛鉤所述文本信息對(duì)應(yīng)目標(biāo)應(yīng)用中的目標(biāo)界面。
在本發(fā)明實(shí)施例中,可以對(duì)文本信息進(jìn)行語(yǔ)義分析,獲知用戶(hù)的操作意圖,選擇合適的應(yīng)用作為目標(biāo)應(yīng)用,掛鉤(hook)其適于操作意圖進(jìn)行操作的界面,作為目標(biāo)界面。
其中,該目標(biāo)應(yīng)用可以為第三方應(yīng)用,也可以為系統(tǒng)應(yīng)用,本發(fā)明實(shí)施例對(duì)此不加以限制。
掛鉤,又稱(chēng)鉤子,應(yīng)用可以在上面設(shè)置子程以監(jiān)視指定窗口的某種消息,而且所監(jiān)視的窗口可以是其他進(jìn)程所創(chuàng)建的,當(dāng)消息到達(dá)后,在目標(biāo)窗口處理函數(shù)之前處理它。
在本發(fā)明的一個(gè)實(shí)施例中,可以將文本信息對(duì)應(yīng)的目標(biāo)應(yīng)用加載至指定的虛擬機(jī)中;在虛擬機(jī)中掛鉤目標(biāo)界面對(duì)應(yīng)的函數(shù)。
在本發(fā)明實(shí)施例中,可以對(duì)操作系統(tǒng)進(jìn)行修改,定制適配應(yīng)用擴(kuò)展組件的虛擬機(jī),將通訊應(yīng)用加載至該虛擬機(jī)中運(yùn)行,使得應(yīng)用擴(kuò)展組件可以對(duì)該通訊應(yīng)用進(jìn)行動(dòng)態(tài)擴(kuò)展和修復(fù),例如,云修復(fù)、云廣告、模塊解耦、黑科技,等等。
應(yīng)用擴(kuò)展組件包括運(yùn)行環(huán)境、活動(dòng)線程、安裝包和組件文件四部分。
其中,運(yùn)行環(huán)境負(fù)責(zé)提供核心能力,活動(dòng)線程負(fù)責(zé)構(gòu)建運(yùn)行環(huán)境,安裝包負(fù)責(zé)提供核心接口以及身份認(rèn)證等管理機(jī)制,而最終的功能特性由組件文件提供。
運(yùn)行環(huán)境是專(zhuān)門(mén)為應(yīng)用擴(kuò)展組件提供改造java類(lèi)和方法的能力(如:鉤子hook)的定制安卓運(yùn)行環(huán)境(如art)。
活動(dòng)線程用于提供一套判斷和啟動(dòng)應(yīng)用擴(kuò)展組件的機(jī)制,從而降低應(yīng)用擴(kuò)展組件對(duì)應(yīng)用的性能影響。
可以通過(guò)路徑快速判斷應(yīng)用是否需要應(yīng)用擴(kuò)展組件支持的方式來(lái)決定是否對(duì)應(yīng)用加載組件文件以進(jìn)行能力擴(kuò)展。
安裝包使用提供商簽名啟動(dòng),其內(nèi)部攜帶基礎(chǔ)的組件文件所需要的接口。這種接口是一個(gè)api(applicationprogramminginterface,應(yīng)用程序編程接口)的集合,用于降低應(yīng)用擴(kuò)展組件對(duì)應(yīng)用的內(nèi)存占用量,同時(shí)也降低在加載組件文件的時(shí)候?qū)?yīng)用性能影響。
接口是一個(gè)jar包,用于開(kāi)發(fā)人員開(kāi)發(fā)組件文件時(shí)使用。jar包中提供常用的基本api,使得組件文件能夠動(dòng)態(tài)修改java類(lèi)和方法以及hook某些方法。
組件文件會(huì)由安裝包內(nèi)部集成,便于版本控制和減少組件文件大小?;诮涌诳梢蚤_(kāi)發(fā)更多的通用基礎(chǔ)庫(kù)以及擴(kuò)展庫(kù)。其中擴(kuò)展庫(kù)不是具體功能,而是為實(shí)現(xiàn)某些具體功能提供一些必要能力,可以各種模塊所共享。
組件文件是實(shí)現(xiàn)業(yè)務(wù)功能的主體,每一個(gè)組件文件包括多個(gè)類(lèi)抽象對(duì)象和方法抽象對(duì)象。其中,一個(gè)類(lèi)抽象對(duì)象可以包括多個(gè)方法抽象對(duì)象。類(lèi)抽象對(duì)象是對(duì)要進(jìn)行hook的類(lèi)的抽象,并且方法抽象對(duì)象是對(duì)要進(jìn)行hook的方法的抽象,它們之間是映射關(guān)系。某個(gè)具體的功能是由多個(gè)類(lèi)抽象對(duì)象通過(guò)方法抽象對(duì)象獲取到信息后以共享的方式實(shí)現(xiàn)的。
步驟104,在所述目標(biāo)界面中按照所述文本信息進(jìn)行操作。
在本發(fā)明實(shí)施例中,在對(duì)文本信息進(jìn)行語(yǔ)義分析、獲知用戶(hù)的操作意圖之后,在目標(biāo)應(yīng)用的目標(biāo)界面中,按照目標(biāo)應(yīng)用的業(yè)務(wù)處理邏輯,進(jìn)行相應(yīng)的操作。
本發(fā)明實(shí)施例接收語(yǔ)音數(shù)據(jù)并進(jìn)行語(yǔ)音識(shí)別,獲得文本信息,通過(guò)掛鉤文本信息對(duì)應(yīng)目標(biāo)應(yīng)用中的目標(biāo)界面,使得可以在目標(biāo)界面中按照文本信息進(jìn)行操作,實(shí)現(xiàn)在應(yīng)用內(nèi)進(jìn)行操作,減少后續(xù)用戶(hù)手動(dòng)進(jìn)行操作的頻次,提高了語(yǔ)音操作的簡(jiǎn)便性,同時(shí),掛鉤操作在操作系統(tǒng)后臺(tái)進(jìn)行,用戶(hù)不可見(jiàn),減少了對(duì)前端操作造成的影響,保證了用戶(hù)體驗(yàn)。
參照?qǐng)D2,示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的另一種語(yǔ)音操作方法的步驟流程圖,具體可以包括如下步驟:
步驟201,接收語(yǔ)音數(shù)據(jù)。
步驟202,對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別,獲得文本信息。
步驟203,從文本信息中識(shí)別操作對(duì)象信息和操作指令。
在本發(fā)明實(shí)施例中,可以對(duì)文本信息進(jìn)行語(yǔ)音分析,識(shí)別出操作對(duì)象信息和操作指令。
其中,操作對(duì)象信息為記錄對(duì)哪個(gè)對(duì)象進(jìn)行操作的信息,操作指令為記錄如何進(jìn)行操作的信息。
進(jìn)一步而言,操作對(duì)象信息可以包括應(yīng)用信息和/或用戶(hù)信息,例如,應(yīng)用信息可以包括應(yīng)用名稱(chēng),用戶(hù)信息可以包括用戶(hù)昵稱(chēng)、備注名,等等。
例如,假設(shè)對(duì)用戶(hù)的語(yǔ)音數(shù)據(jù)識(shí)別的文本信息為“在聊聊天里面跟蠢貓說(shuō),是不是沒(méi)貓糧了?”其中,“聊聊天”為某款通訊應(yīng)用的應(yīng)用名稱(chēng)(應(yīng)用信息),“蠢貓”為該用戶(hù)好友的昵稱(chēng)(用戶(hù)信息),“說(shuō)”為操作指令,即發(fā)送消息。
步驟204,確定所述操作對(duì)象信息所屬的目標(biāo)應(yīng)用。
在一種實(shí)施方式中,可以在移動(dòng)中本地安裝的應(yīng)用中,查找應(yīng)用信息對(duì)應(yīng)的應(yīng)用,作為目標(biāo)應(yīng)用。
在一種實(shí)施方式中,可以查找適于處理(如發(fā)送/接收即時(shí)通訊消息、發(fā)送/接收電子郵件、轉(zhuǎn)賬等)用戶(hù)信息的通訊應(yīng)用,作為目標(biāo)應(yīng)用。
若某些應(yīng)用(包括系統(tǒng)應(yīng)用和第三方應(yīng)用)提供通訊功能,讓用戶(hù)與用戶(hù)(或群組)之間進(jìn)行通訊,這些應(yīng)用可以稱(chēng)之為通訊應(yīng)用。
例如,專(zhuān)門(mén)用于用戶(hù)與用戶(hù)(或群組)之間進(jìn)行通訊的即時(shí)通訊工具,在提供支付功能的基礎(chǔ)上、提供通訊功能的支付應(yīng)用,等等。
如果查找到的通訊應(yīng)用存在多個(gè),則可以生成提示信息,提示用戶(hù)進(jìn)行選擇,或者,以操作指令輔助進(jìn)行選擇(即提供操作指令對(duì)應(yīng)功能的應(yīng)用作為目標(biāo)應(yīng)用),等等。
例如,若從文本信息“在聊聊天里面跟蠢貓說(shuō),是不是沒(méi)貓糧了?”識(shí)別出應(yīng)用信息“聊聊天”和用戶(hù)信息“蠢貓”,針對(duì)應(yīng)用信息“聊聊天”,則可以查找以“聊聊天”作為應(yīng)用名稱(chēng)的通訊應(yīng)用,針對(duì)用戶(hù)信息“蠢貓”,可以查找到多個(gè)通訊應(yīng)用,從中選擇應(yīng)用名稱(chēng)為“聊聊天”的通訊應(yīng)用。
當(dāng)然,上述目標(biāo)應(yīng)用的確定方式只是作為示例,在實(shí)施本發(fā)明實(shí)施例時(shí),可以根據(jù)實(shí)際情況設(shè)置其他目標(biāo)應(yīng)用的確定方式,本發(fā)明實(shí)施例對(duì)此不加以限制。另外,除了上述目標(biāo)應(yīng)用的確定方式外,本領(lǐng)域技術(shù)人員還可以根據(jù)實(shí)際需要采用其它目標(biāo)應(yīng)用的確定方式,本發(fā)明實(shí)施例對(duì)此也不加以限制。
步驟205,掛鉤所述目標(biāo)應(yīng)用中適于所述操作指令處理的目標(biāo)界面。
若確定了目標(biāo)應(yīng)用,則可以在該目標(biāo)應(yīng)用的界面中選擇與該操作指令業(yè)務(wù)相關(guān)的界面,作為目標(biāo)界面進(jìn)行掛鉤。
在本發(fā)明實(shí)施例的一個(gè)示例中,操作指令包括消息發(fā)送指令,即指示發(fā)送通訊消息的指令,則在本示例中,步驟205可以包括如下子步驟:
子步驟s11,掛鉤所述通訊應(yīng)用中的搜索界面。
搜索界面,屬于通訊應(yīng)用,為用于搜索信息的操作界面,搜索界面中具有第一搜索框,可以在該第一搜索框中輸入關(guān)鍵詞,該通訊應(yīng)用搜索與該關(guān)鍵詞相關(guān)的信息。
子步驟s12,將所述用戶(hù)信息輸入所述第一搜索框中。
子步驟s13,觸發(fā)搜索操作,以所述第一搜索框中的用戶(hù)信息作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得搜索結(jié)果。
在具體實(shí)現(xiàn)中,第一搜索框具有對(duì)應(yīng)的搜索控件,在搜索控件的位置模擬點(diǎn)擊事件,可以在搜索界面中觸發(fā)搜索操作。
通訊應(yīng)用響應(yīng)該搜索操作,執(zhí)行自身的搜索流程,以用戶(hù)信息作為搜索關(guān)鍵詞進(jìn)行搜索。
子步驟s14,模擬點(diǎn)擊所述搜索結(jié)果,以開(kāi)啟適于按照所述消息發(fā)送指令發(fā)送通訊消息的會(huì)話(huà)窗口,作為目標(biāo)界面。
與用戶(hù)信息匹配的搜索結(jié)果,與其搜索范圍相關(guān),可能限定于聯(lián)系人、討論組、群等,也可能擴(kuò)展為聊天記錄、音樂(lè),等等。
一般情況下,搜索結(jié)果與用戶(hù)信息的匹配程度越高,越優(yōu)先展示,因此,可以點(diǎn)擊排序前n個(gè)(n為正整數(shù),例如,1)搜索結(jié)果,即可開(kāi)啟合適的會(huì)話(huà)窗口,以該會(huì)話(huà)窗口所在的界面作為目標(biāo)界面。
例如,針對(duì)文本信息“在聊聊天里面跟蠢貓說(shuō),是不是沒(méi)貓糧了?”如圖3所示,可以?huà)煦^應(yīng)用名稱(chēng)為“聊聊天”的通訊應(yīng)用的搜索界面300,在搜索界面300的第一搜索框301中輸入“蠢貓”,并模擬點(diǎn)擊搜索控件302,觸發(fā)該通訊應(yīng)用進(jìn)行搜索,如圖4所示,搜索結(jié)果包括聯(lián)系人303、群組,等等,模擬點(diǎn)擊聯(lián)系人303,則如圖5所示,可以開(kāi)啟與“蠢貓”的會(huì)話(huà)窗口500。
步驟206,從文本信息中識(shí)別通訊消息。
在本發(fā)明實(shí)施例中,可以對(duì)文本信息進(jìn)行語(yǔ)義分析,從文本信息中識(shí)別通訊消息,即發(fā)送的消息的內(nèi)容。
例如,對(duì)于文本信息“在聊聊天里面跟蠢貓說(shuō),是不是沒(méi)貓糧了?”可以識(shí)別出通訊消息“是不是沒(méi)貓糧了?”。
步驟207,將所述通訊消息寫(xiě)入所述會(huì)話(huà)窗口中。
會(huì)話(huà)窗口通常包括歷史消息窗口和輸入窗口,歷史消息窗口用于展示用戶(hù)發(fā)出和/或接收的歷史消息,輸入窗口用于輸入待發(fā)送的消息。
在本發(fā)明實(shí)施例中,可以將通訊消息寫(xiě)入會(huì)話(huà)窗口的輸入窗口中。
步驟208,按照所述消息發(fā)送指令模擬用戶(hù)操作、發(fā)送所述通訊消息。
一般情況下,在會(huì)話(huà)窗口中提供有發(fā)送控件,則可以定位發(fā)送控件的位置,在該位置模擬點(diǎn)擊事件,即模擬點(diǎn)擊發(fā)送控件,將通訊內(nèi)容發(fā)送指令模擬用戶(hù)點(diǎn)擊、發(fā)送所述通訊消息。
例如,如圖6所示,可以將通訊消息“是不是沒(méi)貓糧了?”寫(xiě)入會(huì)話(huà)窗口的輸入框501中,之后,在發(fā)送控件502的位置模擬點(diǎn)擊事件,模擬點(diǎn)擊發(fā)送控件502,發(fā)送輸入框501中的通訊消息“是不是沒(méi)貓糧了?”。
如圖7所示,已發(fā)送的通訊消息“是不是沒(méi)貓糧了?”將會(huì)顯示至歷史消息窗口中。
需要說(shuō)明的是,掛鉤搜索界面、輸入用戶(hù)信息、觸發(fā)搜索操作、模擬點(diǎn)擊搜索結(jié)果、寫(xiě)入通訊消息、發(fā)送通訊消息等操作(即子步驟s11-子步驟s14、步驟207、步驟208等),通常是在操作系統(tǒng)的后臺(tái)進(jìn)行的,用戶(hù)一般不可見(jiàn)。
當(dāng)然,若通訊消息發(fā)送成功,則可以生成相應(yīng)的提示信息,提示用戶(hù)已發(fā)送成功,用戶(hù)點(diǎn)擊該提示信息則可以顯示發(fā)送通訊消息成功之后的會(huì)話(huà)窗口。
參照?qǐng)D8,示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的另一種語(yǔ)音操作方法的步驟流程圖,具體可以包括如下步驟:
步驟801,接收語(yǔ)音數(shù)據(jù)。
步驟802,對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別,獲得文本信息。
步驟803,從所述文本信息中識(shí)別實(shí)體詞。
實(shí)體詞,可以對(duì)應(yīng)一個(gè)具體的個(gè)體,例如,張三(人)、長(zhǎng)城(建筑)、深圳(地點(diǎn))、《長(zhǎng)征》(電影)等,也包含一些寬泛的代表類(lèi)別的個(gè)體,比如人、電影明星、歌手等等。
應(yīng)用本發(fā)明實(shí)施例,可以預(yù)先根據(jù)全網(wǎng)中抓取的數(shù)據(jù)進(jìn)行分析構(gòu)建知識(shí)庫(kù),該知識(shí)庫(kù)中可以存儲(chǔ)有實(shí)體詞列表。
在實(shí)體詞列表中,可以記載有預(yù)先采集的實(shí)體詞,通過(guò)便利該實(shí)體詞列表,可以從文本信息中識(shí)別實(shí)體詞。
例如,若文本信息為“我想看長(zhǎng)征”,則可以提取實(shí)體詞“長(zhǎng)征”。
步驟804,查找與所述實(shí)體詞匹配的目標(biāo)應(yīng)用。
應(yīng)用本發(fā)明實(shí)施例,可以預(yù)先建立實(shí)體詞與應(yīng)用類(lèi)別之間的關(guān)聯(lián)關(guān)系。
例如,若實(shí)體詞為電影,用戶(hù)意圖觀看電影,則可以與電影購(gòu)票應(yīng)用、視頻應(yīng)用建立關(guān)聯(lián)關(guān)系。
又例如,若實(shí)體詞為建筑,用戶(hù)意圖去該建筑游玩,則可以與景點(diǎn)購(gòu)票應(yīng)用關(guān)聯(lián)關(guān)系。
在本發(fā)明實(shí)施例中,可以依據(jù)該關(guān)聯(lián)關(guān)系,在移動(dòng)終端本地安裝的應(yīng)用中,查找歸屬于對(duì)應(yīng)應(yīng)用類(lèi)別的應(yīng)用,作為目標(biāo)應(yīng)用。
步驟805,若查找到所述目標(biāo)應(yīng)用,則掛鉤所述目標(biāo)應(yīng)用中指定的處理界面,作為目標(biāo)界面。
步驟806,將所述實(shí)體詞輸入所述目標(biāo)界面中的第二搜索框中。
步驟807,觸發(fā)搜索操作,以所述搜索框中的實(shí)體詞作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得并顯示搜索結(jié)果。
如果移動(dòng)終端本地安裝有目標(biāo)應(yīng)用,則可以?huà)煦^適于進(jìn)行業(yè)務(wù)處理的界面,作為目標(biāo)界面,例如,訂票界面、搜索界面,等等。
將實(shí)體詞輸入該目標(biāo)界面中的第二搜索框,第二搜索框通常具有對(duì)應(yīng)的搜索控件,在該搜索控件的位置模擬點(diǎn)擊事件,可以在目標(biāo)界面中觸發(fā)搜索操作。
目標(biāo)應(yīng)用響應(yīng)該搜索操作,執(zhí)行自身的搜索流程,以實(shí)體詞作為搜索關(guān)鍵詞進(jìn)行搜索。
若獲得搜索結(jié)果,則可以將目標(biāo)應(yīng)用的搜索結(jié)果展示給用戶(hù)。
步驟808,若未查找到所述目標(biāo)應(yīng)用,則以所述實(shí)體詞作為關(guān)鍵詞,發(fā)送至指定的搜索引擎進(jìn)行搜索。
步驟809,接收并顯示所述搜索引擎返回的搜索結(jié)果。
如果移動(dòng)終端本地未安裝有目標(biāo)應(yīng)用,則可以以實(shí)體詞作為關(guān)鍵詞,發(fā)送至指定的搜索引擎。
該搜索引擎可以對(duì)該實(shí)體詞進(jìn)行語(yǔ)義分析,提供相關(guān)的搜索結(jié)果。
例如,若實(shí)體詞為電影名稱(chēng),則可以提供電影購(gòu)票網(wǎng)站的購(gòu)票信息作為搜索結(jié)果。
又例如,若實(shí)體詞為菜式名稱(chēng),則可以提供該菜式的烹飪信息作為搜索結(jié)果。
若接收到該搜索引擎返回的搜索結(jié)果,則可以在瀏覽器或其他應(yīng)用中進(jìn)行顯示。
對(duì)于方法實(shí)施例,為了簡(jiǎn)單描述,故將其都表述為一系列的動(dòng)作組合,但是本領(lǐng)域技術(shù)人員應(yīng)該知悉,本發(fā)明實(shí)施例并不受所描述的動(dòng)作順序的限制,因?yàn)橐罁?jù)本發(fā)明實(shí)施例,某些步驟可以采用其他順序或者同時(shí)進(jìn)行。其次,本領(lǐng)域技術(shù)人員也應(yīng)該知悉,說(shuō)明書(shū)中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例,所涉及的動(dòng)作并不一定是本發(fā)明實(shí)施例所必須的。
參照?qǐng)D9,示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種語(yǔ)音操作裝置的結(jié)構(gòu)框圖,具體可以包括如下模塊:
語(yǔ)音數(shù)據(jù)接收模塊901,用于接收語(yǔ)音數(shù)據(jù);
語(yǔ)音識(shí)別模塊902,用于對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別,獲得文本信息;
目標(biāo)界面掛鉤模塊903,用于掛鉤所述文本信息對(duì)應(yīng)目標(biāo)應(yīng)用中的目標(biāo)界面;
應(yīng)用操作模塊904,用于在所述目標(biāo)界面中按照所述文本信息進(jìn)行操作。
在本發(fā)明的一個(gè)實(shí)施例中,所述目標(biāo)界面掛鉤模塊903包括:
目標(biāo)應(yīng)用加載子模塊,用于將所述文本信息對(duì)應(yīng)的目標(biāo)應(yīng)用加載至指定的虛擬機(jī)中;
函數(shù)掛鉤子模塊,用于在所述虛擬機(jī)中掛鉤目標(biāo)界面對(duì)應(yīng)的函數(shù)。
在本發(fā)明的一個(gè)實(shí)施例中,所述目標(biāo)界面掛鉤模塊903包括:
操作信息識(shí)別子模塊,用于從文本信息中識(shí)別操作對(duì)象信息和操作指令;
目標(biāo)應(yīng)用確定子模塊,用于確定所述操作對(duì)象信息所屬的目標(biāo)應(yīng)用;
指令掛鉤子模塊,用于掛鉤所述目標(biāo)應(yīng)用中適于所述操作指令處理的目標(biāo)界面。
在本發(fā)明的一個(gè)實(shí)施例中,所述操作對(duì)象信息包括應(yīng)用信息和/或用戶(hù)信息;
所述目標(biāo)應(yīng)用確定子模塊包括:
第一查找單元,用于查找所述應(yīng)用信息對(duì)應(yīng)的應(yīng)用,作為目標(biāo)應(yīng)用;
和/或,
第二查找單元,用于查找適于處理所述用戶(hù)信息的通訊應(yīng)用,作為目標(biāo)應(yīng)用。
在本發(fā)明的一個(gè)實(shí)施例中,所述操作指令包括消息發(fā)送指令,所述指令掛鉤子模塊包括:
搜索界面掛鉤單元,用于掛鉤所述通訊應(yīng)用中的搜索界面,所述搜索界面中具有第一搜索框;
用戶(hù)信息輸入單元,用于將所述用戶(hù)信息輸入所述第一搜索框中;
用戶(hù)信息搜索單元,用于觸發(fā)搜索操作,以所述第一搜索框中的用戶(hù)信息作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得搜索結(jié)果;
搜索結(jié)果點(diǎn)擊單元,用于模擬點(diǎn)擊所述搜索結(jié)果,以開(kāi)啟適于按照所述消息發(fā)送指令發(fā)送通訊消息的會(huì)話(huà)窗口,作為目標(biāo)界面。
在本發(fā)明的一個(gè)實(shí)施例中,所述應(yīng)用操作模塊904包括:
通訊消息識(shí)別子模塊,用于從文本信息中識(shí)別通訊消息;
通訊消息寫(xiě)入子模塊,用于將所述通訊消息寫(xiě)入所述會(huì)話(huà)窗口中;
通訊消息發(fā)送子模塊,用于按照所述消息發(fā)送指令模擬用戶(hù)操作、發(fā)送所述通訊消息。
在本發(fā)明的一個(gè)實(shí)施例中,所述目標(biāo)界面掛鉤模塊903包括:
實(shí)體詞識(shí)別子模塊,用于從所述文本信息中識(shí)別實(shí)體詞;
所述實(shí)體詞匹配子模塊,用于查找與所述實(shí)體詞匹配的目標(biāo)應(yīng)用;
處理界面掛鉤子模塊,用于若查找到所述目標(biāo)應(yīng)用,則掛鉤所述目標(biāo)應(yīng)用中指定的處理界面,作為目標(biāo)界面。
在本發(fā)明的一個(gè)實(shí)施例中,所述應(yīng)用操作模塊904包括:
實(shí)體詞輸入子模塊,用于將所述實(shí)體詞輸入所述目標(biāo)界面中的第二搜索框中;
實(shí)體詞搜索子模塊,用于觸發(fā)搜索操作,以所述搜索框中的實(shí)體詞作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得并顯示搜索結(jié)果。
在本發(fā)明的一個(gè)實(shí)施例中,所述目標(biāo)界面掛鉤模塊903還包括:
實(shí)體詞發(fā)送子模塊,用于若未查找到所述目標(biāo)應(yīng)用,則以所述實(shí)體詞作為關(guān)鍵詞,發(fā)送至指定的搜索引擎進(jìn)行搜索;
搜索結(jié)果處理子模塊,用于接收并顯示所述搜索引擎返回的搜索結(jié)果。
對(duì)于裝置實(shí)施例而言,由于其與方法實(shí)施例基本相似,所以描述的比較簡(jiǎn)單,相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。
本發(fā)明實(shí)施例還提供了移動(dòng)終端,如圖10所示,為了便于說(shuō)明,僅示出了與本發(fā)明實(shí)施例相關(guān)的部分,具體技術(shù)細(xì)節(jié)未揭示的,請(qǐng)參照本發(fā)明實(shí)施例方法部分。該終端可以為包括手機(jī)、平板電腦、pda(personaldigitalassistant,個(gè)人數(shù)字助理)、pos(pointofsales,銷(xiāo)售終端)、車(chē)載電腦等任意終端設(shè)備,以終端為手機(jī)為例:
圖10示出的是與本發(fā)明實(shí)施例提供的終端相關(guān)的手機(jī)的部分結(jié)構(gòu)的框圖。參考圖10,手機(jī)包括:射頻(radiofrequency,rf)電路1010、存儲(chǔ)器1020、輸入單元1030、顯示單元1040、傳感器1050、音頻電路1060、無(wú)線保真(wirelessfidelity,wifi)模塊1070、處理器1080、以及電源1090等部件。本領(lǐng)域技術(shù)人員可以理解,圖10中示出的手機(jī)結(jié)構(gòu)并不構(gòu)成對(duì)手機(jī)的限定,可以包括比圖示更多或更少的部件,或者組合某些部件,或者不同的部件布置。
下面結(jié)合圖10對(duì)手機(jī)的各個(gè)構(gòu)成部件進(jìn)行具體的介紹:
rf電路1010可用于收發(fā)信息或通話(huà)過(guò)程中,信號(hào)的接收和發(fā)送,特別地,將基站的下行信息接收后,給處理器1080處理;另外,將設(shè)計(jì)上行的數(shù)據(jù)發(fā)送給基站。通常,rf電路1010包括但不限于天線、至少一個(gè)放大器、收發(fā)信機(jī)、耦合器、低噪聲放大器(lownoiseamplifier,lna)、雙工器等。此外,rf電路1010還可以通過(guò)無(wú)線通信與網(wǎng)絡(luò)和其他設(shè)備通信。上述無(wú)線通信可以使用任一通信標(biāo)準(zhǔn)或協(xié)議,包括但不限于全球移動(dòng)通訊系統(tǒng)(globalsystemofmobilecommunication,gsm)、通用分組無(wú)線服務(wù)(generalpacketradioservice,gprs)、碼分多址(codedivisionmultipleaccess,cdma)、寬帶碼分多址(widebandcodedivisionmultipleaccess,wcdma)、長(zhǎng)期演進(jìn)(longtermevolution,lte)、電子郵件、短消息服務(wù)(shortmessagingservice,sms)等。
存儲(chǔ)器1020可用于存儲(chǔ)軟件程序以及模塊,處理器1080通過(guò)運(yùn)行存儲(chǔ)在存儲(chǔ)器1020的軟件程序以及模塊,從而執(zhí)行手機(jī)的各種功能應(yīng)用以及數(shù)據(jù)處理。存儲(chǔ)器1020可主要包括存儲(chǔ)程序區(qū)和存儲(chǔ)數(shù)據(jù)區(qū),其中,存儲(chǔ)程序區(qū)可存儲(chǔ)操作系統(tǒng)、至少一個(gè)功能所需的應(yīng)用程序(比如聲音播放功能、圖像播放功能等)等;存儲(chǔ)數(shù)據(jù)區(qū)可存儲(chǔ)根據(jù)手機(jī)的使用所創(chuàng)建的數(shù)據(jù)(比如音頻數(shù)據(jù)、電話(huà)本等)等。此外,存儲(chǔ)器1020可以包括高速隨機(jī)存取存儲(chǔ)器,還可以包括非易失性存儲(chǔ)器,例如至少一個(gè)磁盤(pán)存儲(chǔ)器件、閃存器件、或其他易失性固態(tài)存儲(chǔ)器件。
輸入單元1030可用于接收輸入的數(shù)字或字符信息,以及產(chǎn)生與手機(jī)的用戶(hù)設(shè)置以及功能控制有關(guān)的鍵信號(hào)輸入。具體地,輸入單元1030可包括觸控面板1031以及其他輸入設(shè)備1032。觸控面板1031,也稱(chēng)為觸摸屏,可收集用戶(hù)在其上或附近的觸摸操作(比如用戶(hù)使用手指、觸筆等任何適合的物體或附件在觸控面板1031上或在觸控面板1031附近的操作),并根據(jù)預(yù)先設(shè)定的程式驅(qū)動(dòng)相應(yīng)的連接裝置??蛇x的,觸控面板1031可包括觸摸檢測(cè)裝置和觸摸控制器兩個(gè)部分。其中,觸摸檢測(cè)裝置檢測(cè)用戶(hù)的觸摸方位,并檢測(cè)觸摸操作帶來(lái)的信號(hào),將信號(hào)傳送給觸摸控制器;觸摸控制器從觸摸檢測(cè)裝置上接收觸摸信息,并將它轉(zhuǎn)換成觸點(diǎn)坐標(biāo),再送給處理器1080,并能接收處理器1080發(fā)來(lái)的命令并加以執(zhí)行。此外,可以采用電阻式、電容式、紅外線以及表面聲波等多種類(lèi)型實(shí)現(xiàn)觸控面板1031。除了觸控面板1031,輸入單元1030還可以包括其他輸入設(shè)備1032。具體地,其他輸入設(shè)備1032可以包括但不限于物理鍵盤(pán)、功能鍵(比如音量控制按鍵、開(kāi)關(guān)按鍵等)、軌跡球、鼠標(biāo)、操作桿等中的一種或多種。
顯示單元1040可用于顯示由用戶(hù)輸入的信息或提供給用戶(hù)的信息以及手機(jī)的各種菜單。顯示單元1040可包括顯示面板1041,可選的,可以采用液晶顯示器(liquidcrystaldisplay,lcd)、有機(jī)發(fā)光二極管(organiclight-emittingdiode,oled)等形式來(lái)配置顯示面板1041。進(jìn)一步的,觸控面板1031可覆蓋顯示面板1041,當(dāng)觸控面板1031檢測(cè)到在其上或附近的觸摸操作后,傳送給處理器1080以確定觸摸事件的類(lèi)型,隨后處理器1080根據(jù)觸摸事件的類(lèi)型在顯示面板1041上提供相應(yīng)的視覺(jué)輸出。雖然在圖10中,觸控面板1031與顯示面板1041是作為兩個(gè)獨(dú)立的部件來(lái)實(shí)現(xiàn)手機(jī)的輸入和輸入功能,但是在某些實(shí)施例中,可以將觸控面板1031與顯示面板1041集成而實(shí)現(xiàn)手機(jī)的輸入和輸出功能。
手機(jī)還可包括至少一種傳感器1050,比如光傳感器、運(yùn)動(dòng)傳感器以及其他傳感器。具體地,光傳感器可包括環(huán)境光傳感器及接近傳感器,其中,環(huán)境光傳感器可根據(jù)環(huán)境光線的明暗來(lái)調(diào)節(jié)顯示面板1041的亮度,接近傳感器可在手機(jī)移動(dòng)到耳邊時(shí),關(guān)閉顯示面板1041和/或背光。作為運(yùn)動(dòng)傳感器的一種,加速計(jì)傳感器可檢測(cè)各個(gè)方向上(一般為三軸)加速度的大小,靜止時(shí)可檢測(cè)出重力的大小及方向,可用于識(shí)別手機(jī)姿態(tài)的應(yīng)用(比如橫豎屏切換、相關(guān)游戲、磁力計(jì)姿態(tài)校準(zhǔn))、振動(dòng)識(shí)別相關(guān)功能(比如計(jì)步器、敲擊)等;至于手機(jī)還可配置的陀螺儀、氣壓計(jì)、濕度計(jì)、溫度計(jì)、紅外線傳感器等其他傳感器,在此不再贅述。
音頻電路1060、揚(yáng)聲器1061,傳聲器1062可提供用戶(hù)與手機(jī)之間的音頻接口。音頻電路1060可將接收到的音頻數(shù)據(jù)轉(zhuǎn)換后的電信號(hào),傳輸?shù)綋P(yáng)聲器1061,由揚(yáng)聲器1061轉(zhuǎn)換為聲音信號(hào)輸出;另一方面,傳聲器1062將收集的聲音信號(hào)轉(zhuǎn)換為電信號(hào),由音頻電路1060接收后轉(zhuǎn)換為音頻數(shù)據(jù),再將音頻數(shù)據(jù)輸出處理器1080處理后,經(jīng)rf電路1010以發(fā)送給比如另一手機(jī),或者將音頻數(shù)據(jù)輸出至存儲(chǔ)器1020以便進(jìn)一步處理。
wifi屬于短距離無(wú)線傳輸技術(shù),手機(jī)通過(guò)wifi模塊1070可以幫助用戶(hù)收發(fā)電子郵件、瀏覽網(wǎng)頁(yè)和訪問(wèn)流式媒體等,它為用戶(hù)提供了無(wú)線的寬帶互聯(lián)網(wǎng)訪問(wèn)。雖然圖10示出了wifi模塊1070,但是可以理解的是,其并不屬于手機(jī)的必須構(gòu)成,完全可以根據(jù)需要在不改變發(fā)明的本質(zhì)的范圍內(nèi)而省略。
處理器1080是手機(jī)的控制中心,利用各種接口和線路連接整個(gè)手機(jī)的各個(gè)部分,通過(guò)運(yùn)行或執(zhí)行存儲(chǔ)在存儲(chǔ)器1020內(nèi)的軟件程序和/或模塊,以及調(diào)用存儲(chǔ)在存儲(chǔ)器1020內(nèi)的數(shù)據(jù),執(zhí)行手機(jī)的各種功能和處理數(shù)據(jù),從而對(duì)手機(jī)進(jìn)行整體監(jiān)控??蛇x的,處理器1080可包括一個(gè)或多個(gè)處理單元;優(yōu)選的,處理器1080可集成應(yīng)用處理器和調(diào)制解調(diào)處理器,其中,應(yīng)用處理器主要處理操作系統(tǒng)、用戶(hù)界面和應(yīng)用程序等,調(diào)制解調(diào)處理器主要處理無(wú)線通信。可以理解的是,上述調(diào)制解調(diào)處理器也可以不集成到處理器1080中。
手機(jī)還包括給各個(gè)部件供電的電源1090(比如電池),優(yōu)選的,電源可以通過(guò)電源管理系統(tǒng)與處理器1080邏輯相連,從而通過(guò)電源管理系統(tǒng)實(shí)現(xiàn)管理充電、放電、以及功耗管理等功能。
盡管未示出,手機(jī)還可以包括攝像頭、藍(lán)牙模塊等,在此不再贅述。
在本發(fā)明實(shí)施例中,該終端所包括的處理器1080還具有以下功能:
接收語(yǔ)音數(shù)據(jù);
對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別,獲得文本信息;
掛鉤所述文本信息對(duì)應(yīng)目標(biāo)應(yīng)用中的目標(biāo)界面;
在所述目標(biāo)界面中按照所述文本信息進(jìn)行操作。
可選地,該終端所包括的處理器1080還具有以下功能:
將所述文本信息對(duì)應(yīng)的目標(biāo)應(yīng)用加載至指定的虛擬機(jī)中;
在所述虛擬機(jī)中掛鉤目標(biāo)界面對(duì)應(yīng)的函數(shù)。
可選地,該終端所包括的處理器1080還具有以下功能:
從文本信息中識(shí)別操作對(duì)象信息和操作指令;
確定所述操作對(duì)象信息所屬的目標(biāo)應(yīng)用;
掛鉤所述目標(biāo)應(yīng)用中適于所述操作指令處理的目標(biāo)界面。
可選地,所述操作對(duì)象信息包括應(yīng)用信息和/或用戶(hù)信息;該終端所包括的處理器1080還具有以下功能:
查找所述應(yīng)用信息對(duì)應(yīng)的應(yīng)用,作為目標(biāo)應(yīng)用;
和/或,
查找適于處理所述用戶(hù)信息的通訊應(yīng)用,作為目標(biāo)應(yīng)用。
可選地,所述操作指令包括消息發(fā)送指令,該終端所包括的處理器1080還具有以下功能:
掛鉤所述通訊應(yīng)用中的搜索界面,所述搜索界面中具有第一搜索框;
將所述用戶(hù)信息輸入所述第一搜索框中;
觸發(fā)搜索操作,以所述第一搜索框中的用戶(hù)信息作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得搜索結(jié)果;
模擬點(diǎn)擊所述搜索結(jié)果,以開(kāi)啟適于按照所述消息發(fā)送指令發(fā)送通訊消息的會(huì)話(huà)窗口,作為目標(biāo)界面。
可選地,該終端所包括的處理器1080還具有以下功能:
從文本信息中識(shí)別通訊消息;
將所述通訊消息寫(xiě)入所述會(huì)話(huà)窗口中;
按照所述消息發(fā)送指令模擬用戶(hù)操作、發(fā)送所述通訊消息。
可選地,該終端所包括的處理器1080還具有以下功能:
從所述文本信息中識(shí)別實(shí)體詞;
查找與所述實(shí)體詞匹配的目標(biāo)應(yīng)用;
若查找到所述目標(biāo)應(yīng)用,則掛鉤所述目標(biāo)應(yīng)用中指定的處理界面,作為目標(biāo)界面。
可選地,該終端所包括的處理器1080還具有以下功能:
將所述實(shí)體詞輸入所述目標(biāo)界面中的第二搜索框中;
觸發(fā)搜索操作,以所述搜索框中的實(shí)體詞作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得并顯示搜索結(jié)果。
可選地,該終端所包括的處理器1080還具有以下功能:
若未查找到所述目標(biāo)應(yīng)用,則以所述實(shí)體詞作為關(guān)鍵詞,發(fā)送至指定的搜索引擎進(jìn)行搜索;
接收并顯示所述搜索引擎返回的搜索結(jié)果。
所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡(jiǎn)潔,上述描述的系統(tǒng),裝置和單元的具體工作過(guò)程,可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程,在此不再贅述。
在本發(fā)明所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的系統(tǒng),裝置和方法,可以通過(guò)其它的方式實(shí)現(xiàn)。例如,以上所描述的裝置實(shí)施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機(jī)械或其它的形式。
所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中,也可以是各個(gè)單元單獨(dú)物理存在,也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能單元的形式實(shí)現(xiàn)。
本領(lǐng)域普通技術(shù)人員可以理解上述實(shí)施例的各種方法中的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成,該程序可以存儲(chǔ)于一計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,存儲(chǔ)介質(zhì)可以包括:只讀存儲(chǔ)器(rom,readonlymemory)、隨機(jī)存取存儲(chǔ)器(ram,randomaccessmemory)、磁盤(pán)或光盤(pán)等。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件完成,所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器,磁盤(pán)或光盤(pán)等。
以上對(duì)本發(fā)明所提供的一種移動(dòng)終端進(jìn)行了詳細(xì)介紹,對(duì)于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明實(shí)施例的思想,在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處,綜上所述,本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
本發(fā)明實(shí)施例公開(kāi)了a1、一種語(yǔ)音操作方法,包括:接收語(yǔ)音數(shù)據(jù);對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別,獲得文本信息;掛鉤所述文本信息對(duì)應(yīng)目標(biāo)應(yīng)用中的目標(biāo)界面;在所述目標(biāo)界面中按照所述文本信息進(jìn)行操作。a2、如a1所述的方法,所述掛鉤所述文本信息對(duì)應(yīng)目標(biāo)應(yīng)用中的目標(biāo)界面的步驟包括:將所述文本信息對(duì)應(yīng)的目標(biāo)應(yīng)用加載至指定的虛擬機(jī)中;在所述虛擬機(jī)中掛鉤目標(biāo)界面對(duì)應(yīng)的函數(shù)。a3、如a1或a2所述的方法,所述根據(jù)所述文本信息掛鉤目標(biāo)應(yīng)用中的目標(biāo)界面的步驟包括:從文本信息中識(shí)別操作對(duì)象信息和操作指令;確定所述操作對(duì)象信息所屬的目標(biāo)應(yīng)用;掛鉤所述目標(biāo)應(yīng)用中適于所述操作指令處理的目標(biāo)界面。a4、如a3所述的方法,所述操作對(duì)象信息包括應(yīng)用信息和/或用戶(hù)信息;所述確定所述操作對(duì)象信息所屬的目標(biāo)應(yīng)用的步驟包括:查找所述應(yīng)用信息對(duì)應(yīng)的應(yīng)用,作為目標(biāo)應(yīng)用;和/或,查找適于處理所述用戶(hù)信息的通訊應(yīng)用,作為目標(biāo)應(yīng)用。a5、如a4所述的方法,所述操作指令包括消息發(fā)送指令,所述在所述目標(biāo)應(yīng)用中掛鉤適于所述操作指令處理的目標(biāo)界面的步驟包括:掛鉤所述通訊應(yīng)用中的搜索界面,所述搜索界面中具有第一搜索框;將所述用戶(hù)信息輸入所述第一搜索框中;觸發(fā)搜索操作,以所述第一搜索框中的用戶(hù)信息作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得搜索結(jié)果;模擬點(diǎn)擊所述搜索結(jié)果,以開(kāi)啟適于按照所述消息發(fā)送指令發(fā)送通訊消息的會(huì)話(huà)窗口,作為目標(biāo)界面。a6、如a5所述的方法,所述在所述目標(biāo)界面中按照所述文本信息進(jìn)行操作的步驟包括:從文本信息中識(shí)別通訊消息;將所述通訊消息寫(xiě)入所述會(huì)話(huà)窗口中;按照所述消息發(fā)送指令模擬用戶(hù)操作、發(fā)送所述通訊消息。a7、如a1所述的方法,所述根據(jù)所述文本信息掛鉤目標(biāo)應(yīng)用中的目標(biāo)界面的步驟包括:從所述文本信息中識(shí)別實(shí)體詞;查找與所述實(shí)體詞匹配的目標(biāo)應(yīng)用;若查找到所述目標(biāo)應(yīng)用,則掛鉤所述目標(biāo)應(yīng)用中指定的處理界面,作為目標(biāo)界面。a8、如a7所述的方法,所述在所述目標(biāo)界面中按照所述文本信息進(jìn)行操作的步驟包括:將所述實(shí)體詞輸入所述目標(biāo)界面中的第二搜索框中;觸發(fā)搜索操作,以所述搜索框中的實(shí)體詞作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得并顯示搜索結(jié)果。a9、如a7所述的方法,所述根據(jù)所述文本信息掛鉤目標(biāo)應(yīng)用中的目標(biāo)界面的步驟還包括:若未查找到所述目標(biāo)應(yīng)用,則以所述實(shí)體詞作為關(guān)鍵詞,發(fā)送至指定的搜索引擎進(jìn)行搜索;接收并顯示所述搜索引擎返回的搜索結(jié)果。
本發(fā)明實(shí)施例還公開(kāi)了b10、一種語(yǔ)音操作裝置,包括:語(yǔ)音數(shù)據(jù)接收模塊,用于接收語(yǔ)音數(shù)據(jù);語(yǔ)音識(shí)別模塊,用于對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別,獲得文本信息;目標(biāo)界面掛鉤模塊,用于掛鉤所述文本信息對(duì)應(yīng)目標(biāo)應(yīng)用中的目標(biāo)界面;應(yīng)用操作模塊,用于在所述目標(biāo)界面中按照所述文本信息進(jìn)行操作。b11、如b10所述的裝置,所述目標(biāo)界面掛鉤模塊包括:目標(biāo)應(yīng)用加載子模塊,用于將所述文本信息對(duì)應(yīng)的目標(biāo)應(yīng)用加載至指定的虛擬機(jī)中;函數(shù)掛鉤子模塊,用于在所述虛擬機(jī)中掛鉤目標(biāo)界面對(duì)應(yīng)的函數(shù)。b12、如b10或b11所述的裝置,所述目標(biāo)界面掛鉤模塊包括:操作信息識(shí)別子模塊,用于從文本信息中識(shí)別操作對(duì)象信息和操作指令;目標(biāo)應(yīng)用確定子模塊,用于確定所述操作對(duì)象信息所屬的目標(biāo)應(yīng)用;指令掛鉤子模塊,用于掛鉤所述目標(biāo)應(yīng)用中適于所述操作指令處理的目標(biāo)界面。b13、如b12所述的裝置,所述操作對(duì)象信息包括應(yīng)用信息和/或用戶(hù)信息;所述目標(biāo)應(yīng)用確定子模塊包括:第一查找單元,用于查找所述應(yīng)用信息對(duì)應(yīng)的應(yīng)用,作為目標(biāo)應(yīng)用;和/或,第二查找單元,用于查找適于處理所述用戶(hù)信息的通訊應(yīng)用,作為目標(biāo)應(yīng)用。b14、如b13所述的裝置,所述操作指令包括消息發(fā)送指令,所述指令掛鉤子模塊包括:搜索界面掛鉤單元,用于掛鉤所述通訊應(yīng)用中的搜索界面,所述搜索界面中具有第一搜索框;用戶(hù)信息輸入單元,用于將所述用戶(hù)信息輸入所述第一搜索框中;用戶(hù)信息搜索單元,用于觸發(fā)搜索操作,以所述第一搜索框中的用戶(hù)信息作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得搜索結(jié)果;搜索結(jié)果點(diǎn)擊單元,用于模擬點(diǎn)擊所述搜索結(jié)果,以開(kāi)啟適于按照所述消息發(fā)送指令發(fā)送通訊消息的會(huì)話(huà)窗口,作為目標(biāo)界面。b15、如b14所述的裝置,所述應(yīng)用操作模塊包括:通訊消息識(shí)別子模塊,用于從文本信息中識(shí)別通訊消息;通訊消息寫(xiě)入子模塊,用于將所述通訊消息寫(xiě)入所述會(huì)話(huà)窗口中;通訊消息發(fā)送子模塊,用于按照所述消息發(fā)送指令模擬用戶(hù)操作、發(fā)送所述通訊消息。b16、如b10所述的裝置,所述目標(biāo)界面掛鉤模塊包括:實(shí)體詞識(shí)別子模塊,用于從所述文本信息中識(shí)別實(shí)體詞;所述實(shí)體詞匹配子模塊,用于查找與所述實(shí)體詞匹配的目標(biāo)應(yīng)用;處理界面掛鉤子模塊,用于若查找到所述目標(biāo)應(yīng)用,則掛鉤所述目標(biāo)應(yīng)用中指定的處理界面,作為目標(biāo)界面。b17、如b16所述的裝置,所述應(yīng)用操作模塊包括:實(shí)體詞輸入子模塊,用于將所述實(shí)體詞輸入所述目標(biāo)界面中的第二搜索框中;實(shí)體詞搜索子模塊,用于觸發(fā)搜索操作,以所述搜索框中的實(shí)體詞作為關(guān)鍵詞在所述目標(biāo)應(yīng)用中進(jìn)行搜索,獲得并顯示搜索結(jié)果。b18、如b16所述的裝置,所述目標(biāo)界面掛鉤模塊還包括:實(shí)體詞發(fā)送子模塊,用于若未查找到所述目標(biāo)應(yīng)用,則以所述實(shí)體詞作為關(guān)鍵詞,發(fā)送至指定的搜索引擎進(jìn)行搜索;搜索結(jié)果處理子模塊,用于接收并顯示所述搜索引擎返回的搜索結(jié)果。
本發(fā)明實(shí)施例還公開(kāi)了c19、一種移動(dòng)終端,包括處理器和存儲(chǔ)器;所述存儲(chǔ)器用于存儲(chǔ)支持執(zhí)行a1至a9中所述的語(yǔ)音操作方法的程序;所述處理器被配置為用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的程序。