背景技術(shù)：

利用文本到語(yǔ)音應(yīng)用來(lái)將書(shū)面文本讀出來(lái)。這樣的應(yīng)用可以協(xié)助視力不好的人們、處于不期望閱讀文本的位置上(例如，在開(kāi)車的時(shí)候)的人們，以及更喜歡聽(tīng)到文本的閱讀而不是閱讀文本的人們。在向用戶閱讀文本的情況中，用戶通常想要聽(tīng)到發(fā)音更自然并且準(zhǔn)確地閱讀文本的聲音。

實(shí)施例是針對(duì)這樣的情況以及其他一般情況來(lái)做出的。同樣，雖然已經(jīng)討論了相對(duì)具體的問(wèn)題，但是應(yīng)當(dāng)理解的是實(shí)施例不應(yīng)被限制為解決背景技術(shù)中所識(shí)別出的特定問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

在一個(gè)方面中，技術(shù)關(guān)于用于將文本轉(zhuǎn)換為語(yǔ)音的方法。該方法包括接收文本輸入以及從由詞性特性、音素、語(yǔ)言注音特性、上下文特性、以及語(yǔ)義特性構(gòu)成的組中接收兩個(gè)或更多個(gè)特性。該兩個(gè)或更多個(gè)拼音特性是由循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)模塊確定的。該方法還包括基于所接收的兩個(gè)或更多個(gè)特性來(lái)確定文本輸入的拼音特性，并且生成了生成序列。在一個(gè)實(shí)施例中，接收到的兩個(gè)或更多個(gè)特性是詞性特性和因素。在另一個(gè)實(shí)施例中，接收到的兩個(gè)或更多個(gè)特性是語(yǔ)言注音特性、上下文特性以及語(yǔ)義特性。在另一個(gè)實(shí)施例中，接收到的兩個(gè)或更多個(gè)特性是音素、上下文特性、以及語(yǔ)義特性。在另一實(shí)施例中，該方法還包括優(yōu)化生成序列。

在另一個(gè)實(shí)施例中，該方法包括將生成序列合成為可聽(tīng)見(jiàn)的聲音。在另一個(gè)實(shí)施例中，兩個(gè)或更多個(gè)特性被接收為密集的輔助輸入。在另一個(gè)實(shí)施例中，確定文本的拼音特性是利用循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行確定的。在另一個(gè)實(shí)施例中，兩個(gè)或更多個(gè)特性是由循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層和輸出層來(lái)進(jìn)行接收的。

在另一個(gè)方面中，該技術(shù)與計(jì)算機(jī)存儲(chǔ)設(shè)備相關(guān)，所述計(jì)算機(jī)存儲(chǔ)設(shè)備具有計(jì)算機(jī)可執(zhí)行指令，當(dāng)由至少一個(gè)處理器執(zhí)行時(shí)，所述計(jì)算機(jī)可執(zhí)行指令執(zhí)行用于轉(zhuǎn)換文本到語(yǔ)音的方法。該方法包括接收文本輸入，并且從由詞性特性、音素、語(yǔ)言注音特性、上下文特性、以及語(yǔ)義特性構(gòu)成的組中接收兩個(gè)或更多個(gè)特性。兩個(gè)或更多個(gè)特性是由循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)模塊來(lái)進(jìn)行確定的。該方法還包括基于接收到的兩個(gè)或更多個(gè)特性來(lái)確定文本輸入的拼音特性，并且生成了生成序列。在一個(gè)實(shí)施例中，所接收的兩個(gè)或更多個(gè)特性是詞性特性以及音素。在另一個(gè)實(shí)施例中，所接收的兩個(gè)或更多個(gè)特性是音素、上下文特性、以及語(yǔ)義特性。在另一實(shí)施例中，該方法還包括優(yōu)化生成序列。在另一個(gè)實(shí)施例中，該方法包括將生成序列合成為可聽(tīng)見(jiàn)的聲音。

在另一個(gè)實(shí)施例中，兩個(gè)或更多個(gè)特性被接收為密集的輔助輸入。在另一個(gè)實(shí)施例中，文本輸入和兩個(gè)或更多個(gè)特性被接收作為密集的輔助輸入。在另一個(gè)實(shí)施例中，確定文本輸入的拼音特性是利用循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行確定的。在另一個(gè)實(shí)施例中，兩個(gè)或更多個(gè)特性是由循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層和輸出層來(lái)進(jìn)行接收的。

在另一個(gè)方面中，該技術(shù)與用于轉(zhuǎn)換文本到語(yǔ)音的系統(tǒng)有關(guān)。該系統(tǒng)包括至少一個(gè)處理器和對(duì)計(jì)算機(jī)可執(zhí)行指令進(jìn)行編碼的存儲(chǔ)器，當(dāng)由至少一個(gè)處理器執(zhí)行時(shí)，所述計(jì)算機(jī)可執(zhí)行指令執(zhí)行用于轉(zhuǎn)換文本到語(yǔ)音的方法。該方法包括接收文本輸入，并且從由詞性特性、音素、語(yǔ)言注音特性、上下文特性、以及語(yǔ)義特性構(gòu)成的組中接收兩個(gè)或更多個(gè)特性。兩個(gè)或更多個(gè)特性是由循環(huán)神經(jīng)網(wǎng)絡(luò)模塊來(lái)進(jìn)行確定的。該方法還包括基于接收到的兩個(gè)或更多個(gè)特性來(lái)確定文本輸入的拼音特性。該方法還包括生成了生成序列，其中，生成了生成序列是利用統(tǒng)一的循環(huán)神經(jīng)網(wǎng)絡(luò)解碼器的。

提供該發(fā)明內(nèi)容是為了以簡(jiǎn)化的形式來(lái)引入下文將在具體實(shí)施方式中進(jìn)一步描述的構(gòu)思的選擇。該發(fā)明內(nèi)容不是要識(shí)別所要求保護(hù)的主題的關(guān)鍵特征或重要特征，也不是要用于限制所要求保護(hù)的主題的范圍。

附圖說(shuō)明

參考以下的附圖描述了非限制性的以及非完全的實(shí)施例。

圖1示出了根據(jù)示例實(shí)施例的用于將文本轉(zhuǎn)換為語(yǔ)音的系統(tǒng)。

圖2描繪了根據(jù)示例實(shí)施例的rnn的架構(gòu)。

圖3描繪了根據(jù)示例實(shí)施例的rnn的另一架構(gòu)。

圖4描繪了根據(jù)示例實(shí)施例的rnn的另一架構(gòu)。

圖5a描繪了根據(jù)示例實(shí)施例的rnn的另一架構(gòu)。

圖5b描繪了可以被實(shí)現(xiàn)用于文本到語(yǔ)音的基于rnn的系統(tǒng)的實(shí)施例。

圖6描繪了根據(jù)示例實(shí)施例的用于利用rnn來(lái)確定文本的詞性的方法。

圖7描繪了根據(jù)示例實(shí)施例的用于利用rnn來(lái)確定文本的音素的方法。

圖8描繪了根據(jù)示例實(shí)施例的用于利用rnn來(lái)確定文本的語(yǔ)言注音拼音特性或者語(yǔ)言注音標(biāo)記的方法。

圖9描繪了根據(jù)示例實(shí)施例的用于利用rnn來(lái)確定文本的上下文和/或語(yǔ)義含義的方法。

圖10描繪了根據(jù)示例實(shí)施例的用于確定文本的優(yōu)選拼音特性的方法。

圖11是示出了本公開(kāi)的實(shí)施例可以利用其進(jìn)行實(shí)施的計(jì)算設(shè)備的示例物理部件的框圖。

圖12a和圖12b是本公開(kāi)的實(shí)施例可以利用其進(jìn)行實(shí)施的移動(dòng)計(jì)算設(shè)備的簡(jiǎn)化的框圖。

圖13是本公開(kāi)的實(shí)施例可以利用其進(jìn)行實(shí)施的分布式計(jì)算系統(tǒng)的簡(jiǎn)化的框圖。

圖14示出了用于執(zhí)行本公開(kāi)的一個(gè)或多個(gè)實(shí)施例的平板計(jì)算設(shè)備。

具體實(shí)施方式

在下面的具體實(shí)施方式中，參照了形成其一部分的附圖，并且其中是通過(guò)示意性的特定實(shí)施例或示例來(lái)進(jìn)行示出的?？梢越M合這些方面，而可以利用其他方面，并且可以做出結(jié)構(gòu)改變，而不偏離本公開(kāi)的精神或范圍。以下的具體實(shí)施方式因此不是在限制的意義上做出的，并且本公開(kāi)的范圍是由所附的權(quán)利要求以及其等效物來(lái)進(jìn)行限定的。

本公開(kāi)通常涉及將文本轉(zhuǎn)換為語(yǔ)音。通常，文本到語(yǔ)音應(yīng)用是通過(guò)使用基于查找表和決策樹(shù)(例如，分類回歸樹(shù)(cart))的方法來(lái)進(jìn)行執(zhí)行的。然而，這些現(xiàn)有的方法擁有許多缺點(diǎn)。例如，基于cart的文本到語(yǔ)音通常對(duì)于確定讀音是困難的，并且傳統(tǒng)的文本到語(yǔ)音方法當(dāng)轉(zhuǎn)換文本到語(yǔ)音時(shí)，缺乏對(duì)上下文的感知。另外，現(xiàn)有的方法(例如，級(jí)聯(lián)標(biāo)記模塊)在級(jí)聯(lián)時(shí)積累錯(cuò)誤。此外，利用現(xiàn)有方法，包括額外的上下文或特征信息將導(dǎo)致計(jì)算成本的巨大增加。

為了改進(jìn)文本到語(yǔ)音應(yīng)用，可以利用循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)。rnn具有能夠處理在不具有數(shù)據(jù)分片的情況下的額外的特征和邊信息(sideinformation)。同時(shí)，rnn還提供了更好的性能。在本發(fā)明的實(shí)施例中，多個(gè)rnn模塊被利用來(lái)轉(zhuǎn)換文本到語(yǔ)音?？梢詫⒛K考慮為三個(gè)級(jí)別。在第一級(jí)別中，rnn模塊用于對(duì)來(lái)自各種規(guī)模的文本數(shù)據(jù)的豐富的拼音特性標(biāo)記進(jìn)行建模和預(yù)測(cè)。拼音特性可以用于確定文本的最佳讀音，以及由文本到語(yǔ)音轉(zhuǎn)換而得到的最自然的發(fā)聲語(yǔ)音。例如，在實(shí)施例中，利用用于將詞性信息以及語(yǔ)言注音分配給文本的rnn模塊。

可以使用另一rnn模塊來(lái)確定來(lái)自字的字母的因素，作為發(fā)音(lts)轉(zhuǎn)換的部分。lts轉(zhuǎn)換用于確定所有詞的讀音，但是它可以對(duì)于不在詞匯表中的或者未知的詞特別有用。利用rnn模塊的lts轉(zhuǎn)換還可以利用音節(jié)重音等級(jí)來(lái)增強(qiáng)讀音。通過(guò)使用用于lts的rnn模塊，可以通過(guò)分析文本本身以及被分析的文本周圍的文本來(lái)針對(duì)文本確定音素。還部分地基于關(guān)于被分析的文本的上下文或者語(yǔ)義信息來(lái)確定音素。

第一級(jí)別的另一rnn模塊可以用于確定輸入文本的上下文信息和/或語(yǔ)義信息。在一些實(shí)施例中，文本和語(yǔ)義信息可以包括情緒風(fēng)格、對(duì)話狀態(tài)或風(fēng)格、當(dāng)日時(shí)刻、應(yīng)用狀態(tài)、個(gè)人風(fēng)格，例如，外向型或內(nèi)向型，和聲音環(huán)境，以及其他類型的上下文和語(yǔ)義信息。上下文和/或語(yǔ)義信息可以洞察詞應(yīng)該如何進(jìn)行讀音或者應(yīng)當(dāng)閱讀該詞的語(yǔ)氣和風(fēng)格。例如，在分析句子“生氣的女士說(shuō)：‘走開(kāi)’”，“生氣”的情緒風(fēng)格可以被分配給來(lái)自文本的詞“走開(kāi)”。該上下文信息然后可以在語(yǔ)音進(jìn)行合成中的創(chuàng)建生成序列時(shí)被利用。

輸入到第一級(jí)別的rnn模塊中的文本可以取決于rnn模塊而具有不同的規(guī)模。例如，不同的輸入規(guī)模包括每一個(gè)詞的字母索引，句子的詞索引、對(duì)話中的句子索引、或者對(duì)話索引。

在分析的第二級(jí)別，可以使用超結(jié)構(gòu)模塊來(lái)組合來(lái)自第一級(jí)別的rnn模塊的輸出。超結(jié)構(gòu)模塊可以是另一rnn模塊。超結(jié)構(gòu)模塊基于來(lái)自這些rnn模塊中的每一個(gè)的輸出來(lái)選擇由第一級(jí)別的rnn模塊確定的優(yōu)選拼音特性。根據(jù)所確定的優(yōu)選拼音特性，超結(jié)構(gòu)模塊創(chuàng)建了可以由語(yǔ)音合成器使用來(lái)產(chǎn)生可聽(tīng)見(jiàn)的語(yǔ)音的生成序列。超結(jié)構(gòu)還將額外的拼音特性分配給文本。雖然超結(jié)構(gòu)的一個(gè)目的是改進(jìn)生成序列的準(zhǔn)確性，但是額外的目的是創(chuàng)建可能的最佳的序列，其可能不總是最準(zhǔn)確的序列。然而，最佳序列是使得在用戶的上下文中以及在應(yīng)用的上下文中，用戶的平均意見(jiàn)分?jǐn)?shù)(mos)最大化的一個(gè)。

在分析的第三級(jí)別，來(lái)自超結(jié)構(gòu)模塊的生成序列可以通過(guò)全局優(yōu)化模塊來(lái)進(jìn)一步優(yōu)化。全局優(yōu)化模塊實(shí)現(xiàn)了在之前的分析級(jí)別中沒(méi)有說(shuō)明過(guò)的一組特別的規(guī)則。全局優(yōu)化模塊可以將生成序列優(yōu)化為生成序列的全部或者單獨(dú)的部分。全局優(yōu)化模塊輸出用于語(yǔ)音合成到可聽(tīng)見(jiàn)的語(yǔ)音的優(yōu)化生成序列。

圖1描繪了用于超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)文本到語(yǔ)音應(yīng)用的具有框架100的系統(tǒng)。在所描繪的實(shí)施例中，框架100包括在第一級(jí)別中的詞性(pos)rnn模塊104、發(fā)音(lts)rnn模塊106、語(yǔ)言注音標(biāo)記rnn模塊108、以及上下文感知及語(yǔ)義挖掘rnn模塊110。每個(gè)模塊從文本接收輸入102，并且在一些實(shí)施例中，接收其他信息。來(lái)自posrnn模塊104、ltsrnn模塊106、語(yǔ)言注音標(biāo)記rnn模塊108、以及上下文感知及語(yǔ)義挖掘rnn模塊110的輸出被注入到超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112。來(lái)自超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112的輸出還被注入到全局優(yōu)化模塊116，其最終輸出優(yōu)化的生成序列118，所述優(yōu)化的生成序列由語(yǔ)音合成器利用而經(jīng)由揚(yáng)聲器或者其他輸出設(shè)備將文本大聲地讀出來(lái)。

posrnn模塊104利用rnn來(lái)確定來(lái)自輸入文本102的詞的詞性。pos從輸入102以多個(gè)詞(例如，句子)的形式來(lái)接收文本。根據(jù)輸入詞，訓(xùn)練的rnn確定來(lái)自輸入102的詞中的一個(gè)或多個(gè)的詞性的正確的標(biāo)記。例如，詞可以大量地被標(biāo)記為動(dòng)詞、名詞、形容詞、副詞、代詞、介詞、連詞或者感嘆詞。該詞還可以被給予更詳細(xì)的標(biāo)記，例如，詞的時(shí)態(tài)，例如一般現(xiàn)在時(shí)，現(xiàn)在進(jìn)行時(shí)、現(xiàn)在完成時(shí)、一般未來(lái)時(shí)、一般過(guò)去時(shí)、過(guò)去進(jìn)行時(shí)、過(guò)去完成時(shí)、以及過(guò)去將來(lái)時(shí)。其他詳細(xì)的標(biāo)記可以與詞是單數(shù)還是復(fù)數(shù)或者詞性的類型是例如及物動(dòng)詞或者詞匯動(dòng)詞相關(guān)。詞性標(biāo)記提供了詞的合適的發(fā)音的額外的指示符。例如，在句子“我買了唱片”中詞“唱片(record)”被標(biāo)記為名詞。在自然語(yǔ)音中，名詞“唱片(record)”發(fā)音與動(dòng)詞“記錄(record)”是不同的。

每一個(gè)詞的標(biāo)記是根據(jù)訓(xùn)練的posrnn模塊處理詞本身以及它周圍的其他詞(例如，目標(biāo)詞前面的詞和目標(biāo)詞后面的詞)來(lái)進(jìn)行確定的。在一些實(shí)施例中，只有目標(biāo)詞前面的詞可以被分析，而在其他實(shí)施例中，只有目標(biāo)詞后面的詞可以被分析。輸入可以是以句子和/或段落的形式，使得分析能夠確定目標(biāo)詞的詞性。rnn結(jié)構(gòu)的更具體的描述將在下面參照?qǐng)D2-圖4來(lái)進(jìn)行討論。

ltsrnn模塊106是文本到語(yǔ)音處理中的模塊中的另一個(gè)模塊。利用ltsrnn模塊106的一個(gè)好處是更具體地確定不常見(jiàn)的詞或者不在系統(tǒng)所知道的詞匯表中的詞的發(fā)音。ltsrnn可以包括用于轉(zhuǎn)換發(fā)音的一個(gè)或多個(gè)模塊。例如，一個(gè)模塊可以用于特定的語(yǔ)言，而另一個(gè)模塊可以用于另一語(yǔ)言。在一些實(shí)施例中，單個(gè)多語(yǔ)言模塊可以被實(shí)現(xiàn)為ltsrnn模塊106。多語(yǔ)言lts模塊合并與語(yǔ)言相關(guān)聯(lián)的不同的模式和規(guī)則。在依賴于語(yǔ)言的lts模塊中，所說(shuō)的語(yǔ)言必須是確定的。利用基于rnn的lts模塊，多語(yǔ)言可以通過(guò)將ltsrnn模塊106實(shí)現(xiàn)為組合的rnn模塊來(lái)進(jìn)行處理，這允許相同的rnn解碼器用于語(yǔ)言識(shí)別以及音素的生成。在實(shí)施例中，統(tǒng)一的rnn模型訓(xùn)練器可以用于訓(xùn)練多語(yǔ)言lts模塊。ltsrnn模塊106接收多個(gè)字母作為輸入，例如，形成詞的字母。ltsrnn模塊106處理輸入字母來(lái)確定字母和詞的音素。換句話說(shuō)，ltsrnn模塊106將字母轉(zhuǎn)換為相對(duì)應(yīng)的音素，所述相對(duì)應(yīng)的音素然后可以被合成為可聽(tīng)見(jiàn)的語(yǔ)音。例如，在實(shí)施例中，詞“同步(activesync)”中的字母可以轉(zhuǎn)換為音素“aelktihvsihlngk”。

每一個(gè)字母或者字母分組的音素是根據(jù)訓(xùn)練的ltsrnn模塊106來(lái)進(jìn)行確定的，ltsrnn模塊106處理目標(biāo)字母本身以及目標(biāo)字母周圍的字母(例如，目標(biāo)字母之前的字母以及目標(biāo)字母之后的字母)。在一些實(shí)施例中，只有目標(biāo)字母之前的字母可以被分析，而在其他實(shí)施例中，只有目標(biāo)字母之后的字母可以被分析。輸入可以是詞的形式，使得分析能夠確定目標(biāo)字母周圍的字母是如何影響讀音的?？梢栽谠~的字母以逆序被分析的情況下使用返回建模。rnn結(jié)構(gòu)的更詳細(xì)的描述在下文參考圖2-圖4來(lái)進(jìn)行討論。

語(yǔ)言注音標(biāo)記(lpt)rnn模塊108確定來(lái)自輸入102的字母、詞、或一組詞的語(yǔ)言注音特性。通常，語(yǔ)言注音特性是指示在語(yǔ)音中使用的韻律以及聲音的特性。一些注音特性包括音調(diào)升降、閱讀文本的持續(xù)時(shí)間、閱讀文本的音量、閱讀文本的音調(diào)或頻率、詞的重音或音節(jié)，以及閱讀文本的頻率范圍等其他。在確定合適的語(yǔ)言注音特性之后，注音標(biāo)記rnn模塊108利用語(yǔ)言注音特性來(lái)對(duì)目標(biāo)文本進(jìn)行標(biāo)記。

目標(biāo)文本的注音標(biāo)記是根據(jù)訓(xùn)練的注音標(biāo)記rnn模塊104來(lái)進(jìn)行確定的，注音標(biāo)記rnn模塊104處理目標(biāo)文本本身以及其周圍的其他文本(例如，目標(biāo)文本之前的文本以及目標(biāo)詞之后的文本)。在一些實(shí)施例中，只有目標(biāo)文本之前的文本可以被分析，并且在其他實(shí)施例中，只有目標(biāo)文本之后的文本可以被分析。輸入可以是句子和/或段落的形式，使得分析能夠確定目標(biāo)文本的詞性。目標(biāo)文本可以是單個(gè)詞、詞的字母、或者一組詞，例如，句子、段落或?qū)υ?。rnn結(jié)構(gòu)的更詳細(xì)的描述在下文參考圖2-圖4來(lái)進(jìn)行討論。

上下文感知及語(yǔ)義挖掘rnn模塊110是確定文本到語(yǔ)音應(yīng)用中的文本的最自然的讀音的另一方面。上下文感知及語(yǔ)義挖掘rnn模塊110確定與輸入文本102相關(guān)的上下文信息。上下文信息的示例包括情緒風(fēng)格、對(duì)話狀態(tài)、當(dāng)日時(shí)刻、應(yīng)用狀態(tài)、和聲音環(huán)境，以及其他類型的上下文信息。在確定上下文信息后，利用確定的上下文信息來(lái)標(biāo)記目標(biāo)文本。上下文感知及語(yǔ)義挖掘rnn模塊110可以包括用于每一個(gè)不同類型的上下文信息的多個(gè)rnn模塊。在其他實(shí)施例中，上下文感知及語(yǔ)義挖掘rnn模塊110包括能夠確定多個(gè)類型的上下文信息的單個(gè)rnn模塊。

用于文本的上下文標(biāo)記是根據(jù)訓(xùn)練的上下文感知及語(yǔ)義挖掘rnn模塊110來(lái)進(jìn)行確定的，訓(xùn)練的上下文感知及語(yǔ)義挖掘rnn模塊110處理目標(biāo)文本本身以及其周圍的其他文本(例如，目標(biāo)文本之前的文本以及目標(biāo)詞之后的文本)。在一些實(shí)施例中，只有目標(biāo)文本之前的文本可以被分析，并且在其他實(shí)施例中，只有目標(biāo)文本之后的文本可以被分析。輸入可以是句子和/或段落的形式，使得分析能夠確定目標(biāo)文本的詞性。目標(biāo)文本可以是單個(gè)詞、詞的字母、或者一組詞，例如，句子、段落或?qū)υ?。rnn結(jié)構(gòu)的更詳細(xì)的描述在下文參考圖2-圖4來(lái)進(jìn)行討論。

在一些實(shí)施例中，上下文信息和/或上下文標(biāo)記中的一些與輸入文本102一起被提供作為額外的信息。在這樣的實(shí)施例中，上下文感知及語(yǔ)義挖掘rnn模塊110可以僅包含不包括在輸入中的用于上下文信息的功能。在類似的實(shí)施例中，可以在處理輸入文本102之前，來(lái)確定什么額外的上下文信息隨著輸入文本102一同被包括?；谠摯_定，如果相對(duì)應(yīng)的上下文信息已經(jīng)被包括在輸入中，則文本可以不由上下文感知及語(yǔ)義挖掘rnn模塊110中的一些來(lái)進(jìn)行處理。

來(lái)自上下文感知及語(yǔ)義挖掘rnn模塊110、語(yǔ)言注音標(biāo)記rnn模塊108、ltsrnn模塊106、以及posrnn模塊104的輸出(例如，標(biāo)記和音素)由超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112來(lái)接收。超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112處理輸入來(lái)確定輸入中的任何是否需要基于其他輸入來(lái)進(jìn)行調(diào)整或修改。例如，基于用于文本段的上下文信息標(biāo)記，語(yǔ)言注音標(biāo)記可能需要被修改。不同輸入中的每一個(gè)可能對(duì)于另一個(gè)有影響，并且超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112處理這些輸入來(lái)說(shuō)明這些影響。超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112還可以確定不由第一級(jí)別的模塊所確定的額外的拼音特性和特性類型。在處理來(lái)自其他rnn模塊的輸入之后，超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112產(chǎn)生生成序列。生成序列能夠由語(yǔ)音合成器利用來(lái)生成可聽(tīng)見(jiàn)的語(yǔ)音。生成序列可以指示文本是如何被講出來(lái)并且被合成為可聽(tīng)見(jiàn)的語(yǔ)音的。在一些實(shí)施例中，超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112的輸出是與超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112的輸入相同的形式，但是數(shù)據(jù)的值可以是不同的。在其他實(shí)施例中，輸出可以是指示要被合成的拼音特性的編碼串。

正如在圖1中示出的，可選的詞典114可以被包括作為超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112或任何其他模塊的輸入。詞典114可以是在傳統(tǒng)文本到語(yǔ)音輸入中利用的傳統(tǒng)詞典。詞典114還可以被吸收到rnn模型中作為訓(xùn)練數(shù)據(jù)，并且因此不需要單獨(dú)的輸入，例如，查找表。

在圖1中描繪的實(shí)施例中，超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112是由全局優(yōu)化模塊116接收的。全局優(yōu)化模塊116處理超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112的輸出來(lái)進(jìn)一步改進(jìn)要被合成的文本的拼音特性。例如，存在一些類型的文本輸入102，這些文本輸入可能受到專門的規(guī)則的約束，而這些規(guī)則不是由超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112、上下文感知及語(yǔ)義挖掘rnn模塊110、語(yǔ)言注音標(biāo)記rnn模塊108、ltsrnn模塊106、以及posrnn模塊104來(lái)進(jìn)行說(shuō)明的。專門的規(guī)則可以包括由全局優(yōu)化模塊116而不是其他模塊處理最佳的特殊的規(guī)則或應(yīng)用。例如，一些專門的規(guī)則可以包括用于合適的名詞的縮寫(xiě)以及讀音的規(guī)則。例如，在句子“ms是由比爾蓋茨和保羅艾倫創(chuàng)建的，”可以使用專門的規(guī)則來(lái)指示“ms”應(yīng)當(dāng)被讀作“微軟”。全局優(yōu)化模塊116還可以利用一組詞、句子、段落等的讀音的金局(goldenset)來(lái)使用。例如，句子“ms是由比爾蓋茨和保羅艾倫創(chuàng)建的，”可以被包括在金局中。全局優(yōu)化模塊116還可以處理數(shù)據(jù)，如果必要的話，從而以生成序列的適當(dāng)?shù)男问絹?lái)輸入數(shù)據(jù)。

全局優(yōu)化模塊的輸出是可以生成序列，音頻合成器可以利用生成序列來(lái)生成與輸入文本102相對(duì)應(yīng)的合成的語(yǔ)音。因?yàn)樯尚蛄惺嵌鄠€(gè)拼音特性以及關(guān)于輸入文本102的細(xì)節(jié)的組合，所以合成的音頻對(duì)于用戶而言聽(tīng)起來(lái)將更自然。

圖2描繪了可以在上下文感知及語(yǔ)義挖掘rnn模塊110、語(yǔ)言注音標(biāo)記rnn模塊108、ltsrnn模塊106、以及posrnn模塊104以及超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112中利用的rnn的架構(gòu)。在圖2中示出了rnn的示例架構(gòu)。在圖2闡述的架構(gòu)中，rnn被示出為隨著時(shí)間展開(kāi)來(lái)覆蓋三個(gè)連續(xù)的詞輸入。rnn包括在rnn的底部的輸入層202，具有循環(huán)連接的在中間的隱藏層204(以虛線示出)、以及在rnn的頂部的輸出層206。每一層表示節(jié)點(diǎn)的相應(yīng)的集合，并且層是利用由矩陣u、w、以及v所表示的權(quán)重進(jìn)行連接的。例如，在一個(gè)實(shí)施例中，隱藏層可以包含800個(gè)節(jié)點(diǎn)。輸入層(向量)w(t)表示使用1-of-n編碼(也稱為“獨(dú)熱編碼”)來(lái)進(jìn)行編碼的在時(shí)間t的輸入詞，并且輸出層y(t)產(chǎn)生在可分配給輸入文本的拼音特性上的概率分布。隱藏層204s(t)維護(hù)文本序列歷史的表示。輸入向量w(t)具有等于詞匯大小的維度，并且輸出向量y(t)具有等于可能的可分配拼音特性的數(shù)量的維度。隱藏層以及輸出層中的值被計(jì)算如下：

s(t)＝f(uw(t)+ws(t-1))，(1)

y(t)＝g(vs(t)).(2)

其中

可以使用后向傳播來(lái)對(duì)模型進(jìn)行訓(xùn)練，從而使數(shù)據(jù)條件似然性最大化，如下：

πtp(y(t)|w(1)，...，w(t))(4)

也可以利用rnn的其他訓(xùn)練方法。

應(yīng)該注意的是，該模型對(duì)于輸出值之間不具有直接的相互依賴。然而，概率分布是隱藏層觸發(fā)的函數(shù)，其繼而取決于詞輸入(以及其本身的過(guò)去值)。此外，可以在不到達(dá)詞序列(句子)的末尾的情況下來(lái)對(duì)y(t)進(jìn)行決策。這樣，拼音特性的最可能的序列可以利用一系列決策來(lái)進(jìn)行輸出：

y^*(t)＝argmaxp((y(t)|w(1)...(w(t))(5)

該概率提供了能夠簡(jiǎn)單地并且在線執(zhí)行的另外的優(yōu)點(diǎn)。在實(shí)施例中，不必對(duì)拼音特性進(jìn)行動(dòng)態(tài)編程搜索來(lái)找到優(yōu)選結(jié)果。

圖3中示出了rnn的另一結(jié)構(gòu)。期望的是，給定這樣的序列中的所有文本，則識(shí)別文本的序列中的文本的最可能的拼音特性序列，“未來(lái)(future)”文本可以被期望地采用作為當(dāng)確定詞w(t)的語(yǔ)義標(biāo)記時(shí)的輸入。兩個(gè)示例方法在本文中描述用于這樣做。首先，rnn的輸入層可以從“獨(dú)熱”表示改變?yōu)閚熱或者文本組表示，在其中，對(duì)于不僅僅是當(dāng)前的文本存在非零值，但是下一個(gè)n-1個(gè)文本也存在非零值。這樣，可以在分析期間考慮未來(lái)的詞。這種方法的優(yōu)點(diǎn)是使用更好的上下文，但是潛在的缺點(diǎn)是排序信息可能丟失。

包括未來(lái)文本的第二示例方法在圖3中示出的架構(gòu)中進(jìn)行例示，圖3示出了“特征增強(qiáng)”架構(gòu)。在這樣的方式中，邊信息是通過(guò)利用權(quán)重f將額外層302的密集(與“獨(dú)熱”相反)輸入f(t)提供給隱藏層304以及利用權(quán)重g將額外層302的密集(與“獨(dú)熱”相反)輸入f(t)提供給輸出層306的。未來(lái)文本的連續(xù)空間向量表示可以被提供為隱藏層304的輸出。在示例實(shí)施例中，文本的表示是通過(guò)非增強(qiáng)網(wǎng)絡(luò)(其可以包括來(lái)自輸入層到隱藏層的權(quán)重)來(lái)進(jìn)行學(xué)習(xí)的。為了保持文本排序信息，表示可以在給定的上下文窗口中按順序進(jìn)行連接。訓(xùn)練和解碼過(guò)程是未改變的。

在圖3的架構(gòu)中，激活計(jì)算可以被修改如下：

s(t)＝f(ux(t)+ws(t-1)+ff(t)),(6)

y(t)＝g(vs(t)+gf(t)),(7)

其中，x(t)可以是w(t)或者文本組向量。例如，x(t)＝{w(t),w(t+1)}，并且包括當(dāng)前文本以及下一個(gè)或者未來(lái)文本，形成“2熱(2-hot)”表示。

圖4示出了適合用于上下文感知及語(yǔ)義挖掘rnn模塊110、語(yǔ)言注音標(biāo)記rnn模塊108、ltsrnn模塊106、以及posrnn模塊104的rnn的高級(jí)架構(gòu)的另一描繪。用于rnn的輸入特征{li,fi}402包括來(lái)自其他模型的輸出的當(dāng)前模塊特征{l}以及輔助特征{f}。下標(biāo)i表示用于每個(gè)詞中的字母索引、每個(gè)句子中的詞索引、對(duì)話中的句子索引、和/或?qū)υ捤饕男蛄兴饕?，這取決于模塊或者實(shí)施例。來(lái)自rnn架構(gòu)中的隱藏層404的狀態(tài)s用于記錄序列的歷史信息。當(dāng)前索引的狀態(tài)s然后被返回到rnn以用于句子中的下一個(gè)索引，如由si-1輸入406示出的，并且如上文參考圖2-圖3所討論的。基于輸入，rnn確定輸入序列的每個(gè)索引的輸出408。

圖5a示出了被用作超結(jié)構(gòu)rnn組合模塊112的rnn的描繪。在一些實(shí)施例中，圖5所描繪的rnn還可以在上下文感知及語(yǔ)義挖掘rnn模塊110、語(yǔ)言注音標(biāo)記rnn模塊108、ltsrnn模塊106、以及posrnn模塊104中利用。rnn的輸入特征{li,fi,fj,fk}包括來(lái)自其他模型的輸出的當(dāng)前模塊特征{l}和輔助特征{f}。輔助特征{f}可以包括同一規(guī)模的輸入的當(dāng)前輔助特征，被表示為fi。輔助特征{f}還可以包括更高規(guī)模的輔助特征，被表示為fj。下標(biāo)i表示用于每個(gè)詞中的字母索引、每個(gè)句子中的詞索引、對(duì)話中的句子索引、和/或?qū)υ捤饕男蛄兴饕@取決于模塊或者實(shí)施例。下標(biāo)j類似地表示比當(dāng)前索引更高規(guī)模的順序索引。fj特征可以來(lái)自其他rnn模塊(上下文感知及語(yǔ)義挖掘rnn模塊110、語(yǔ)言注音標(biāo)記rnn模塊108、ltsrnn模塊106、以及posrnn模塊104)的輸出。例如，用于lts的字母規(guī)模的rnn建模，更高規(guī)模的標(biāo)記(例如，詞、句子、以及對(duì)話規(guī)模標(biāo)記)可以被用作輔助特征fj。另一示例，針對(duì)用于確定情緒狀態(tài)或個(gè)性類型的句子規(guī)模rnn建模，輔助特征fj可以是輔助特征可以是對(duì)話規(guī)模特征。針對(duì)用于個(gè)性化或其他語(yǔ)義挖掘標(biāo)記的對(duì)話規(guī)模rnn建模，fj特征可以是環(huán)境狀態(tài)。

輔助特征{f}還可以包括更小規(guī)模的輔助特征，被表示為fk。下標(biāo)k表示比當(dāng)前索引i相比更小規(guī)模的順序索引。fk特征可以來(lái)自其他rnn模塊(上下文感知及語(yǔ)義挖掘rnn模塊110、語(yǔ)言注音標(biāo)記rnn模塊108、ltsrnn模塊106、以及posrnn模塊104)的輸出。

來(lái)自rnn架構(gòu)中的隱藏層504的狀態(tài)s用于記錄序列的歷史信息。當(dāng)前索引的狀態(tài)s然后被返回到rnn以用于句子中的下一索引，如si-1輸入506所示出的，并且如上文參考圖2-圖3所討論的?；谳敵觯瑀nn確定輸入序列的每一個(gè)索引級(jí)別的輸出508。

對(duì)于ltsrnn模塊106，到rnn的輸入文本是以詞中的字母的形式。句子中的每一個(gè)索引i表示詞中的單獨(dú)的字母。來(lái)自ltsrnn模塊106的輸出是用于詞的字母的音素序列。ltsrnn模塊106的輔助特征可以包括指示字母或由字母形成的詞的上下文的特征。在一些實(shí)施例中，輔助特征是與字母同一規(guī)模的，或者更高規(guī)模，例如，詞、句子、或者對(duì)話規(guī)模。

例如，對(duì)于詞“hot”，字母“h”可以被考慮為l0。字母“o”將是l1，并且“t”將是l2。在該示例中，字母“h”在隱藏層中處理，并且該處理的解碼的歷史被表示為s0。基于該處理，與“h”相對(duì)應(yīng)的音素的輸出為輸出o0。字母“h”的處理還可以基于未來(lái)的字母，“o”和“t”。未來(lái)的字母可以被輸入到rnn作為特征向量的部分。字母“o”輸入為l1在隱藏層中處理，并且該處理的編碼的歷史被表示為s1。處理可以基于之前分析的、被編碼為s0字母的歷史以及未來(lái)字母。通過(guò)在確定字母“o”的音素中分析未來(lái)字母，可以確定的是字母“o”在詞“hot”中應(yīng)當(dāng)被分配與短音o發(fā)音而不是如在詞“hole”中的長(zhǎng)音o的發(fā)音相對(duì)應(yīng)的音素?；谠撎幚?，與“o”相對(duì)應(yīng)的音素的輸出被輸出為o1。詞中最后的字母，“t”然后被處理。詞中的字母歷史被編碼為s1，并且與字母“t”相對(duì)應(yīng)的音素的輸出被輸出為o2。在s中編碼的歷史的量可以被調(diào)整為限制被考慮的之前的字母的數(shù)量。所考慮的未來(lái)的字母的數(shù)量還可以被限制為未來(lái)字母的預(yù)定的數(shù)量。

ltsrnn模塊還執(zhí)行返回分析來(lái)處理逆序的詞中的字母。換句話說(shuō)，后綴中的字母在詞根的字母或者詞的前綴中的字母之前被分析。使用以上示例，對(duì)于詞“hot”，字母“h”可以被考慮為l0。字母“o”將是l1，并且“t”將是l2。通過(guò)執(zhí)行逆分析，可以確認(rèn)上面示例的音素輸出。逆分析還可以用作用于產(chǎn)生與詞的字母相對(duì)應(yīng)的音素的主要分析。

對(duì)于一些語(yǔ)言，返回分析可以提供與之前的方法(例如，使用caet樹(shù)決策分析)更準(zhǔn)確的結(jié)果。以下的表是對(duì)來(lái)自針對(duì)cart樹(shù)分析的基線的示例測(cè)試rnn技術(shù)的實(shí)驗(yàn)中的結(jié)果進(jìn)行的總結(jié)。實(shí)驗(yàn)是由關(guān)于en-us(具有重音)設(shè)置的統(tǒng)一評(píng)估腳本具有相同的字母音素。訓(xùn)練集是195080個(gè)詞，測(cè)試集是21678個(gè)詞，并且結(jié)果是基于自然音素序列的(沒(méi)有合成音素或者空音素)。

根據(jù)該結(jié)果，rnn處理提供了對(duì)于詞錯(cuò)誤率4.28％的相對(duì)改進(jìn)，以及對(duì)于音素錯(cuò)誤率15.19％的相對(duì)改進(jìn)。

作為示例，對(duì)于posrnn模塊104，到rnn的輸入文本是句子的詞。句子中的每一個(gè)索引i表示句子中單獨(dú)的詞。來(lái)自pos的輸出是用于句子中的每一個(gè)詞的指示詞的詞性的標(biāo)記。在一些情況中，如果沒(méi)有相關(guān)聯(lián)的或者已知的用于詞的pos標(biāo)記，則標(biāo)記可以是空。posrnn模塊104中的輔助特征可以包括指示詞的上下文的特征。例如，詞可以利用上下文信息而在先前標(biāo)記(經(jīng)由rnn模塊或者其他標(biāo)記方法)。例如，詞“boston”先前被標(biāo)記為城市。將該信息標(biāo)記為輔助信息還可以由posrnn模塊104來(lái)影響pos標(biāo)記。同一規(guī)?；蛘咂渌?guī)模的其他先前確定的上下文信息還可以被包括作為posrnn模塊104的輸入。還可以類似于ltsrnn模塊106中的字母來(lái)分析未來(lái)的詞。

對(duì)于語(yǔ)言注音標(biāo)記rnn模塊108，到rnn的輸入文本是以句子中的詞的形式。句子中的每一個(gè)索引i表示句子中的單獨(dú)的詞。來(lái)自語(yǔ)言注音標(biāo)記rnn模塊108的輸出是用于句子的詞的語(yǔ)言注音標(biāo)記。在其他實(shí)施例中，到語(yǔ)言注音標(biāo)記rnn模塊108的輸入文本，到rnn的輸入文本是以對(duì)話中的句子或者對(duì)話本身的形式。在這些實(shí)施例中，每一個(gè)索引i分別表示對(duì)話中的單獨(dú)句子或者對(duì)話本身。語(yǔ)言注音標(biāo)記rnn模塊108中的輔助特性可以包括指示詞的上下文的特征。例如，詞可以利用上下文信息而先前被標(biāo)記(經(jīng)由其他rnn模塊或者其他標(biāo)記方法)。同一規(guī)模或者其他規(guī)模的其他先前確定的上下文信息還可以被包括作為語(yǔ)言注音標(biāo)記rnn模塊108的輸入。還可以類似于ltsrnn模塊106中的字母來(lái)分析其他詞。

對(duì)于上下文感知及語(yǔ)義挖掘rnn模塊110，輸入文本是以句子中的詞、對(duì)話中的句子、或者對(duì)話本身的形式。句子中的每一個(gè)索引i分別表示句子中的詞、對(duì)話中的句子或者對(duì)話本身。上下文感知及語(yǔ)義挖掘rnn模塊110輸出文本的上下文特性，例如，情緒風(fēng)格、對(duì)話狀態(tài)、當(dāng)日時(shí)刻、應(yīng)用狀態(tài)、聲音環(huán)境等。上下文感知及語(yǔ)義挖掘rnn模塊110的輔助特征可以包括指示輸入文本在由上下文感知及語(yǔ)義挖掘rnn模塊110處理之前先前知道的詞、句子、或者對(duì)話的上下文的特征。

超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112接收上下文感知及語(yǔ)義挖掘rnn模塊110、語(yǔ)言注音標(biāo)記rnn模塊108、ltsrnn模塊106、以及posrnn模塊104的輸入和輸出。這樣，輸入文本{l}可以是多個(gè)規(guī)模。超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112從第一級(jí)別的模塊中接收輸出作為輔助特征{f}。這些輔助特征可以位于與被分析的文本相同的規(guī)模，或者它可以位于與被分析的文本的當(dāng)前規(guī)模不同的規(guī)模。根據(jù)輸入，超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112確定與文本相關(guān)聯(lián)的優(yōu)選拼音特性和標(biāo)記。在實(shí)施例中，超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112確定由第一級(jí)別中的模塊確定的相同的拼音特性，但是超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112能夠基于來(lái)自第一級(jí)別的模塊的所有確定的拼音特性來(lái)確定優(yōu)選拼音特性。

圖5描繪了可以被實(shí)現(xiàn)用于tts的基于rnn的系統(tǒng)的實(shí)施例。如圖5b所描繪的，上文參考圖1所描繪的rnn模塊的輸出由rnn模塊控制512來(lái)接收。另外，可以利用其他rnn模塊，或者還可以利用組合了其他模塊的功能的組合的rnn模塊510。rnn模塊控制512可以處理從rnn模塊池中的模塊接收的數(shù)據(jù)，使得來(lái)自rnn模塊控制512的輸出能夠由統(tǒng)一的rnn解碼器516使用。統(tǒng)一的rnn解碼器516接收輸入序列514，并且基于rnn模塊池中的rnn模塊的功能來(lái)輸出輸出序列518。這樣，統(tǒng)一的rnn解碼器將rnn模塊功能統(tǒng)一為解碼器。

圖6-圖10示出了與將拼音特性分配給文本有關(guān)的方法。雖然方法被示出并且被描述為以一序列執(zhí)行的一系列動(dòng)作，但是應(yīng)當(dāng)理解并且意識(shí)到的是方法不限于序列的順序。例如，一些動(dòng)作可以以與本文所描述的不同的順發(fā)生。另外，某動(dòng)作可以與另一動(dòng)作并行地發(fā)生。此外，在一些實(shí)例中，并不需要所有的動(dòng)作來(lái)實(shí)現(xiàn)本文所描述的方法。

此外，本文所描述的動(dòng)作可以是可以由一個(gè)或多個(gè)處理器實(shí)現(xiàn)的和/或被存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)或者媒介上的計(jì)算機(jī)可執(zhí)行指令。計(jì)算機(jī)可執(zhí)行指令可以包括例程、子例程、程序、執(zhí)行的線程，和/或其他。此外，方法的動(dòng)作的結(jié)果可以被存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上，顯示在顯示設(shè)備上，和/或其他。

圖6描繪了用于利用rnn來(lái)確定文本的發(fā)音的方法600。在操作602處，接收文本輸入。文本輸入可以以句子中的詞的形式被接收。詞還可以被接收作為文本組表示或者詞袋表示。在操作604處，輔助輸入被接收。輔助信息還可以包括關(guān)于輸入文本的上下文和/或語(yǔ)義信息。輔助信息還可以包括當(dāng)前文本和未來(lái)文本。在所有輸入文本被包括作為密集輔助輸入的這樣的實(shí)施例中，在操作602處單獨(dú)的輸入可以是不需要的。

在操作606處，文本的詞性拼音特性是利用rnn來(lái)確定的。例如，posrnn模塊104可以確定文本的詞性拼音特性。在操作608處，所確定的詞性拼音特性被分配給文本，并且所分配的拼音特性被輸出。

圖7描繪了用于利用rnn來(lái)確定文本的音素的方法700。在操作702處，接收文本輸入。文本輸入可以以詞中字母的形式而被接收。字母還可以被接收作為文本的組表示。在操作704處，輔助輸入被接收。輔助信息可以包括關(guān)于輸入文本的上下文和/或語(yǔ)音信息。輔助信息還可以包括當(dāng)前文本和未來(lái)文本。在所有輸入文本被包括作為密集輔助輸入的這樣的實(shí)施例中，在操作702處單獨(dú)的文本輸入可以是不需要的。

在操作706處，文本的發(fā)音拼音特性(例如，音素)是利用rnn來(lái)確定的。例如，ltsrnn模塊106可以確定文本的音素。在操作708處，所確定的音素被分配給文本，并且所分配的音素被輸出。

圖8描繪了用于利用rnn來(lái)確定文本的語(yǔ)言注音拼音特性或者語(yǔ)言注音標(biāo)記的方法800。在操作802處，接收文本輸入。文本輸入可以以句子中的詞、對(duì)話中的句子或者對(duì)話的形式被接收。文本還可以被接收作為文本組表示或者詞袋表示。在操作804處，輔助輸入被接收。輔助信息還可以包括關(guān)于輸入文本的上下文和/或語(yǔ)義信息。輔助信息還可以包括當(dāng)前文本和未來(lái)文本。在所有輸入文本被包括作為密集輔助輸入的這樣的實(shí)施例中，在操作802處單獨(dú)的文本輸入可以是不需要的。

在操作806處，利用rnn來(lái)確定文本的語(yǔ)言注音拼音特性或者語(yǔ)言注音標(biāo)記。例如，語(yǔ)言注音標(biāo)記rnn模塊108可以確定文本的語(yǔ)言注音標(biāo)記。在操作808處，所確定的語(yǔ)言注音標(biāo)記被分配給文本，并且所分配的語(yǔ)言注音標(biāo)記被輸出。

圖9描繪了用于利用rnn來(lái)確定文本的上下文和/或語(yǔ)義含義的方法900。在操作902處，接收文本輸入。文本輸入可以以句子中的詞、對(duì)話中的句子或者對(duì)話的形式被接收。文本還可以被接收作為文本組表示或者詞袋表示。在操作904處，輔助輸入被接收。輔助信息還可以包括關(guān)于輸入文本的上下文和/或語(yǔ)義信息。輔助信息還可以包括當(dāng)前文本和未來(lái)文本。在所有輸入文本被包括作為密集輔助輸入的這樣的實(shí)施例中，在操作902處單獨(dú)的文本輸入可以是不需要的。

在操作906處，利用rnn來(lái)確定文本的上下文和/或語(yǔ)義含義。例如，上下文感知及語(yǔ)義挖掘rnn模塊110可以確定文本的上下文和/或語(yǔ)義含義。在操作908處，所確定的上下文和/或語(yǔ)義含義被分配給文本，并且所分配的上下文和/或語(yǔ)義含義被輸出。

圖10描繪了用于確定文本的優(yōu)選拼音特性的方法1000。在操作1002處，接收到文本輸入。在一些實(shí)施例中，文本輸入將以第一級(jí)別中的rnn模塊接收文本輸入相同的形式而被接收。例如，文本輸入可以被接收作為文本的組或者密集輔助輸入的部分。在操作1004處，接收詞性拼音特性。詞性拼音特性可以是從posrnn模塊104輸出的那些。在操作1006處，接收音素。音素可以是從ltsrnn模塊106輸出的那些。在操作1008處，接收語(yǔ)言注音標(biāo)記。語(yǔ)言注音標(biāo)記可以是從語(yǔ)言注音標(biāo)記rnn模塊108輸出的那些。在操作1010處，接收上下文和/或語(yǔ)義拼音特性。上下文和/或語(yǔ)義拼音特性可以是從上下文感知及語(yǔ)義挖掘rnn模塊110輸出的那些。拼音特性、標(biāo)記以及音素中的每一個(gè)可以被接收作為密集輔助輸入。

基于接收的輸入，在操作1012處確定優(yōu)選拼音特性。所確定的拼音特性可以具有與所接收的拼音特性相同的類型。還可以確定文本的另外的拼音特性?；谒_定的優(yōu)選拼音特性，生成能夠被合成為可聽(tīng)見(jiàn)的語(yǔ)音的生成序列。優(yōu)選拼音特性的確定和生成序列的創(chuàng)建可以由超結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)組合模塊112執(zhí)行。在操作1018處，生成序列可以是優(yōu)選的。生成序列的優(yōu)化可以基于規(guī)則的特定集合和/或數(shù)據(jù)的金局。在操作1020處，優(yōu)選的生成序列然后可以被合成為可聽(tīng)見(jiàn)的語(yǔ)音。

實(shí)施例還引起根據(jù)在本申請(qǐng)中所公開(kāi)的系統(tǒng)的使用的正面結(jié)果。例如，以下的表概括了來(lái)自最近的基于英文的us實(shí)驗(yàn)的結(jié)果。

在上面的結(jié)果中，“阿波羅基線”是基于在2013公布的阿波羅tts產(chǎn)品的。具有zira_prosps后端的阿波羅產(chǎn)品前端是實(shí)驗(yàn)的特定設(shè)置。實(shí)驗(yàn)利用用于音素序列生成的阿波羅tts產(chǎn)品的前端并且使用具有統(tǒng)計(jì)參數(shù)合成器的zira_pro語(yǔ)音字體來(lái)基于音素序列來(lái)生成語(yǔ)音。uhrscmos指的是通用人類關(guān)聯(lián)系統(tǒng)(uhrs)的眾包測(cè)試以及基于可比較平均意見(jiàn)評(píng)分/量表(cmos)的評(píng)分。

關(guān)于語(yǔ)言注音標(biāo)記錯(cuò)誤率的另外的實(shí)驗(yàn)還產(chǎn)生正向結(jié)果。以下的表格概括了這些結(jié)果：

圖11是示出了利用其可以實(shí)施本公開(kāi)的實(shí)施例的計(jì)算設(shè)備1100的物理部件(例如，硬件)的框圖。下文所描述的計(jì)算設(shè)備部件可以具有例如客戶端的用于通信應(yīng)用1113的計(jì)算機(jī)可執(zhí)行指令和/或例如客戶端的用于拼音特性rnn模塊1111的計(jì)算機(jī)可執(zhí)行指令，其可以被執(zhí)行來(lái)采用本文所公開(kāi)的方法400到600。在基本配置中，計(jì)算設(shè)備1100可以包括至少一個(gè)處理單元1102和系統(tǒng)存儲(chǔ)器1104。取決于計(jì)算設(shè)備的配置和類型，系統(tǒng)存儲(chǔ)器1104可以包括但不限于易失性存儲(chǔ)(例如，隨機(jī)存取存儲(chǔ)器)、非易失性存儲(chǔ)(例如，只讀存儲(chǔ)器)、閃速存儲(chǔ)器、或者這樣的存儲(chǔ)器的任何組合。系統(tǒng)存儲(chǔ)器1104可以包括操作系統(tǒng)1105和適合用于運(yùn)行軟件應(yīng)用1120的一個(gè)或多個(gè)程序模塊1106，例如，用于確定和分配拼音特性的，如參考圖1-圖10所討論的，并且特別是通信應(yīng)用1113或者拼音特性rnn模塊1111。操作系統(tǒng)1105例如可以是適合用于控制計(jì)算設(shè)備1100的操作。此外，本公開(kāi)的實(shí)施例可以結(jié)合圖形庫(kù)、音頻庫(kù)、語(yǔ)音數(shù)據(jù)庫(kù)、語(yǔ)音合成應(yīng)用、其他操作系統(tǒng)、或任何其他應(yīng)用程序，并且不限于任何特定應(yīng)用或系統(tǒng)。這些基本的配置在圖11中通過(guò)虛線1108內(nèi)的這些部件示出。計(jì)算設(shè)備1100可以具有額外的特征或功能。例如，計(jì)算設(shè)備1100還可以包括額外的數(shù)據(jù)存儲(chǔ)設(shè)備(可移除和/或非可移除)，例如，磁盤(pán)、光盤(pán)、或者帶。這樣的額外存儲(chǔ)在圖11中通過(guò)可移除存儲(chǔ)設(shè)備1109以及非可移除存儲(chǔ)設(shè)備1110示出。

如上文所陳述的，一些程序模塊和數(shù)據(jù)文件可以存儲(chǔ)在系統(tǒng)存儲(chǔ)器1104中。當(dāng)在處理單元1102上執(zhí)行時(shí)，程序模塊1106(例如，拼音特性rnn模塊1111或者通信應(yīng)用1113)可以執(zhí)行如下處理，包括但不限于本文所描述的實(shí)施例?？梢愿鶕?jù)本公開(kāi)的實(shí)施例使用的并且特定用于生成屏幕內(nèi)容和音頻內(nèi)容的其他程序模塊可以包括電子郵件及內(nèi)容應(yīng)用、文字處理應(yīng)用、電子表格應(yīng)用、數(shù)據(jù)庫(kù)應(yīng)用、幻燈片應(yīng)用、繪圖、消息傳送應(yīng)用、地圖應(yīng)用、文本到語(yǔ)音應(yīng)用、和/或計(jì)算機(jī)輔助應(yīng)用程序等。

此外，本公開(kāi)的實(shí)施例可以在電子電路中實(shí)施，其包括分立的電子元件、包含邏輯門的分裝的或者集成的電子芯片、利用微處理器的電路、或者在包括電子元件或者微處理器的單個(gè)芯片上。例如，本公開(kāi)的實(shí)施例可以經(jīng)由片上系統(tǒng)(soc)來(lái)實(shí)施，其中，圖11中所示出的部件中的每一個(gè)或者許多可以集成在單個(gè)集成電路上。這樣的soc設(shè)備可以包括一個(gè)或多個(gè)處理單元、圖形單元、通信單元、系統(tǒng)虛擬單元以及其中的所有被集成(或者“燒制”)在芯片基底上作為單個(gè)集成電路的各種應(yīng)用功能。當(dāng)經(jīng)由soc關(guān)于用于切換協(xié)議的客戶端的能力來(lái)操作本文所描述的功能可以經(jīng)由在單個(gè)集成電路(芯片)與計(jì)算設(shè)備600的其他組件集成的專用邏輯操作。本公開(kāi)的實(shí)施例可以使用能夠執(zhí)行邏輯操作的其他技術(shù)來(lái)實(shí)施，邏輯操作例如，與、或，以及非，包括但不限于機(jī)械、光學(xué)、流體、以及量子技術(shù)。另外，本公開(kāi)的實(shí)施例可以在通用計(jì)算機(jī)或者任何其他電路或者系統(tǒng)中實(shí)施。

計(jì)算設(shè)備1100還可以具有一個(gè)或多個(gè)輸入設(shè)備1112，例如，鍵盤(pán)、鼠標(biāo)、筆、聲音或者嗓音輸入設(shè)備、觸摸或者掃動(dòng)輸入設(shè)備等。還可以包括輸入設(shè)備1114，例如，顯示器、揚(yáng)聲器、打印機(jī)等。上述的設(shè)備是示例，還可以使用其他。計(jì)算設(shè)備1100可以包括允許與其他計(jì)算設(shè)備1118進(jìn)行通信的一個(gè)或多個(gè)通信連接1116。合適的通信連接1116的示例包括但不限于rf發(fā)射器、接收機(jī)、和/或收發(fā)機(jī)電路；通用串行總線(usb)、并行和/或串行端口。

本文所使用的術(shù)語(yǔ)計(jì)算機(jī)可讀介質(zhì)可以包括計(jì)算機(jī)存儲(chǔ)介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)可以包括實(shí)現(xiàn)在用于存儲(chǔ)信息(例如，計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)或程序模塊)的任何方法或技術(shù)中的易失性和非易失性、可移動(dòng)以及非可移動(dòng)介質(zhì)。系統(tǒng)存儲(chǔ)器1104、非可移除存儲(chǔ)存儲(chǔ)設(shè)備1109、以及非可移除存儲(chǔ)設(shè)備1110全部是計(jì)算機(jī)存儲(chǔ)介質(zhì)示例(例如存儲(chǔ)器存儲(chǔ))。計(jì)算機(jī)存儲(chǔ)介質(zhì)可以包括ram、rom、電可擦除只讀存儲(chǔ)器(eeprom)、閃速存儲(chǔ)器或者其他存儲(chǔ)器技術(shù)、cd-rom、數(shù)字多功能盤(pán)(dvd)或者其他光存儲(chǔ)、磁帶盒、磁帶、磁盤(pán)存儲(chǔ)或者其他磁存儲(chǔ)設(shè)備、或者可以用于存儲(chǔ)信息以及可以由計(jì)算設(shè)備1100訪問(wèn)的任何其他制品。任何這樣的計(jì)算機(jī)存儲(chǔ)介質(zhì)可以是計(jì)算設(shè)備1100的部分。計(jì)算機(jī)存儲(chǔ)介質(zhì)不包括載波或者任何傳播或者調(diào)制數(shù)據(jù)信號(hào)。

通信介質(zhì)可以通過(guò)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或者在調(diào)制數(shù)據(jù)信號(hào)(例如，載波或者其他傳輸機(jī)制)中的其他數(shù)據(jù)實(shí)施，并且包括任何信息傳送介質(zhì)。術(shù)語(yǔ)“調(diào)制數(shù)據(jù)信號(hào)”可以描述使得一個(gè)或多個(gè)特性以對(duì)信號(hào)中的信息進(jìn)行編碼的方式進(jìn)行設(shè)置或者改變的信號(hào)。例如并且不限于通信介質(zhì)可以包括有線介質(zhì)，例如，有線網(wǎng)絡(luò)或者直連連接，以及無(wú)線介質(zhì)，例如，聲音、射頻(rf)、紅外線、以及其他無(wú)線介質(zhì)。

圖12a和圖12b示出了移動(dòng)計(jì)算設(shè)備1200，例如，移動(dòng)電話、智能電話、可穿戴計(jì)算機(jī)(例如，智能手表)、平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、等等，利用它們可以實(shí)施本公開(kāi)的實(shí)施例。在一些實(shí)施例中，客戶端可以是移動(dòng)計(jì)算設(shè)備。參考圖12a，示出了用于實(shí)現(xiàn)實(shí)施例的移動(dòng)計(jì)算設(shè)備1200的一個(gè)實(shí)施例。在基本配置中，移動(dòng)計(jì)算設(shè)備1200是具有輸入單元和輸出單元的手持計(jì)算機(jī)。移動(dòng)計(jì)算設(shè)備1200通常包括顯示器1205和允許用戶將信息輸入到移動(dòng)計(jì)算設(shè)備1200的一個(gè)或多個(gè)輸入按鈕1210。移動(dòng)計(jì)算設(shè)備1200的顯示器1205還可以用作輸入設(shè)備(例如，觸摸屏顯示器)。如果被包括，可選的邊輸入元素1215還允許用戶輸入。邊輸入元素1215可以是旋轉(zhuǎn)式開(kāi)關(guān)、按鈕、或者任何其他類型的手動(dòng)輸入單元。在可替換的實(shí)施例中，移動(dòng)計(jì)算設(shè)備1200可以合并更多或者更少的輸入元件。例如，顯示器1205在一些實(shí)施例中可以不是觸摸屏。在另一個(gè)可替換的實(shí)施例中，移動(dòng)計(jì)算設(shè)備1200是便攜式電話系統(tǒng)，例如，蜂窩電話。移動(dòng)計(jì)算設(shè)備1200還可以包括可選鍵區(qū)1235?？蛇x鍵區(qū)1235可以是物理鍵區(qū)或者在觸摸屏顯示器上生成的“軟”鍵區(qū)。在各種實(shí)施例中，輸入單元包括用于示出圖形用戶界面(gui)的顯示器1205、可視指示符1220(例如，發(fā)光二極管)、和/或音頻變壓器1225(例如，揚(yáng)聲器)。在一些實(shí)施例中，移動(dòng)計(jì)算設(shè)備1200包含用于向用戶提供觸覺(jué)反饋的振動(dòng)傳感器。在另一實(shí)施例中，移動(dòng)計(jì)算設(shè)備1200包含輸入和/或輸出端口，例如，音頻輸入(例如，麥克風(fēng)插孔)、音頻輸出(例如，耳機(jī)插孔)、以及視頻輸出(例如，hdmi端口)，以用于向外部設(shè)備發(fā)送信號(hào)或者從外部設(shè)備接收信號(hào)。

圖12b是示出了移動(dòng)計(jì)算設(shè)備的一個(gè)實(shí)施例的架構(gòu)的框圖。也即，移動(dòng)計(jì)算設(shè)備1200可以包含系統(tǒng)(例如，架構(gòu))1202來(lái)實(shí)現(xiàn)一些實(shí)施例。在一個(gè)實(shí)施例中，系統(tǒng)1202可以被實(shí)現(xiàn)為能夠運(yùn)行一個(gè)或多個(gè)應(yīng)用(例如，瀏覽器、電子郵件、日歷、聯(lián)系人管理、消息傳送客戶端、游戲、文本到語(yǔ)音應(yīng)用、以及介質(zhì)客戶端/播放器)的“智能電話”。在一些實(shí)施例中，系統(tǒng)1202被集成為計(jì)算設(shè)備，例如，集成個(gè)人數(shù)字助理(pda)以及無(wú)線電話。

一個(gè)或多個(gè)應(yīng)用程序1266可以裝載到存儲(chǔ)器1262，并且在操作系統(tǒng)1264上運(yùn)行，或者與操作系統(tǒng)1264相聯(lián)系地運(yùn)行。應(yīng)用程序的示例包括電話撥號(hào)程序、電子郵件程序、個(gè)人信息管理(pim)程序、文字處理程序、電子表格程序、互聯(lián)網(wǎng)瀏覽器程序、消息傳送程序、文本到語(yǔ)音應(yīng)用等。系統(tǒng)1202還包括在存儲(chǔ)器1262中的非易失性存儲(chǔ)區(qū)1268。非易失性存儲(chǔ)區(qū)1268可以用于存儲(chǔ)如果系統(tǒng)1202斷電也不會(huì)丟失的永久性信息。應(yīng)用程序1266可以使用信息，并且將信息存儲(chǔ)在非易失性存儲(chǔ)區(qū)1268中，所述信息例如是，由電子郵件應(yīng)用使用的電子郵件或者其他消息等。同步應(yīng)用(未示出)還駐存在系統(tǒng)1202上，并且被編程為與駐存在主機(jī)計(jì)算機(jī)上的相對(duì)應(yīng)的同步應(yīng)用進(jìn)行交互來(lái)將存儲(chǔ)在非易失性存儲(chǔ)區(qū)1268中的信息與存儲(chǔ)在主機(jī)計(jì)算機(jī)上的相對(duì)應(yīng)的信息同步。如應(yīng)當(dāng)意識(shí)到的是，其他應(yīng)用可以被裝載在存儲(chǔ)器1262中，并且在移動(dòng)計(jì)算設(shè)備1200上運(yùn)行，包括用于確定并且分配如本文所描述的拼音特性的指令(例如，和/或可選的拼音特性rnn模塊1111)。

系統(tǒng)1202具有電源1270，其可以被實(shí)現(xiàn)為一個(gè)或多個(gè)電池。電源1270還可以包括外部電源，例如，對(duì)電池進(jìn)行補(bǔ)充或者再充電的ac適配器或者電源對(duì)接插座。

系統(tǒng)1202還可以包括執(zhí)行發(fā)送和接收射頻通信的功能無(wú)線電1272。無(wú)線電1272經(jīng)由通信載波或者服務(wù)提供商實(shí)施系統(tǒng)1202和“外部世界”之間的無(wú)線連通。到無(wú)線電1272的發(fā)送和從無(wú)線電1272的發(fā)送在操作系統(tǒng)1264的控制下實(shí)施。換句話說(shuō)，由無(wú)線電1272接收的通信可以經(jīng)由通信系統(tǒng)1264傳播到應(yīng)用程序1266，反之亦然。

可視指示符1220可以用于提供可視通知，和/或音頻接口1274可以用于經(jīng)由音頻換能器1225產(chǎn)生可聽(tīng)見(jiàn)的通知。在示出的實(shí)施例中，可視指示符1220是發(fā)光二極管(led)并且音頻換能器1225是揚(yáng)聲器。這些設(shè)備可以直接耦合到電源1270，使得當(dāng)被激活時(shí)，它們?cè)谝欢螘r(shí)間內(nèi)保持由通知系統(tǒng)支配，即使處理器1260和其他部件可能被關(guān)閉以用于節(jié)省電池功率。led可以被編程而被無(wú)限期地保持，直到用戶采取動(dòng)作來(lái)指示設(shè)備的開(kāi)機(jī)狀態(tài)。音頻接口1274用于向用戶提供可聽(tīng)見(jiàn)的信號(hào)，以及從用戶接收可聽(tīng)見(jiàn)的信號(hào)。例如，除了與音頻換能器1225耦合，音頻接口1274還耦合到麥克風(fēng)來(lái)接收可聽(tīng)見(jiàn)的輸入，例如用于實(shí)施電話對(duì)話。根據(jù)本公開(kāi)的實(shí)施例，麥克風(fēng)還用作音頻傳感器來(lái)實(shí)施對(duì)通知的控制，正如將在下文所描述的。系統(tǒng)1202還可以包括能夠啟用車載攝像頭1230用于記錄圖像、視頻流等的操作的視頻接口1276。

實(shí)現(xiàn)系統(tǒng)1202的移動(dòng)計(jì)算設(shè)備1200可以具有額外的特征或功能。例如，移動(dòng)計(jì)算設(shè)備1200還可以包括額外的數(shù)據(jù)存儲(chǔ)設(shè)備(可移除和/或非可移除)，例如，磁盤(pán)、光盤(pán)或帶等。這樣的額外的存儲(chǔ)在圖12中由非易失性存儲(chǔ)區(qū)1268示出。

由移動(dòng)計(jì)算設(shè)備1200生成或者捕獲的并且經(jīng)由系統(tǒng)1202存儲(chǔ)的數(shù)據(jù)/信息可以本地存儲(chǔ)在移動(dòng)計(jì)算設(shè)備1200上，如上文所描述的，或者數(shù)據(jù)可以被存儲(chǔ)在可以由設(shè)備經(jīng)由無(wú)線電1272或經(jīng)由移動(dòng)計(jì)算設(shè)備1200以及與移動(dòng)計(jì)算設(shè)備1200相關(guān)聯(lián)的單獨(dú)的計(jì)算設(shè)備(例如，在分布式計(jì)算網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng))中的服務(wù)器計(jì)算機(jī))之間的無(wú)線連接訪問(wèn)的任何數(shù)量的存儲(chǔ)介質(zhì)上。正如本文所意識(shí)到的，這樣的數(shù)據(jù)/信息可以經(jīng)由移動(dòng)計(jì)算設(shè)備1200經(jīng)由無(wú)線電1272或者經(jīng)由分布式計(jì)算網(wǎng)絡(luò)訪問(wèn)。類似地，這樣的數(shù)據(jù)/信息可以在計(jì)算設(shè)備之間容易地傳送，以用于根據(jù)公知的數(shù)據(jù)/信息傳送和存儲(chǔ)手段(包括電子郵件和協(xié)作數(shù)據(jù)/信息共享系統(tǒng))來(lái)存儲(chǔ)和使用。

圖13示出了用于處理在計(jì)算系統(tǒng)處從遠(yuǎn)程源(例如，計(jì)算設(shè)備1304、平板計(jì)算設(shè)備1306、或者移動(dòng)設(shè)備1308)接收的數(shù)據(jù)的系統(tǒng)的架構(gòu)的一個(gè)實(shí)施例，如本文所描述的。在服務(wù)器設(shè)備1302處顯示的內(nèi)容可以被存儲(chǔ)在不同的通信信道或者其他存儲(chǔ)類型中。例如，可以使用目錄服務(wù)1322、網(wǎng)絡(luò)端口1324、電子郵件服務(wù)1326、即時(shí)消息傳送存儲(chǔ)1328或者社交網(wǎng)絡(luò)站點(diǎn)1330來(lái)存儲(chǔ)各種文檔。通信應(yīng)用1113可以由與服務(wù)器1302進(jìn)行通信的客戶端使用。服務(wù)器1302可以通過(guò)網(wǎng)絡(luò)1315將數(shù)據(jù)提供給客戶端計(jì)算設(shè)備，并且從客戶端計(jì)算設(shè)備取數(shù)據(jù)，所述客戶端計(jì)算設(shè)備例如個(gè)人計(jì)算機(jī)1304、平板計(jì)算設(shè)備1306和/或移動(dòng)計(jì)算設(shè)備1308(例如，智能電話)。例如，上文關(guān)于圖1-6描述的計(jì)算機(jī)系統(tǒng)可以被體現(xiàn)在個(gè)人計(jì)算機(jī)1304、平板計(jì)算設(shè)備1306和/或移動(dòng)計(jì)算設(shè)備1308(例如，智能電話)中。計(jì)算設(shè)備的這些實(shí)施例中的任何一個(gè)可以從存儲(chǔ)1316獲得內(nèi)容，除了接收?qǐng)D形數(shù)據(jù)之外，所述圖形數(shù)據(jù)能夠用于在源自圖形系統(tǒng)處進(jìn)行預(yù)先處理，或者在接收計(jì)算系統(tǒng)出進(jìn)行后處理。

圖14示出了可以執(zhí)行本文所公開(kāi)的一個(gè)或多個(gè)實(shí)施例的示例平板計(jì)算設(shè)備1400。另外，本文所描述的實(shí)施例和功能可以通過(guò)分布式系統(tǒng)(基于云的計(jì)算系統(tǒng))上進(jìn)行操作，其中，應(yīng)用功能、存儲(chǔ)器、數(shù)據(jù)存儲(chǔ)及取回、以及各種處理功能可以彼此遠(yuǎn)程地在分布式計(jì)算網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng)或者內(nèi)聯(lián)網(wǎng))上操作。用戶接口和各種類型的信息可以經(jīng)由車載計(jì)算設(shè)備顯示器或者經(jīng)由與一個(gè)或多個(gè)計(jì)算設(shè)備相關(guān)聯(lián)的遠(yuǎn)程顯示單元來(lái)進(jìn)行顯示。例如，用戶接口和各種類型的信息可以在墻面上進(jìn)行顯示，并且與墻面進(jìn)行交互，在墻面上可以對(duì)用戶接口和各種類型的信息進(jìn)行投影。與利用其可以實(shí)施本發(fā)明的實(shí)施例的眾多計(jì)算系統(tǒng)進(jìn)行的交互包括擊鍵輸入、觸摸屏輸入、聲音或者其他音頻輸入、姿勢(shì)輸入，其中相關(guān)聯(lián)的計(jì)算設(shè)備配備有檢測(cè)(例如，攝像頭)功能以用于捕獲和解釋用于控制計(jì)算設(shè)備的功能等的用戶姿勢(shì)。

本公開(kāi)的實(shí)施例例如在上文中參考根據(jù)本公開(kāi)的實(shí)施例的方法、系統(tǒng)、以及計(jì)算機(jī)程序產(chǎn)品的框圖和/或操作示出來(lái)進(jìn)行描述。在框圖中指出的功能/動(dòng)作可以以任何流程圖中所示出的順序之外的順序發(fā)生。例如，連續(xù)示出的兩個(gè)框?qū)嶋H上可以基本上并行執(zhí)行，或者框有時(shí)可以以逆序執(zhí)行，這取決于所包含的功能/動(dòng)作。

在本申請(qǐng)中提供的一個(gè)或多個(gè)實(shí)施例的描述和示出不是要以任何方式限制或約束所要求保護(hù)的本公開(kāi)的范圍。在本申請(qǐng)中所提供的實(shí)施例、示例以及細(xì)節(jié)被考慮為傳達(dá)所有物，并且使得其他人能夠利用和使用所要求保護(hù)的公開(kāi)的最佳模式。所要求保護(hù)的公開(kāi)不應(yīng)當(dāng)被解釋為被限制為本申請(qǐng)中提供的任何實(shí)施例、示例或者細(xì)節(jié)。不論是組合或者單獨(dú)地進(jìn)行示出以及描述，各種特征(結(jié)構(gòu)上以及方法上)是要被選擇性地包括或者省略，來(lái)產(chǎn)生具有特定特征集合的實(shí)施例。提供了本申請(qǐng)的描述和示出，本領(lǐng)域的技術(shù)人員可以設(shè)想落在本申請(qǐng)中實(shí)現(xiàn)的通用發(fā)明概念的寬泛的精神內(nèi)的變形、修改以及可替換的實(shí)施例不偏離所要求公開(kāi)的寬泛的范圍內(nèi)。