分布式nlu/nlp的制作方法
【專利說明】分布式NLU/NLP
[0001]本申請要求2012年11月12日提交的美國專利申請13/674，191的優(yōu)先權(quán)，該美國專利申請通過引用全部并入本文。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及一種用于自然語言處理的分布式客戶端-服務(wù)器系統(tǒng)。
【背景技術(shù)】
[0003]自然語言處理(NLP)和自然語言理解(NLU)涉及使用計(jì)算機(jī)處理，以從諸如人類產(chǎn)生的語音和文本等自然語言輸入提取有意義的信息。此類技術(shù)的一個(gè)最新應(yīng)用是在諸如智能手機(jī)等移動(dòng)設(shè)備中處理語音和/或文本查詢。
[0004]圖1示出處理語音查詢輸入并從各種頂級網(wǎng)站和內(nèi)容源獲得同步搜索結(jié)果的一個(gè)此類移動(dòng)設(shè)備應(yīng)用龍搜索！(Dragon Go !)的一些示例屏幕截圖。此類應(yīng)用要求將自然語言理解組件添加到現(xiàn)有網(wǎng)站搜索算法，以便從輸入查詢提取語義含義。這可能涉及使用近似串匹配，以發(fā)現(xiàn)語義模板結(jié)構(gòu)。一個(gè)或多個(gè)語義含義可以被分配給每個(gè)語義模板。解析規(guī)則和分類器訓(xùn)練實(shí)例可以被生成并用來訓(xùn)練確定查詢解釋(有時(shí)稱為查詢意圖)的NLU模型。
[0005]諸如龍搜索！等用于移動(dòng)設(shè)備的復(fù)雜NLU應(yīng)用使用客戶端-服務(wù)器架構(gòu)實(shí)施，其中NLU處理僅在遠(yuǎn)程服務(wù)器進(jìn)行。但是，大量的相關(guān)數(shù)據(jù)可能被存儲(chǔ)在本地移動(dòng)設(shè)備上，所述大量的相關(guān)數(shù)據(jù)需要上載到遠(yuǎn)程N(yùn)LU處理器，以優(yōu)化NLU結(jié)果；例如，會(huì)議(標(biāo)題、內(nèi)容、參加者)列表、聯(lián)系人列表、歌曲列表等相關(guān)數(shù)據(jù)。由于包括保密考慮和純粹的需要上載并保持同步的數(shù)據(jù)量的各種原因，可以由服務(wù)器側(cè)NLU加以利用的數(shù)據(jù)的數(shù)據(jù)傳送會(huì)遇到問題。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的實(shí)施例涉及用于分布式自然語言處理的系統(tǒng)和對應(yīng)的方法。一組本地?cái)?shù)據(jù)源存儲(chǔ)在移動(dòng)設(shè)備上。移動(dòng)設(shè)備上的本地自然語言理解(NLU)匹配模塊執(zhí)行結(jié)合所述本地?cái)?shù)據(jù)源的自然語言輸入的自然語言處理，以確定一個(gè)或多個(gè)本地解釋候選。移動(dòng)設(shè)備上的本地NLU排名模塊處理本地解釋候選和來自遠(yuǎn)程N(yùn)LU服務(wù)器的一個(gè)或多個(gè)遠(yuǎn)程解釋候選，以確定對應(yīng)于自然語言輸入的最終輸出解釋。
[0007]NLU排名模塊可以使用模糊匹配算法，以確定最終輸出解釋且/或在N最佳列表中對解釋候選進(jìn)行排名。NLU排名模塊還可以在確定最終輸出解釋之前處理被識別為與本地?cái)?shù)據(jù)源中表示的信息相關(guān)的遠(yuǎn)程解釋候選。例如，NLU排名模塊還可以使用來自遠(yuǎn)程N(yùn)LU服務(wù)器的附加補(bǔ)充遠(yuǎn)程解釋數(shù)據(jù)和來自本地?cái)?shù)據(jù)源的數(shù)據(jù)，以確定最終輸出解釋。
[0008]移動(dòng)設(shè)備可以向遠(yuǎn)程N(yùn)LU服務(wù)器轉(zhuǎn)發(fā)NLU匹配模塊的自然語言處理結(jié)果用于擴(kuò)展遠(yuǎn)程解釋候選。并且本地NLU排名模塊還可以考慮來自遠(yuǎn)程N(yùn)LU服務(wù)器的排名數(shù)據(jù)，以確定最終輸出解釋。
【附圖說明】
[0009]圖1示出用于移動(dòng)設(shè)備的自然語言查詢應(yīng)用的一些示例屏幕截圖。
[0010]圖2示出根據(jù)本發(fā)明的實(shí)施例所述的分布式自然語言處理系統(tǒng)的示例。
[0011]圖3是示出根據(jù)本發(fā)明的實(shí)施例所述的分布式自然語言處理中的各個(gè)功能步驟的流程圖。
【具體實(shí)施方式】
[0012]本發(fā)明實(shí)施例涉及NLU處理的分布式客戶端-服務(wù)器系統(tǒng)，所述NLU處理利用設(shè)備上的數(shù)據(jù)，在移動(dòng)設(shè)備上進(jìn)行一些本地處理，且使用服務(wù)器可用的數(shù)據(jù)和資源在服務(wù)器上進(jìn)行一些遠(yuǎn)程處理。
[0013]圖2示出分布式自然語言處理系統(tǒng)的示例，而且圖3是示出根據(jù)本發(fā)明的實(shí)施例所述的分布式自然語言處理中的各個(gè)功能步驟的流程圖。并且“呼叫鮑勃(call bob)”的示例查詢可以用于進(jìn)一步地解釋，并且為了進(jìn)行所述討論，假設(shè)現(xiàn)在電影院上映的最新的電影的名稱為“呼叫鮑勃”。
[0014]移動(dòng)設(shè)備200從用戶接收自然語言輸入201(步驟301)。移動(dòng)設(shè)備200向遠(yuǎn)程N(yùn)LU服務(wù)器204轉(zhuǎn)發(fā)自然語言輸入201 (步驟302)，所述遠(yuǎn)程N(yùn)LU服務(wù)器204使用可用的遠(yuǎn)程數(shù)據(jù)資源205執(zhí)行輸入的NLU處理，以確定一個(gè)或多個(gè)遠(yuǎn)程解釋候選。例如，移動(dòng)設(shè)備200上的相對精簡的自然語言理解(NLU)匹配模塊202還使用模糊匹配算法執(zhí)行結(jié)合本地?cái)?shù)據(jù)源203的所述輸入的本地NLU處理，以確定一個(gè)或多個(gè)本地解釋候選(步驟303)。本地?cái)?shù)據(jù)源203通?？砂ǖ幌抻谠O(shè)備的所有本地音樂列表、郵件內(nèi)容、會(huì)議內(nèi)容、聯(lián)系人列表等。在一些實(shí)施例中，由NLU匹配模塊202進(jìn)行的本地NLU處理的部分或全部結(jié)果(例如，提及檢測結(jié)果、語義附接提取、查詢意圖和/或語義分類結(jié)果)也可以向遠(yuǎn)程N(yùn)LU服務(wù)器204轉(zhuǎn)發(fā)，所述遠(yuǎn)程N(yùn)LU服務(wù)器204可以使用該信息增加其自己的解釋。
[0015]移動(dòng)設(shè)備200上的本地NLU排名模塊206從遠(yuǎn)程N(yùn)LU服務(wù)器204接收遠(yuǎn)程解釋候選(步驟304)，并且處理遠(yuǎn)程解釋候選和來自NLU匹配模塊202的本地解釋候選，以將所組合的解釋候選重新排名到所組合的N最佳列表(步驟305)，并且確定對應(yīng)于自然語言輸入201的最終輸出解釋207 (步驟306)。在一些實(shí)施例中，遠(yuǎn)程N(yùn)LU服務(wù)器204可以自己進(jìn)行部分或全部候選排名，并且向移動(dòng)設(shè)備200提供帶有遠(yuǎn)程解釋候選的排名結(jié)果的反饋。
[0016]在此類系統(tǒng)中，可能有用的是，約束NLU服務(wù)器204不刪除如果其訪問了移動(dòng)設(shè)備200上的部分本地?cái)?shù)據(jù)203，可能會(huì)幸存下來的解釋候選。也就是，遠(yuǎn)程解釋候選的N最佳列表在此類情況下不需要?jiǎng)h除。NLU服務(wù)器204可以基于已與示例查詢相關(guān)聯(lián)的用于音樂、會(huì)議、聯(lián)系人信息等的NLU訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，從而通過NLU服務(wù)器204運(yùn)行每個(gè)此類實(shí)例查詢，以取得頂級結(jié)果。然后，NLU服務(wù)器204的訓(xùn)練可以在去除了可能位于本地移動(dòng)設(shè)備200上的音樂、會(huì)議、聯(lián)系人信息等數(shù)據(jù)的相同訓(xùn)練數(shù)據(jù)上反復(fù)進(jìn)行，并且每個(gè)查詢通過NLU服務(wù)器204重新運(yùn)行并取得頂級結(jié)果。這樣就產(chǎn)生了訓(xùn)練數(shù)據(jù)和NLU輸出，即抽象特征可以從NLU輸出構(gòu)造。并且，如果NLU服務(wù)器204的頂級NLU結(jié)果對于每個(gè)訓(xùn)練查詢實(shí)例都隨偽本地?cái)?shù)據(jù)的存在而變化，則經(jīng)過訓(xùn)練的NLU服務(wù)器204現(xiàn)在可以在服務(wù)器側(cè)識另Ij，如果本地移動(dòng)設(shè)備200上的本地?cái)?shù)據(jù)203可用，針對每個(gè)查詢的所述查詢是否將易受改變。在實(shí)際運(yùn)行操作期間，如果NLU服務(wù)器204識別到給定的解釋候選易受到本地?cái)?shù)據(jù)203影響，則當(dāng)該解釋候選被發(fā)送到NLU排名器206用于在移動(dòng)設(shè)備200上的進(jìn)一步本地處理時(shí)，該解釋候選被標(biāo)記(且包含或許有用的其他有用的本地處理信息)。此類系統(tǒng)的一個(gè)效果是從NLU服務(wù)器204向本地NLU排名器20