本發(fā)明涉及自動問答系統(tǒng)構(gòu)建
技術(shù)領(lǐng)域：
，更具體地涉及一種基于層次記憶網(wǎng)絡的端到端問答方法。
背景技術(shù)：
：長期以來，自動問答一直都是自然語言處理問題中最具挑戰(zhàn)性的任務之一，該任務需要對文本進行深層次理解并篩選出候選答案作為系統(tǒng)響應。目前已有的傳統(tǒng)方法包括：采用流水線模式對文本處理過程中各個模塊進行獨立訓練，然后融合輸出的模式；構(gòu)建大規(guī)模結(jié)構(gòu)化知識庫，并基于此知識庫進行信息推理和答案預測。近些年，基于深度學習方法的端到端系統(tǒng)被廣泛用于解決各種任務，這些方法無須手工構(gòu)造特征，且無需對各個模塊進行單獨調(diào)優(yōu)。問答系統(tǒng)大致可分為兩個步驟：首先定位相關(guān)語義信息，該步驟稱為“激活階段”，然后基于相關(guān)信息進行響應生成，該步驟稱為“生成階段”。最近，神經(jīng)記憶網(wǎng)絡模型在問答系統(tǒng)任務中取得了較好地效果。但是，這些模型最大的缺點是采用單層次句粒度的記憶單元，無法較好地解決低頻詞或未登錄詞問題。而且通常情況下，為了降低模型的時間復雜度，常需要減少詞典規(guī)模。此時，現(xiàn)有的端到端神經(jīng)網(wǎng)絡模型無法較好地選擇出低頻或未登錄詞作為答案輸出。即當目標答案詞在訓練詞典之外時，現(xiàn)有方法于在線測試階段無法較好地選擇準確答案作為模型輸出。以下述對話文本為例：1.先生您好，叫什么名字？2.呃，我叫威廉姆森。3.請告訴我您的護照號碼。4.好的，是577838771。5.還有您的電話號碼？6.號碼是0016178290851。假定“威廉姆森”，“577838771”和“0016178290851”是低頻詞或未登錄詞，如果傳統(tǒng)方法將這些詞丟棄或者統(tǒng)一以“unk”符號替換的話，這些方法均無法從對話文本中選擇出準確的用戶信息。然而，在實際應用中，多數(shù)答案信息來自于低頻詞或長尾詞，如何設計一種能夠有效解決未登錄詞的答案選擇方法是目前自動問答系統(tǒng)領(lǐng)域迫切亟需的任務。技術(shù)實現(xiàn)要素：(一)要解決的技術(shù)問題為了解決現(xiàn)有技術(shù)問題，本發(fā)明提供了一種基于層次化記憶網(wǎng)絡的問答方法。(二)技術(shù)方案本發(fā)明提供了一種基于層次化記憶網(wǎng)絡的問答方法，包括：步驟S101：融合詞的位置和句子的時間序列信息，對句子集合中的句子進行句粒度記憶編碼，得到句粒度記憶單元的雙通道記憶編碼；步驟S102：在問題語義編碼的刺激下，通過多輪迭代的注意力機制完成所述句粒度記憶單元的信息推理，得到所述句粒度記憶單元上在詞典維度的輸出詞概率分布；步驟S103：對所述句粒度記憶單元的信息推理結(jié)果進行k最大采樣，從所述句子集合中篩選出k最大采樣重要句子集合；步驟S104：利用雙向循環(huán)神經(jīng)網(wǎng)絡模型對所述句子集合進行詞粒度記憶編碼，得到詞粒度記憶單元的記憶編碼；步驟S105：基于所述問題語義編碼、詞粒度記憶單元的記憶編碼和k最大采樣重要句子集合，通過注意力機制得到詞粒度輸出詞概率分布；以及步驟S106：從句粒度和詞粒度記憶單元中聯(lián)合預測輸出詞概率分布，并利用交叉熵進行監(jiān)督訓練。(三)有益效果從上述技術(shù)方案可以看出，本發(fā)明的基于層次化記憶網(wǎng)絡的問答方法具有以下有益效果：(1)本發(fā)明首先進行句粒度記憶編碼，并在問題語義編碼的刺激下，通過多輪迭代的注意力機制完成句粒度記憶單元的信息推理，可以提高自動問答的準確性和及時性，有利于低頻詞和未登錄詞的答案選擇；(2)通過k最大采樣對句子進行篩選，可以提高自動問答的效率，降低計算復雜度；(3)在句粒度記憶編碼的基礎(chǔ)上還進行詞粒度記憶編碼，即在兩個層次進行記憶編碼，形成層次化的記憶編碼，可以進一步提高自動問答的準確性；(4)利用循環(huán)神經(jīng)網(wǎng)絡進行詞粒度記憶編碼時，是在全句子集合X上操作的，該方式可以在詞粒度記憶編碼過程中引入詞在句子全集合中的上下文環(huán)境語義信息，可以提高自動問答的準確性和及時性；(5)詞粒度記憶單元上的注意力機制是在k采樣后的詞粒度記憶單元子集合上運算的，避免了記憶編碼中的干擾信息，并減少了詞粒度注意力機制的計算量；(6)利用句粒度和詞粒度記憶單元聯(lián)合預測輸出詞概率分布，可以進一步提高自動問答的準確性，有效解決了低頻詞和未登錄詞的答案選擇問題。附圖說明圖1為本發(fā)明實施例的基于層次化記憶網(wǎng)絡的問答方法的流程圖；圖2為本發(fā)明實施例的基于層次化記憶網(wǎng)絡的問答方法的框架示意圖；圖3為本發(fā)明實施例的句粒度記憶編碼及基于句粒度記憶編碼的信息推理示意圖；圖4為本發(fā)明實施例的詞粒度記憶編碼及基于詞粒度記憶編碼的注意力激活示意圖；圖5為本發(fā)明實施例的基于層次化記憶網(wǎng)絡的問答方法的性能示意圖1；圖6為本發(fā)明實施例的基于層次化記憶網(wǎng)絡的問答方法的又一性能示意圖。具體實施方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明作進一步的詳細說明。本發(fā)明公開了一種基于層次化記憶網(wǎng)絡的問答方法，其基于一種全神經(jīng)網(wǎng)絡結(jié)構(gòu)的端到端模型，可以實現(xiàn)句子集合中的信息推理，篩選和詞粒度選擇，有效解決大數(shù)據(jù)下問答系統(tǒng)對低頻詞或未登錄詞的答案選擇問題。本發(fā)明的問答方法將具有時間序列信息的句子集合分別進行兩個層次化的記憶編碼，分別為：句粒度記憶編碼和詞粒度記憶編碼。然后基于層次化記憶網(wǎng)絡進行信息推理、篩選和激活，聯(lián)合預測候選答案詞概率分布。本發(fā)明的問答方法，通過層次化記憶網(wǎng)絡先對句子集合進行句向量化記憶編碼，考慮詞在句子中的位置信息及句子在句子集合中的序列時間信息，然后通過多輪迭代的注意力機制完成句粒度記憶單元的信息推理，并基于該推理結(jié)果進行k最大采樣，篩選出重要的句子信息。然后利用雙向循環(huán)網(wǎng)絡模型對句子集合進行詞粒度的序列編碼，并通過注意力機制從被篩選的信息中進行詞粒度記憶單元的信息激活，最后分別從句粒度和詞粒度記憶單元中預測輸出詞概率分布并通過Softmax進行聯(lián)合監(jiān)督訓練，學習端到端的自動問答模型。下面結(jié)合附圖對作為本發(fā)明實施例的基于層次化記憶網(wǎng)絡的問答方法進行詳細描述。圖1為本發(fā)明實施例的基于層次化記憶網(wǎng)絡的問答方法的流程圖，參照圖1，該問答方法包括：步驟S101：融合詞的位置和句子的時間序列信息，對句子集合中的句子進行句粒度記憶編碼，得到句粒度記憶單元的雙通道記憶編碼。參照圖3，步驟S101包括：子步驟S101a：對句子集合中具有時間序列信息的句子進行雙通道詞向量映射，得到句子的雙通道詞向量化編碼。子步驟S101a包括：給定具有時間序列信息的句子集合X＝{xi}i＝(1，2，...，n)，其中，i為句子的當前時間序列，n為句子集合的最大時間序列長度；隨機初始化兩個詞向量矩陣和其中，|V|為詞典維度，d為詞向量的維度，A和C分別采用標準差為0.1、均值為0的正態(tài)分布作為隨機初始化參數(shù)，對句子集合X中的句子xi進行雙通道詞向量映射，則句子xi中的詞xij的雙通道向量化編碼為和j為詞在句子xi中的位置信息。子步驟S101b：根據(jù)詞在句子中的位置信息對雙通道詞向量化編碼進行更新。子步驟S101b包括：根據(jù)詞在句子中的位置信息j及詞向量的維度d生成更新矩陣l，則更新后的雙通道詞向量化編碼為lgj·(Axij)和lgj·(Cxij)，其中：lgj＝(1-j/Ji)-(g/d)(1-2j/Ji)(1)其中，Ji是句子xi中詞的個數(shù)，而g為維度為d的詞向量中的當前維度值，且1≤j≤J和1≤g≤d。子步驟S101c：融合句子的時間序列信息對句子進行句粒度記憶編碼，得到句粒度記憶單元的雙通道記憶編碼。子步驟S101c包括：隨機初始化兩個句子時間序列的向量化矩陣和其中，n為句子集合的最大時間序列長度，d為時間向量維度，與詞向量的維度相同，TA和TC分別采用標準差為0.1、均值為0的正態(tài)分布作為隨機初始化參數(shù)，則句粒度記憶單元的雙通道記憶編碼為M(S)＝{{ai}，{ci}}，其中：ai=Σjlj·(Axij)+TA(i)---(2)]]>ci=Σjlj·(Cxij)+TC(i)---(3)]]>其中，lj為中更新矩陣l在句子xi中第j個詞的更新向量，操作符·為向量間元素乘法操作，如公式(2)中l(wèi)j·(Axij)表示向量lj和向量(Axij)進行元素乘法操作。步驟S102：在問題語義編碼的刺激下，通過多輪迭代的注意力機制完成句粒度記憶單元的信息推理，得到句粒度記憶單元上在詞典維度的輸出詞概率分布。步驟S102包括：子步驟S102a：對問題文本進行向量化表示，得到問題的語義編碼。子步驟S102a包括：利用所述詞向量矩陣對問題文本q中第j個詞qj進行向量化表示并基于詞在問題文本中的位置j對該向量化表示進行更新，得到問題的語義編碼：u1(S)=Σjlj·(Aqj)---(4)]]>同所述公式(2)和(3)，lj為更新矩陣l在句子xi中第j個詞的更新向量。子步驟S102b：在問題語義編碼的刺激下，利用注意力機制在句粒度記憶單元的雙通道記憶編碼中進行信息激活；子步驟S102b包括：采用點積方式計算問題語義編碼在句粒度記憶單元的注意力權(quán)重：αi(S)=softmax(aiTu1(S))---(5)]]>則在問題語義編碼刺激下，句粒度記憶單元的雙通道記憶編碼的激活信息為：子步驟S102c：通過多輪迭代的注意力機制完成在句粒度記憶單元的信息推理，得到句粒度記憶單元上在詞典維度的輸出詞概率分布。子步驟S102c包括：在句粒度記憶單元上進行R輪信息激活，找到候選句子集合，得到第R輪的激活信息OR，其中，在第r+1輪信息激活中，ur+1(S)=or+ur(S)---(6)]]>αi(S)=softmax(aiTur+1(S))---(7)]]>ai=Σjlj·(Ar+1xij)+TAr+1(i)---(8)]]>or+1=Σiαi(S)ci---(9)]]>ci=Σjlj·(Cr+1xij)+TCr+1(i)---(10)]]>其中，1≤r≤(R-1)，在第r+1輪信息激活中采用獨立的詞向量矩陣Ar+1和Cr+1和時間向量矩陣和對句子集合進行向量化表示，且Cr和分別采用標準差為0.1、均值為0的正態(tài)分布作為隨機初始化參數(shù)。通過R輪迭代的注意力機制完成在句粒度記憶單元的信息推理，得到句粒度記憶單元上在詞典維度的輸出詞概率分布為：p(S)(w)=softmax((CR)T(oR+uR(S)))---(11)]]>其中，為詞典維度詞集合，為第R輪信息激活的詞向量矩陣，而T為轉(zhuǎn)置操作符。本發(fā)明首先進行句粒度記憶編碼，并在問題語義編碼的刺激下，通過多輪迭代的注意力機制完成句粒度記憶單元的信息推理，可以提高自動問答的準確性和及時性，有利于低頻詞和未登錄詞的答案選擇。步驟S103：對句粒度記憶單元的信息推理結(jié)果進行k最大采樣，從句子集合中篩選出k最大采樣重要句子集合。步驟S103包括：子步驟S103a：對句粒度記憶單元上第R輪信息激活的注意力權(quán)重向量從中選取其k個最大的注意力權(quán)重子集合子步驟S103b：選取k個最大的注意力權(quán)重子集合對應的句子集合作為k最大采樣重要句子集合重要句子集合中的句子為重要句子。本發(fā)明k最大采樣對句子進行篩選，可以提高自動問答的效率，降低計算復雜度，更加有利于低頻詞和未登錄詞的答案選擇。步驟S104：利用雙向循環(huán)神經(jīng)網(wǎng)絡模型對句子集合進行詞粒度記憶編碼，得到詞粒度記憶單元的記憶編碼。參照圖4，步驟S104包括：子步驟S104a：利用雙向循環(huán)網(wǎng)絡模型對重要句子集合中的詞按時間序列進行編碼，得到雙向循環(huán)網(wǎng)絡模型的隱狀態(tài)。雙向循環(huán)網(wǎng)絡模型有多種現(xiàn)有模型，本實施例采用其中的一種：門循環(huán)網(wǎng)絡模型(GRU)。子步驟S104a包括：利用門循環(huán)網(wǎng)絡模型(GRU)分別對句子集合X中的所有詞按時間序列進行正向和反向編碼，對于t時刻的詞特征，前向GRU編碼的隱狀態(tài)為后向GRU編碼的隱狀態(tài)為其中，|t|為按照時間序列對句子集合X中所有詞進行排列后的詞最大序列長度，和的維度與詞向量的維度d相同，CR為句粒度記憶單元中第R輪信息激活過程中的詞向量矩陣。子步驟S104b：對雙向循環(huán)網(wǎng)絡模型的隱狀態(tài)進行融合，得到詞粒度記憶單元的記憶編碼。子步驟S104b包括：將雙向循環(huán)網(wǎng)絡模型的隱狀態(tài)直接相加，得到詞粒度記憶單元的記憶編碼M(W)＝{mt}t＝1，2，..|t|)，其中本發(fā)明利用循環(huán)神經(jīng)網(wǎng)絡進行詞粒度記憶編碼時，是在全句子集合X上操作的，該方式可以在詞粒度記憶編碼過程中引入詞在句子全集合中的上下文環(huán)境語義信息，可以提高自動問答的準確性和及時性，有利于低頻詞和未登錄詞的答案選擇。步驟S105：基于問題語義編碼、詞粒度記憶單元的記憶編碼和k最大采樣重要句子集合，通過注意力機制得到詞粒度輸出詞概率分布。步驟S105包括：子步驟S105a：根據(jù)問題語義編碼和詞粒度記憶單元的記憶編碼計算詞粒度記憶單元的注意力權(quán)重；子步驟S105a包括：基于句粒度記憶單元上第R輪信息激活過程中的問題語義編碼詞粒度記憶單元的記憶編碼M(W)＝{mt}t＝1，2，..，|t|)和k最大采樣重要句子集合得到歸一化后的詞粒度記憶單元的注意力權(quán)重向量其中：αt(w)=softmax(vTtanh(WuR(S)+Um^t))---(12)]]>其中，是k最大采樣重要句子集合中的詞集合所對應的詞粒度記憶編碼M(W)＝{mt}t＝(1，2，...，|t|)中的子集合注意力權(quán)重向量α(W)的維度與按照時間序列對重要句子集合中所有詞進行排列后的詞最大序列長度一致，即為和均為學習參數(shù)，v、W和U均采用標準差為0.1、均值為0的正態(tài)分布進行隨機初始化，在訓練階段進行更新。子步驟S105b：根據(jù)詞粒度記憶單元的注意力權(quán)重得到詞粒度輸出詞概率分布。在本發(fā)明的實施例中，直接采用歸一化后的詞粒度記憶單元的注意力權(quán)重α(W)作為詞粒度輸出詞概率分布：p(W)(w^)=α(W)---(13)]]>此時，詞粒度輸出詞概率分布與注意力權(quán)重的維度一致，即為重要句子集合中所有詞的集合本發(fā)明在句粒度記憶編碼的基礎(chǔ)上還進行詞粒度記憶編碼，即在兩個層次進行記憶編碼，形成層次化的記憶編碼，可以進一步提高自動問答的準確性，更加有利于低頻詞和未登錄詞的答案選擇。同時，詞粒度記憶單元上的注意力機制是在k采樣后的詞粒度記憶單元子集合上運算的，避免了記憶編碼中的干擾信息，并減少了詞粒度注意力機制的計算量。步驟S106：從句粒度和詞粒度記憶單元中聯(lián)合預測輸出詞概率分布，并利用交叉熵進行監(jiān)督訓練。步驟S106包括：子步驟S106a：基于句粒度記憶單元上在詞典維度的輸出詞概率分布和詞粒度輸出詞概率分布進行輸出詞聯(lián)合預測，聯(lián)合預測輸出詞分布p(w)表達式為：p(w)=p(S)(w)+p(W)(w)=p(S)(w)+trans(p(W)(w^))---(14)]]>其中，trans(·)表示將子集合的詞粒度輸出詞概率分布映射到詞典維度全集合的詞粒度輸出詞概率分布該映射操作具體是指輸出詞概率分布中概率值按照其對應詞子集合中的詞在詞典維度詞全集合中的位置進行概率值映射，若全集合中的某些詞在子集合中未出現(xiàn)，則將其輸出概率置為0，得到映射后的詞輸出概率分布子步驟S106b：利用目標答案詞分布對聯(lián)合預測輸出詞分布進行交叉熵監(jiān)督訓練。給定訓練集的目標答案詞分布為y，則基于目標答案詞分布y與聯(lián)合預測輸出詞分布p(w)的交叉熵函數(shù)進行聯(lián)合優(yōu)化。本發(fā)明的一個示例性實施例中，采用隨機梯度下降方法進行誤差反向傳播對聯(lián)合優(yōu)化中的目標函數(shù)進行優(yōu)化，優(yōu)化參數(shù)包括詞粒度記憶單元中的詞向量矩陣{Ar}r＝(1，2，...，R)和{Cr}t＝1，2，...，R)和時間向量矩陣和詞粒度記憶編碼過程中所采用雙向GRU模型的所有參數(shù)集合{θGRU}及計算詞粒度記憶單元的注意力權(quán)重(公式(12))中的v，W和U。本發(fā)明在句粒度和詞粒度記憶單元中聯(lián)合預測輸出詞概率分布，可以進一步提高自動問答的準確性，更加有利于低頻詞和未登錄詞的答案選擇。圖2為作為本發(fā)明一個實施例的基于層次化記憶網(wǎng)絡的問答方法的框架示意圖。參照圖2，基于層次化記憶網(wǎng)絡的問答方法共有兩個層次的記憶網(wǎng)絡單元，分別為：記憶單元一：句子集合以時間序列進行句粒度的編碼記憶；記憶單元二：句子集合中所有詞按照時間序列進行詞粒度的編碼記憶。不同記憶單元層次間采用k最大采用進行重要信息篩選和過濾。模型信息處理階段有兩處信息激活機制，分別為：激活機制一：在句粒度記憶單元上采用推理機制進行信息激活；激活機制二：在詞粒度記憶單元上采用注意力機制進行詞選擇。整個模型訓練階段共有兩處監(jiān)督信息進行指導，分別為：監(jiān)督信息一：句粒度記憶單元進行信息推理后的輸出向量進行解碼和Softmax輸出后對目標詞的擬合信息；監(jiān)督信息二：詞粒度記憶單元進行注意力機制激活和Softmax輸出后對目標詞的擬合信息。為了準確評估本發(fā)明方法的自動問答響應性能，本發(fā)明通過對比模型選擇輸出的答案詞和數(shù)據(jù)真實答案詞不一致的錯誤樣本數(shù)對比本發(fā)明方法的性能。表1數(shù)據(jù)領(lǐng)域訓練/測試問答對詞典大小(全部/訓練/測試)未登錄目標詞(百分比)機票預訂7,000/7,00010,682/5,612/5,6185,070(72.43％)本發(fā)明的實驗中采用一種中文機票訂票領(lǐng)域文本數(shù)據(jù)集，該數(shù)據(jù)集共包含2,000個完整對話歷史，14,000個問答對，將其5∶5分為訓練集和測試集。針對這些文本數(shù)據(jù)集，本發(fā)明不做任何處理(包括去停用詞和詞干還原等操作)。數(shù)據(jù)集的具體統(tǒng)計信息如表1所示，可以看到，在測試集中的未登錄目標詞占有72.43％，對傳統(tǒng)模型訓練會產(chǎn)生比較大的影響。本發(fā)明的實驗中采用以下對比方法：對比方法一：基于注意力機制的指針網(wǎng)絡模型，該方法將句子集合中的所有詞按照時間序列看成一個長句進行編碼，直接利用問題與詞編碼的注意力機制生成答案；對比方法二：神經(jīng)記憶網(wǎng)絡模型，該方法對句子集合進行句粒度編碼，利用問題的編碼向量進行語義激活后的信息直接在全詞典空間上進行答案匹配。本發(fā)明實驗中采用參數(shù)設置如表2所示：表2ndRklrbs16100310.0110表2中，參數(shù)n為實驗數(shù)據(jù)的句子集合的句子最大時間序列，d為詞向量維度及隱層編碼維度，R是句粒度記憶單元上推理機制的迭代次數(shù)，k為不同層次記憶間的最大采樣數(shù)，lr是采用隨機梯度下降方法進行模型參數(shù)優(yōu)化時的學習率，bs是進行模型訓練時每批樣本的數(shù)量。本發(fā)明實驗中，進行15輪迭代訓練，所有方法均收斂如圖5所示，最終收斂后的實驗結(jié)果如表3所示：表3方法錯誤樣本數(shù)對比方法一109對比方法二56本發(fā)明方法0圖5和表3為本發(fā)明方法、對比方法一和對比方法二在數(shù)據(jù)集上的錯誤樣本數(shù)評測結(jié)果。實驗結(jié)果表明，本發(fā)明方法的收斂速度顯著優(yōu)越于其他方法。且根據(jù)表3中的最終收斂結(jié)果，可以看到，本發(fā)明方法明顯優(yōu)于其他方法，可以完全解決未登錄詞集合上的答案選擇問題，達到100％的正確率。同時，本發(fā)明實驗驗證在層次記憶單元間信息篩選的最大采樣數(shù)k對答案選擇問題中錯誤樣本數(shù)的性能影響，實驗結(jié)果如圖6和表4所示。可以看到，當最大采樣數(shù)為1時，本發(fā)明方法性能的收斂速度和最終收斂結(jié)果可達到最優(yōu)，進一步說明層次記憶單元間進行信息選擇的重要性。表4最大采樣數(shù)錯誤樣本數(shù)352410至此，已經(jīng)結(jié)合附圖對本發(fā)明實施例進行了詳細描述。依據(jù)以上描述，本領(lǐng)域技術(shù)人員應當對本發(fā)明的一種基于層次化記憶網(wǎng)絡的問答方法有了清楚的認識。本發(fā)明一種基于層次化記憶網(wǎng)絡的問答方法，首先進行句粒度記憶編碼，并在問題語義編碼的刺激下，通過多輪迭代的注意力機制完成句粒度記憶單元的信息推理，可以提高自動問答的準確性和及時性，有利于低頻詞和未登錄詞的答案選擇；并通過k最大采樣對句子進行篩選，可以提高自動問答的效率，降低計算復雜度，句粒度記憶編碼的基礎(chǔ)上還進行詞粒度記憶編碼，即在兩個層次進行記憶編碼，形成層次化的記憶編碼，可以進一步提高自動問答的準確性；利用循環(huán)神經(jīng)網(wǎng)絡進行詞粒度記憶編碼時，是在全句子集合X上操作的，該方式可以在詞粒度記憶編碼過程中引入詞在句子全集合中的上下文環(huán)境語義信息，可以提高自動問答的準確性和及時性；詞粒度記憶單元上的注意力機制是在k采樣后的詞粒度記憶單元子集合上運算的，避免了記憶編碼中的干擾信息，并減少了詞粒度注意力機制的計算量；利用句粒度和詞粒度記憶單元聯(lián)合預測輸出詞概率分布，可以進一步提高自動問答的準確性，有效解決了低頻詞和未登錄詞的答案選擇問題。需要說明的是，在附圖或說明書正文中，未繪示或描述的實現(xiàn)方式，均為所屬
技術(shù)領(lǐng)域：
中普通技術(shù)人員所知的形式，并未進行詳細說明。此外，上述對各元件的定義并不僅限于實施例中提到的各種方式，本領(lǐng)域普通技術(shù)人員可對其進行簡單地更改或替換，例如：(1)實施例中提到的方向用語，例如“上”、“下”、“前”、“后”、“左”、“右”等，僅是參考附圖的方向，并非用來限制本發(fā)明的保護范圍；(2)上述實施例可基于設計及可靠度的考慮，彼此混合搭配使用或與其他實施例混合搭配使用，即不同實施例中的技術(shù)特征可以自由組合形成更多的實施例。以上所述的具體實施例，對本發(fā)明的目的、技術(shù)方案和有益效果進行了詳細說明，所應理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。當前第1頁1 2 3