述詢問信息所基于的任務(wù)信息定義如下：
[00化](one dialogue 1:ask)D= [Si …Sn]
[0086]其中，（one dialogue化sk)D表示詢問信息所基于的任務(wù)信息，η表示詢問信息所 基于的任務(wù)信息中關(guān)鍵詞的數(shù)量，sj(l < j < η)表示詢問信息所基于的任務(wù)信息中第j個關(guān) 鍵詞。例如，在一個火車票預(yù)訂的任務(wù)型對話系統(tǒng)中，實例化的一個任務(wù)信息便是：
[0087]
'[0088]步驟202,在預(yù)先構(gòu)建的任務(wù)數(shù)據(jù)庫中獲取單條任務(wù)信息。^' '
[0089] 在本實施例中，任務(wù)數(shù)據(jù)庫可W包括但不限于多條任務(wù)信息，每一條任務(wù)信息可 W包括但不限于多組鍵值對，每組鍵值對可W包括關(guān)鍵詞及關(guān)聯(lián)關(guān)鍵詞的實例。
[0090] 在本實施例的一些可選實現(xiàn)方式中，任務(wù)數(shù)據(jù)庫的定義如下：
[0091]
[0092] 其中，T為W矩陣的形式表示的任務(wù)數(shù)據(jù)庫，矩陣的每一行定義一條任務(wù)信息，矩 陣中的元素是任務(wù)數(shù)據(jù)庫中任務(wù)信息的關(guān)鍵詞，即Su(l含i含m，l含j含η)表示任務(wù)數(shù)據(jù)庫 中第i個任務(wù)信息的第j個關(guān)鍵詞。例如在一個酒店預(yù)訂的任務(wù)型對話系統(tǒng)中，實例化的一 個任務(wù)數(shù)據(jù)庫的矩陣如下：
[0093]
[0094] 其中，city表示城市，business表示商圈，hotel name表示酒店名稱，check-in time表示入住時間，check-out time表示離開時間。
[00M]步驟203,向領(lǐng)域任務(wù)型對話系統(tǒng)提交由單條任務(wù)信息中的鍵值對生成的答復(fù)信 息。
[0096] 在本實施例中，向領(lǐng)域任務(wù)型對話系統(tǒng)提交由單條任務(wù)信息中的鍵值對生成的答 復(fù)信息時，可W提交僅由單條任務(wù)信息中的鍵值對生成的答復(fù)信息，也可W模擬實際應(yīng)用 中各類用戶的答復(fù)習(xí)慣并且由單條任務(wù)信息中的鍵值對生成答復(fù)信息，并且提交生成的答 復(fù)信息，還可W從預(yù)設(shè)的鍵值對的表達(dá)模板中隨機(jī)選取模板作為回復(fù)模板，從而提交模擬 實際應(yīng)用中各類用戶的答復(fù)習(xí)慣并且由單條任務(wù)信息中的鍵值對套用回復(fù)模板生成的答 復(fù)倍息。
[0097] 在本實施例的一些可選實現(xiàn)方式中，上述向領(lǐng)域任務(wù)型對話系統(tǒng)提交由單條任務(wù) 信息中的鍵值對生成的答復(fù)信息可W包括但不限于：向領(lǐng)域任務(wù)型對話系統(tǒng)提交符合預(yù)設(shè) 用戶類型的由單條任務(wù)信息中的鍵值對生成的答復(fù)信息，其中，預(yù)設(shè)用戶類型至少包括但 不限于W下一項或多項:系統(tǒng)引導(dǎo)類型、核對查詢類型和隨機(jī)查詢類型。
[0098] 在本實現(xiàn)方式中，系統(tǒng)引導(dǎo)類型是指用戶是遵循系統(tǒng)引導(dǎo)答復(fù)的，系統(tǒng)詢問什么， 用戶就答復(fù)什么，運(yùn)種方式可檢查對話系統(tǒng)的最基本的邏輯功能；核對查詢類型是指用戶 自主性非常強(qiáng)，試圖準(zhǔn)確完成任務(wù)數(shù)據(jù)庫中的任務(wù)，能夠自我核對知識，并對對話系統(tǒng)的詢 問信息進(jìn)行有效否定與錯誤糾正，其信息的核對來自于對話系統(tǒng)結(jié)構(gòu)化的信息，如果對話 系統(tǒng)輸出的詢問信息與上一次的答復(fù)信息不同會主動進(jìn)行糾正;而隨機(jī)查詢類型則是指有 的用戶甚至?xí)鸱撬鶈?，例如系統(tǒng)詢問出發(fā)城市，用戶答復(fù)到達(dá)城市的信息等，運(yùn)樣測試對 話系統(tǒng)能否捕獲對話中非所詢問的信息，運(yùn)種隨機(jī)查詢類型能夠測試任務(wù)型對話系統(tǒng)的容 錯性能。
[0099] 在本實施例的一些可選實現(xiàn)方式中，上述向領(lǐng)域任務(wù)型對話系統(tǒng)提交符合預(yù)設(shè)用 戶類型的由單條任務(wù)信息中的鍵值對生成的答復(fù)信息至少可W包括但不限于W下一項或 多項：
[0100] 若預(yù)設(shè)用戶類型包括系統(tǒng)引導(dǎo)類型，則向領(lǐng)域任務(wù)型對話系統(tǒng)提交基于從單條任 務(wù)信息中獲取的關(guān)鍵詞與詢問信息的關(guān)鍵詞相同的鍵值對生成的答復(fù)信息。例如，可W讀 取領(lǐng)域任務(wù)型對話系統(tǒng)輸出的詢問信息的結(jié)構(gòu)Μ中的Ask_key_slot，記為P，之后根據(jù)關(guān)鍵 詞P隨機(jī)套用回復(fù)模板生成答復(fù)信息，之后提交生成的答復(fù)信息。
[0101] 若預(yù)設(shè)用戶類型包括核對查詢類型，則核對詢問信息的關(guān)鍵詞是否符合上一次提 交的答復(fù)信息的關(guān)鍵詞，若符合，則向領(lǐng)域任務(wù)型對話系統(tǒng)提交基于從單條任務(wù)信息中獲 取的關(guān)鍵詞與詢問信息的關(guān)鍵詞相同的鍵值對生成的答復(fù)信息，若不符合，則向領(lǐng)域任務(wù) 型對話系統(tǒng)提交基于上一次答復(fù)信息的鍵值對生成的答復(fù)信息。例如，可W讀取領(lǐng)域任務(wù) 型對話系統(tǒng)輸出的詢問信息的結(jié)構(gòu)Μ中的Result_inf ormation，與上一次答復(fù)信息進(jìn)行核 對，如核對結(jié)果為不同，將上一次答復(fù)中的鍵值對記為P;如果核對結(jié)果相同，則將領(lǐng)域任務(wù) 型對話系統(tǒng)輸出的詢問信息的結(jié)構(gòu)Μ中的Ask_key_slot記為P;之后根據(jù)關(guān)鍵詞P隨機(jī)套用 回復(fù)模板生成答復(fù)信息，之后提交生成的答復(fù)信息。
[0102] 若預(yù)設(shè)用戶類型包括隨機(jī)查詢類型，則向領(lǐng)域任務(wù)型對話系統(tǒng)提交基于從單條任 務(wù)信息中隨機(jī)獲取的鍵值對生成的答復(fù)信息。例如，可W隨機(jī)的從任務(wù)信息中選擇未詢問 過的鍵值對，記為P;之后根據(jù)關(guān)鍵詞P隨機(jī)套用回復(fù)模板生成答復(fù)信息，之后提交生成的答 復(fù)倍息。
[0103] 在本實施例的一些可選實現(xiàn)方式中，上述向領(lǐng)域任務(wù)型對話系統(tǒng)提交符合預(yù)設(shè)用 戶類型的由單條任務(wù)信息中的鍵值對生成的答復(fù)信息可W包括：向領(lǐng)域任務(wù)型對話系統(tǒng)提 交符合預(yù)設(shè)用戶類型的由單條任務(wù)信息中的鍵值對套用預(yù)設(shè)的鍵值對的表達(dá)模板之一生 成的答復(fù)信息。
[0104] 例如，當(dāng)領(lǐng)域任務(wù)型對話系統(tǒng)詢問某個關(guān)鍵詞時，用于實施測試領(lǐng)域任務(wù)型對話 系統(tǒng)的方法的測試系統(tǒng)，可W通過結(jié)構(gòu)化的交換信息獲取到詢問信息的關(guān)鍵詞，便從預(yù)設(shè) 的鍵值對的表達(dá)模板里選擇模板進(jìn)行答復(fù)，并從當(dāng)前任務(wù)數(shù)據(jù)庫中讀取實例內(nèi)容對上述關(guān) 鍵詞進(jìn)行替換，得到模擬用戶的答復(fù)信息。為了模擬用戶的主觀性，我們可W配置多種可能 對于某項關(guān)鍵詞的答復(fù)，運(yùn)里我們?nèi)缦露x預(yù)設(shè)的鍵值對的表達(dá)模板：
[0105] 用S+表示集合^1…Sn]中各種關(guān)鍵詞組合的一個更大的集合，則與集合對應(yīng)的 預(yù)設(shè)的鍵值對的表達(dá)模板定義為如下形式，記為：
[0106]
[0107] 其中，《康示第一個S+集合，巧表示第二個S+集合，W此類推；templatel表示第 一個表達(dá)模板，templates表示第二個表達(dá)模板，templates表示第Ξ個表達(dá)模板，W此類 推；在上表中，巧對應(yīng)了templatel和templates,也即同一個集合可W對應(yīng)多個不同的表 達(dá)模板。
[0108] 例如在預(yù)訂酒店對話系統(tǒng)中，一個實例化的例子如下：
[0109] S+=[city,check_in_time,check_out_time,check_in_time+check_out_time, city+check_in_time+check_out_time]
[0110] 其中，city表不城市；check_in_time表不入住時間；check_out_time表不離開時 間。
[0111] 預(yù)設(shè)的鍵值對的表達(dá)模板的形式如下：
[0112]
[0113] 上述方式可W在很大程度上模擬用戶答復(fù)的主觀性，預(yù)設(shè)的鍵值對的表達(dá)模板可 W通過對前期用戶答復(fù)歷史數(shù)據(jù)的調(diào)研，歸納出多類普遍性的答復(fù)方式。運(yùn)種方式可W更 全面評估對話系統(tǒng)的語義理解的能力。
[0114] 示例性的，一個來自酒店預(yù)訂系統(tǒng)的實例的測試過程如下：
[0115] 1.測試系統(tǒng):我想訂酒店
[0116] 2.對話系統(tǒng):您想在哪個城市訂酒店？
[0117] 3.測試系統(tǒng):我想住在濰坊市
[0118] 4.對話系統(tǒng):您想住在濰坊市哪個區(qū)域，或者住哪家酒店？
[0119] 5.測試系統(tǒng):我想住在奎文區(qū)
[0120] 6.對話系統(tǒng):在濰坊市奎文區(qū)找到298家酒店。您想哪天入住？
[0121] 7.測試系統(tǒng):我想在今天入住
[0122] 8.對話系統(tǒng):您想哪天離開？
[0123] 9.測試系統(tǒng):我想在后天離開
[0124] 10.對話系統(tǒng):您想住經(jīng)濟(jì)型，豪華型，還是快捷酒店？
[0125] 11.測試系統(tǒng):我想住在孤商務(wù)賓館
[0126] 12.對話系統(tǒng):為您找到EE商務(wù)酒店，位于濰坊市奎文區(qū)尊飛路商圈，您想住標(biāo)準(zhǔn) 間還是大床房？
[0127] 13.測試系統(tǒng):我想住標(biāo)準(zhǔn)間
[0128] 14.對話系統(tǒng):您選擇了標(biāo)準(zhǔn)間。即將為您發(fā)送入住信息的短信，請注意查收。
[0129] 該測試使用的是引導(dǎo)模式，對話生成過程中的加粗字體表明對話系統(tǒng)并未正確的 找到該賓館，但測試系統(tǒng)忽略了運(yùn)個錯誤，繼續(xù)答復(fù)對話系統(tǒng)的下一個問題。
[0130] 而在查詢模式，第13行測試系統(tǒng)的回復(fù)則是如下的糾正回復(fù)：
[0131] 13.我想住在孤商務(wù)賓館。
[0132] 步驟204,根據(jù)領(lǐng)域任務(wù)型對話系統(tǒng)輸出的詢問信息W及依據(jù)任務(wù)數(shù)據(jù)庫提交的 答復(fù)信息，生成對領(lǐng)域任務(wù)型對話系統(tǒng)的測試數(shù)據(jù)。
[0133] 在本實施例中，在上述步驟中獲取的詢問信息和答復(fù)信息的基礎(chǔ)上，可W根據(jù)領(lǐng) 域任務(wù)型對話系統(tǒng)輸出的所有詢問信息W及依據(jù)任務(wù)數(shù)據(jù)庫提交的所有答復(fù)信息，生成對 領(lǐng)域任務(wù)型對話系統(tǒng)的測試數(shù)據(jù)。
[0134] 在運(yùn)里，測試數(shù)據(jù)是指開發(fā)人員所關(guān)屯、的領(lǐng)域任務(wù)型對話系統(tǒng)的具體測試指標(biāo)， 可W由開發(fā)人員設(shè)定具體計算方式W得到最終生成的測試數(shù)據(jù)。
[0135] 在本實施例的一些可選實現(xiàn)方式中，根據(jù)領(lǐng)域任務(wù)型對話系統(tǒng)輸出的詢問信息W 及依據(jù)任務(wù)數(shù)據(jù)庫提交的答復(fù)信息，生成對領(lǐng)域任務(wù)型對話系統(tǒng)的測試數(shù)據(jù)至少可W包 括:將領(lǐng)域任務(wù)型對話系統(tǒng)輸出的詢問信息的數(shù)量及依據(jù)任務(wù)數(shù)據(jù)庫提交的答復(fù)信息的數(shù) 量相加后除W任務(wù)數(shù)據(jù)庫中可W包括但不限于的任務(wù)信息的數(shù)量，得到平均對話長度。
[0136] 在本實現(xiàn)方式中，對應(yīng)于上述的領(lǐng)域任務(wù)型對話系統(tǒng)輸出的詢問信息的結(jié)構(gòu)Μ和 任務(wù)數(shù)據(jù)庫Τ，將領(lǐng)域任務(wù)型對話系統(tǒng)輸出的詢問信息的數(shù)量及依據(jù)任務(wù)數(shù)據(jù)庫提交的答 復(fù)信息的數(shù)量相加后除W任務(wù)數(shù)據(jù)庫中可W包括但不限于的任務(wù)信息的數(shù)量，得到平均對 話長度可W包括：
[0137]
[0138] 其中，al為平均對話長度；qsds為領(lǐng)域任務(wù)型對話系統(tǒng)輸出的詢問信息的數(shù)量； qevai為依據(jù)任務(wù)數(shù)據(jù)庫提交的答復(fù)信息的數(shù)量;m為W矩陣的形式表示的任務(wù)數(shù)據(jù)庫T的行 數(shù)。該平均對話長度可W衡量領(lǐng)域任務(wù)型對話系統(tǒng)提供的對話體驗的簡潔性。
[0139] 備選地或附