適于在語音用戶界面中使用的用于找出web頁面中的元素的方法（消歧）的制作方法
【專利說明】
【背景技術(shù)】
[0001]web頁面是由諸如膝上電腦、個人計算機、游戲控制臺和智能電話之類的客戶端計算設(shè)備渲染的文檔的示例。web頁面可以使用例如超文本標(biāo)記語言(HTML)來編碼，以及由web瀏覽器代碼來渲染以便顯示。文檔中的諸如超鏈接之類的交互式元素可以被用戶選擇以便查看附加的內(nèi)容，諸如通過使用鼠標(biāo)或?qū)τ|摸屏進行觸摸來選擇鏈接。然而，web頁面不常被設(shè)計用于語音交互。此外，某些確實存在的解決方案要求web頁面被專門針對語音交互進行編碼。

【發(fā)明內(nèi)容】

[0002]本文中描述的技術(shù)提供各種實施例，以用于為文檔的交互式元素提供針對語音用戶界面的消歧(disambiguat1n)過程。
[0003]在一種方法中，對文檔進行分析以標(biāo)識該文檔中的例如超鏈接或其他鏈接、按鈕或輸入欄之類的交互式元素。每個交互式元素由關(guān)聯(lián)的代碼定義，所述關(guān)聯(lián)代碼包括一個或多個關(guān)聯(lián)于所述交互式元素的短語。用戶然后提供語音命令來選擇所述交互式元素中的一個。所述語音命令被轉(zhuǎn)換成文本，并被與候選短語的語法中的一個或多個短語進行比較。如果不存在任何單個、清楚的最佳匹配，則使用消歧過程來允許所述用戶從具有相對于所述語音命令的最高匹配分數(shù)的交互式元素組中進行選擇。
[0004]所述消歧過程可以涉及將所述文檔的顯示修改為提供靠近所述組中的交互式元素中的每個交互式元素的唯一標(biāo)記(例如第一，第二，第三……)。這些交互式元素的鏈接文本也可以在視覺上進行區(qū)別，而其他交互式元素的文本可以被移除或視覺上不再強調(diào)(例如顯示為灰色)，以便將用戶的注意力引導(dǎo)到所述最佳匹配交互式元素。
[0005]所述用戶然后可以提供隨后的語音命令，其標(biāo)識所述唯一標(biāo)記中的一個唯一標(biāo)記。一旦所述唯一標(biāo)記被標(biāo)識，則為對應(yīng)的交互式元素生成點擊事件。即，所述交互式單元就像其被諸如鼠標(biāo)之類的指向設(shè)備點擊一樣被選擇。
[0006]提供本摘要用于以簡化形式介紹下面在詳細說明書中進一步描述的概念的選擇。本摘要不旨在標(biāo)識所要求權(quán)利的主題的關(guān)鍵特征或基本特征，其也不旨在被用作在確定所要求權(quán)利的主題的范圍時的輔助。
【附圖說明】
[0007]在附圖中，相同編號的元件彼此對應(yīng)。
[0008]圖1描繪了包括客戶端計算設(shè)備145、網(wǎng)絡(luò)通信介質(zhì)170和服務(wù)器180的計算系統(tǒng)。
[0009]圖2A描繪了圖1的客戶端計算設(shè)備145的一個示例實施例。
[0010]圖2B描繪了針對圖2A的代碼155的組件的一個示例過程流。
[0011]圖3以諸如游戲控制臺之類的多媒體控制臺100的形式描繪了圖1的客戶端計算設(shè)備145的一個示例框圖。
[0012]圖4以計算系統(tǒng)200的形式描繪了圖1的客戶端計算設(shè)備145的另一示例框圖。
[0013]圖5A描繪了用于將語音用戶界面提供給文檔的過程概覽。
[0014]圖5B提供圖5A的步驟502的用于分析文檔以標(biāo)識交互式元素和關(guān)聯(lián)短語的示例細節(jié)。
[0015]圖5C提供圖5A的步驟504的用于將語音命令與交互式元素的關(guān)聯(lián)短語進行比較的示例細節(jié)。
[0016]圖f5D提供圖5C的步驟524的用于將候選短語與口述單詞的序列進行比較的示例細節(jié)。
[0017]圖5E提供圖5A的步驟506的用于執(zhí)行消歧過程的示例細節(jié)。
[0018]圖5F提供圖5A的步驟508的用于檢測和處理已更新交互式元素的示例細節(jié)。
[0019]圖6A描繪了在顯示設(shè)備的顯示區(qū)域中的文檔頂部的顯示。
[0020]圖6B描繪了在顯示設(shè)備的顯示區(qū)域中的圖6A的文檔底部的顯示。
[0021]圖6C描繪了圖6A的文檔的頂部，其中，消歧標(biāo)簽被添加到鏈接文本610和612。
[0022]圖6D描繪了圖6C的文檔的頂部，其中，添加了鏈接文本610和612的改變的外觀，以及移除了來自圖6C的鏈接文本614。
[0023]圖7A1描繪了圖6A的交互式元素640的示例代碼。
[0024]圖7A2描繪了對應(yīng)于圖7A1的示例語法條目。
[0025]圖7B1描繪了圖6A的交互式元素641的示例代碼。
[0026]圖7B2描繪了對應(yīng)于圖7B1的示例語法條目。
[0027]圖7C1描繪了圖6A的交互式元素642的鏈接614的示例代碼。
[0028]圖7C2描繪了圖6A的交互式元素642的圖像616的示例代碼。
[0029]圖7C3描繪了對應(yīng)于圖7C1和7C2的示例語法條目。
[0030]圖7D1描繪了圖6A的交互式元素643的示例代碼。
[0031]圖7D2描繪了對應(yīng)于圖7D1的示例語法條目。
[0032]圖7E1描繪了圖6A的交互式元素644的示例代碼。
[0033]圖7E2描繪了對應(yīng)于圖7E1的示例語法條目。
[0034]圖7F1描繪了交互式元素的一個示例，所述交互式元素是按鈕。
[0035]圖7F2描繪了圖7F1的交互式元素的示例代碼。
[0036]圖7F3描繪了對應(yīng)于圖7F2的示例語法條目。
[0037]圖7G1描繪了作為提交類型的輸入的交互式元素的一個示例。
[0038]圖7G2描繪了圖7G1的交互式元素的示例代碼。
[0039]圖7G3描繪了對應(yīng)于圖7G2的示例語法條目。
[0040]圖7H1描繪了作為復(fù)選框類型的輸入的交互式元素的一個示例。
[0041]圖7H2描繪了圖7H1的交互式元素的示例代碼。
[0042]圖7H3描繪了對應(yīng)于圖7H2的示例語法條目。
[0043]圖711描繪了作為單選(rad1)類型的輸入的交互式元素的一個示例。
[0044]圖712描繪了圖711的交互式元素的示例代碼。
[0045]圖713描繪了對應(yīng)于圖712的示例語法條目。
[0046]圖7J1描繪了作為選擇選項的交互式元素的一個示例。
[0047]圖7J2描繪了圖7J1的交互式元素的示例代碼。
[0048]圖7J3描繪了對應(yīng)于圖7J2的示例語法條目。
【具體實施方式】
[0049]本文中描述的技術(shù)為諸如web頁面的文檔提供針對語音用戶界面的消歧過程。自然用戶界面(NUI)在允許用戶與計算設(shè)備上的應(yīng)用進行交互的方面已變得流行，所述計算設(shè)備諸如是web使能的游戲控制臺、電視和其他多媒體設(shè)備。NUI允許用戶使用語音命令和手勢的組合。例如，諸如揮手或其他身體移動之類的手勢可以用于與應(yīng)用進行交互，以便輸入命令或玩游戲。運動檢測相機可以用于識別手勢。類似地，可以將語音命令與用于調(diào)用函數(shù)的命令匹配。例如，某個命令可以用于做出菜單選擇(例如使用諸如“播放電影”或“玩游戲”之類的短語)。在播放電影的情況下，用戶可以說出諸如“暫?！薄ⅰ翱爝M”和“倒回”之類的命令。
[0050]使用語音命令來瀏覽web的能力在人工輸入設(shè)備不可用或不方便的場景中特別有用。
[0051]一般說來，語音界面可以包括:用戶可以說的一組短語、綁定到那些短語的一組動作、以及使用戶知道他們可以說哪些短語的用戶體驗。語音界面呈現(xiàn)通過說短語所執(zhí)行的動作的結(jié)果。用戶體驗可以例如使用另一人類語音、視頻顯示、可刷新盲文顯示(brailledisplay)或任何可以用于向用戶傳達信息的設(shè)備來呈現(xiàn)所述結(jié)果。
[0052]將被識別的一組短語和對應(yīng)的動作在這些情況下可以相對有限，并且一般是預(yù)定的。相反，在為諸如web頁面之類的文檔提供語音用戶界面時，將被識別的一組短語和對應(yīng)的動作一般不是預(yù)定的。通常，web頁面包括采用HTML (標(biāo)記)、JAVASCRIPT (程序代碼)和層疊樣式表或CSS (樣式)形式的代碼。盡管存在來自W3C的采用標(biāo)準(zhǔn)和非標(biāo)準(zhǔn)跟蹤規(guī)范形式的針對向web頁面添加語音界面的一些成果，但不存在被廣泛部署的解決方案。因此，web頁面現(xiàn)今未被設(shè)計用于語音交互。
[0053]本文中提供的技術(shù)使能實現(xiàn)針對web頁面的語音界面的自動構(gòu)造和執(zhí)行。這允許用戶在沒有諸如控制器、遙控器、鼠標(biāo)、電話或平板之類的人工輸入設(shè)備的情況下容易地瀏覽web。給定web頁面，則語音用戶界面可以通過對定義該web頁面的交互式元素的HTML、CSS和JAVASCRIPT代碼進行處理來創(chuàng)建。所述代碼包括可以用于構(gòu)建用于進行語音識別的候選短語的語法或詞典的短語。所述語法允許用戶說出與在頁面上可見(或者在某些情況下不可見)的短語一致的短語，以便對web站點或其他數(shù)據(jù)源進行導(dǎo)航。
[0054]此外，所述技術(shù)自動確定適于構(gòu)建語音界面的web頁面的組件。例如，通常包含文本和鏈接的超文本鏈接對構(gòu)建語音界面有用。然而，未關(guān)聯(lián)于交互式元素并且沒有綁定到其的動作的文本一般不是語音界面的有用組件。除構(gòu)建語法之外，所述技術(shù)可以包括對語法進行智能過濾，從而使與語音命令的匹配限于與頁面的當(dāng)前顯示部分中的交互式元素相關(guān)聯(lián)的短語。所述技術(shù)還包括使用關(guān)聯(lián)于交互式元素的代碼但未被渲染在顯示上的短語，以及將語法與對單個交互式元素的更新同步。
[0055]所述技術(shù)還包括消歧過程，其允許用戶從具有相對于語音命令的最高匹配分數(shù)的交互式元素的組中進行選擇。
[0056]圖1描繪了包括客戶端計算設(shè)備145、網(wǎng)絡(luò)通信介質(zhì)170和服務(wù)器180的計算系統(tǒng)。所述客戶端計算設(shè)備可以例如是膝上型電腦、個人計算機、游戲控制臺、智能電話、可穿戴計算設(shè)備或web使能的電視。所述服務(wù)器表示作為諸如web頁面之類的文檔的宿主的計算設(shè)備。所述網(wǎng)絡(luò)通信介質(zhì)允許客戶端計算設(shè)備與服務(wù)器進行通信。在一個場景中，客戶端計算設(shè)備運行提供web瀏覽器應(yīng)用的web瀏覽器代碼。當(dāng)該web瀏覽器被啟動時，其加載主頁文檔的文檔代碼。隨后，用戶可以選擇文檔的交互式元素以執(zhí)行動作。例如，該動作可以是經(jīng)由網(wǎng)絡(luò)從服務(wù)器加載另一 web頁面。在另一示例中，所述動作諸如通過在客戶端計算設(shè)備處執(zhí)行文檔代碼的JAVASCRIPT代碼在客戶端計算設(shè)備本地被執(zhí)行。所述動作可以導(dǎo)致對文檔顯示的更新，例如，通過顯示文檔的不同部分或變更文檔的內(nèi)容。
[0057]圖2A描繪了圖1的客戶端計算設(shè)備145的一個示例實施例。該計算設(shè)備包括諸如硬盤、固態(tài)驅(qū)動器或便攜式介質(zhì)之類的存儲設(shè)備151。這些是非易失性的存儲器類型。諸如網(wǎng)絡(luò)接口卡之類的網(wǎng)絡(luò)接口 152允許計算設(shè)備經(jīng)由網(wǎng)絡(luò)通信介質(zhì)170進行通信。處理器153執(zhí)行工作存儲器154中的代碼。工作存儲器可以是諸如RAM之類的易失性類型的，其存儲從存儲設(shè)備151加載的代碼155以便被處理器使用。代碼的進一步細節(jié)在圖2B中提供。
[0058]用戶界面163包括例如屏幕之類的顯示設(shè)備164、接收口述用戶命令并將其提供給話音識別代碼的麥克風(fēng)165、以及可選的人工輸入設(shè)備166，諸如鼠標(biāo)或鍵盤。
[0059]所述存儲設(shè)備和工作存儲器是有形、非瞬態(tài)計算機或處理器可讀存儲設(shè)備的示例。存儲設(shè)備包括采用任何用于存儲信息的方法或技術(shù)實現(xiàn)的易失性和非易失性、可移除和非可移除的設(shè)備，所述信息諸如是計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)。計算機存儲設(shè)備包括:RAM、R0M、EEPR0M、高速緩存、閃存器或其他存儲器技術(shù)，CD-ROM、數(shù)字多功能盤(D