本申請要求2014年6月3日提交的美國專利申請第14/294,328號的優(yōu)先權。這個相關申請的主題特此以引用方式并入本文。
背景
發(fā)明領域
實施方案一般來說涉及用于裝置的接口,并且更具體地說涉及用于提供能夠進行裝置免提操作的定向接口的技術。
現有技術描述
現今的互連裝置比以前更加常見,并且此類裝置的普及性正快速地持續(xù)增加。例如,人們具有移動裝置(例如,智能手機)、電視機、平板計算裝置、媒體播放器以及車輛導航系統(tǒng)并非不常見。隨著越來越多的裝置被構造成具有與其他裝置通信的能力和邏輯,開啟了為用戶提供完全集成體驗的新的可能性。
傳統(tǒng)上,用戶可使用許多輸入機構與此類裝置交互。這些輸入機構的示例包括裝置上的按鈕、鍵盤、觸摸屏界面、遠程控制件等。最近,裝置已被構造成允許用戶通過語音辨識來與裝置進行音頻通信,例如,在用戶說出待由裝置執(zhí)行的語聲命令的情況下。此類裝置為用戶提供許多便利,諸如通過簡單地對裝置說話來輸入冗長的數據串的能力。然而,許多此類裝置仍然依靠傳統(tǒng)輸入機構來觸發(fā)語音辨識模式。例如,裝置可能需要用戶按壓裝置上的某一按鈕,以便使裝置處于語音辨識模式中。因此,這些裝置并不提供真正的免提體驗。
技術實現要素:
一個實施方案提供一種非暫時性計算機可讀介質,其包含計算機程序代碼,當被運行時,所述計算機程序代碼執(zhí)行操作。所述操作包括檢測請求與第一裝置交互并且來源于某個源位置的用戶動作。另外,所述操作包括確定源位置相對于第一裝置的當前位置所處的方向。所述操作還包括基于第一裝置的當前狀態(tài)來確定對用戶動作的響應。此外,所述操作包括大體上在源位置所處的確定方向上輸出確定響應。
另一個實施方案提供一種非暫時性計算機可讀介質,其包含計算機程序代碼,當被運行時,所述計算機程序代碼執(zhí)行操作。所述操作包括檢測觸發(fā)事件,所述觸發(fā)事件包括以下各項中的至少一項:(i)檢測語聲觸發(fā)以及(ii)在第一裝置的方向上檢測用戶目光。另外,所述操作包括確定觸發(fā)事件的源相對于第一裝置的當前位置的方向。所述操作還包括通過大體上在觸發(fā)事件的源所處的確定方向上將可聽響應輸出為可操縱聲束來發(fā)起交互式語聲對話。
又一個實施方案提供一種包括計算機處理器和存儲器的設備,所述存儲器包含程序,當被計算機處理器運行時,所述程序執(zhí)行操作。所述操作包括檢測來源于源位置的用戶動作。另外,所述操作包括確定源位置相對于所述設備的當前位置所處的方向。所述操作還包括確定對于用戶動作的響應。所述操作還包括大體上在源位置所處的確定方向上輸出確定響應。
附圖簡要說明
圖1是框圖,其示出根據本文所述的一個實施方案的、包括配置有定向交互部件的免提裝置的系統(tǒng)。
圖2描繪根據本文所述的一個實施方案的物理環(huán)境,在所述物理環(huán)境中用戶正與免提裝置交互。
圖3是流程圖,其示出根據本文所述的一個實施方案的、用于處理免提裝置處的語聲指令的方法。
圖4是流程圖,其示出根據本文所述的一個實施方案的、通過向查詢處理部件提交查詢來處理免提裝置處的語聲指令的方法。
圖5是框圖,其示出根據本文所述的一個實施方案的、配置有定向交互部件的免提裝置。
具體實施方式
雖然現今許多裝置使得用戶能夠通過使用語音辨識技術來輸入命令和其他數據,但是這些裝置仍然需要用戶借助于另一個輸入機構使所述裝置處于語音辨識模式中。例如,移動裝置可使得用戶能夠說出文本串以用于發(fā)送短消息服務(SMS)消息,但是可能需要用戶首先在預先確定的一段時間內按住移動裝置上的特定按鈕,以便使移動裝置處于語音辨識模式中。作為另一個示例,車輛可包括允許用戶通過大聲說出地址信息而將地址信息輸入到車輛導航系統(tǒng)中的邏輯。然而,在用戶可說出供輸入的地址信息之前,可能需要用戶首先按壓車輛的方向盤上的按鈕并且導航菜單系統(tǒng)。因此,這些常規(guī)裝置并沒有為用戶提供真正的免提體驗,因為它們仍然需要用戶通過使用手動輸入機構(例如,裝置上的按鈕)使裝置處于語音辨識模式中。
同樣地,實施方案提供用于為裝置的用戶提供完全免提體驗的技術。例如,實施方案可檢測由第一用戶執(zhí)行的、請求與第一裝置交互的用戶動作。根據一個實施方案,用戶動作可以是由用戶說出的可聽命令。在另一個實施方案中,用戶動作可以是用戶直接看著裝置。實施方案隨后可確定第一用戶相對于裝置的當前位置所處的方向。因此,如果用戶動作包括用戶對裝置說出可聽命令,那么裝置上的邏輯便可處理來自裝置上的多個麥克風中的每一個的聲音數據,以便確定可聽命令來源的方向。作為另一個示例,在用戶動作表示用戶直接看著裝置的情況下,裝置上的邏輯可分析從裝置的一個或多個攝像機收集的圖像,并且可基于所分析的圖像以及指定裝置上的各個攝像機位置的預定義數據來確定用戶相對于裝置所處的方向。
實施方案隨后可基于第一裝置的當前狀態(tài)來確定對用戶動作的可聽響應。例如,裝置上的邏輯可確定裝置當前處于睡眠狀態(tài)中,并且當檢測到用戶正看向裝置的方向時,邏輯可確定適當的可聽響應是詢問用戶“今天我怎么幫助您?”。確定的可聽響應也可以基于用戶動作中指定的內容來確定。因此,例如,在用戶動作表示由用戶說出的可聽命令時,裝置上的邏輯可分析可聽命令并且可確定用戶正請求一條特定信息。邏輯隨后可生成查詢,所述查詢被配置來檢索這條特定信息、傳輸供執(zhí)行的查詢、接收對應的查詢結果并且基于所接收的查詢結果生成可聽響應。例如,如果邏輯確定用戶動作正請求2014年感恩節(jié)的日期,那么邏輯便可檢索這個信息并且可生成說出“今年的感恩節(jié)是在11月27日”的可聽響應。
實施方案隨后可在第一用戶所處的確定方向上將確定的可聽響應輸出為可操縱聲束。例如,裝置可配置有波束成形揚聲器陣列或致動的定向揚聲器,隨后可被配置來傳輸定向在特定方向上的音頻波,并且裝置上的邏輯可配置這些音頻輸出裝置以在接收用戶動作的方向(即,用戶相對于裝置所處的方向)上傳輸可聽響應。這樣做會使得可聽響應能夠大體上僅被用戶或緊鄰的其他用戶聽見。
圖1是框圖,其示出根據本文所述的一個實施方案的、包括配置有定向交互部件的免提裝置的系統(tǒng)。如圖所示,系統(tǒng)100包括配置有定向交互部件120的免提裝置110以及云計算環(huán)境130,所述云計算環(huán)境130包括經由網絡125而互連的查詢處理部件140。一般來說,定向交互部件120被配置來:(a)檢測來自相對于定向交互部件120所位于的裝置的某一方向的用戶動作,并且隨后(b)針對定向在所述方向上的用戶動作提供可聽響應。例如,用戶動作的示例包括但不限于由用戶說出的語聲指令(例如,通過分析使用免提裝置110的麥克風裝置記錄的音頻數據來檢測的)以及正看向免提裝置110的方向的用戶(例如,通過分析免提裝置110的攝像機裝置所捕捉的圖像來檢測的)。
由定向交互部件120提供的可聽響應可根據用戶請求而變化。例如,如果用戶在語聲指令中提出具體問題(例如,“2014年的感恩節(jié)是什么時候?”),那么定向交互部件120可使用一個或多個麥克風裝置來檢測用戶的語聲指令,并且可分析從這些麥克風裝置收集的數據以確定用戶的問題(例如,使用語音辨識技術)。定向交互部件120隨后可嘗試確定具體問題的答案,并且定向交互部件120可呈現這個答案作為響應。例如,定向交互部件120可生成查詢,所述查詢被配置來返回針對語聲指令所指定的具體問題的答案。定向交互部件120可將生成的查詢提交給查詢處理部件140,所述查詢處理部件140可執(zhí)行查詢并且可將查詢結果返回給定向交互部件120。
當接收查詢結果時,定向交互部件120可生成可聽響應并且可將這個響應呈現給用戶。例如,定向交互部件120可將文本至語音轉換算法應用到查詢結果的一部分,以便生成針對用戶語聲指令的可聽響應(例如,“感恩節(jié)將在2014年11月27日”)。定向交互部件120隨后可使用免提裝置的一個或多個音頻輸出裝置來輸出可聽響應。
在一個實施方案中,定向交互部件120被配置來將可聽響應輸出為對準相對于免提裝置110的位置的用戶方向上的可操縱聲束(例如,使用超定向揚聲器)。例如,定向交互部件120可通過使用一個或多個攝像機裝置捕捉用戶的圖像來確定用戶所處的方向,并且可識別捕捉圖像內的用戶(例如,使用面部辨識技術)。定向交互部件120隨后可基于所捕捉圖像內的用戶位置以及指定對應攝像機裝置的位點的信息來確定用戶所處的方向。定向交互部件120隨后可使用確定方向上的波束成形揚聲器陣列來輸出可聽響應,從而使得只有用戶和緊鄰用戶的其他人可以聽見所述可聽響應。定向交互部件120可被配置來連續(xù)地跟蹤用戶當前相對于免提裝置110的位置所處的方向,從而使得從免提裝置投射的聲束在用戶的方向上連續(xù)地投射。
在一個實施方案中,定向交互部件120被配置來通過不斷地監(jiān)測從各個麥克風裝置收集的音頻數據而不斷地收聽來自用戶的語聲命令。在特定實施方案中,定向交互部件120被配置來維持睡眠狀態(tài),直到定向交互部件120檢測到用戶已瞥向免提裝置110的方向。例如,定向交互部件120可監(jiān)測免提裝置110的一個或多個攝像機裝置所捕捉的圖像,并且可對所捕捉的圖像執(zhí)行面部辨識分析以確定用戶何時正直接看著免提裝置110。當檢測到用戶正看著裝置110時,定向交互部件120隨后可離開睡眠狀態(tài)并且可開始主動地收聽來自用戶的語聲命令。在特定實施方案中,定向交互部件120被配置來收聽特定的語聲觸發(fā)(例如,特定的用戶語聲說出的字詞或短語),并且定向交互部件120被配置來維持其睡眠狀態(tài),直到檢測到語聲觸發(fā)。
另外,定向交互部件120可被配置來在響應于來自用戶的請求之前針對用戶執(zhí)行驗證和授權操作。例如,定向交互部件120可對從免提裝置110的麥克風收集的數據執(zhí)行語聲簽名分析以確保語音與已知的充分授權用戶相匹配。作為另一個示例,定向交互部件120可執(zhí)行面部特征辨識分析(例如,使用免提裝置110的一個或多個攝像機裝置,使用辨識用戶面部特征(如遠處的視網膜圖樣)的傳感器,等等),以確保對免提裝置說話的用戶是已知的充分授權用戶。
現將參照圖2來論述一個示例,圖2描繪根據本文所述的一個實施方案的物理環(huán)境,在所述物理環(huán)境中用戶正與免提裝置交互。如圖所示,環(huán)境200包括第一用戶210和第二用戶240,并且第一用戶210被展示為與配置有定向交互部件120的免提裝置220交互。為了本示例的目的,假設免提裝置220被配置來保持在睡眠狀態(tài)中(即,在裝置220不主動收聽和處理語聲指令的情況下),直到用戶210看向裝置220的方向。
在這個示例中,定向交互部件120可使用免提裝置220的攝像機裝置連續(xù)地捕捉用戶210的圖像。定向交互部件120隨后可執(zhí)行所捕捉圖像的面部辨識分析以識別圖像內的用戶210的面部,并且定向交互部件120隨后可確定用戶的眼睛250當前是否正看向免提裝置220的方向。這個過程可重復,直到定向交互部件120檢測到用戶正看向免提裝置220的方向,在這一刻,其上部署有定向交互部件120的免提裝置220可退出睡眠狀態(tài)。在一個實施方案中,定向交互部件120可提供睡眠狀態(tài)已被打破的確認(例如,輸出可聽聲音來證實免提裝置220現被喚醒并且正收聽語聲命令)。
為了本示例的目的,假設定向交互部件120已檢測到用戶的眼睛250直接看著免提裝置220(或大體上看向免提裝置220的方向)并且已離開睡眠狀態(tài)。一旦裝置220已離開睡眠狀態(tài),用戶210便已說出待由免提裝置執(zhí)行的、由音頻波260表示的語聲命令。作為另一個示例,定向交互部件120可被配置來檢測視網膜反射以便檢測用戶眼睛與免提裝置的接觸。作為又一個示例,定向交互部件120還可被配置來使用免提裝置上的一個或多個熱傳感器以便檢測用戶以及用戶與免提裝置進行的眼神接觸。更一般來說,與本文所述的功能性一致,可使用適合于確定用戶何時正看向免提裝置的方向的任何技術。
如上文所論述的,定向交互部件120可使用一個或多個麥克風裝置來檢測語聲命令260,并且可處理由麥克風裝置記錄的音頻數據以識別用戶正請求什么內容。定向交互部件120隨后可確定對用戶請求的響應,并且可在用戶210相對于免提裝置220的位置的方向上輸出確定響應。
例如,定向交互部件120可確定用戶的語聲指令260是對檢索一周中未來一天的天氣預報信息的請求。定向交互部件120隨后可生成請求天氣預報信息的查詢并且可將這個查詢傳輸到查詢處理部件140。定向交互部件120可接收查詢結果并且可確定對語聲指令的可聽響應(例如,通過使用查詢結果的至少一部分來執(zhí)行文本至語音轉換)。
另外,定向交互部件120可確定用戶210相對于裝置220的位置所處的方向。一般來說,與本文所述的功能性一致,可使用適用于確定用戶210相對于裝置220的位置而言的位置的任何技術。例如,定向交互部件120可使用多個麥克風裝置來記錄用戶210的語聲指令,并且可基于語聲命令在記錄的每一個中的響度以及指定麥克風裝置在免提裝置上位于何處的信息來推斷用戶210相對于裝置220的位置而言的位置。
一旦定向交互部件120確定用戶所處的方向,定向交互部件120便可使用超定向揚聲器來在確定方向上輸出確定的可聽響應,正如音頻波230所示的。有利地,通過使用超定向揚聲器,定向交互部件120可將可聽響應輸出為可操縱聲束,從而使得只有用戶210和緊鄰用戶210的那些人可以聽見所述可聽響應。因此,在這個示例中,可聽響應230對于用戶240而言可以是聽不見的,即使用戶210和240位于同一房間中。這樣做會避免來自免提裝置220的可聽響應的播放打擾用戶240,而同時也通過不輸出整個房間可聽見的可聽響應來維持用戶210的隱私。
圖3是流程圖,其示出根據本文所述的一個實施方案的、用于處理免提裝置處的語聲指令的方法。如圖所示,方法300在方框310處開始,其中定向交互部件120從第一免提裝置處的用戶接收語聲指令。例如,定向交互部件120可通過分析由免提裝置的麥克風裝置記錄的數據來檢測語聲命令。在語聲命令由免提裝置的多個不同麥克風裝置記錄的情況下,定向交互部件120可選擇麥克風裝置中的一個所記錄的數據來分析以便檢測語聲指令。在一個實施方案中,定向交互部件120被配置成在檢測語聲指令時分析來自麥克風裝置中的每一個的數據。
在接收語聲指令時,定向交互部件120確定用戶相對于第一裝置的當前位置所處的方向(方框315)。例如,定向交互部件120可確定接收語聲指令的方向并且可確定用戶位于同一方向上。作為一個示例,定向交互部件120可分析來自免提裝置的多個麥克風中的每一個的數據,并且可使用這個數據連同關于麥克風裝置中的每一個在手提裝置上定位于何處的信息來確定語聲指令的原始方向。例如,對于麥克風裝置中的每一個的記錄數據而言,如果對應聲音數據中的語聲命令相對較為響亮,那么定向交互部件120可確定用戶更有可能位于相應麥克風所處的方向上,并且如果對應聲音數據中的語聲命令相對較為安靜,那么可確定用戶不太可能位于相應麥克風所處的方向上。定向交互部件120可利用從麥克風裝置中的每一個捕捉的音頻數據來重復這個過程,以便推斷用戶相對于第一裝置的位置。應注意,此類實施方案可配置有在特定方向上具有已知敏感性的一個或多個麥克風,這正好與在所有方向上具有大致相同敏感性的全向麥克風相反。這樣做會允許定向交互部件120使用麥克風裝置的已知敏感性來確定語聲命令所來源的方向。
作為另一個示例,定向交互部件120可基于麥克風陣列而使用聲源定位技術來確定語聲命令所來源的方向。在此類實施方案中,麥克風陣列可通過處理來自麥克風陣列內的單個麥克風的信號來感測傳入語聲命令的方向。然而,更一般來說,與本文所述的功能性一致,可使用用于確定語聲命令所來源的方向的任何技術。
另外,定向交互部件120處理語聲指令以確定語聲指令所指定的用戶請求(方框320)。例如,定向交互部件120可執(zhí)行所記錄的語聲指令的語音辨識分析并且可基于語音辨識分析來生成文本串。定向交互部件120隨后可解析文本串以確定用戶請求。一般來說,用戶請求表示任何命令、問題或者用戶可給予免提裝置的其他指示。此類用戶請求的示例包括但不限于執(zhí)行特定動作的明確指令(例如,開始播放特定播放列表的指令)以及請求一條特定信息的問題(例如,對于明天天氣會是什么樣的請求、對于John在明天下午兩點是否有空的問題,等等)。
定向交互部件120隨后確定對于語聲指令的可聽響應(方框325)。一般來說,定向交互部件120如何確定對于語聲指令的適當響應取決于語聲指令的內容。例如,如果語聲指令指定開始播放來自特定播放列表的音樂,那么定向交互部件120可確定適當的可聽響應是請求的簡短證實,緊跟的是所請求音樂的播放。作為另一個示例,如果語聲指令指定確定明天天氣預報的內容,那么定向交互部件120可生成被配置來檢索詳細描述明天天氣預報的查詢結果的查詢,并且在接收查詢結果時,可通過將文本至語音轉換應用到查詢結果的至少一部分來生成可聽響應。
定向交互部件120隨后在確定方向上輸出可聽響應(方框330),并且方法300結束。例如,定向交互部件120可將可聽響應輸出為對準用戶相對于免提裝置所處的方向的可操縱聲束。為了完成這一點,定向交互部件120可使用免提裝置上的波束成形揚聲器陣列和/或一個或多個致動的定向揚聲器,以便在用戶的方向上聚焦發(fā)射的音頻波。也就是說,免提裝置上的定向交互部件120可使用拋物面反射器以致使來自揚聲器的音頻波具有多個方向,從而將發(fā)射的音頻波聚焦成可操縱聲波(例如,定向在語聲命令所來源的方向上)。通過這樣做,定向交互部件120能夠輸出可聽響應,從而使得大體上只有用戶和緊鄰所述用戶的其他人可以聽見所述可聽響應,從而允許用戶更容易且更舒適地使用免提裝置而不打擾其他人。
圖4是流程圖,其示出根據本文所述的一個實施方案的、通過向查詢處理部件提交查詢來處理免提裝置處的語聲指令的方法。如圖所示,方法400在方框410處開始,其中用戶說出請求待由免提裝置執(zhí)行的動作的語聲指令。定向交互部件120檢測所說出的語聲指令(方框415)并且處理語聲指令以便進行確定(方框420)。例如,定向交互部件120可使用免提裝置上的多個麥克風裝置來檢測所說出的語聲指令,并且定向交互部件120隨后可處理麥克風裝置所記錄的音頻數據以解譯語聲指令。作為一個示例,定向交互部件120可執(zhí)行所記錄的音頻數據的語音辨識分析以便生成文本串,并且定向交互部件120隨后可分析文本串以便確定所說出的語聲指令正請求的內容。
在這個示例中,假設用戶已向免提裝置詢問明天的天氣預報如何。在處理語聲指令以確定用戶正在詢問關于明天的天氣時,定向交互部件120基于語聲指令來生成查詢并且提交所述查詢以供執(zhí)行(方框425)。在這個實施方案中,查詢是由查詢處理部件接收,所述查詢處理部件處理查詢以產生查詢結果(方框430)并且隨后將查詢結果返回給免提裝置(方框435)。例如,查詢處理部件可表示在云計算環(huán)境中運行的、能夠接收和處理查詢的web應用程序。
在一個實施方案中,查詢處理部件表示在免提裝置本身上運行的邏輯。例如,在此類實施方案中,查詢處理部件可通過使用互聯(lián)網搜索引擎來執(zhí)行搜索并且隨后處理搜索的結果(例如,由搜索引擎返回的一個或多個網頁)而處理查詢以便生成查詢結果。例如,查詢處理部件可被配置來從搜索引擎所返回的網頁提取相關的天氣信息并且可將天氣信息作為查詢結果返回。
定向交互部件120隨后接收查詢結果并且基于查詢結果來確定響應(方框440)。例如,在這個示例中,定向交互部件120可確定向用戶提供明天天氣預報綜述的可聽響應。定向交互部件120還確定用戶相對于免提裝置的當前位置所處的方向(方框445)。例如,當用戶說出語聲指令時,定向交互部件120可基于免提裝置的麥克風裝置所記錄的音頻數據來確定用戶的位置,并且可基于每個麥克風中的語聲指令的響度以及指定麥克風中的每一個在免提裝置上定位于何處的信息來推斷用戶相對于裝置所處的方向。作為另一個示例,定向交互部件120可使用免提裝置上的各個攝像機裝置來捕捉圖像,并且定向交互部件120可識別所捕捉圖像中的至少一個內的用戶面部。定向交互部件120隨后可基于圖像內的用戶面部的位置以及指定各個攝像機裝置的相應位置的信息來確定用戶的方向。當然,此類示例僅為了說明目的而提供并且不具有限制性。更一般來說,與本文所述的功能性一致,可使用用于確定用戶相對于免提裝置的位置所處的方向的任何技術。
一旦確定方向,定向交互部件120便輸出被投射在確定方向上的響應(方框450),并且完成了方法400的所描繪迭代。當然,應了解,可執(zhí)行方法400的任意數量的迭代,或者所述過程可繼續(xù),例如,隨著定向交互部件120檢測來自用戶的另外語聲指令。
如上文所論述的,定向交互部件120可使用免提裝置的一個或多個音頻輸出裝置,以便將響應輸出為對準于確定方向的可操縱聲束。此類音頻輸出裝置的示例包括免提裝置內的波束成形揚聲器陣列和一個或多個致動的定向揚聲器。此外,可以預料的是,定向交互部件120可使用安裝在來自免提裝置的單獨硬件部件上和/或佩戴在用戶身體上(佩戴在身體上的定向揚聲器)的定向揚聲器來輸出確定的響應。
此外,在確定方向上投射可聽響應以外,除了或代替所述可聽響應,定向交互部件120還可被配置來提供其他定向輸出。例如,定向交互部件120可被配置來使用(例如)可操縱微型投影儀而針對用戶的請求提供視覺響應,其中所述可操縱微型投影儀可用來以用戶可見的方式投射視覺內容(例如,文本、圖像、視頻等)。此處,定向交互部件120可基于用戶相對于免提裝置所處的確定方向來定向所述投射。在一個實施方案中,定向交互部件120被配置來基于用戶所處的方向并且進一步基于附近物理環(huán)境中可用的多個表面而確定將要投射視覺內容的位置,其中定向交互部件120被配置來選擇適合于投射的且被確定處于用戶視野內的所述多個表面中的一個。
在一個實施方案中,定向交互部件120可檢測到用戶正戴著入耳式或貼耳式音頻裝置,如耳塞、頭戴式耳機、頭戴式受話器、入耳式監(jiān)聽器、入耳式助聽器、入耳式音頻增強器等。在此類實施方案中,不是將響應投射為用戶方向上的可操縱聲束,而是定向交互部件120可將響應音頻傳輸到用戶的頭戴式耳機。通過這樣做,定向交互部件120有助于確保用戶聽見所投射的音頻響應并且也會降低用戶附近的其他人聽見音頻響應的機率。因此,定向交互部件120可避免確定響應的輸出打擾用戶附近的其他人,同時也改善了系統(tǒng)的安全性(例如,在用戶不希望其他人無意中聽到可聽響應的情況下)。
圖5是框圖,其示出根據本文所述的一個實施方案的、配置有定向交互部件的免提裝置。在這個示例中,免提裝置500非限制性地包括處理器505、存儲器510、I/O裝置520、網絡接口525以及觸敏顯示裝置530。一般來說,處理器505檢索并執(zhí)行存儲在存儲器510中的編程指令。處理器505被包括來代表單個CPU、多個CPU、具有多個處理核心的單個CPU、具有多個執(zhí)行路徑的GPU等。存儲器510一般被包括來代表隨機存取存儲器。網絡接口525使得免提裝置500能夠連接到數據通信網絡(例如,有線以太網連接或802.11無線網絡)。裝置500還可包括用于與其他裝置通信的藍牙收發(fā)器模塊。此外,雖然所描繪的實施方案示出免提裝置500的部件,但是本領域普通技術人員將認識到,實施方案可使用各種不同的硬件結構。此外,可明確地預料到,實施方案可使用能夠執(zhí)行本文所述功能的任何裝置或計算機系統(tǒng)來實施。
存儲器510表示大得足以存有必要程序和數據結構的任何存儲器。存儲器510可以是存儲裝置中的一個或組合,所述存儲裝置包括隨機存取存儲器、非易失性或備份存儲器(例如,可編程或快閃存儲器、只讀存儲器等)。另外,存儲器510可視為包括物理上位于其他地方的存儲器;例如,處于通信地耦接到免提裝置500的另一個計算機或裝置上。作為說明性地,存儲器510包括操作系統(tǒng)515和定向交互部件120。操作系統(tǒng)515一般控制所述裝置500上的應用程序的執(zhí)行。操作系統(tǒng)515的示例包括UNIX、Microsoft操作系統(tǒng)的版本和操作系統(tǒng)的分布。操作系統(tǒng)515的另外示例包括用于游戲控制臺的定制操作系統(tǒng),包括用于諸如Nintendo和Sony等系統(tǒng)的定制操作系統(tǒng)以及被配置用于移動裝置的操作系統(tǒng)(如Apple)。
I/O裝置520表示各種各樣的輸入和輸出裝置,包括顯示器、鍵盤、觸摸屏等。例如,I/O裝置520可包括用于控制所述裝置500的一組按鈕、開關或其他物理裝置機構。例如,I/O裝置520可包括用來控制使用裝置500把玩的視頻游戲的方面的一組定向按鈕。在本公開的上下文中,I/O裝置520可包括被配置來投射可操縱聲束的至少一個音頻輸出裝置。此類I/O裝置520的示例包括波束成形揚聲器陣列和致動的定向揚聲器。然而,更一般來說,與本公開一致,可使用能夠投射定向聲束的任何裝置。另外,如上文所論述的,除了或代替音頻投射,一些實施方案還可投射視覺內容。例如,此類實施方案可配置有能夠將視覺內容投射到物理環(huán)境中的可操縱微型投影儀。然而,更一般來說,可使用能夠投射視覺內容的任何裝置。此外,I/O裝置520可包括用于檢測用戶動作和用于確定用戶相對于裝置500所處的方向的攝像機裝置和麥克風。觸敏顯示器530可用于為裝置500輸出圖形用戶界面(例如,由操作系統(tǒng)515生成的界面)并且也可用來檢測裝置500的用戶所執(zhí)行的手勢。
如上文所論述的,定向交互部件120可被配置來檢測第一用戶所執(zhí)行的動作。此類動作的示例可包括(例如)由用戶說出的可聽語句以及用戶注視裝置500的方向。定向交互部件120可確定第一用戶相對于設備的當前位置所處的方向。例如,定向交互部件120可使用I/O裝置520(例如,攝像機、麥克風等)連同指定此類I/O裝置520物理地定位在免提裝置上何處的信息來確定接收用戶動作的方向。定向交互部件120還可確定對于用戶動作的可聽響應。例如,定向交互部件120可確定用戶所說出的可聽語句是詢問明天天氣如何的請求,并且定向交互部件120可發(fā)出用以檢索與明天的日期相關聯(lián)的天氣信息的查詢并且可生成可聽響應(例如,使用文本至語音合成器)以便將這個天氣信息呈現給用戶。定向交互部件120隨后可使用I/O裝置520來在第一用戶所處的確定方向上將確定的可聽響應輸出為可操縱聲束。這樣做會為裝置500的用戶提供真正的免提體驗。
在前述內容中,參考本發(fā)明的實施方案。然而,應理解,本公開不限于具體描述的實施方案。相反,不管是否與不同的實施方案相關,前述特征和元件的任何組合預期會實施和實踐本發(fā)明。此外,盡管本發(fā)明的實施方案可達成超越其他可能解決方案和/或超越現有技術的優(yōu)點,但是特定優(yōu)點是否由給定實施方案達成并不限制本公開。因此,除非在權利要求書中明確指出,否則前述方面、特征、實施方案和優(yōu)點僅是說明性的并且不視為所附權利要求書的要素和限制。同樣地,除非在權利要求書中明確指出,對“本發(fā)明”的引用不應解釋為對本文所公開的任何發(fā)明主題的概括并且不應視為所附權利要求書的要素和限制。
如本領域技術人員將了解的,本文所述的方面可體現為系統(tǒng)、方法或計算機程序產品。因此,本文所述的方面可以采用以下形式:完全硬件實施方案、完全軟件實施方案(包括固件、常駐軟件、微代碼等),或者將軟件與硬件方面組合的實施方案,所述實施方案在本文中一般都可以稱為“電路”、“模塊”或“系統(tǒng)”。此外,本文所述的方面可采用體現在一個或多個計算機可讀介質中的計算機程序產品的形式,所述計算機可讀介質具有體現于其上的計算機可讀程序代碼。
可以使用一個或多個計算機可讀介質的任何組合。計算機可讀介質可以是計算機可讀信號介質或計算機可讀存儲介質。計算機可讀存儲介質可以是(例如)但不限于電子、磁性、光學、電磁、紅外或半導體系統(tǒng)、設備或裝置或者前述系統(tǒng)、設備或裝置的任何合適組合。計算機可讀存儲介質的更具體示例(非詳盡列表)將包括以下各項:具有一個或多個導線的電連接、便攜式計算機軟盤、硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦可編程只讀存儲器(EPROM或快閃存儲器)、光纖、便攜式光盤只讀存儲器(CD-ROM)、光學存儲裝置、磁性存儲裝置或前述各項的任何合適組合。在本文檔的上下文中,計算機可讀存儲介質可以是可含有或存儲供指令執(zhí)行系統(tǒng)、設備或裝置使用或者與所述指令執(zhí)行系統(tǒng)、設備或裝置結合使用的程序的任何有形介質。
計算機可讀信號介質可以包括(例如)處于基帶中或作為載波一部分的傳播數據信號,而其中體現有計算機可讀程序代碼。此類傳播信號可以采用各種形式中的任何一種形式,包括但不限于電磁、光學或其任何合適組合。計算機可讀信號介質可以是任何計算機可讀介質,其并非計算機可讀存儲介質并且可以遞送、傳播或傳送供指令執(zhí)行系統(tǒng)、設備或裝置使用或者與所述指令執(zhí)行系統(tǒng)、設備或裝置結合使用的程序。
體現在計算機可讀介質上的程序代碼可以使用任何適當的介質來傳輸,所述介質包括但不限于無線、有線線路、光纖電纜、RF等或前述各項的任何合適組合。
用于進行本發(fā)明方面的操作的計算機程序代碼可以用一種或多種編程語言的任何組合來編寫,所述編程語言包括面向對象的編程語言,如Java、Smalltalk、C++等,以及常規(guī)程序性編程語言,如“C”編程語言或類似的編程語言。程序代碼可以完全在用戶的計算機上運行、部分地在用戶的計算機上運行、作為獨立的軟件包運行,部分地在用戶的計算機上且部分地在遠程計算機上運行,或者完全在遠程計算機或服務器上運行。在后一種情景中,遠程計算機可通過包括局域網(LAN)或廣域網(WAN)等的任何類型的網絡連接到用戶的計算機,或者可與外部計算機形成連接(例如,使用互聯(lián)網服務提供商而通過互聯(lián)網)。
上文中參考根據本發(fā)明的實施方案的方法、設備(系統(tǒng))和計算機程序產品的流程圖圖解和/或框圖來描述本發(fā)明的方面。應理解,流程圖圖解和/或框圖的每個方框以及流程圖圖解和/或框圖中的方框的組合可以由計算機程序指令來實施。這些計算機程序指令可以提供給通用計算機、專用計算機或其他可編程數據處理設備的處理器以便產生一種機器,從而使得經由計算機或其他可編程數據處理設備的處理器運行的指令會建立用于實施流程圖和/或框圖的一個或多個方框中所指定的功能/動作的方式。
還可以將這些計算機程序指令存儲在可引導計算機、其他可編程數據處理設備或其他裝置以特定方式發(fā)揮作用的計算機可讀介質中,從而使得存儲在計算機可讀介質中的指令產生一種制品,所述制品包括實施流程圖和/或框圖的一個或多個方框中所指定的功能/動作的指令。
計算機程序指令也可以加載到計算機、其他可編程數據處理設備或其他裝置上以便致使在所述計算機、其他可編程裝置或其他裝置上執(zhí)行一系列操作步驟來產生計算機實施的過程,從而使得在計算機或其他可編程設備上運行的指令提供用于實施流程圖和/或框圖的一個或多個方框中所指定的功能/動作的過程。
本發(fā)明的實施方案可以通過云計算基礎設施來提供給最終用戶。云計算一般是指在網絡上將可擴展計算資源作為服務來提供。更正式而言,云計算可以定義為一種計算能力,所述計算能力在計算資源與其底層技術架構(例如,服務器,儲存器、網絡)之間提供抽象概念,從而能夠對可配置計算資源共享池進行便捷的按需網絡訪問,所述可配置計算資源共享池可以用最小的管理努力或服務提供商互動來快速提供和釋放。因此,云計算允許用戶訪問“云”中的虛擬計算資源(例如,儲存器、數據、應用程序以及甚至完整的虛擬化計算系統(tǒng)),而不考慮用來提供計算資源的底層物理系統(tǒng)(或那些系統(tǒng)的位點)。
通常,云計算資源是在即用即付的基礎上提供給用戶,其中僅針對實際使用的計算資源(例如,用戶所消耗的存儲空間量或用戶所實例化的虛擬化系統(tǒng)數量)來向用戶收費。用戶可以在任何時間、從互聯(lián)網上的任何地方來訪問駐留于云中的任何資源。在本發(fā)明的上下文中,定向交互部件120可基于用戶所說出的語聲命令說出生成查詢,并且可將生成的查詢提交給在云計算環(huán)境中運行的查詢處理部件。定向交互部件120隨后可從查詢處理部件接收查詢結果,并且可基于查詢結果的至少一部分生成可聽響應來輸出給用戶。這樣做會允許用戶從以真正的免提方式附接到網絡的任何計算裝置提交查詢,其中所述網絡連接到云(例如,互聯(lián)網)。
圖示中的流程圖和框圖示出根據本發(fā)明的各種實施方案的系統(tǒng)、方法和計算機程序產品的可能實現方式的架構、功能性和操作。在這方面,流程圖或框圖中的每個方框可以表示代碼的模塊、區(qū)段或部分,其包括用于實施所指定邏輯功能的一個或多個可執(zhí)行指令。也應注意的是,在一些替代性實現方式中,方框中所注明的功能可以不按圖中所注明的順序發(fā)生。例如,取決于所涉及的功能性,連續(xù)展示的兩個方框實際上可大致同時執(zhí)行,或者所述方框有時可以按相反順序或不按順序執(zhí)行。還應當注意的是,框圖和/或流程圖圖解中的每個方框以及框圖和/或流程圖圖解中的方框的組合可以由執(zhí)行指定功能或動作的、基于專用硬件的系統(tǒng)或者由專用硬件和計算機指令的組合來實施。
雖然前述內容是針對本發(fā)明的實施方案,但是在不背離本發(fā)明的基本范圍的情況下可以設計本發(fā)明的其他和進一步的實施方案,并且本發(fā)明的范圍是由所附權利要求書來決定。