而聽不到(或未集中精力)的話語的文本。圖7說明用于使用擴增實境裝置提供語言轉(zhuǎn)譯服務(wù)并且還提供對應(yīng)于用戶不在場時的話語的方法的實施例。方法700可涉及由用戶使用AR裝置，所述AR裝置可包含圖1的系統(tǒng)100。用于執(zhí)行方法700的裝置包含具有HMD的AR裝置。用于執(zhí)行方法700的裝置進一步包含:音頻俘獲及定位模塊，其可包含一或多個麥克風(fēng)；圖像俘獲模塊，其可包含一或多個相機；面部識別及跟蹤模塊；面部疊加模塊；用戶偏好模塊，其可包含計算機可讀存儲媒體；顯示模塊，其可包含頭戴式顯示器(HMD)，運動/焦點跟蹤模塊，其可包含一或多個相機；用戶接口模塊；通信模塊；以及音頻處理引擎。各種模塊及引擎中的至少一些可由一或多個處理器執(zhí)行。更一般地說，方法700的步驟可由例如計算機系統(tǒng)等計算機化裝置執(zhí)行。
[0093]在步驟705處，可使用AR裝置俘獲呈外語形式的話語。此話語可在由AR裝置的用戶檢視的現(xiàn)實世界場景中說出。參考圖1的系統(tǒng)100，話語可由音頻俘獲及定位模塊130俘獲。此話語可通過音頻處理引擎135數(shù)字化成適于進行分析及/或發(fā)射(以進行分析)到遠程計算機系統(tǒng)的格式。
[0094]在步驟710處，可確定所俘獲的話語的位置。在多個人員存在于由AR裝置的用戶檢視的現(xiàn)實世界場景內(nèi)的情況下，此可尤其有用。通過確定所俘獲音頻的位置，可將所俘獲話語歸于適當(dāng)人員。飛行時間分析及多個麥克風(fēng)可用以確定話語發(fā)起于何處。在其它實施例中，可使用其它布置來確定話語的來源。舉例來說，說話者佩戴的AR裝置可發(fā)射說話者為正說話的人員的指示。
[0095]在步驟715處，可將呈外語形式的話語的數(shù)字表示發(fā)射到遠程計算機系統(tǒng)以進行遠程處理。參考圖1的系統(tǒng)100，通信模塊140可經(jīng)配置以將話語的數(shù)字表示發(fā)射到遠程服務(wù)器進行轉(zhuǎn)譯及/或轉(zhuǎn)錄。在一些實施例中，話語可在本地進行分析，且不必將話語的數(shù)字表示發(fā)射到遠程計算機系統(tǒng)。
[0096]如果發(fā)射了，則遠程計算機系統(tǒng)可接收話語的數(shù)字表示(可能隨用戶的母語或偏好語言的指示一起)、將話語轉(zhuǎn)錄成文本，并將所述文本轉(zhuǎn)譯成呈用戶的母語(或偏好語言)形式的文本。在一些實施例中，話語轉(zhuǎn)譯成用戶的母語(或偏好語言)，且接著轉(zhuǎn)錄成文本。經(jīng)由用戶輸入到用戶的AR裝置的用戶偏好，可由用戶指定所需的譯入語。話語將轉(zhuǎn)譯成的語言的指示可連同話語的數(shù)字表示一起發(fā)射到遠程計算機系統(tǒng)。所述遠程計算機系統(tǒng)可識別待顯示給用戶的文本內(nèi)需強調(diào)的關(guān)鍵詞。此分析可基于可能重要的詞語的所存儲數(shù)據(jù)庫，所述詞語例如姓名、地點、時間、日期，等。遠程計算機系統(tǒng)可將呈用戶的母語或偏好語言形式的文本發(fā)射回到用戶使用的AR裝置的系統(tǒng)。在一些實施例中，轉(zhuǎn)譯及轉(zhuǎn)錄由執(zhí)行方法700的系統(tǒng)在本地執(zhí)行。
[0097]在步驟720處，如果將話語的數(shù)字表示發(fā)射到遠程計算機系統(tǒng)進行轉(zhuǎn)譯及/或轉(zhuǎn)錄，則可通過最初俘獲所述音頻的AR裝置從遠程服務(wù)器接收呈用戶的母語或偏好語言形式的文本?？纱鎯Υ宋谋?。由此，文本可供用于立即顯示且用于稍后從AR裝置檢索。在一些實施例中，文本可由提供轉(zhuǎn)譯及轉(zhuǎn)錄服務(wù)的遠程計算機系統(tǒng)存儲。可隨文本一起包含關(guān)于文本應(yīng)歸于現(xiàn)實世界場景中的哪一人員的指示。如果處理由執(zhí)行方法700的系統(tǒng)在本地執(zhí)行，則此步驟可為必要的。
[0098]在步驟725處，可通過AR裝置俘獲由用戶檢視的場景的圖像。此場景可包含說出在步驟處705處俘獲的話語的人員?；诖_定發(fā)起話語的位置，可確定場景內(nèi)的哪一人員說出了步驟705的話語。而且，可俘獲并存儲說出話語的人員的圖像。此圖像可在稍后時間由另一 AR裝置使用以確定哪一人員說出所述文本。
[0099]在步驟730處，可將在步驟720處接收的文本疊加到用戶對現(xiàn)實世界場景的視圖上。由此，用戶可直接檢視現(xiàn)實世界場景，同時含有在步驟720處接收的文本的虛擬對象可經(jīng)由頭戴式顯示器疊加于現(xiàn)實世界場景上。在步驟730處顯示的文本可顯示為話語氣泡的部分。話語氣泡可以圖形方式顯示以指示說出文本的人員，例如在圖3中?；谠捳Z氣泡指向哪一人員或在哪一人員附近，用戶可確定希望將文本歸于那一人員。在一些實施例中，并非使用話語氣泡來顯示文本，可將文本疊加在說出文本的人員上，例如疊加在所述人員的面部上。由此，用戶可能夠至少維持在閱讀文本的同時進行眼神接觸的觀感。如果用戶的眼睛聚焦于人員的面部上，則可使正由AR裝置經(jīng)由HMD顯示給用戶的文本透明、模糊或隱藏。如果用戶的眼睛聚焦于文本上，則可使文本較為不透明、清晰或較明顯地顯示。在所述人員或場景中的另一人員說出額外話語時，方法700可重復(fù)以向用戶提供經(jīng)轉(zhuǎn)譯文本。在新文本變得可用時，與先前話語相關(guān)聯(lián)的文本可滾動出話語氣泡的視圖。
[0100]在步驟735處，可從第二 AR裝置接收對于對應(yīng)于在步驟705處俘獲的話語的文本的請求。第二 AR裝置可能由在說出在步驟705處俘獲的話語時不在場(或未集中精力)的用戶佩戴或以其它方式使用。由此，當(dāng)用戶已進入含有在步驟705處說出的話語的對話(或演講、報告等)時，在步驟735處接收的請求可出現(xiàn)。可由第一 AR裝置從第二 AR裝置以無線方式(例如經(jīng)由裝置到裝置通信協(xié)議)接收對于對應(yīng)于話語的文本的請求。對文本的請求可指示第二 AR裝置請求先前文本的一段時間。舉例來說，第二 AR裝置的用戶可將輸入提供到第二 AR裝置，指定需要對應(yīng)于演講的前五分鐘的文本。請求文本的時間段可基于若干因素，包含:由第二 AR裝置的用戶選擇的時間段、由第一 AR裝置的用戶選擇的時間段、第一 AR裝置已俘獲音頻的時長、存儲對應(yīng)于話語的文本的預(yù)定義時間段，等。僅當(dāng)?shù)诙U增實境裝置的用戶提供請求文本的輸入時才會出現(xiàn)在步驟735處對于對應(yīng)于話語的文本的請求。在其它實施例中，第二 AR裝置可請求文本而不需要用戶輸入。是否需要來自第二 AR裝置的用戶的用戶輸入可基于由第二 AR裝置存儲的用戶偏好。
[0101]在步驟740處，可向第一 AR裝置的用戶呈現(xiàn)第二 AR裝置正請求對應(yīng)于在步驟705處俘獲的話語的文本的指示。可指示第二用戶需要其文本的一段時間(例如過去十分鐘)的指示。第一用戶可具有接受或拒絕所述請求的能力。在一些實施例中，可要求說話的每一人員提供同意。
[0102]假定在步驟745處經(jīng)由第一 AR裝置的用戶輸入裝置或經(jīng)由始終準(zhǔn)許此類請求的預(yù)定義用戶偏好將第一用戶的同意提供到第一 AR裝置，方法700可繼續(xù)進行到步驟750。在步驟750處，可將對應(yīng)于在步驟720處存儲的話語的文本的數(shù)據(jù)發(fā)射到第二 AR裝置。因此，對應(yīng)于話語的數(shù)據(jù)可由第二 AR裝置在步驟750處接收。此類發(fā)射可為直接的:從第一AR裝置到第二 AR裝置。此類發(fā)射還可為間接的:含有文本的數(shù)據(jù)可通過第二 AR裝置從遠程計算機系統(tǒng)(例如，為第一 AR裝置提供轉(zhuǎn)譯及轉(zhuǎn)錄服務(wù)的遠程計算機系統(tǒng))接收，所述遠程計算機系統(tǒng)已存儲對應(yīng)于由第一 AR裝置在步驟705處俘獲的話語的文本。
[0103]除話語的文本之外，在步驟755處，還可發(fā)射說出對應(yīng)于所述文本的話語的人員的指示。由此，可將所述文本歸于說出對應(yīng)話語的適當(dāng)人員。在一些實施例中，指示可為說出所述話語的一或多個人員的圖像；此類圖像可能已在步驟725處俘獲。如果指示為圖像，則第二 AR裝置可使存在于圖像中的人員與存在于現(xiàn)實世界場景中的人員匹配以識別說出文本的人員。如果接收到對應(yīng)于不再在場的人員的文本，則可不顯示所述文本或可連同不再在場的人員的圖像一起顯示所述文本。顯示所述文本對于呈現(xiàn)給用戶的其它文本的上下文可為有用的。在其它實施例中，可使用例如序列號或IP地址等識別符來指示由說出文本的人員所佩戴的AR裝置。由此，通過確定由識別符指示的AR裝置的位置，可識別文本的說話者。
[0104]在步驟760處，第二 AR裝置的用戶可能需要額外語言轉(zhuǎn)譯服務(wù)?？捎蛇h程計算機系統(tǒng)執(zhí)行額外語言轉(zhuǎn)譯服務(wù)。在一些實施例中，可由第二 AR裝置在本地執(zhí)行額外語言轉(zhuǎn)譯服務(wù)。舉例來說，參考圖3，人員210說尼泊爾語，人員220說印地語，且用戶可能說英語。由此，從第一 AR裝置發(fā)射到第二 AR裝置的文本可能在先前已從尼泊爾語轉(zhuǎn)譯成印地語，且現(xiàn)在可能需要從印地語轉(zhuǎn)譯成英語。在一些實施例中，并不第二次轉(zhuǎn)譯已經(jīng)從另一語言轉(zhuǎn)譯的文本，可將話語的初始音頻轉(zhuǎn)譯成第二 AR的用戶所偏好的語言。在一些實施例中，存儲呈最初說出的語言形式的文本的轉(zhuǎn)錄以用于后續(xù)轉(zhuǎn)譯。呈最初說出的語言形式的文本的初始音頻或轉(zhuǎn)錄可由遠程計算機系統(tǒng)或第一 AR裝置存儲。
[0105]在步驟765處，可以一或多個虛擬對象的形式將已轉(zhuǎn)譯成第二 AR裝置的用戶的偏好語言的文本呈現(xiàn)給第二 AR裝置的用戶。此文本可能包含對應(yīng)于在第二 AR裝置的用戶不在場或未傾聽時說出的話語的文本。第二 AR裝置可使用其HMD將文本疊加在現(xiàn)實世界場景上而呈現(xiàn)給用戶。由此，如果用戶正注視說出在步驟705處俘獲的話語的人員中的一或多者(不管第二 AR裝置的用戶是否在場)，則對應(yīng)于由此些人員說出的話語的文本中的至少一些可由HMD顯示為疊加于現(xiàn)實世界場景上。因為HMD用以將文本呈現(xiàn)給用戶，因此僅佩戴HMD的用戶可能夠檢視文本。存在于用戶附近的其他人員可能甚至不知道此類文本正呈現(xiàn)給用戶。呈現(xiàn)給用戶的虛擬對象可包含一或多個話語氣泡，例如在圖2及3中呈現(xiàn)的那些話語氣泡。每一話語氣泡可懸浮在文本所歸于的人員的頭部上。在其它實施例中，文本可疊加在說出對應(yīng)話語的人員的面部上，由此當(dāng)用戶閱讀文本時，存在于用戶附近的人員看起來用戶正與說出對應(yīng)于所述文本的話語的人員進行眼神接觸。在用戶附近的人員說出額外話語時，呈現(xiàn)文本的虛擬對象可經(jīng)更新以包含對應(yīng)于所述新話語的文本。對于第二AR裝置在場時的此類話語，可通過第二 AR裝置而非經(jīng)由第一 AR裝置直接執(zhí)行對話語的俘獲轉(zhuǎn)錄。
[0106]如圖8中所說明的計算機系統(tǒng)可并入為先前描述的計算機系統(tǒng)及計算機化裝置的部分。舉例來說，計算機系統(tǒng)800可表示在本申請案中論述的系統(tǒng)100、擴增實境裝置、HMD及遠程計算機系統(tǒng)的組件中的一些。圖8提供可執(zhí)行由各種其它實施例提供的方法的計算機系統(tǒng)800的一個實施例的示意性說明。應(yīng)注意，圖8僅意欲提供各種組件的一般化說明，在適當(dāng)時可利用其中的任一者或全部。因此，圖8廣泛地說明可如何以相對分開的或相對較為集成的方式實施個別系統(tǒng)元件。
[0107]計算機系統(tǒng)800展示為包括可經(jīng)由總線805電耦合(或可在適當(dāng)時以其它方式通信)的硬件元件。所述硬件元件可包含:一或多個處理器810，包含但不限于一或多個通用處理器及/或一或多個專用處理器(例如數(shù)字信號處理芯片、圖形加速度處理器，及/或類似者)；一或多個輸入裝置815，其可包含但不限于鼠標(biāo)、鍵盤及/或類似者；以及一或多個輸出裝置820，其可包含但不限于顯示裝置、打印機及/或類似者。
[0108]計算機系統(tǒng)800可進一步包含以下各者(及/或與其通信):一或多個非暫時性存儲裝置825，所述非暫時性存儲裝置825可包括(但不限于)本地及/或網(wǎng)絡(luò)可存取的存儲裝置，及/或可包含(但不限于)磁盤驅(qū)動器、驅(qū)動陣列、光學(xué)存儲裝置、例如隨機存取存儲器(“RAM”)及/或只讀存儲器(“ROM”)等固態(tài)存儲裝置，其可為可編程的、可快閃更新的及/或其類似者。此類存儲裝置可經(jīng)配置以實施任何適當(dāng)數(shù)據(jù)存儲裝置，包含但不限于各種文件系統(tǒng)、數(shù)據(jù)庫結(jié)構(gòu)及/或其類似者。
[0109]計算機系統(tǒng)800還可包含通信子系統(tǒng)830，其可包含(但不限于)調(diào)制解調(diào)器、網(wǎng)卡(無線或有線)、紅外線通信裝置、無線通信裝置及/或芯片組(例如，Bluetooth?裝置、802.11裝置、WiFi裝置、WiMax裝置、蜂窩式通信設(shè)施等)及/或其類似者。通信子系統(tǒng)830可準(zhǔn)許與網(wǎng)絡(luò)(例如，作為一個實例，下文所描述的網(wǎng)絡(luò))、其它計算機系統(tǒng)及/或本文所描述的任何其它裝置交換數(shù)據(jù)。在許多實施例中，計算機系統(tǒng)800將進一步包括工作存儲器835，其可包含RAM或ROM裝置，如上所述。
[0110]計算機系統(tǒng)800還可包括展示為當(dāng)前位于工作存儲器835內(nèi)的軟件元件，包含操作系統(tǒng)840、裝置驅(qū)動器、可執(zhí)行庫及/或例如一或多個應(yīng)用程序845等其它代碼，其可包括通過各種實施例提供及/或可經(jīng)設(shè)計以實施方法及/或配置系統(tǒng)、通過其它實施例提供的計算機程序，如本文所描述。僅作為實例，關(guān)于上文所論述的方法所描述的一或多個程序可實施為可由計算機(及/或計算機內(nèi)的處理器)執(zhí)行的代碼及/或指令；接著，在一方面中，此類代碼及/或指令可用以配置及/或調(diào)適通用計算機(或其它裝置)以根據(jù)所描述方法執(zhí)行一或多個操作。
[0111]可將一組這些指令及/或代碼存儲于非暫時性計算機可讀存儲媒體(例如，上文所描述的非暫時性儲存裝置825)上。在一些情況下，存儲媒體可并入到例如計算機系統(tǒng)800等計算機系統(tǒng)內(nèi)。在其它實施例中，存儲媒體可與計算機系統(tǒng)(例如，可移除式媒體，例如壓縮光盤)分開，及/或提供于安裝包中，使得存儲媒體可用以編程、配置及/或調(diào)適其上存儲有指令/代碼的通用計算機。這些指令可能呈可由計算機系統(tǒng)800執(zhí)行的可執(zhí)行代碼形式，及/或可能呈源及/或可安裝代碼的形式，所述源及/或可安裝代碼在于計算機系統(tǒng)800上編譯及/或安裝于計算機系統(tǒng)800上(例如，使用多種大體可用編譯程序、安裝程序、壓縮/解壓縮公用程序等中的任一者)后，接著呈可執(zhí)行代碼的形式。
[0112]所屬領(lǐng)域的技術(shù)人員將顯而易見可根據(jù)特定要求作出大量變化。舉例來說，還可使用定制硬件，及/或可將特定元件實施于硬件、軟件(包含便攜式軟件，例如小程序等)或兩者中。另外，可利用到其它計算裝置(例如，網(wǎng)路輸入/輸出裝置)的連接。
[0113]如上文所提及，在一個方面中，一些實施例可采用計算機系統(tǒng)(例如，計算機系統(tǒng)800)以執(zhí)行根據(jù)本發(fā)明的各種實施例的方法。根據(jù)一組實施例，響應(yīng)于處理器810執(zhí)行工作存儲器835中所含有的一或多個指令的一或多個序列(其可并入到操作系統(tǒng)840及/或其它代碼中，例如應(yīng)用程序845)，通過計算機系統(tǒng)800來執(zhí)行此類方法的程序的一些或全部。此類指令可從另一計算機可讀媒體(例如非暫時性存儲裝置825中的一或多者)讀取到工作存儲器835中。僅僅作為實例說明，含于工作存儲器835中的指令序列的執(zhí)行可致使處理器810執(zhí)行本文中所描述的方法的一或多個程序。
[0114]如本文中所使用，術(shù)語“機器可讀媒體”及“計算機可讀媒體”指參與提供使機器以具體方式操作的數(shù)據(jù)的任何