利用頭戴式顯示器來實(shí)現(xiàn)人際交互的制作方法
【專利說明】
【背景技術(shù)】
[0001]隨著世界成為全球共同體，可能說不同語言的人頻繁地需要交互。不管場合是公司的雇員與在不同大洲的辦公室之間的通信、多國首腦會(huì)議、旅游還是導(dǎo)致人們之間的語言差異的任何其它情境，能夠有效且高效地通信都是有用的。通常，說不同語言的人員之間的此類通信可涉及使用解釋器、基本身體手勢或?qū)⑽谋据斎氲綀?zhí)行轉(zhuǎn)譯的裝置中。此等配置中的每一者具有缺點(diǎn):解釋器可為昂貴的且涉及通信中所涉及的至少一個(gè)額外人員，僅有限量的信息可能夠使用基本身體手勢來傳達(dá)，且將文本鍵打到計(jì)算機(jī)化裝置中可為低效的且需要必要設(shè)備。
[0002]另外，會(huì)議、演講或報(bào)告的后來者(或未集中精力的人員)可能錯(cuò)過說話者的重要陳述。常規(guī)上，后來者可向在場的人詢問所說的內(nèi)容，直接問說話者，及/或遺漏先前論述的方面。這些選項(xiàng)可能都不是最佳的:作為兩個(gè)實(shí)例，另一人員可能會(huì)因被詢問說話者的先前而惱火，及/或后來者的緩慢(或人員的注意力不集中)可能尤為明顯。

【發(fā)明內(nèi)容】

[0003]在一些實(shí)施例中，提出一種用于使用擴(kuò)增實(shí)境裝置的方法。所述方法可包含藉由第一擴(kuò)增實(shí)境裝置俘獲在現(xiàn)實(shí)世界場景中的人員所說的話語。所述方法可包含由所述第一擴(kuò)增實(shí)境裝置確定第二擴(kuò)增實(shí)境裝置以接收對應(yīng)于所述話語的文本。所述方法可包含將對應(yīng)于所述話語的所述文本發(fā)射到所述第二擴(kuò)增實(shí)境裝置。
[0004]此類方法的實(shí)施例可包含以下各者中的一或多者:所述第二擴(kuò)增實(shí)境裝置對于所述話語可能不在場。所述方法可包含通過將所述文本疊加于所述現(xiàn)實(shí)世界場景上而由所述第二擴(kuò)增實(shí)境裝置的頭戴式顯示器顯示對應(yīng)于所述人員的所述話語的所述文本，使得所述文本以圖形方式歸于所述人員。所述文本可經(jīng)由包括疊加于所述現(xiàn)實(shí)世界場景上的所述文本的圖形話語氣泡而以圖形方式歸于所述人員。所述方法可包含通過所述第二擴(kuò)增實(shí)境裝置確定分類為重要的一或多個(gè)詞語。通過所述第二擴(kuò)增實(shí)境裝置的所述頭戴式顯示器顯示對應(yīng)于所述人員的所述話語的文本可包括強(qiáng)調(diào)所述文本的被確定為重要的一或多個(gè)詞語。所述方法可包含將所述話語轉(zhuǎn)錄成對應(yīng)于所述話語的所述文本。所述方法可包含通過所述第一擴(kuò)增實(shí)境裝置將說出所述話語的所述人員的身份的指示發(fā)射到所述第二擴(kuò)增實(shí)境裝置。所述方法可包含通過所述第二擴(kuò)增實(shí)境裝置接收來自所述第二擴(kuò)增實(shí)境裝置的用戶的輸入以存取對應(yīng)于所述話語的所述文本。所述方法可包含通過所述第一擴(kuò)增實(shí)境裝置將對應(yīng)于在所述現(xiàn)實(shí)世界場景中的所述人員說出的所述話語的數(shù)據(jù)發(fā)射到遠(yuǎn)程服務(wù)器。所述第一擴(kuò)增實(shí)境裝置的所述用戶可使用第一語言。所述話語可以第二語言說出。所述方法可包含通過所述第一擴(kuò)增實(shí)境裝置接收所述話語的所述文本，其中所述文本呈所述第一語言形式。所述方法可包含通過將所述文本疊加于所述現(xiàn)實(shí)世界場景上而由所述第一擴(kuò)增實(shí)境裝置的頭戴式顯示器顯示對應(yīng)于所述人員的所述話語的所述文本，使得所述文本以圖形方式歸于所述人員，其中所述文本呈所述第一語言形式?？娠@示對應(yīng)于所述人員的所述話語的所述文本，使得所述文本疊加在所述人員的面部上。對應(yīng)于所述話語的所述文本可在所述人員的眼睛上滾動(dòng)。
[0005]在一些實(shí)施例中，可提出一種擴(kuò)增實(shí)境系統(tǒng)。所述第一擴(kuò)增實(shí)境裝置可包含麥克風(fēng)。所述第一擴(kuò)增實(shí)境裝置可包含通信模塊。所述第一擴(kuò)增實(shí)境裝置可包含第一處理器。所述第一擴(kuò)增實(shí)境裝置可包含存儲(chǔ)器，所述存儲(chǔ)器與所述第一處理器以通信方式耦合且可由所述第一處理器讀取，且其中存儲(chǔ)有第一組處理器可讀指令，所述第一組處理器可讀指令在由所述第一處理器執(zhí)行時(shí)可致使所述第一處理器從麥克風(fēng)俘獲由現(xiàn)實(shí)世界場景中的人員說出的話語。所述第一組處理器可讀指令在由所述第一處理器執(zhí)行時(shí)可致使所述第一處理器確定第二擴(kuò)增實(shí)境裝置以接收對應(yīng)于所述話語的文本。所述第一組處理器可讀指令在由所述第一處理器執(zhí)行時(shí)可致使所述第一處理器致使經(jīng)由所述通信模塊將對應(yīng)于所述話語的所述文本發(fā)射到所述第二擴(kuò)增實(shí)境裝置。
[0006]此類系統(tǒng)的實(shí)施例可包含以下各者中的一或多者:所述第二擴(kuò)增實(shí)境裝置可能對于所述話語不在場。第二擴(kuò)增實(shí)境裝置，其可包含頭戴式顯示器、第二處理器以及第二存儲(chǔ)器，所述第二存儲(chǔ)器與所述第二處理器以通信方式耦合且可由所述第二處理器讀取，且其中存儲(chǔ)有第二組處理器可讀指令。在由所述第二處理器執(zhí)行時(shí)，所述第二組處理器可讀指令可致使所述第二處理器通過將所述文本疊加于所述現(xiàn)實(shí)世界場景上而致使所述頭戴式顯示器顯示對應(yīng)于所述人員的所述話語的所述文本，使得所述文本以圖形方式歸于所述人員。所述文本可經(jīng)由包括疊加于所述現(xiàn)實(shí)世界場景上的所述文本的圖形話語氣泡而以圖形方式歸于所述人員。所述第二組處理器可讀指令在由所述第二處理器執(zhí)行時(shí)可進(jìn)一步經(jīng)配置以致使所述第二處理器確定分類為重要的一或多個(gè)詞語。所述第二組處理器可讀指令中的通過將所述文本疊加于所述現(xiàn)實(shí)世界場景上而致使所述頭戴式顯示器顯示對應(yīng)于所述人員的所述話語的所述文本使得所述文本以圖形方式歸于所述人員的處理器可讀指令可包含經(jīng)配置以致使所述第二處理器強(qiáng)調(diào)所述文本的被確定為重要的一或多個(gè)詞語的處理器可讀指令。
[0007]另外或替代地，此類系統(tǒng)的實(shí)施例可包含以下各者中的一或多者:所述第一組處理器可讀指令在由所述第一處理器執(zhí)行時(shí)可進(jìn)一步經(jīng)配置以致使所述第一處理器將所述話語轉(zhuǎn)錄成對應(yīng)于所述話語的所述文本。所述第一組處理器可讀指令在由所述第一處理器執(zhí)行時(shí)可進(jìn)一步經(jīng)配置以致使所述第一處理器致使經(jīng)由所述通信模塊將說出所述話語的所述人員的身份的指示發(fā)射到所述第二擴(kuò)增實(shí)境裝置。所述處理器可讀指令在由所述第二處理器執(zhí)行時(shí)可進(jìn)一步經(jīng)配置以致使所述第二處理器接收來自所述第二擴(kuò)增實(shí)境裝置的用戶的輸入以存取對應(yīng)于所述話語的所述文本。所述第一組處理器可讀指令在由所述第一處理器執(zhí)行時(shí)可進(jìn)一步經(jīng)配置以致使所述第一處理器致使經(jīng)由所述通信模塊將對應(yīng)于在所述現(xiàn)實(shí)世界場景中的所述人員說出的所述話語的數(shù)據(jù)發(fā)射到遠(yuǎn)程服務(wù)器。所述第一擴(kuò)增實(shí)境裝置的用戶可使用第一語言。所述話語可以第二語言說出。所述第一組處理器可讀指令在由所述第一處理器執(zhí)行時(shí)可進(jìn)一步經(jīng)配置以致使所述第一處理器經(jīng)由所述通信模塊接收所述話語的所述文本。所述文本可呈所述第一語言形式。所述第一組處理器可讀指令在由所述第一處理器執(zhí)行時(shí)可進(jìn)一步經(jīng)配置以致使所述第一處理器致使通過將所述文本疊加于所述現(xiàn)實(shí)世界場景上而由所述第一擴(kuò)增實(shí)境裝置的頭戴式顯示器顯示對應(yīng)于所述人員的所述話語的所述文本，使得所述文本以圖形方式歸于所述人員，其中所述文本呈所述第一語言形式?？娠@示對應(yīng)于所述人員的所述話語的所述文本，使得所述文本疊加在所述人員的面部上。對應(yīng)于所述話語的所述文本可在所述人員的眼睛上滾動(dòng)。
[0008]在一些實(shí)施例中，提出一種擴(kuò)增實(shí)境設(shè)備。所述設(shè)備可包含用于俘獲由現(xiàn)實(shí)世界場景中的人員說出的話語的裝置。所述設(shè)備可包含用于確定第二擴(kuò)增實(shí)境裝置以接收對應(yīng)于所述話語的文本的裝置。所述設(shè)備可包含用于將對應(yīng)于所述話語的所述文本發(fā)射到所述第二擴(kuò)增實(shí)境裝置的裝置。
[0009]此類設(shè)備的實(shí)施例可包含以下各者中的一或多者:所述第二擴(kuò)增實(shí)境裝置對于所述話語可能不在場。所述設(shè)備可包含用于將所述話語轉(zhuǎn)錄成對應(yīng)于所述話語的所述文本的裝置。所述設(shè)備可包含用于將說出所述話語的所述人員的身份的指示發(fā)射到所述第二擴(kuò)增實(shí)境裝置的裝置。所述設(shè)備可包含用于將對應(yīng)于在所述現(xiàn)實(shí)世界場景中的所述人員說出的所述話語的數(shù)據(jù)發(fā)射到遠(yuǎn)程服務(wù)器的裝置。所述第一擴(kuò)增實(shí)境裝置的用戶可使用第一語言。所述話語可以第二語言說出。所述設(shè)備可包含用于接收所述話語的所述文本的裝置，其中所述文本呈所述第一語言形式。所述設(shè)備可包含用于通過將所述文本疊加于所述現(xiàn)實(shí)世界場景上而顯示對應(yīng)于所述人員的所述話語的所述文本使得所述文本以圖形方式歸于所述人員的裝置，其中所述文本呈所述第一語言形式。可顯示對應(yīng)于所述人員的所述話語的所述文本，使得所述文本疊加在所述人員的面部上。對應(yīng)于所述話語的所述文本可在所述人員的眼睛上滾動(dòng)。
[0010]在一些實(shí)施例中，提出一種駐留在非暫時(shí)性處理器可讀媒體上用于擴(kuò)增實(shí)境的計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品可包含經(jīng)配置以致使第一擴(kuò)增實(shí)境裝置的處理器俘獲由現(xiàn)實(shí)世界場景中的人員說出的話語的處理器可讀指令。所述計(jì)算機(jī)程序產(chǎn)品可包含經(jīng)配置以致使所述處理器確定第二擴(kuò)增實(shí)境裝置以接收對應(yīng)于所述話語的文本的處理器可讀指令。所述計(jì)算機(jī)程序產(chǎn)品可包含經(jīng)配置以致使所述處理器致使將對應(yīng)于所述話語的所述文本發(fā)射到所述第二擴(kuò)增實(shí)境裝置的處理器可讀指令。
[0011]此類計(jì)算機(jī)程序產(chǎn)品的實(shí)施例可包含以下各者中的一或多者:所述第二擴(kuò)增實(shí)境裝置對于所述話語可能不在場。所述處理器可讀指令可進(jìn)一步包含經(jīng)配置以致使所述處理器將所述話語轉(zhuǎn)錄成對應(yīng)于所述話語的所述文本的處理器可讀指令。所述處理器可讀指令可進(jìn)一步包含經(jīng)配置以致使所述處理器致使將說出所述話語的所述人員的身份的指示發(fā)射到所述第二擴(kuò)增實(shí)境裝置的處理器可讀指令。所述處理器可讀指令可進(jìn)一步包含經(jīng)配置以致使所述處理器致使將對應(yīng)于在所述現(xiàn)實(shí)世界場景中的所述人員說出的所述話語的數(shù)據(jù)發(fā)射到遠(yuǎn)程服務(wù)器的處理器可讀指令。所述第一擴(kuò)增實(shí)境裝置的用戶可使用第一語言。所述話語可以第二語言說出。所述計(jì)算機(jī)程序產(chǎn)品可包含經(jīng)配置以致使所述處理器接收所述話語的所述文本的處理器可讀指令，其中所述文本呈所述第一語言形式。所述計(jì)算機(jī)程序產(chǎn)品可包含經(jīng)配置以致使所述處理器致使通過將所述文本疊加于所述現(xiàn)實(shí)世界場景上而經(jīng)由頭戴式顯示器顯示對應(yīng)于所述人員的所述話語的所述文本使得所述文本以圖形方式歸于所述人員的處理器可讀指令，其中所述文本呈所述第一語言形式?？娠@示對應(yīng)于所述人員的所述話語的所述文本，使得所述文本疊加在所述人員的面部上。對應(yīng)于所述話語的所述文本可在所述人員的眼睛上滾動(dòng)。
【附圖說明】
[0012]參考以下各圖，可實(shí)現(xiàn)對各種實(shí)施例的性質(zhì)及優(yōu)點(diǎn)的進(jìn)一步理解。在附圖中，類似的組件或特征可具有相同的參考標(biāo)記。此外，通過在參考標(biāo)記后面加上破折號(hào)及在類似組件之間進(jìn)行區(qū)分的第二標(biāo)記來區(qū)分相同類型的各種組件。如果說明書中只使用第一參考標(biāo)記，那么描述適用于具有相同第一參考標(biāo)記的類似組件中的任一者，而與第二參考標(biāo)記無關(guān)。
[0013]圖1A說明經(jīng)配置以經(jīng)由頭戴式顯示器呈現(xiàn)虛擬對象的系統(tǒng)的實(shí)施例。
[0014]圖1B說明經(jīng)配置以準(zhǔn)許AR裝置之間及/或與遠(yuǎn)程計(jì)算機(jī)系統(tǒng)的通信的系統(tǒng)的實(shí)施例。
[0015]圖2說明用以提供對應(yīng)于用戶不在場時(shí)的話語的文本的頭戴式顯示器的第一人稱檢視點(diǎn)的實(shí)施例。
[0016]圖3說明用以提供對應(yīng)于以不同于用戶的偏好語言的語言說出的話語的文本的頭戴式顯示器的第一人稱檢視點(diǎn)的實(shí)施例。
[0017]圖4說明用于使用擴(kuò)增實(shí)境裝置來提供對應(yīng)于用戶不在場時(shí)的話語的文本的方法的實(shí)施例。
[0018]圖5說明用于使用AR裝置提供語言轉(zhuǎn)譯服務(wù)的方法的實(shí)施例。
[0019]圖6說明用以提供語言轉(zhuǎn)譯服務(wù)的頭戴式顯示器的第一人稱檢視點(diǎn)的實(shí)施例。
[0020]圖7說明用于使用擴(kuò)增實(shí)境裝置提供語言轉(zhuǎn)譯服務(wù)并且還提供對應(yīng)于用戶不在場時(shí)的話語的文本的方法的實(shí)施例。
[0021]圖8說明計(jì)算機(jī)系統(tǒng)的實(shí)施例。
【具體實(shí)施方式】
[0022]擴(kuò)增實(shí)境(AR)裝置(例如AR眼鏡或更一般化地，包含頭戴式顯示器(HMD)的任何形式的可佩戴擴(kuò)增實(shí)境裝置)可允許用戶檢視通過HMD顯示給用戶的與虛擬對象(例如，應(yīng)用、文本、圖形)疊加的現(xiàn)實(shí)世界場景。舉例而言，AR裝置可使用相機(jī)來俘獲由用戶檢視的場景的圖像，且可基于所述場景內(nèi)的現(xiàn)實(shí)世界對象的類型及/或位置來疊加虛擬對象。HMD可用以呈現(xiàn)用戶感興趣的信息，例如對應(yīng)于在用戶檢視的場景中出現(xiàn)的話語的文本。
[0023]如果一或多個(gè)其他人員在對話期間正使用AR裝置，那么對于一用戶，當(dāng)使用AR裝置加入已經(jīng)在進(jìn)行中的對話時(shí)(或如果用戶未集中精力)，有可能接收用戶不在場或未傾聽的對話的至少部分的文本。舉例來說，經(jīng)由裝置到裝置通信協(xié)議，對于對話在場的人員所擁有的另一擴(kuò)增實(shí)境裝置可發(fā)射所述對話的文本。此文本可通過HMD以用于存在于場景中的人員的話語氣泡的形式顯示給用戶。還可發(fā)射所述文本應(yīng)歸于的人員的指示(例如，人員的面部圖像及/或人員的擴(kuò)增實(shí)境裝置的識(shí)別)。過去對話的文本可由用戶佩戴的HMD呈現(xiàn)給用戶且以話語氣泡或某一其它形式的虛擬對象顯示。在所述人員說出額外話語時(shí)，可在每一話語氣泡中添加文本。由此，用戶可能夠?yàn)g覽在用戶未傾聽(例如，用戶不在場或未集中精力)時(shí)出現(xiàn)的話語。
[0024]當(dāng)回顧對應(yīng)于一個(gè)話語氣泡的過去話語的文本時(shí)，可同時(shí)顯示對應(yīng)于在所述話語時(shí)存在于場景中的其他人員的其它話語氣泡中的文本，以使得所述用戶具有在那時(shí)出現(xiàn)的對話的每一方的上下文。在一些實(shí)施例中，被認(rèn)為重要的詞語可在顯示給用戶時(shí)加以強(qiáng)調(diào)以允許用戶快速識(shí)別人員的話語的關(guān)鍵部分。
[0025]AR裝置還可適用于幫助說不同語言的兩個(gè)或兩個(gè)以上人進(jìn)行交互。如果用戶正使用AR裝置的HMD，那么AR裝置可能夠俘獲來自一人員的以不同于用戶的母語的語言(或用戶希望使用的某一其它語言)說出的話語。AR裝置可經(jīng)配置以檢測人員說出的語言何時(shí)不同于用戶的母語。人員的話語可經(jīng)俘獲且發(fā)射到遠(yuǎn)程服務(wù)器以用于轉(zhuǎn)譯成用戶的母語(或某一其它所選、所需語言)并轉(zhuǎn)錄成文本。所述人員所說(以外語)的呈用戶母語形式的文本可經(jīng)由AR裝置的HMD顯示給用戶。所述文本可作為由AR裝置疊加到現(xiàn)實(shí)世界場景上的虛擬對象而呈現(xiàn)給用戶。虛擬對象可以類似于一些連環(huán)漫畫中的文本的話語“氣泡”形式呈現(xiàn)給用戶，以展示文本歸于以外語說出所述詞語的人員。在所述人員以外語說話的同時(shí)或不久之后，用戶可能夠以用戶的母語閱讀所述人員的話語的文本且知曉文本可歸于所述人員。此類配置可允許說不同語言的兩個(gè)或兩個(gè)以上人員成功地溝通，同時(shí)依賴于AR裝置用于輔助語言轉(zhuǎn)譯及轉(zhuǎn)錄。此外，因?yàn)橛脩粽趦A聽人員的話語而非替代音頻，因此用戶可更容易地確認(rèn)人員的情緒水平。在一些實(shí)施例中，虛擬對象可將文本作為疊加在說出所述文本的人員的面部上的滾動(dòng)文本呈現(xiàn)給用戶。由此，AR裝置的用戶可維持(或至少看似維持)與說出所述話語的人員的眼神接觸。在一些實(shí)施例中，虛擬對象可與說出所述話語的人員的眼睛對準(zhǔn)。由此，對于說話者來說，不會(huì)看起來用戶正在閱讀顯示在說話者頭部上方(或說