即時翻譯系統(tǒng)的制作方法
【專利摘要】本發(fā)明揭示一種執(zhí)行即時語音翻譯的方法以及用于執(zhí)行即時語音翻譯的對應(yīng)耳機計算機，所述方法包含：建立包含第一耳機計算機與第二耳機計算機之間的鏈路的本地網(wǎng)，其中每個耳機計算機的優(yōu)選語言設(shè)置被更換；將所捕獲的第一語言的語音從第一耳機計算機傳輸?shù)交诰W(wǎng)絡(luò)的語音識別服務(wù)以將所述所捕獲的語音識別和轉(zhuǎn)錄為文本；在所述第一耳機計算機處接收所述文本；通過所述本地網(wǎng)將所述文本廣播到至少所述第二耳機計算機；在所述第二耳機計算機處接收所述文本；將所述接收到的文本從所述第二耳機計算機傳輸?shù)交诰W(wǎng)絡(luò)的文本翻譯服務(wù)以將所述文本翻譯成第二語言的文本；在所述第二耳機計算機處從所述基于網(wǎng)絡(luò)的文本翻譯服務(wù)接收所述第二語言的所述文本；以及在所述第二耳機計算機處顯示所述經(jīng)翻譯文本。
【專利說明】即時翻譯系統(tǒng)
[0001] 相關(guān)申請案
[0002] 本申請案主張2012年4月25日提交的第61/638, 419號美國臨時申請案以及2012 年6月15日提交的第61/660, 478號美國臨時申請案的權(quán)益。以上申請案的全部教示以引 用的方式并入本文中。

【背景技術(shù)】
[0003] 本申請案涉及人/計算機接口，且更確切地說，涉及一種耳機計算裝置，所述耳機 計算裝置接受話音命令并且追蹤頭部運動以向經(jīng)執(zhí)行的軟件應(yīng)用程序提供命令輸入并且 從所述經(jīng)執(zhí)行的軟件應(yīng)用程序接收顯示信息。
[0004] 如今在商業(yè)和個人生活中，例如筆記本式個人計算機（PC)的移動計算裝置、智能 電話以及平板計算裝置是用于產(chǎn)生、分析、傳送以及使用數(shù)據(jù)的常用工具。由于隨著高速無 線通信技術(shù)變得隨處可見而更加易于存取數(shù)字信息，因此消費者繼續(xù)樂于接受移動數(shù)字生 活方式。移動計算裝置的普遍用途包含呈現(xiàn)大量高分辨率計算機圖形信息和視頻內(nèi)容，這 些計算機圖形信息和視頻內(nèi)容通常無線串流到所述裝置。盡管這些裝置通常包含顯示屏， 但是在此類移動裝置中不易復制高分辨率的大型顯示器的優(yōu)選視覺體驗，因為此類裝置的 物理大小受到限制以促進移動性。前述裝置類型的另一缺點是用戶接口是依賴于手的，其 通常需要用戶鍵入數(shù)據(jù)或使用鍵盤（物理或虛擬的）或觸摸屏顯示器來作出選擇。因此， 消費者現(xiàn)在正尋求一種用以加強或替換依賴于他們的手的移動裝置的免提高質(zhì)量、便攜式 彩色顯示屏解決方案。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的實施例通過使用不需要用戶手動鍵入的輸入的耳機計算機來提供從源 語言或第一語言到目標語言或第二語言的自動即時翻譯。耳機計算機采用自動的即時翻譯 處理，其中自動的即時翻譯過程可以基于當前環(huán)境以及預定義的用戶語言，例如，默認或優(yōu) 選的語言設(shè)置。因此，用戶不需要提供需要翻譯的注釋或參數(shù)輸入（話音或鍵入）；相反地， 在用戶提供用以開始所述過程的單次確認之后，即時翻譯可以基于當前環(huán)境以及預定義的 用戶（語言默認或優(yōu)先權(quán)）設(shè)置。
[0006] 實例實施例包含執(zhí)行即時語音翻譯的方法，所述方法包含：在至少第一耳機計算 機與第二耳機計算機之間建立包含鏈路的本地通信網(wǎng)；在第一耳機計算機處捕獲第一語言 的語音；將所捕獲的第一語言的語音從第一耳機計算機傳輸?shù)交诰W(wǎng)絡(luò)的語音識別服務(wù)以 將所捕獲的語音識別和轉(zhuǎn)錄為第一語言的文本；在第一耳機計算機處從基于網(wǎng)絡(luò)的語音識 別服務(wù)接收第一語言的文本；通過本地網(wǎng)將第一語言的文本廣播到至少第二耳機計算機； 在第二耳機計算機處接收第一語言的文本；將所接收的經(jīng)廣播的第一語言的文本從第二耳 機計算機傳輸?shù)交诰W(wǎng)絡(luò)的文本翻譯服務(wù)以將第一語言的文本翻譯成第二語言的文本；在 第二耳機計算機處從基于網(wǎng)絡(luò)的文本翻譯服務(wù)接收第二語言的文本；以及將第二語言的文 本顯示在第二耳機計算機的顯示器上。
[0007] 實例實施例可以進一步包含：在第二耳機計算機處根據(jù)第二語言的文本合成語音 并且通過第二耳機計算機的音頻揚聲器呈現(xiàn)經(jīng)合成的語音；在建立本地通信網(wǎng)之前，分別 將第一語言和第二語言設(shè)置為第一耳機計算機和第二耳機計算機的優(yōu)選操作語言。建立本 地網(wǎng)可以進一步包含廣播包含每個耳機計算機的優(yōu)選操作語言的詢問。
[0008] 實例實施例可以進一步包含使用至少話音命令、頭部運動命令、手勢命令或其組 合選擇屏幕上的選項以開始即時語音翻譯的方法。本地通信網(wǎng)可以使用藍牙個人區(qū)域網(wǎng) (PAN)分布。本地通信網(wǎng)可以進一步包含至少一個耳機計算機與至少一個主機裝置之間的 通信鏈路，所述主機裝置作為至少一個耳機計算機與基于網(wǎng)絡(luò)的語音識別服務(wù)和基于網(wǎng)絡(luò) 的文本翻譯服務(wù)之間的中繼器操作。主機裝置可以進一步包含用以呈現(xiàn)第二語言的文本的 顯示器。主機裝置可以進一步包含至少短程無線電和遠程無線電，所述主機裝置可以利用 至少一個耳機計算機將短程無線電用于包含通信鏈路的本地通信網(wǎng)并且使用遠程無線電 來訪問基于網(wǎng)絡(luò)的語音識別服務(wù)和基于網(wǎng)絡(luò)的文本翻譯服務(wù)。遠程無線電可以是3G蜂窩 無線電，例如，全球移動通信系統(tǒng)（GSM)、分碼多工存取（CDMA)或4G長期演進（LTE)無線 電。
[0009] 其他實例實施例包含用以執(zhí)行即時語音翻譯的耳機計算裝置，所述裝置可以包 含：語音捕獲模塊，用以捕獲第一語言的語音；通信模塊，用以利用至少第二耳機計算機建 立包含鏈路的本地通信網(wǎng)、將所捕獲的第一語言的語音傳輸?shù)交诰W(wǎng)絡(luò)的語音識別服務(wù)以 將所捕獲的語音識別和轉(zhuǎn)錄為第一語言的文本、從基于網(wǎng)絡(luò)的語音識別服務(wù)接收第一語言 的文本，以及通過本地網(wǎng)將第一語言的文本廣播到至少第二耳機計算機、從所述至少第二 耳機計算機接收第二語言的文本、將接收到的第二語言的文本傳輸?shù)交诰W(wǎng)絡(luò)的文本翻譯 服務(wù)以將第二語言的文本翻譯成第一語言的文本，以及從基于網(wǎng)絡(luò)的文本翻譯服務(wù)接收第 一語言的文本；以及微顯示器，用以顯示經(jīng)翻譯的第一語言的文本。
[0010] 實例實施例可以進一步包含：語音合成器，用以合成第一語言的文本；以及音頻 揚聲器，用以播放經(jīng)合成的語音、優(yōu)選的操作語言，在耳機計算機的初始設(shè)定期間并且至少 在建立本地通信網(wǎng)之前設(shè)置優(yōu)選的操作語言。
[0011] 通信模塊可以廣播包含耳機計算機的優(yōu)選操作語言的詢問作為利用至少第二耳 機計算機建立包含鏈路的本地通信網(wǎng)的一部分。
[0012] 實例實施例可以進一步包含用以開始即時語音翻譯的方法的屏幕上的選項，所述 屏幕上的選項通過至少話音命令、頭部運動命令、手勢命令或其組合選擇。通信模塊可以使 用藍牙PAN分布來建立本地通信網(wǎng)。通信模塊可以通過本地通信網(wǎng)利用至少一個主機裝置 進一步建立通信鏈路，所述主機裝置可以作為耳機計算機與基于網(wǎng)絡(luò)的語音識別服務(wù)和基 于網(wǎng)絡(luò)的文本翻譯服務(wù)之間的中繼器操作。主機裝置可以進一步包含用以呈現(xiàn)第二語言的 文本的顯示器。通信模塊可以進一步包含至少短程無線電和遠程無線電，所述主機裝置利 用至少一個耳機計算機將短程無線電用于包含通信鏈路的本地通信網(wǎng)并且使用遠程無線 電來訪問基于網(wǎng)絡(luò)的語音識別服務(wù)和基于網(wǎng)絡(luò)的文本翻譯服務(wù)。遠程無線電可以是3G蜂 窩無線電，例如，GSM、CDMA或4G LTE無線電。
[0013] 其他實例實施例可以包含用于控制耳機計算機的操作的非暫時性計算機程序產(chǎn) 品，所述計算機程序產(chǎn)品包括具有存儲于其上的計算機可讀指令的計算機可讀媒體，當由 處理器加載和執(zhí)行時，所述計算機可讀指令使所述處理器能夠在至少第一耳機計算機與第 二耳機計算機之間建立包含鏈路的本地通信網(wǎng)、在第一耳機計算機處捕獲第一語言的語 音、將所捕獲的第一語言的語音從第一耳機計算機傳輸?shù)交诰W(wǎng)絡(luò)的語音識別服務(wù)以將所 捕獲的語音識別和轉(zhuǎn)錄為第一語言的文本、在第一耳機計算機處從基于網(wǎng)絡(luò)的語音識別服 務(wù)接收第一語言的文本、通過本地網(wǎng)將第一語言的文本廣播到至少第二耳機計算機、在第 一耳機計算機處從第二耳機計算機接收第二語言的文本、將接收到的第二語言的文本傳輸 到基于網(wǎng)絡(luò)的文本翻譯服務(wù)以將第二語言的文本翻譯成第一語言的文本、在第一耳機計算 機處從基于網(wǎng)絡(luò)的文本翻譯服務(wù)接收第一語言的文本，以及將第一語言的文本顯示在第一 耳機計算機的微顯示器上。
[0014] 其他實例實施例可以包含執(zhí)行即時語音翻譯的方法，所述方法包含：在耳機計算 機處檢測源語言的語音輸入；識別包含自動語言標識的檢測到的語音以標識源語言；將語 音轉(zhuǎn)錄成源語言的文本；將所述文本翻譯成目標語言；將目標語言和/或源語言的文本顯 示在耦合到耳機計算機上的微顯示器上；根據(jù)目標語言的文本合成目標語言的語音；以及 使用耦合到耳機計算機上的音頻揚聲器播放經(jīng)合成的語音。
[0015] 其他實例實施例可以包含執(zhí)行即時語音翻譯的方法，所述方法包含：使用耦合到 耳機計算機上的相機檢測源語言的文本圖像；使用光學字符識別來識別源語言的文本；將 源語言的文本翻譯成目標語言的文本；將目標語言的文本顯示在耦合到耳機計算機上的微 顯示器上；根據(jù)目標語言的文本合成目標語言的語音；以及使用耦合到耳機計算機上的音 頻揚聲器播放經(jīng)合成的語音。

【專利附圖】

【附圖說明】
[0016] 以上內(nèi)容將從本發(fā)明的實例實施例的以下更具體描述中顯而易見，如附圖中所 示，其中相同的參考符號在不同視圖中始終指代相同的部分。附圖不必按比例繪制，而是強 調(diào)展示本發(fā)明的實施例。
[0017] 圖1和圖1A是本發(fā)明的實施例中采用的耳機計算機的透視圖。
[0018] 圖2是本發(fā)明的實施例的示意性說明。
[0019] 圖3是即時翻譯實施例的流程圖。
[0020] 圖4是另一實施例的示意圖。
[0021] 圖5A和圖5B是圖4實施例中的即時翻譯的流程圖。
[0022] 圖6A和圖6B是圖4實施例的用途的說明。

【具體實施方式】
[0023] 實例實施例的描述如下。
[0024] 圖1描繪含有微顯示器、本地處理器、用于數(shù)據(jù)通信的無線收發(fā)器的耳機計算機 (HC)(或者稱為無線免提視頻計算耳機、耳機計算裝置或頭戴裝置（HMD))，所述數(shù)據(jù)可以 包含音頻和/或圖形數(shù)據(jù)（音頻和/或圖形數(shù)據(jù)分別可以進一步包含話音和/或視頻數(shù) 據(jù)）。HC可以進一步用一個或多個外圍裝置集成，此類集成的外圍裝置的實例包含（但不 限于）麥克風、揚聲器、3軸到9軸的自由度定向感測、地理位置接收器（GPS)、大氣傳感器、 健康狀況傳感器、數(shù)字羅盤（多軸線磁力計）、閃光燈、高度計、壓力傳感器、各種環(huán)境傳感 器、個人傳感器、能量傳感器、光學傳感器和/或相機。
[0025] HC可以包含一個或多個微顯示器裝置，以將信息以圖形方式呈現(xiàn)給用戶，并且可 以使用輸入裝置（例如，頭部追蹤加速計、陀螺儀或一個或多個相機）以及任選的話音命令 來檢測移動，例如，頭部移動、手運動和/或手勢，以通過各種方式對在本地處理器或遠程 主機處理器上運行的應(yīng)用程序提供遠程控制。
[0026] 圖1中所描繪的實例實施例示出HC 100 (在本文中還稱為裝置100)，所述HC 100 并入有微顯示器（WQVGA或更好）元件1010以及下文描述的其他特征。輸入和/或輸出裝 置，包含一個或多個麥克風；輸入以及輸出揚聲器；地理位置感測；3軸到9軸自由度定向 感測；大氣傳感器；健康狀況傳感器；GPS ;數(shù)字羅盤；壓力傳感器；環(huán)境傳感器；能量傳感 器；加速度、位置、海拔、運動、速度或光學傳感器；相機（可見光、紅外光（IR)、紫外光（UV) 等）；額外的無線電（Bluetooth?、Wi-Fi?、3G或4G LTE蜂窩式、FM等）；輔助照明；測 距儀或類似者，和/或傳感器陣列經(jīng)由一個或多個外圍端口嵌入在耳機中和/或附接到所 述裝置上以控制HC 100以及其他裝置的操作。（Bluetooth是華盛頓柯克蘭的藍牙技術(shù)聯(lián) 盟有限公司的注冊商標；Wi-Fi是德克薩斯奧斯汀的Wi-Fi聯(lián)盟公司的注冊商標。）
[0027] 此外，各種電子電路通常位于HC 100的殼體內(nèi)，包含（如不久將理解）微型計算 機（單核或多核）、一個或多個有線或無線接口和/或光學界面、相關(guān)聯(lián)的存儲器和/或存 儲裝置、各種傳感器以及例如"附件插座" 1020的一個或多個外圍支架。
[0028] 圖1是示出耳機計算機（HC) 100的實例實施例的一些細節(jié)的透視圖。HC 100大體 上包含框架1000、固夾帶1002、后部區(qū)1004、揚聲器1006、懸臂或臂1008以及微顯示器子 組合件1010。
[0029] 圖1A圖示了 HC 100可以使用的各種方式的實例。HC 100可以用作用于由遠程 主機計算裝置200 (還稱為遠程計算裝置200)提供的流媒體視頻信號的遠程顯示器。主機 200可以是（例如）膝上型電腦、蜂窩電話、BlackBerry?、iPhone?、基于云的服務(wù)器， 或甚至另一 HC 100,或比無線遙控器HC 100具有更小或更大計算復雜性的任何其他計算 裝置。主機200可以（例如）通過到因特網(wǎng)120的有線或無線連接210進一步連接到其他 網(wǎng)絡(luò)。另外，HC 100可以（例如）通過到因特網(wǎng)120的有線或無線連接160進一步連接到 其他網(wǎng)絡(luò)。HC 100以及主機200彼此連接和/或經(jīng)由（例如）由藍牙、Wi-Fi、蜂窩、LTE、 WiMax或其他無線的無線電鏈路150提供的一個或多個合適的無線連接而連接到其他網(wǎng) 絡(luò)。（BlackBerry是加拿大安大略省滑鐵盧市菲力浦大街295號的移動通訊咨詢有限公司 的注冊商標；iPhone是加利福尼亞庫比蒂諾無限循環(huán)路1號的蘋果公司的注冊商標。）
[0030] HC 100還可以用作主機200的遙控器。例如，HC 100可以使用戶能夠在由主機 200上的虛擬顯示器400界定的大得多的區(qū)域內(nèi)選擇視野300。用戶通?？梢允褂妙^部移 動或手移動或身體姿勢或以其他方式（例如，利用如通過HC 100檢測到的話音命令）來控 制視野300的位置、廣度（例如，X-Y或3D范圍）和/或擴大。因此HC 100可以具有專門 的用戶輸入外圍設(shè)備以及處理，以（例如）獲得和縮放以及控制顯示器的視野。
[0031] 此外，電路位于HC 100內(nèi)，包含（如不久將理解）微型計算機（單核或多核）、一 個或多個無線接口、相關(guān)聯(lián)的存儲器或其他存儲裝置、一個或多個相機（光學傳感器）和 /或先前提到的各種傳感器。相機、運動傳感器和/或位置傳感器用于追蹤用戶的頭部在 110、111、112處、手在113處和/或身體在至少第一軸110、111 (水平），但優(yōu)選地還在第二 軸（垂直）112、第三軸（深度）113、第四軸（間距）、第五軸（搖晃）和第六軸（偏航）中 的運動和/或位置?？梢蕴砑尤S磁強計（數(shù)字羅盤），從而以完全的9軸自由度位置精確 性提供無線計算耳機或外圍裝置。
[0032] HC 100還包含至少一個麥克風以及對應(yīng)的電子設(shè)備，例如，存儲器或其他存儲設(shè) 備和/或用于語音識別的可編程處理器。HC 100檢測用戶的話音，并且通過使用語音識別 技術(shù)來導出命令和/或指示。HC 100使用從所述語音識別導出的命令來執(zhí)行通過所述命令 指示的功能。
[0033] 在一個實例實施例中，兩個或兩個以上HC 100可以執(zhí)行從第一 口頭人類語言 (即，源語言）到第二口頭人類語言（即，目標語言）的即時翻譯。此種實例使HC 100的兩 個或兩個以上用戶能夠彼此通信，同時每個用戶在說不同語言并且與所述用戶所交談的人 保持目光接觸。翻譯的格式可以包含從第一（源）語言的語音到文本以及第二（目標）語 言的語音，或反之亦然。
[0034] 圖2圖示了即時翻譯的實例實施例，所述即時翻譯包含建立一起的兩個或兩個以 上HC 100之間的通信鏈路以及每個HC 100與基于云的網(wǎng)絡(luò)資源401之間的鏈路。HC 100 可以由微顯示器210、一個或多個麥克風（麥克風1以及麥克風2) 220、一個或多個音頻揚 聲器（揚聲器1以及揚聲器2) 230、主板101以及無線通信模塊208組成，所述主板進一步 由可操作地耦合的處理器205、噪音消除模塊（NCS) 225、命令和控制模塊250、語音識別捕 獲模塊255、語音合成模塊260組成。HC 100可以進一步由根據(jù)本發(fā)明的原則啟用即時語 音翻譯的額外元件組成。
[0035] 此外，在HC 100的一些實施例中，用戶可以針對優(yōu)選的性能定制HC 100的配置 和操作。定制可以包含在建立用于即時翻譯會話的本地通信網(wǎng)之前，將第一語言設(shè)置為HC 100的優(yōu)選操作語言。例如，在HC 100上的計算機軟件應(yīng)用程序產(chǎn)品的初始安裝和配置期 間，可以設(shè)置優(yōu)選的（或默認）語言。將理解，在一些情況下優(yōu)選的語言可以是源語言（例 如，當HC 100的用戶在說話時），或目標語言（例如，當HC 100接收除了優(yōu)選的語言之外的 語言的文本）。
[0036] HC 100與基于云的網(wǎng)絡(luò)資源401之間的通信可以通過將外圍主機裝置200 (例如， 智能手機）用作無線中繼器的各種無線通信方法來啟用。在一些實施例中，HC 100可以使 用各種無線通信方法直接與基于云的網(wǎng)絡(luò)資源401通信，所述無線通信方法例如，Wi-Fi、 3G(GSM、CDMA等）或4G LTE蜂窩或WiFi-Direct?；谠频木W(wǎng)絡(luò)資源401可以包含基于云 的語音識別/指示模塊405以及文本翻譯模塊410。
[0037] 圖2圖示了即時翻譯的實例實施例，所述即時翻譯包含建立一起的兩個或兩個以 上HC 100之間的通信鏈路以及每個HC 100與基于云的網(wǎng)絡(luò)資源401之間的鏈路。可以建 立包含每個HC 100之間的通信鏈路的本地通信網(wǎng)。使用例如藍牙個人區(qū)域網(wǎng)（PAN)分布 的協(xié)議的短程無線電可以用于本地網(wǎng)。指示每個HC 100的優(yōu)選的（或默認）語言設(shè)置的 數(shù)據(jù)可以包含在訊問消息中。例如，考慮圖2的兩個HC 100A和HC 100B;HC 100A由講英 語的人301A(還稱為用戶）使用并且經(jīng)配置以留神聽（S卩，識別）英語語音，而HC 100B由 講法語的人301B(還稱為用戶）使用并且經(jīng)配置以留神聽法語語音。換言之，語音識別捕 獲模塊255經(jīng)由軟件經(jīng)配置以識別每個HC 100的相應(yīng)用戶的語音。
[0038] 在由HC 100安裝或執(zhí)行的軟件產(chǎn)品應(yīng)用程序的初始設(shè)定期間，用戶可以設(shè)置優(yōu) 選的語言，使得優(yōu)選的語言設(shè)置涉及到并且用于自動即時語音翻譯而不需要除了在會話之 前確認開始即時翻譯會話的請求之外的額外用戶輸入。
[0039] 此外如圖2所圖示，每個HC 100A和100B連續(xù)地傳輸短程（即，約100英尺或更 ?。┚W(wǎng)絡(luò)詢問305,例如，藍牙注冊包。此類網(wǎng)絡(luò)詢問使HC 100A和100B能夠在裝置處于傳 輸范圍內(nèi)時即時地且自動地形成本地網(wǎng)310,而不需要通過相應(yīng)用戶301A和301B的努力。 詢問305傳送和提供相應(yīng)HC 100的標識數(shù)據(jù)，例如，優(yōu)選的或默認語言以及其他工作特性。 在標識和形成此種網(wǎng)絡(luò)310之后，HC 100A察覺到不僅HC 100B在附近，而且HC 100B配置 用于講法語的用戶301B。類似地，在標識和形成此種本地通信網(wǎng)310之后，HC 100B察覺到 HC 100A在附近并且配置用于講英語的用戶301A。此外，每個HC 100(100A以及100B)向 每個用戶提供用以允許即時語音翻譯會話開始的選項。例如，HC 100可以通過微顯示器向 用戶呈現(xiàn)用于開始即時翻譯會話的屏幕上的選項。用戶可以使用話音、頭部運動、手勢命令 或其一些組合來確認或拒絕即時翻譯會話請求。
[0040] 在每個用戶301Α和301Β已啟用即時語音翻譯會話之后，所述會話可以開始。例 如，講英語的人301Α對著裝置100Α講英語短語。HC 100Α結(jié)合麥克風220使用語音識別 捕獲模塊255以捕獲英語語音音頻輸入。使用無線通信模塊208經(jīng)由網(wǎng)絡(luò)連接415 (例如， Wi-Fi或4G LTE)將所捕獲的語音傳輸?shù)交谠频恼Z音識別服務(wù)405?；谠频恼Z音識別 服務(wù)405 (經(jīng)由連接415)通常在小于幾秒鐘的時間內(nèi)將作為書面英語文本的語音音頻輸入 返回到HC 100A。
[0041] 所返回的書面英語文本隨后通過本地網(wǎng)鏈路310由第一耳機計算機HC 100A傳輸 到第二耳機計算機HC 100B，所述本地網(wǎng)鏈路可以是（例如）藍牙連接。在接收書面英語文 本之后，HC 100B(使用無線通信模塊208通過網(wǎng)絡(luò)連接420)將書面英語文本傳輸?shù)交?云的文本翻譯服務(wù)410,使得所述書面英語文本可以被翻譯成書面法語文本。在基于云的文 本翻譯服務(wù)410完成將接收到的書面英語文本翻譯成書面法語文本之后，所述書面法語文 本通過網(wǎng)絡(luò)連接420返回到HC 100B。在接收書面法語文本之后，HC 100B將所述書面法語 文本顯示在其微顯示器210上并且語音合成模塊260與音頻揚聲器230結(jié)合使用以產(chǎn)生對 應(yīng)的經(jīng)合成的法語語音。
[0042] 所屬領(lǐng)域的技術(shù)人員將認識到，該過程可以被交替，使得法語語音（通過法語用 戶301B)被翻譯成英語文本和語音（在英語用戶301端），因此實現(xiàn)雙向翻譯服務(wù)。所屬領(lǐng) 域的技術(shù)人員將進一步認識到，上述方法可以擴展成多個HC 100,從而實現(xiàn)群組翻譯的音 頻廣播系統(tǒng)。換言之，例如，講英語的人301A可以講英語并且將書面英語文本廣播到多個 其他HC 100 (所述HC 100中的每一者可以配置用于不同的語言），從而建立多種語言的即 時翻譯系統(tǒng)。每個HC 100接收書面英語文本（例如，源語言文本或第一語言（語言1))并 且根據(jù)配置用于視覺顯示器和經(jīng)合成的語音的每個HC的優(yōu)選（或默認）語言配置將書面 英語文本獨立地翻譯成不同于第一語言/源語言/一種語言的適當語言（例如，目標語言 或第二語目（或第二語目或更多語目，例如，語目2或3等））。
[0043] 圖3是根據(jù)本發(fā)明的HC 100在即時翻譯系統(tǒng)1001中執(zhí)行的實例程序的流程圖。 在開始之后，在1003處HC 100A配置用于在第一語言（語言1)中操作。接下來，在1005 處HC 100A通過（例如）藍牙注冊包的本地網(wǎng)廣播詢問305。在標識出本地網(wǎng)由至少一個 額外HC(例如，HC 100B)組成之后，HC 100A和HC 100B形成或加入1007本地網(wǎng)，例如，本 地藍牙網(wǎng)絡(luò)310。接下來，HC 100A和HC 100B的用戶（用戶301A和301B)選擇在其相應(yīng) HC 100上開始即時翻譯會話1009。例如，響應(yīng)于屏幕上的選項，每個用戶301A和301B使 用話音、頭部運動、手勢命令或其任何組合來確認即時翻譯會話。
[0044] 在初始軟件應(yīng)用程序產(chǎn)品安裝期間，HC 100可以經(jīng)配置使得第一語言（語言1) 為優(yōu)選的語言，步驟1003。盡管HC 100在運行，但是可以廣播包含優(yōu)選的語言設(shè)置的本地 網(wǎng)詢問，步驟1005。當HC 100處于另一（第二）HC 100的范圍（短程，例如在100英尺以 下）內(nèi)時，標識和建立本地通信網(wǎng)，步驟1007。接下來，屏幕上的（和/或音頻）提示被呈 現(xiàn)給用戶以開始即時翻譯會話，步驟1008。
[0045] 下文將從起始與HC 100B的用戶的對話的HC 100A的用戶的視角進行描述。在 1011處，HC 100A捕獲第一語言的話音輸入，S卩，由用戶301A產(chǎn)生的語音。接下來，步驟 1013通過網(wǎng)絡(luò)連接（例如，Wi-Fi或4G LTE)將所捕獲的語音傳輸?shù)交谠频恼Z音識別服 務(wù)401、405。語音識別服務(wù)405將語音轉(zhuǎn)錄且識別成第一語言的文本并且將經(jīng)轉(zhuǎn)錄的第一 語言的文本返回到HC 100A。作為響應(yīng)，HC 100A通過本地網(wǎng)310接收1015并且隨后廣播 1017作為第一語言的文本數(shù)據(jù)的經(jīng)轉(zhuǎn)錄文本，此種本地網(wǎng)可以是藍牙本地網(wǎng)。
[0046] 在1021處，HC 100B隨后可以接收經(jīng)廣播的第一語言的文本。接下來，HC 100B將 第一語言的文本傳輸1023到基于云的翻譯服務(wù)410,從而被翻譯成第二語言的文本?；?云的翻譯服務(wù)410將經(jīng)翻譯的第二語言的文本返回到HC 100B (在1025處）。HC 100B隨 后將翻譯成第二語言的接收到的文本顯示1027在微顯示器210、1010上并且在HC 100B處 使用音頻揚聲器230向用戶301B合成第二語言的文本的語音1029 (例如，以自動方式地閱 讀、敘述、陳述、念出）。
[0047] 所屬領(lǐng)域的技術(shù)人員將認識到，每個HC 100可以執(zhí)行上述程序并且所述程序?qū)?交替并且使用戶300A和300B能夠轉(zhuǎn)換。
[0048] 上述即時翻譯系統(tǒng)1001的優(yōu)點包含以下事實：能夠查看輸入的文本而不是單獨 依賴于僅文本到語言的合成通常是非常有用的。具體來說，在一個人想要在進行中的對話 中參考前述注解的情況下。此外，將微顯示器210、1010定位在靠近眼睛的位置中而不阻礙 用戶的視野會使用戶能夠與所述用戶正在對話的人保持目光接觸，并且因此使用戶能夠遵 守人際溝通的基本規(guī)則-保持目光接觸。
[0049] 在其他實施例中，遵循本發(fā)明的原則執(zhí)行從（第一或源）語言到（第二或目標） 語言的即時翻譯。即時翻譯可以包含即時語音翻譯，以多種格式的一種口頭人類語言到另 一種口頭人類語言的轉(zhuǎn)換包含從語音到語音（STS)、從語音到文本（STT)、從文本到語音 (TTS)和/或從文本到文本（TTT)的翻譯。在實例實施例中，語音可以通過可操作地耦合 到HC 100上的一個或多個麥克風檢測到并且即時地從原始語言翻譯到經(jīng)翻譯語言。經(jīng)翻 譯的語音可以呈現(xiàn)為文本和/或經(jīng)合成的語音。在另一實例實施例中，含有嵌入文本的圖 像可以通過可操作地耦合到HC 100上的一個或多個相機160 (圖4)捕獲，所述嵌入文本可 以被識別并且即時地從原始語言翻譯到經(jīng)翻譯語言。經(jīng)識別和翻譯的文本可以呈現(xiàn)為經(jīng)合 成的語音和/或文本。
[0050] 所屬領(lǐng)域的技術(shù)人員應(yīng)認識到，即時翻譯可以進一步啟用即時格式轉(zhuǎn)換；將檢測 到的話音輸入轉(zhuǎn)換成相同語言的文本或?qū)⒔?jīng)識別的文本轉(zhuǎn)換成經(jīng)合成的語音。換言之，實 例實施例可以啟用免提即時STT轉(zhuǎn)換，S卩，指示，而另一實例實施例可以啟用免提即時TTS 轉(zhuǎn)換，即，讀?。畛觯┙?jīng)識別文本的經(jīng)合成語音。
[0051] 圖4圖示了用于即時語音翻譯中的HC 100、外圍主機裝置200以及基于云的網(wǎng)絡(luò) 資源505的另一實施例。HC 100可以由微顯示器210、一個或多個麥克風（麥克風1和麥 克風2) 220、一個或多個音頻揚聲器（揚聲器1和揚聲器2) 230、相機160、主板101以及無 線通信模塊208組成，所述主板進一步由可操作地耦接的處理器205、存儲器或其他存儲設(shè) 備（未圖示）、噪音消除模塊（NCS) 225、命令和控制模塊250、語音識別/指示模塊255、語 音合成模塊260、光學字符識別（OCR)模塊165組成。HC 100可以進一步由啟用即時語音 翻譯的額外元件組成。模塊250、255、260、225如上所述。
[0052] 此外，在HC 100的一些實施例中，用戶可以針對優(yōu)選的性能定制HC 100的配置和 操作。HC 100與基于云的網(wǎng)絡(luò)資源205之間的通信可以通過將外圍主機裝置200(例如， 智能手機）用作無線中繼器的各種無線通信方法來啟用。換言之，HC 100可以利用主機 裝置200形成包含通信鏈路的本地通信網(wǎng)。主機裝置可以將第一語言或源語言（或第二 語言或目標語言）的文本數(shù)據(jù)轉(zhuǎn)播到網(wǎng)絡(luò)服務(wù)語音識別模塊555 (或文本翻譯模塊570)。 在一些實施例中，HC 100可以使用各種無線通信方法直接與基于云的網(wǎng)絡(luò)資源505通信， 所述無線通信方法例如，上文在圖2中描述的Wi-Fi、3G(GSM、CDMA等）或4G LTE蜂窩或 WiFi-Direct?；谠频木W(wǎng)絡(luò)資源505可以包含基于云的語音識別/指示模塊555、OCR模 塊565、語音合成模塊560以及文本翻譯模塊570。
[0053] 在一個實施例中，即時語音翻譯可以在HC 100處局部出現(xiàn)。麥克風（麥克風1和 麥克風2) 220接收話音輸入，S卩，語音輸入。噪音消除模塊（NCS) 225可以用于消除背景噪 音，使得可以向本地語音識別模塊255提供通過麥克風220接收的話音/語音輸入的更準 確表示。NCS 125可以使用任何噪音消除技術(shù)，例如，主動噪音消除（ANC)。可以向語音識 別/指示模塊255提供經(jīng)處理或未經(jīng)處理的（噪音消除方式的）話音/語音輸入，所述語音 識別/指示模塊隨后對數(shù)字音頻信號執(zhí)行語音識別，從而將經(jīng)識別的語音轉(zhuǎn)換成文本。任 選地，經(jīng)轉(zhuǎn)錄的文本可以顯示在微顯示器210上，從而提供經(jīng)識別語音的轉(zhuǎn)錄。經(jīng)轉(zhuǎn)錄的文 本可以提供到本地翻譯模塊（未圖示）。本地翻譯模塊可以將經(jīng)轉(zhuǎn)錄文本從一種自然語言 翻譯成另一種自然語言，從而產(chǎn)生經(jīng)翻譯的文本。任選地，經(jīng)翻譯文本可以顯示在微顯示器 210上。經(jīng)翻譯文本可以供應(yīng)到語音合成模塊260并且使用HC 100的一個或多個音頻揚聲 器230響亮地讀出（念出）。主板101上的本地翻譯模塊或其他模塊250、255、260具有每 個用戶的默認語言設(shè)置并且可以根據(jù)默認語言自動地確定目標語言。
[0054] 實例實施例以及定制的配置可以包含設(shè)置與不同麥克風220相關(guān)聯(lián)的不同的噪 音水平閾值，使得可以識別和翻譯除了 HC 100的用戶/佩戴者之外的人所發(fā)出的語音（通 常為第二（外國）語）。當HC 100在監(jiān)聽和監(jiān)視接收到的語音的音頻信號時，一些實例實 施例不可以使用任何噪音消除技術(shù)來處理接收到的音頻信號。當向用戶/佩戴者讀出/念 出經(jīng)合成的語音時，一些實例實施例可以使用噪音消除技術(shù)，尤其在包含用于用戶的每個 耳朵的至少一個音頻揚聲器230的HC的實例實施例中。
[0055] 在優(yōu)選實施例中，即時語音翻譯可以使用基于云的網(wǎng)絡(luò)資源505。HC 100可以使 用已知的無線協(xié)議（例如，藍牙或Wi-Fi Direct)經(jīng)由無線通信模塊208與外圍主機裝置 200 (例如，智能手機）通信。智能手機200可以充當無線中繼器，從而啟用HC 100與基于 云的網(wǎng)絡(luò)資源505之間的通信。HC 100的一些實施例可以包含無線通信模塊208,所述無 線通信模塊包含多個無線電（例如，4G LTE和Wi-Fi)，所述無線電在不需要使用無線中繼 裝置（例如，主機200)的情況下啟用與基于云的網(wǎng)絡(luò)資源505的通信。
[0056] 麥克風（麥克風1和麥克風2) 220接收一種語言的話音/音頻輸入，S卩，語音輸 入。噪音消除模塊（NCS) 225可以用于消除背景噪音，使得可以向本地語音識別模塊255提 供通過麥克風220接收的話音/語音輸入的更準確表示。NCS 225可以使用任何噪音消除 技術(shù)，例如，主動噪音消除（ANC)。向本地語音識別/指示模塊255提供一種（源）語言的 經(jīng)處理或未經(jīng)處理的話音/語音輸入。語音識別模塊255對接收到的數(shù)字音頻輸入信號執(zhí) 行語音識別，從而將經(jīng)識別語音（源語言）轉(zhuǎn)換成源語言的文本。所得的經(jīng)識別文本（一 種語言/源語言）被傳輸?shù)竭h程基于云的翻譯模塊570。
[0057] 遠程基于云的翻譯模塊570翻譯接收到的源語言文本，從而產(chǎn)生經(jīng)翻譯文本（即， 將文本從一種/源語言翻譯到第二/目標語言文本）。基于云的網(wǎng)絡(luò)服務(wù)器505 (例如）通 過主機200中繼器將所述經(jīng)翻譯文本傳送到HC 100。在所述經(jīng)翻譯文本通過HC 100接收 之后，處理器執(zhí)行命令以將接收到的目標語言文本顯示在微顯示器210上。經(jīng)翻譯文本隨 后可以供應(yīng)到語音合成模塊260并且使用HC 100的一個或多個音頻揚聲器230響亮地讀 出（念出）。HC 100命令/控制模塊250或語音/文本處理模塊（STT 255、TTS 260)可以 具有每個用戶的默認（或偏好）語言設(shè)置。以此方式，來自HC 100的通過主機200轉(zhuǎn)播的 翻譯請求基于用戶默認（偏好）語言設(shè)置自動地設(shè)置目標語言。用戶不需要插入或以其他 方式輸入在HC 100與基于云的網(wǎng)絡(luò)服務(wù)505之間傳送的每個翻譯請求的目標語言的指示。
[0058] 所屬領(lǐng)域的技術(shù)人員將認識到，其中其他過程從HC 100中卸載的其他配置也是 可能的。例如，HC 100可以提供各種到基于云的網(wǎng)絡(luò)資源505的輸入，例如，包含話音/語 音輸入并且可以向基于云的網(wǎng)絡(luò)語音識別/指示模塊555提供自動指示（用戶優(yōu)選的/默 認的）目標語言，以對數(shù)字音頻信號執(zhí)行語音識別，從而將語音轉(zhuǎn)換成相同語言的文本。經(jīng) 識別文本隨后可以由基于云的網(wǎng)絡(luò)翻譯模塊570處理以產(chǎn)生經(jīng)翻譯文本（從源語言自動到 默認目標語言）。經(jīng)翻譯文本隨后可以被傳送回HC 100,其中所述經(jīng)翻譯文本可以作為文 本顯不在微顯不器210上并且被供應(yīng)到語音合成模塊260并且使用一個或多個揚聲器230 以目標語言響亮地讀出（念出）。至少從用戶不需要在即時翻譯請求中輸入目標語言的指 示的意義來說，前述內(nèi)容是自動的。
[0059] 或者，HC 100可以將檢測到的語音信號（以及用戶目標語言的自動指示）發(fā)送到 基于云的語音識別模塊555,所述基于云的語音識別模塊將經(jīng)識別語音轉(zhuǎn)換成文本。所述經(jīng) 識別文本隨后可以由基于云的網(wǎng)絡(luò)翻譯模塊570處理以在不需要（免于）特定的語言請求 的用戶輸入的情況下自動地產(chǎn)生目標語言的經(jīng)翻譯文本。所述經(jīng)翻譯文本隨后可以由基于 云的網(wǎng)絡(luò)語音合成模塊560使用以產(chǎn)生目標語言的經(jīng)翻譯語音。所述經(jīng)翻譯語音可以被發(fā) 送到HC 100,其中在被接收之后，可以使用揚聲器230向用戶播放所述經(jīng)翻譯語音。
[0060] 下文將結(jié)合圖4描述啟用即時翻譯的實例實施例。
[0061] 在實例實施例中，含有嵌入文本的圖像可以通過HC 100的相機160來捕獲。使用 OCR模塊165可以局部出現(xiàn)所述嵌入文本的識別。經(jīng)識別文本（源語言）隨后可以被提供 到本地翻譯模塊（未圖示）以自動地產(chǎn)生（如通過默認語言設(shè)置指示的用戶偏好的）目標 語言的經(jīng)翻譯文本。所述經(jīng)翻譯文本可以顯示在微顯示器210上，和/或使用語音合成模 塊260和揚聲器230向用戶陳述。前述內(nèi)容'自動地'實現(xiàn)意味著用戶不需要向即時翻譯 處理輸入目標語言指示。
[0062] 在優(yōu)選的實施例中，通過相機160捕獲的具有嵌入文本的圖像可以經(jīng)由充當無線 中繼器的外圍主機裝置200 (例如，智能手機200)或直接使用無線通信模塊208從HC 100 傳輸?shù)交诰W(wǎng)絡(luò)的OCR模塊565。具有嵌入文本的所捕獲圖像可以被發(fā)送到基于云的網(wǎng)絡(luò) 服務(wù)505,其中可以使用基于云的OCR模塊565來執(zhí)行嵌入文本的識別。經(jīng)識別文本以及來 自HC 100的目標語言的自動指示（根據(jù)用戶偏好/默認設(shè)置供應(yīng)）隨后可以被提供到基 于云的翻譯模塊570以產(chǎn)生目標語言的經(jīng)翻譯文本。所述經(jīng)翻譯文本隨后可以被發(fā)送到HC 100。在HC 100處接收到所述經(jīng)翻譯文本之后，所述經(jīng)翻譯文本可以顯示在微顯示器210 上，和/或使用本地語音合成模塊260轉(zhuǎn)換成語音并且使用揚聲器230念出。
[0063] 接下來將結(jié)合圖5A和5B分別描述即時翻譯過程1001AU001B的實例實施例。
[0064] 圖5A描繪了本發(fā)明的語音到語音（STS)以及語音到文本（STT)的即時翻譯的實 例實施方案1001A。圖5A中列出的各種功能可以通過機載（即，局部地）HC 100實施或卸 載到其他處理裝置（即，遠程地），例如，主機200或基于云的網(wǎng)絡(luò)資源505 (如圖4中所 示）。在優(yōu)選的實施例中，卸載密集型處理（CPU處理）活動以及其他資源密集型操作，使得 HC 100更經(jīng)濟地且更有效地操作。卸載此類處理使HC 100能夠通過導出功率消耗成本而 保存電池功率。此外，利用網(wǎng)絡(luò)資源來執(zhí)行此類處理使HC 100機載資源能夠被重新分配。 [0065] 圖5A中描繪的語音到語音（STS)以及語音到文本（STT)的翻譯的實例實施方案 1001A以通過麥克風220檢測話音輸入開始，步驟4201。在檢測到話音輸入之后，識別包含 在輸入內(nèi)的語音，步驟4203。語音識別可以包含自動語言標識。經(jīng)識別的語音隨后可以被 轉(zhuǎn)錄成文本，步驟4205。在所述經(jīng)識別語音已被轉(zhuǎn)錄成文本之后，經(jīng)轉(zhuǎn)錄文本任選地可以在 微顯示器210上顯示給用戶（即，在微顯示器210上的指示的轉(zhuǎn)錄），步驟4211。接下來， 在步驟4207處所述經(jīng)轉(zhuǎn)錄文本可以被自動地翻譯成預選擇的語言（預定義目標語言），例 如，用戶的優(yōu)選語言，例如英語。用戶不需要將目標語言的指示輸入到步驟4207,并且因此 系統(tǒng)1001A執(zhí)行即時自動翻譯。在進行自動翻譯（從源語言到用戶的默認/目標語言）之 后，在步驟4211處所述經(jīng)翻譯文本任選地可以在微顯示器210上顯示給用戶（即，作為用 戶的優(yōu)選語言的翻譯）。并行地在步驟4209處，所述經(jīng)翻譯文本可以合成為語音。在合成 語音之后，在步驟4213處，系統(tǒng)1001A隨后可以通過音頻揚聲器230向用戶響亮地讀出（念 出）與所述經(jīng)翻譯文本相對應(yīng)的語音。
[0066] 圖5B描繪了文本到語音（TTS)以及文本到文本（TTT)的即時翻譯的實例實施方 案1001B。類似于圖5A的各種功能，圖5B中列出的各種功能可以通過機載HC 100實施或 卸載到其他處理裝置，例如，主機裝置200或基于云的網(wǎng)絡(luò)資源505 (如圖4中所示）。在優(yōu) 選的實施例中，關(guān)于圖5A描述所述優(yōu)選實施例的益處，密集型CPU處理以及其他資源密集 型的操作被卸載，使得HC 100更經(jīng)濟地且更有效地操作。
[0067] 圖5B中所描繪的文本到語音（TTS)以及文本到文本（TTT)的即時翻譯的實例實 施方案1001B以接收圖像輸入（例如，通過相機160)開始，步驟4301。在輸入圖像之后，使 用例如光學字符識別（OCR)的技術(shù)識別嵌入到圖像內(nèi)的文本，步驟4303。在識別嵌入文本 之后，所述嵌入文本任選地可以合成為語音，步驟4307并且隨后通過耦合到HC 100上的音 頻揚聲器230向用戶響亮地讀出（念出），步驟4311。另外或或者，在步驟4305處經(jīng)識別 的嵌入文本可以被翻譯成預選擇的（或預定義目標）語言，例如，用戶的優(yōu)選語言，例如，英 語。用戶不需要將目標語言的指示輸入到步驟44305,并且因此系統(tǒng)1001B執(zhí)行即時自動翻 譯。在進行自動翻譯之后，在步驟4309處所述經(jīng)翻譯文本任選地可以在微顯示器210上顯 示給用戶（即，作為變成用戶的優(yōu)選/目標語言的翻譯）。并行地在步驟4307處，所述經(jīng)翻 譯文本可以合成為語音。在合成語音之后，在步驟4311處系統(tǒng)1001B隨后可以通過音頻揚 聲器230向用戶響亮地讀出（念出）經(jīng)翻譯文本。
[0068] 在許多情形中，系統(tǒng)1001A、1001B STS和/或STT翻譯可能是非常有用的。圖6A 圖示了一個實例，HC 100的用戶351或佩戴者可以與僅能夠講外語的人360互動。系統(tǒng) 1001A、1001B通過麥克風220 (在中圖4示出）檢測并且識別講外語的人360的語音，例如， 西班牙語音，并且對檢測到的西班牙話音輸入執(zhí)行話音識別。經(jīng)識別語音隨后可以被翻譯 成多種語言，包含用戶（351)的優(yōu)選或目標語言，例如英語。經(jīng)翻譯語音的文本可以在微顯 示器210處提供給用戶351?；蛘呋蛄硗?，可以使用語音合成技術(shù)通過揚聲器230向用戶 351讀出所述經(jīng)翻譯語音。HC 100的實例實施例可以配備有兩個揚聲器230,除了多個麥 克風220以外，一個用于用戶351的每個耳朵以任選地通過主動噪音消除（ANC) 225來提供 噪音消除，使得用戶351聽不到不必要的環(huán)境聲音，包含說外語的人360的語音。此類噪音 消除特征225可能是有用的，使得HC100的用戶351僅聽到經(jīng)系統(tǒng)翻譯的語音（經(jīng)合成的 4209、4307)并且聽不到正在翻譯的外語語音（人360的話音）。
[0069] 此外，正在翻譯的外語語音也可以作為外語（源）語言或用戶需要的另一種語言 的文本（通過微顯示器210)顯示給用戶351。例如，西班牙語音可以被翻譯成英語并且作 為英語文本呈現(xiàn)。
[0070] HC 100(系統(tǒng)1001A、B)啟用的即時翻譯對于學習外語是非常有用的。在這種用 途情況下，'目標'語言是外語（與用戶的默認/優(yōu)選設(shè)置語言不同的語言）。例如，佩戴者 351可以決定使系統(tǒng)將他的本土語言（例如，英語）翻譯成所需要的外語（目標）語言，例 如，法語。在每天的對話中通過使用即時翻譯裝置100/系統(tǒng)1001A、B，佩戴者351可以將 英語語音（其話音輸入）翻譯成法語并且使用ANC 225通過揚聲器230僅聽到法語。因此 用戶351可以將他/她自己沉浸于他/她想學習的（目標）語言中。佩戴者351還可以通 過微顯示器210看到經(jīng)翻譯語音的文本以促進書面（目標）語言的學習。通過他們本身或 除了文本之外的圖像還可以同時利用音頻呈現(xiàn)給用戶。
[0071] 在圖6A所圖示的又另一實例中，HC 100不僅可以以可聽見的語音的形式從HC揚 聲器230輸出經(jīng)翻譯（目標）文本，但是HC 100還可以將所述經(jīng)翻譯（目標）文本輸出到 外部裝置，例如，智能手機200。例如，用戶351可能到達外國并且需要使用HC 100來與外 國出租車司機（例如，在360)溝通。替代于將經(jīng)翻譯（目標）文本從揚聲器230輸出到微 顯示器210或語音，HC 100可以將所述經(jīng)翻譯（目標）文本輸出到與駕駛員360相關(guān)聯(lián)的 外圍裝置200,例如，出租車司機的蜂窩電話。外圍裝置200可以可操作地耦合到揚聲器或 能夠顯示文本的屏幕上。例如，在最初開始使用時，HC 100可以包含用以詢問外部裝置的 程序指令，所述外部裝置例如，監(jiān)視器、個人數(shù)字助理、筆記本計算機、便攜式音樂播放器、 遠程揚聲器、蜂窩電話、智能手機或具有收發(fā)器或接收器并且能夠接收數(shù)據(jù)的無線通信的 任何其他裝置。HC 100可以使用已知協(xié)議標準（例如，藍牙）或所屬領(lǐng)域中已知的任何其 他無線通信協(xié)議與外部裝置200配對。
[0072] 圖6B描繪了其中TTT翻譯有用的實例。例如，用戶351在外國旅行并且不理解一 種（源）語言的指示牌350。如先前在圖5B中描述，HC 100和系統(tǒng)1001B可以對指示牌 350的相機160圖像執(zhí)行即時TTT翻譯。具體地說，系統(tǒng)1001B將輸入圖像文本即時地/自 動地從一種（源）外語翻譯成用戶的默認（目標）語言，使得用戶351在微顯示器210上 具有（用戶的目標語言的）經(jīng)翻譯文本。
[0073] 可以使用計算機程序產(chǎn)品配置本發(fā)明的其他實例實施例；例如，控制件可以在軟 件中進行編程以實施本發(fā)明的實例實施例。本發(fā)明的其他實例實施例可以包含含有指令的 非暫時性計算機可讀媒體，所述指令可以由處理器執(zhí)行并且當執(zhí)行時，所述指令使處理器 能夠完成本文所描述的方法。應(yīng)理解，本文所描述的框和流程圖中的元件可以以軟件、硬 件、固件或未來確定的其他類似實施方案來實施。另外，本文所描述的框和流程圖中的元件 可以以任何方式在軟件、硬件或固件中組合或分割。如果在軟件中實施，那么軟件可以用可 以支持本文中所揭示的實例實施例的任何語言寫出。軟件可以存儲在任何形式的計算機可 讀媒體中，例如，隨機存取存儲器（RAM)、只讀存儲器（ROM)、光盤只讀存儲器（CD-ROM)等。 在操作中，通用或應(yīng)用程序特定的處理器以所屬領(lǐng)域中很好地理解的方式加載并且執(zhí)行軟 件。應(yīng)理解，框和流程圖可以包含不同地布置或定向或不同地呈現(xiàn)的更多或更少的元件。應(yīng) 理解，實施方案可以指示圖示了本發(fā)明的實施例的執(zhí)行的框、流和/或網(wǎng)絡(luò)圖以及框和流 程圖的數(shù)目。
[0074] 雖然本發(fā)明已經(jīng)參考其示范實施例進行特定展示和描述，但所屬領(lǐng)域的技術(shù)人員 應(yīng)理解，在不脫離由所附權(quán)利要求書涵蓋的本發(fā)明的范圍的情況下，可以在其中進行形式 和細節(jié)的各種改變。
【權(quán)利要求】
1. 一種執(zhí)行即時語音翻譯的方法，所述方法包括： 建立包含至少第一耳機計算機與第二耳機計算機之間的鏈路的本地通信網(wǎng)； 在所述第一耳機計算機處捕獲第一語言的語音； 將所述所捕獲的所述第一語言的語音從所述第一耳機計算機傳輸?shù)交诰W(wǎng)絡(luò)的語音 識別服務(wù)以將所述所捕獲的語音識別和轉(zhuǎn)錄為所述第一語言的文本； 在所述第一耳機計算機處從所述基于網(wǎng)絡(luò)的語音識別服務(wù)接收所述第一語言的所述 文本； 通過所述本地網(wǎng)將所述第一語言的所述文本廣播到至少所述第二耳機計算機； 在所述第二耳機計算機處接收所述第一語言的所述文本； 將所述接收到的所述第一語言的經(jīng)廣播文本從所述第二耳機計算機傳輸?shù)交诰W(wǎng)絡(luò) 的文本翻譯服務(wù)以將所述第一語言的所述文本翻譯成第二語言的文本； 在所述第二耳機計算機處從所述基于網(wǎng)絡(luò)的文本翻譯服務(wù)接收所述第二語言的所述 文本；以及 將所述第二語言的所述文本顯示在所述第二耳機計算機的顯示器上。
2. 根據(jù)權(quán)利要求1所述的方法，其進一步包含在所述第二耳機計算機處根據(jù)所述第二 語言的所述文本來合成語音，并且通過所述第二耳機計算機的音頻揚聲器呈現(xiàn)所述經(jīng)合成 文本。
3. 根據(jù)權(quán)利要求1所述的方法，其進一步包含在建立所述本地通信網(wǎng)之前，分別將所 述第一語言和所述第二語言設(shè)置為所述第一耳機計算機和所述第二耳機計算機的優(yōu)選操 作語目。
4. 根據(jù)權(quán)利要求3所述的方法，其中所述建立所述本地網(wǎng)進一步包含廣播包含每個耳 機計算機的所述優(yōu)選操作語言的詢問。
5. 根據(jù)權(quán)利要求1所述的方法，其進一步包含使用至少話音命令、頭部運動命令、手勢 命令或其組合來選擇屏幕上的選項，以開始即時語音翻譯的方法。
6. 根據(jù)權(quán)利要求1所述的方法，其中所述本地通信網(wǎng)使用藍牙個人區(qū)域網(wǎng)（PAN)分布。
7. 根據(jù)權(quán)利要求1所述的方法，其中所述本地通信網(wǎng)進一步包含在至少一個耳機計算 機與至少一個主機裝置之間的通信鏈路，所述主機裝置配置為所述至少一個耳機計算機與 所述基于網(wǎng)絡(luò)的語音識別服務(wù)和所述基于網(wǎng)絡(luò)的文本翻譯服務(wù)之間的中繼器。
8. 根據(jù)權(quán)利要求7所述的方法，其中所述主機裝置進一步包含顯示器以呈現(xiàn)所述第二 語言的所述文本。
9. 根據(jù)權(quán)利要求7所述的方法，其中所述主機裝置進一步包含至少短程無線電和遠程 無線電，所述主機裝置利用所述至少一個耳機計算機將所述短程無線電用于包含所述通信 鏈路的所述本地通信網(wǎng)，并且使用所述遠程無線電來訪問所述基于網(wǎng)絡(luò)的語音識別服務(wù)和 所述基于網(wǎng)絡(luò)的文本翻譯服務(wù)。
10. 根據(jù)權(quán)利要求9所述的方法，其中所述遠程無線電是全球移動通信系統(tǒng)（GSM)、分 碼多工存?。–DMA)或4G長期的演進（LTE)無線電。
11. 一種用以執(zhí)行即時語音翻譯的耳機計算裝置，所述裝置包括： 語音捕獲模塊，用以捕獲第一語言的語音； 通信模塊，用以利用至少第二耳機計算機建立包含鏈路的本地通信網(wǎng)、將所述所捕獲 的所述第一語言的語音傳輸?shù)交诰W(wǎng)絡(luò)的語音識別服務(wù)以將所述所捕獲的語音識別和轉(zhuǎn) 錄為所述第一語言的文本、從所述基于網(wǎng)絡(luò)的語音識別服務(wù)接收所述第一語言的所述文 本，以及通過所述本地網(wǎng)將所述第一語言的所述文本廣播到所述至少第二耳機計算機、從 所述至少第二耳機計算機接收第二語言的文本、將所述接收到的所述第二語言的文本傳輸 到基于網(wǎng)絡(luò)的文本翻譯服務(wù)以將所述第二語言的所述文本翻譯成所述第一語言的文本，以 及從所述基于網(wǎng)絡(luò)的文本翻譯服務(wù)接收所述第一語言的所述文本；以及 微顯示器，用以顯示所述第一語言的所述經(jīng)翻譯文本。
12. 根據(jù)權(quán)利要求11所述的耳機計算裝置，其進一步包括語音合成器，用以合成所述 第一語言的所述文本；以及音頻揚聲器，用以播放所述經(jīng)合成語音。
13. 根據(jù)權(quán)利要求11所述的耳機計算裝置，其進一步包含優(yōu)選操作語言，在所述耳機 計算機的初始設(shè)定期間并且至少在建立所述本地通信網(wǎng)之前，設(shè)置所述優(yōu)選操作語言。
14. 根據(jù)權(quán)利要求13所述的耳機計算裝置，其中所述通信模塊廣播包含所述耳機計算 機的所述優(yōu)選操作語言的詢問，作為利用所述至少第二耳機計算機建立包含所述鏈路的所 述本地通信網(wǎng)的一部分。
15. 根據(jù)權(quán)利要求11所述的耳機計算裝置，其進一步包含屏幕上的選項以開始即時語 音翻譯的所述方法，所述屏幕上的選項通過至少話音命令、頭部運動命令、手勢命令或其組 合選擇。
16. 根據(jù)權(quán)利要求11所述的耳機計算裝置，其中所述通信模塊使用藍牙個人區(qū)域網(wǎng) (PAN)分布來建立所述本地通信網(wǎng)。
17. 根據(jù)權(quán)利要求11所述的耳機計算裝置，其中所述通信模塊利用至少一個主機裝置 通過所述本地通信網(wǎng)來進一步建立通信鏈路，所述主機裝置配置為所述耳機計算機與所述 基于網(wǎng)絡(luò)的語音識別服務(wù)和所述基于網(wǎng)絡(luò)的文本翻譯服務(wù)之間的中繼器。
18. 根據(jù)權(quán)利要求17所述的耳機計算裝置，其中所述主機裝置進一步包含顯示器，以 呈現(xiàn)所述第二語言的所述文本。
19. 根據(jù)權(quán)利要求11所述的耳機計算裝置，其中所述通信模塊進一步包含至少短程無 線電和遠程無線電，所述主機裝置利用所述至少一個耳機計算機將所述短程無線電用于包 含所述通信鏈路的所述本地通信網(wǎng)并且使用所述遠程無線電來訪問所述基于網(wǎng)絡(luò)的語音 識別服務(wù)和所述基于網(wǎng)絡(luò)的文本翻譯服務(wù)。
20. 根據(jù)權(quán)利要求19所述的耳機計算裝置，其中所述遠程無線電是全球移動通信系統(tǒng) (GSM)、分碼多工存取（CDMA)或4G長期演進（LTE)無線電。
21. -種用于控制耳機計算機的操作的非暫時性計算機程序產(chǎn)品，所述計算機程序產(chǎn) 品包括具有存儲于其上的計算機可讀指令的計算機可讀媒體，當通過處理器加載和執(zhí)行 時，所述計算機可讀指令使所述處理器能夠： 建立包含至少第一耳機計算機與第二耳機計算機之間的鏈路的本地通信網(wǎng)； 在所述第一耳機計算機處捕獲第一語言的語音； 將所述所捕獲的所述第一語言的語音從所述第一耳機計算機傳輸?shù)交诰W(wǎng)絡(luò)的語音 識別服務(wù)以將所述所捕獲的語音識別和轉(zhuǎn)錄為所述第一語言的文本； 在所述第一耳機計算機處從所述基于網(wǎng)絡(luò)的語音識別服務(wù)接收所述第一語言的所述 文本； 通過所述本地網(wǎng)將所述第一語言的所述文本廣播到至少所述第二耳機計算機； 在所述第一耳機計算機處從所述第二耳機計算機接收第二語言的文本； 將所述接收到的所述第二語言的文本傳輸?shù)交诰W(wǎng)絡(luò)的文本翻譯服務(wù)以將所述第二 語言的所述文本翻譯成所述第一語言的文本； 在所述第一耳機計算機處從所述基于網(wǎng)絡(luò)的文本翻譯服務(wù)接收所述第一語言的所述 文本；以及 將所述第一語言的所述文本顯示在所述第一耳機計算機的微顯示器上。
【文檔編號】G06F3/16GK104303177SQ201380022177
【公開日】2015年1月21日 申請日期:2013年4月24日 優(yōu)先權(quán)日:2012年4月25日
【發(fā)明者】克里斯多?！づ两鹕? 杰佛瑞·J.·賈寇伯森, 大衛(wèi)·布魯斯·菲古森, 史帝芬·A·龐博 申請人:寇平公司