本發(fā)明通常涉及聲信號(hào)或聲音獲取的領(lǐng)域。本發(fā)明涉及音頻信號(hào)的處理。本發(fā)明還涉及用于獲取、處理和音頻再現(xiàn)定向聲信號(hào)的電路、設(shè)備、系統(tǒng)和相關(guān)計(jì)算機(jī)可執(zhí)行代碼。

背景

聽力損失、聾癥、重聽、聽力障礙是部分或全部失聽。在兒童中，它可影響語言的發(fā)展并可引起對(duì)成人的工作相關(guān)的困難。它可由很多因素——包括遺傳、衰老、暴露于噪聲、疾病、化學(xué)品和物理創(chuàng)傷引起。雖然聽力測(cè)試的結(jié)果以分貝表示，聽力損失通常被描述為輕度、輕度-中度、中度、中度嚴(yán)重、嚴(yán)重或十分嚴(yán)重的。

聽力損失通常是由在生命中的某個(gè)時(shí)候沒有聽力障礙的人具有的。在世界上聽力損失在某種程度上影響人口的大約10％。存在可防止聽力損失的很多措施，包括大噪聲、化學(xué)藥劑和物理創(chuàng)傷的避免。

對(duì)于由于聽力損失而需要聽力幫助的那些人，存在助聽器，其通常是設(shè)計(jì)成通常為了使語音變得更易理解而為穿戴者放大聲音的電聲設(shè)備。被稱為喇叭狀助聽器或耳角的較早的設(shè)備是設(shè)計(jì)成收集聲能并將它引導(dǎo)到耳道內(nèi)的無源漏斗狀放大圓錐體。類似的設(shè)備包括骨錨式助聽器和耳蝸植入物。

到目前為止提供的所有助聽器的主要缺點(diǎn)是它們不能夠在空間上分離背景噪聲與穿戴者希望聽到的感興趣的聲音。

也被稱為身體攜帶的計(jì)算機(jī)或穿戴式設(shè)備的穿戴式計(jì)算設(shè)備是由持有人在衣服里面、與衣服一起或在衣服的最上面戴著的微型電子設(shè)備。為了通用或?qū)Ｓ眯畔⒓夹g(shù)和媒體發(fā)展而開發(fā)了穿戴式設(shè)備。

存在對(duì)可執(zhí)行來可選地使用穿戴式計(jì)算設(shè)備獲取、處理并再現(xiàn)聲信號(hào)的提高的方法、電路、設(shè)備、系統(tǒng)和相關(guān)計(jì)算機(jī)的需要。

發(fā)明概述

本發(fā)明可包括用于獲取聲信號(hào)例如人類語音和/或各種其它聲音類型的方法、電路、設(shè)備、系統(tǒng)和相關(guān)機(jī)器可執(zhí)行代碼。根據(jù)另外的實(shí)施方式，本發(fā)明可包括用于處理、標(biāo)準(zhǔn)化、均衡和/或音頻再現(xiàn)所獲取的聲信號(hào)例如人類語音和/或其它可聽得見的聲音的方法、電路、設(shè)備、系統(tǒng)和相關(guān)機(jī)器可執(zhí)行代碼。根據(jù)又一些另外的實(shí)施方式，本發(fā)明可包括用于轉(zhuǎn)錄、翻譯和/或用圖形再現(xiàn)所獲取的人類語音的方法、電路、設(shè)備、系統(tǒng)和相關(guān)機(jī)器可執(zhí)行代碼。本發(fā)明包括用于動(dòng)態(tài)地將聲信號(hào)(例如聲音)獲取組件的方向性對(duì)準(zhǔn)由光學(xué)跟蹤系統(tǒng)識(shí)別和/或跟蹤的聲源(例如人類說話者)的方向的方法、電路、設(shè)備、系統(tǒng)和相關(guān)機(jī)器可執(zhí)行代碼。

根據(jù)實(shí)施方式，可提供移動(dòng)計(jì)算設(shè)備，例如穿戴式計(jì)算設(shè)備，包括(1)電氣地可配置的聲信號(hào)(即聲音)獲取組件，其操作和可選地方向性可由電信號(hào)動(dòng)態(tài)地改變；以及(2)光學(xué)跟蹤系統(tǒng)，其適合于光學(xué)地跟蹤一個(gè)或聲源并向聲信號(hào)獲取組件輸出電信號(hào)或指示符以調(diào)節(jié)聲信號(hào)獲取組件的操作和/或方向性，以便獲取來自被光學(xué)地跟蹤的聲源的一個(gè)方向的聲信號(hào)，同時(shí)實(shí)質(zhì)上抑制、丟棄、排除和/或以其他方式屏蔽來自除了被光學(xué)地跟蹤的聲源的該方向以外的方向的聲信號(hào)信息。根據(jù)實(shí)施方式，光學(xué)跟蹤系統(tǒng)可適合于隨著目標(biāo)聲源相對(duì)于計(jì)算設(shè)備移動(dòng)而更新它的輸出電信號(hào)或指示符，從而使聲信號(hào)獲取組件的方向性改變并跟蹤移動(dòng)的聲源，而組件不物理地移動(dòng)。

根據(jù)一些實(shí)施方式，移動(dòng)設(shè)備可以是以眼鏡的形式，該眼鏡具有遍及眼鏡的框架和/或桿和在框架和/或桿內(nèi)布置的麥克風(fēng)的陣列。根據(jù)這樣的實(shí)施方式，光學(xué)跟蹤系統(tǒng)可包括前視光學(xué)圖像傳感器，和/或光學(xué)跟蹤系統(tǒng)可包括面向內(nèi)的光學(xué)眼睛跟蹤傳感器。眼鏡實(shí)施方式還可包括通信接口——有線或無線的——以將眼鏡連接到可用作眼鏡的用戶接口的智能電話。智能電話的觸摸屏可用于觀看潛在跟蹤目標(biāo)并選擇用于由光學(xué)跟蹤系統(tǒng)實(shí)際跟蹤的一個(gè)或多個(gè)潛在目標(biāo)。智能電話還可用于提供對(duì)通過眼鏡的聲獲取組件獲取的語音的機(jī)器轉(zhuǎn)錄(即語音到文本)。智能電話也可用于提供對(duì)通過眼鏡的聲獲取組件獲取的語音的機(jī)器翻譯。

根據(jù)一些實(shí)施方式，移動(dòng)設(shè)備可以是以耳機(jī)的形式，該耳機(jī)具有遍及耳機(jī)的主體和框架和在主體和框架內(nèi)布置的麥克風(fēng)的陣列。根據(jù)這樣的實(shí)施方式，光學(xué)跟蹤系統(tǒng)可包括在耳機(jī)的前向表面上的前視光學(xué)圖像傳感器。耳機(jī)實(shí)施方式還可包括通信接口——有線或無線的——以將耳機(jī)連接到可用作耳機(jī)的用戶接口的智能電話。智能電話的觸摸屏可用于觀看潛在跟蹤目標(biāo)并選擇用于由光學(xué)跟蹤系統(tǒng)實(shí)際跟蹤的潛在目標(biāo)。智能電話還可用于提供針對(duì)通過耳機(jī)的聲獲取組件獲取的語音的機(jī)器轉(zhuǎn)錄(即語音到文本)功能。智能電話也可用于提供針對(duì)通過耳機(jī)的聲獲取組件獲取的語音的機(jī)器翻譯功能。

根據(jù)本發(fā)明的方面，可提供光學(xué)傳感器引導(dǎo)的定向音頻信號(hào)(或音頻流)產(chǎn)生，其中定向音頻信號(hào)/流產(chǎn)生可包括下列項(xiàng)中的一個(gè)或多個(gè)：(a)麥克風(fēng)選擇，(b)聲波束形成，和/或(c)聲波束操縱。根據(jù)實(shí)施方式，包括光學(xué)傳感器組件(例如具有光學(xué)器件的CCD或CMOS)和跟蹤電路(例如執(zhí)行圖像特征識(shí)別和跟蹤算法的處理器)的光學(xué)跟蹤系統(tǒng)可產(chǎn)生信號(hào)或指示符以引導(dǎo)定向音頻流產(chǎn)生?？墒褂门c被配置或編程為定向音頻流產(chǎn)生器的音頻信號(hào)處理電路成整體或以其他方式在功能上相關(guān)的聲麥克風(fēng)陣列來執(zhí)行定向音頻信號(hào)/流(也可被稱為“定向音頻信號(hào)”)產(chǎn)生。

根據(jù)本發(fā)明的一些實(shí)施方式，可提供電氣地可配置的聲獲取組件，該聲獲取組件可包括具有距離彼此一定距離定位的兩個(gè)或更多個(gè)麥克風(fēng)的麥克風(fēng)陣列，其中每個(gè)麥克風(fēng)可適合于將到達(dá)麥克風(fēng)的聲信號(hào)(即聲音)轉(zhuǎn)換成電信號(hào)，例如模擬或數(shù)字音頻信號(hào)。麥克風(fēng)陣列可包括匹配麥克風(fēng)組，其中匹配麥克風(fēng)可具有實(shí)質(zhì)上相同的頻率響應(yīng)特征和/或方向性特征。麥克風(fēng)陣列可包括為全向麥克風(fēng)、多定向麥克風(fēng)和/或定向麥克風(fēng)的麥克風(fēng)。

根據(jù)本發(fā)明的實(shí)施方式的陣列的定向麥克風(fēng)可被定位和/或固定在陣列內(nèi)以具有不同的方向性并促進(jìn)不同的聲信號(hào)獲取覆蓋區(qū)。陣列麥克風(fēng)的方向性可相對(duì)于麥克風(fēng)結(jié)構(gòu)是固定的或可電氣地可操縱的，如由在美國(guó)專利申請(qǐng)公布號(hào)US20130142358A1中示出的MEMS麥克風(fēng)教導(dǎo)的。根據(jù)一些實(shí)施方式，根據(jù)實(shí)施方式的陣列的兩個(gè)單獨(dú)定向麥克風(fēng)中的每個(gè)的聲信號(hào)獲取覆蓋區(qū)可部分地或完全重疊。今天已知的或在未來將被設(shè)計(jì)的任何定向麥克風(fēng)結(jié)構(gòu)可應(yīng)用于本發(fā)明的方面。

根據(jù)一些實(shí)施方式的陣列的麥克風(fēng)可具有模擬信號(hào)輸出或數(shù)字信號(hào)(例如I²C或I²S)輸出。根據(jù)本發(fā)明的一些實(shí)施方式，可以有在同一陣列上的模擬和數(shù)字麥克風(fēng)的混合。根據(jù)包括模擬麥克風(fēng)的本發(fā)明的實(shí)施方式，可提供用于對(duì)來自模擬麥克風(fēng)的輸出信號(hào)采樣并數(shù)字化的模擬信號(hào)到數(shù)字信號(hào)轉(zhuǎn)換電路(“A/D”)。

電氣地可配置的聲信號(hào)獲取組件可與定向音頻流產(chǎn)生器(DASG)成整體、包括DASG和/或以其他方式電耦合到DASG，DASG可適合于選擇、激活、接收和/或采樣來自一個(gè)或多個(gè)陣列麥克風(fēng)的輸出信號(hào)。DASG可適合于將來自一個(gè)或多個(gè)陣列麥克風(fēng)的電音頻信號(hào)輸出轉(zhuǎn)換成方向特定電音頻信號(hào)——數(shù)字或模擬的。對(duì)于相對(duì)于陣列的特定方向(例如陣列的切線軸左邊30度)產(chǎn)生的方向特定電音頻信號(hào)(也可被稱為“方向特定音頻信號(hào)”或“DSAS”)可以是電信號(hào)，其被產(chǎn)生和/或調(diào)制，以便(a)主要包括或攜帶來自從特定方向到達(dá)麥克風(fēng)的聲信號(hào)的聲信號(hào)信息，特定方向也可被稱為特定到達(dá)方向(DOA)；以及(b)實(shí)質(zhì)上抑制、丟棄、排除、不包括和/或以其他方式屏蔽來自從除了特定方向以外的方向到達(dá)麥克風(fēng)的聲信號(hào)的聲信號(hào)信息。

DASG可通過下列項(xiàng)將陣列麥克風(fēng)輸出信號(hào)——模擬或數(shù)字的——轉(zhuǎn)換成對(duì)于給定聲信號(hào)DOA的DSAS：(a)選擇和/或采樣一個(gè)或多個(gè)陣列麥克風(fēng)的輸出，陣列麥克風(fēng)的方向性與給定聲信號(hào)DOA重疊；(b)陣列麥克風(fēng)輸出信號(hào)到具有瞄準(zhǔn)給定聲信號(hào)DOA的方向性的波束形成的音頻信號(hào)的聲波束形成和/或聲波束操縱；和/或(c)選定陣列麥克風(fēng)的輸出的陣列麥克風(fēng)選擇、激活、輸出采樣和波束形成的組合。一些陣列麥克風(fēng)可以是定向麥克風(fēng)，且DASG可包括麥克風(fēng)選擇電路，其可選擇在產(chǎn)生方向特定音頻信號(hào)時(shí)激活或以其他方式利用的麥克風(fēng)。此外，DASG可包括一個(gè)或多個(gè)信號(hào)組合電路以組合來自選定定向和/或全定向麥克風(fēng)的信號(hào)。DASG可包括聲波束形成電路以產(chǎn)生具有可操縱的方向性的聲學(xué)地波束形成的音頻信號(hào)，其中源于陣列麥克風(fēng)的輸入音頻信號(hào)可由波束形成電路(a)直接從陣列麥克風(fēng)的全部或子集、(b)從將選定麥克風(fēng)輸出信號(hào)引導(dǎo)到波束形成電路的麥克風(fēng)選擇電路、(c)從可組合麥克風(fēng)輸出信號(hào)的信號(hào)組合電路和/或(d)從(a)到(c)的某種組合接收。

根據(jù)實(shí)施方式，DASG可包括背景噪聲消減或去除功能。根據(jù)這樣的實(shí)施方式，在產(chǎn)生與預(yù)期DOA相關(guān)的DSAS期間或之后，被估計(jì)為背景噪聲的聲音信號(hào)分量可從DSAS減去?？赏ㄟ^對(duì)來自具有除了預(yù)期DOA以外的方向性的陣列麥克風(fēng)的音頻信號(hào)采樣來估計(jì)背景噪聲。然而應(yīng)理解，今天已知的或?qū)⒃谖磥肀辉O(shè)計(jì)的任何聲噪聲消除電路、算法和/或技術(shù)可應(yīng)用于本發(fā)明。

根據(jù)一些實(shí)施方式的設(shè)備可包括適合于光學(xué)地跟蹤一個(gè)或多個(gè)聲源并提供指示所跟蹤的聲源相對(duì)于設(shè)備的方向的方向指示符或信號(hào)的光學(xué)跟蹤系統(tǒng)(OTS)。光學(xué)跟蹤系統(tǒng)可包括具有光學(xué)圖像傳感器并具有一個(gè)或多個(gè)透鏡的光學(xué)傳感器組件，光學(xué)傳感器可布置在設(shè)備上或設(shè)備內(nèi)以面向設(shè)備的前面的場(chǎng)景并獲取來自設(shè)備的前面的場(chǎng)景的圖像信息。圖像處理算法例如特征識(shí)別(例如軀干和/或面部識(shí)別)算法和/或已識(shí)別特征跟蹤算法可由專用或多用途處理電路執(zhí)行，以便跟蹤并估計(jì)聲源例如人臉的相對(duì)方向。OTS可進(jìn)一步適合于以產(chǎn)生一次、間歇地或?qū)嵸|(zhì)上連續(xù)地產(chǎn)生的信號(hào)、指示符或參數(shù)的形式向設(shè)備的DASG提供所估計(jì)的相對(duì)方向。

根據(jù)一些實(shí)施方式，OTS可適合于同時(shí)跟蹤兩個(gè)或更多個(gè)聲源。根據(jù)這樣的實(shí)施方式，OTS可為每個(gè)所跟蹤的源產(chǎn)生單獨(dú)的信號(hào)或指示符。根據(jù)這樣的實(shí)施方式，DASG可適合于為每個(gè)所跟蹤的源產(chǎn)生單獨(dú)的DSAS。可使用下列項(xiàng)產(chǎn)生每個(gè)DSAS：(a)單獨(dú)的一組一個(gè)或多個(gè)定向麥克風(fēng)，所述組可重疊；(b)單獨(dú)的聲波束形成處理鏈；和/或(c)(a)和(b)的組合。

根據(jù)另外的實(shí)施方式，可提供面向設(shè)備的用戶的眼睛的光學(xué)傳感器組件。適合于將用戶的眼睛的圖像轉(zhuǎn)換成所估計(jì)的用戶的眼睛的觀察角的圖像處理算法可由專用或多用途處理電路執(zhí)行?？墒褂糜^察角估計(jì)，以便進(jìn)一步估計(jì)被用戶注視的聲源的相對(duì)方向。OTS可進(jìn)一步適合于以產(chǎn)生一次、間歇地或?qū)嵸|(zhì)上連續(xù)地產(chǎn)生的信號(hào)、指示符或參數(shù)的形式向設(shè)備的DASG提供所估計(jì)的相對(duì)方向。

根據(jù)一些實(shí)施方式，DSAS可被發(fā)送到驅(qū)動(dòng)一個(gè)或多個(gè)揚(yáng)聲器的音頻再現(xiàn)電路。DSAS可以是以數(shù)字信號(hào)的形式，以及音頻再現(xiàn)電路可包括一個(gè)或多個(gè)數(shù)模轉(zhuǎn)換器(D/A)。再現(xiàn)電路還可包括可調(diào)節(jié)放大器，可選地每個(gè)揚(yáng)聲器具有單獨(dú)放大器。根據(jù)另外的實(shí)施方式，音頻再現(xiàn)電路的每個(gè)音頻再現(xiàn)輸出鏈可(例如使用數(shù)字濾波器或數(shù)字放大器)配置特定于特定用戶的耳朵的信號(hào)傳輸特征。

根據(jù)本發(fā)明的實(shí)施方式的設(shè)備可包括音頻再現(xiàn)電路的一個(gè)或多個(gè)揚(yáng)聲器連接的輸出端口。在揚(yáng)聲器和一個(gè)或多個(gè)輸出端口之間的連接可以是有線的或無線的(例如藍(lán)牙)。根據(jù)一些實(shí)施方式，兩個(gè)揚(yáng)聲器中的每個(gè)可連接到音頻再現(xiàn)電路的單獨(dú)輸出端口，每個(gè)揚(yáng)聲器可以與耳接口例如耳塞或耳機(jī)成整體或以其他方式在功能上相關(guān)。

根據(jù)又一些另外的實(shí)施方式的設(shè)備可包括例如以在眼鏡上的眼投影儀的形式的顯示組件。顯示組件可以給用戶提供設(shè)備獲取的語音的轉(zhuǎn)錄和/或翻譯。顯示器也可用作用于下列操作的接口的部分：(a)對(duì)要跟蹤的聲源的選擇和(2)指示DSAS正指向哪些聲源。

本發(fā)明的實(shí)施方式包括產(chǎn)生信號(hào)來調(diào)節(jié)動(dòng)態(tài)地可調(diào)節(jié)的聲傳感器陣列的方向性的光學(xué)傳感器和電路。

附圖的簡(jiǎn)要說明

被視為本發(fā)明的主題在說明書的結(jié)束部分中被特別指出并清楚地主張。然而通過參考與附圖一起被閱讀的下面的詳細(xì)描述可最好地理解本發(fā)明關(guān)于組織和操作方法的方面，連同本發(fā)明的對(duì)象、特征及其優(yōu)點(diǎn)，其中：

圖1A示出根據(jù)本發(fā)明的實(shí)施方式的示例性聲信號(hào)獲取設(shè)備的功能方框圖；

圖1B示出根據(jù)本發(fā)明的實(shí)施方式的、包括聲信號(hào)獲取設(shè)備的示例步驟的流程圖；

圖2A示出根據(jù)本發(fā)明的實(shí)施方式的與眼鏡有關(guān)的設(shè)備的圖；

圖2B示出根據(jù)圖2A的設(shè)備的示例性功能方框圖；

圖2C示出根據(jù)本發(fā)明的實(shí)施方式的、與頭戴受話器、更具體地耳機(jī)有關(guān)的設(shè)備的圖；

圖3A到3D示出根據(jù)實(shí)施方式的設(shè)備的所示使用例子；以及

圖4A和4B示出分別包括模擬麥克風(fēng)和數(shù)字麥克風(fēng)的本發(fā)明的實(shí)施方式的功能方框圖。

將認(rèn)識(shí)到，為了說明的簡(jiǎn)單和清楚，在附圖中所示的元件不一定按比例繪制。例如，為了清楚，一些元件的尺寸可相對(duì)于其它元件放大。此外，在被考慮為適當(dāng)?shù)膱?chǎng)合，參考數(shù)字可在附圖當(dāng)中重復(fù)以指示相應(yīng)的或相似的元件。

詳細(xì)描述

在下面的詳細(xì)描述中，闡述了很多特定的細(xì)節(jié)，以便提供對(duì)本發(fā)明的徹底理解。然而本領(lǐng)域中的技術(shù)人員將理解，可在沒有這些特定細(xì)節(jié)的情況下實(shí)施本發(fā)明。在其它實(shí)例中，沒有詳細(xì)描述公知的方法、過程、部件和電路，以便不使本發(fā)明模糊。

除非另有特別規(guī)定，如從下面的討論明顯的，應(yīng)認(rèn)識(shí)到，在整個(gè)說明書討論中，利用術(shù)語例如“處理”、“計(jì)算(computing)”、“計(jì)算(calculating)”、“確定”等指計(jì)算機(jī)或計(jì)算系統(tǒng)或類似的電子計(jì)算設(shè)備的動(dòng)作和/或過程，這些設(shè)備操作被表示為在計(jì)算系統(tǒng)的寄存器和/或存儲(chǔ)器內(nèi)的物理量例如電子量的數(shù)據(jù)和/或?qū)⒈硎緸樵谟?jì)算系統(tǒng)的寄存器和/或存儲(chǔ)器內(nèi)的物理量例如電子量的數(shù)據(jù)轉(zhuǎn)換成類似地被表示為在計(jì)算系統(tǒng)的存儲(chǔ)器、寄存器或其它這樣的信息存儲(chǔ)、傳輸或顯示設(shè)備內(nèi)的物理量的其它數(shù)據(jù)。

本發(fā)明的實(shí)施方式可包括用于執(zhí)行本文的操作的裝置。該裝置可特別構(gòu)造成用于期望目的，或它可包括選擇性地由存儲(chǔ)在計(jì)算機(jī)中的計(jì)算機(jī)程序激活或重新配置的通用計(jì)算機(jī)。這樣的計(jì)算機(jī)程序可存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如但不限于任何類型的磁盤，包括軟盤、光盤、CD-ROM、磁光盤、只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、電可編程只讀存儲(chǔ)器(EPROM)、電可擦除和可編程只讀存儲(chǔ)器(EEPROM)、磁卡或光卡或適合于存儲(chǔ)電子指令并能夠耦合到計(jì)算機(jī)系統(tǒng)總線的任何其它類型的介質(zhì)。

在本文提出的過程和顯示并不內(nèi)在地涉及任何特定的計(jì)算機(jī)或其它裝置。各種通用系統(tǒng)可與根據(jù)本文的教導(dǎo)的程序一起使用，或構(gòu)造更專業(yè)的裝置以執(zhí)行期望方法可證明是方便的。各種這些系統(tǒng)的期望結(jié)構(gòu)將從下面的描述明顯。此外，沒有參考任何特定的編程語言描述本發(fā)明的實(shí)施方式。將認(rèn)識(shí)到，各種編程語言可用于實(shí)現(xiàn)如本文所述的發(fā)明的教導(dǎo)。

根據(jù)實(shí)施方式，可通過將從光學(xué)跟蹤系統(tǒng)得到的一個(gè)或多個(gè)方向參數(shù)應(yīng)用于與麥克風(fēng)陣列相關(guān)的模擬和/或數(shù)字電路來產(chǎn)生方向特定音頻信號(hào)或音頻數(shù)據(jù)流。麥克風(fēng)陣列可包括全向麥克風(fēng)、定向麥克風(fēng)或這兩者的組合。光學(xué)跟蹤系統(tǒng)可跟蹤一個(gè)或多個(gè)對(duì)象的特征、眼睛的位置或這兩者的組合。與麥克風(fēng)陣列相關(guān)的模擬和/或數(shù)字電路可包括麥克風(fēng)驅(qū)動(dòng)器電路、麥克風(fēng)選擇電路、信號(hào)調(diào)節(jié)電路、放大器電路、信號(hào)組合電路、信號(hào)消減電路、信號(hào)濾波電路、模擬聲波束形成電路、模數(shù)轉(zhuǎn)換器、數(shù)字濾波器、數(shù)字聲波束形成電路和/或音頻再現(xiàn)電路。

現(xiàn)在轉(zhuǎn)到圖1A，示出根據(jù)本發(fā)明的實(shí)施方式的示例性聲信號(hào)獲取設(shè)備的功能方框圖。設(shè)備可包括具有麥克風(fēng)組或麥克風(fēng)陣列的聲獲取組件，麥克風(fēng)相對(duì)于彼此具有固定間距和方位。組件可與定向音頻流產(chǎn)生器(DASG)成整體或以其他方式在功能上相關(guān)，DASG從光學(xué)跟蹤系統(tǒng)(OTS)接收聲源目標(biāo)方向信號(hào)、指示符、參數(shù)和矢量。DASG可包括選擇一個(gè)或多個(gè)陣列麥克風(fēng)的麥克風(fēng)選擇電路、接入選定麥克風(fēng)端子或端口的切換電路和激活并驅(qū)動(dòng)選定麥克風(fēng)的激活或驅(qū)動(dòng)電路。

根據(jù)一些實(shí)施方式，麥克風(fēng)選擇電路可選擇具有相應(yīng)于目標(biāo)方向的方向性的一個(gè)或多個(gè)陣列麥克風(fēng)。方向特定音頻流或信號(hào)(DSAS)可以只包括來自一個(gè)或多個(gè)選定定向麥克風(fēng)的信號(hào)?？蛇x地，聲波束形成可應(yīng)用于兩個(gè)或更多個(gè)麥克風(fēng)的麥克風(fēng)輸出。DASG可包括用于產(chǎn)生DSAS的聲波束形成電路，例如模擬聲波束形成電路。根據(jù)DASG包括數(shù)字聲波束形成電路且麥克風(fēng)具有模擬輸出的例子，DSAG也可包括模數(shù)轉(zhuǎn)換器(D/A)來轉(zhuǎn)換。圖4A示出本發(fā)明的實(shí)施方式，其中陣列麥克風(fēng)是模擬麥克風(fēng)以及DASG包括在處理電路(例如DSP、FPGA、ASIC或處理器)上運(yùn)行的數(shù)字聲波束形成處理管線。圖4B示出本發(fā)明的實(shí)施方式，其中陣列麥克風(fēng)是數(shù)字麥克風(fēng)以及DASG包括在處理電路(例如DSP、FPGA、ASIC或處理器)上運(yùn)行的數(shù)字聲波束形成處理管線。根據(jù)一些實(shí)施方式，波束形成電路可包括模擬和數(shù)字波束形成部件的組合。今天已知的或?qū)⒃谖磥肀辉O(shè)計(jì)的任何聲波束形成電路、技術(shù)或技能可應(yīng)用于本發(fā)明的方面。

OTS與前視攝像頭成整體或連接，并且在OTS中的光學(xué)處理電路可包括特征識(shí)別處理以識(shí)別存在于設(shè)備的前面的對(duì)象或人的一個(gè)或多個(gè)特征。一個(gè)或多個(gè)特征可以是人軀干部分、人臉、人嘴唇、視頻呈現(xiàn)設(shè)備、音頻呈現(xiàn)設(shè)備和任何潛在聲信號(hào)源。OTS可包括用于估計(jì)指示相應(yīng)于一個(gè)或多個(gè)所識(shí)別的特征的方向的方向參數(shù)的處理。方向參數(shù)可指示在設(shè)備和所識(shí)別的對(duì)象之間的相對(duì)方向?？梢詾榕c兩個(gè)或更多個(gè)單獨(dú)對(duì)象或人(例如兩個(gè)或更多個(gè)單獨(dú)的人)中的每個(gè)相關(guān)的兩個(gè)或更多個(gè)單獨(dú)的所識(shí)別的特征中的每個(gè)產(chǎn)生至少一個(gè)單獨(dú)的方向參數(shù)。

給定對(duì)象或人的給定所識(shí)別的特征的方向參數(shù)可由DASG使用來選擇可在收集從給定對(duì)象或人發(fā)出的聲信號(hào)時(shí)利用的麥克風(fēng)陣列中的那些麥克風(fēng)。給定對(duì)象的方向參數(shù)可用于計(jì)算波束形成參數(shù)，例如在朝著給定對(duì)象或人操縱聲波束并收集從給定特征發(fā)出的聲信號(hào)時(shí)利用的波束形成參數(shù)。給定的識(shí)別特征的方向參數(shù)可用于麥克風(fēng)選擇和波束形成參數(shù)計(jì)算。

根據(jù)圖1A的實(shí)施方式的設(shè)備還可包括用于跟蹤設(shè)備的穿戴者的眼睛的位置的眼跟蹤器?？墒褂妹闇?zhǔn)穿戴者的眼睛的光學(xué)跟蹤系統(tǒng)來實(shí)現(xiàn)眼跟蹤器?？墒褂媒裉煲阎幕蛟谖磥韺⒈辉O(shè)計(jì)的任何跟蹤技術(shù)來實(shí)現(xiàn)光學(xué)跟蹤系統(tǒng)。眼跟蹤器可包括用于估計(jì)方向參數(shù)的處理，方向參數(shù)指示如由穿戴者的被跟蹤的眼睛的位置指示的設(shè)備穿戴者的觀察方向。

圖1A的音頻再現(xiàn)組件可包括一個(gè)或多個(gè)音頻揚(yáng)聲器和適合于驅(qū)動(dòng)所述一個(gè)或多個(gè)揚(yáng)聲器中的每個(gè)的音頻信號(hào)再現(xiàn)電路(引擎)。音頻信號(hào)產(chǎn)生器可適合于基于第一方向特定音頻信號(hào)來產(chǎn)生一個(gè)或多個(gè)音頻信號(hào)。音頻信號(hào)產(chǎn)生器可適合于為兩個(gè)揚(yáng)聲器中的每個(gè)產(chǎn)生單獨(dú)的音頻信號(hào)，其中在單獨(dú)信號(hào)之間的相對(duì)音量和延遲可基于第一聲信號(hào)到達(dá)方向。音頻信號(hào)產(chǎn)生器可包括耳朵特定信號(hào)定制電路以基于特定耳朵的頻率敏感度來改變音頻信號(hào)。音頻信號(hào)產(chǎn)生器可包括背景噪聲抑制電路。

根據(jù)另外的實(shí)施方式，OTS可適合于：(1)跟蹤在設(shè)備和對(duì)象的所識(shí)別的特征之間的相對(duì)方向中的改變，以及(2)更新由所述DASG使用來產(chǎn)生第一音頻數(shù)據(jù)流的至少一個(gè)方向參數(shù)。OTS也可適合于跟蹤兩個(gè)或更多個(gè)所識(shí)別的特征并為兩個(gè)或更多個(gè)所識(shí)別的特征中的每個(gè)產(chǎn)生單獨(dú)的方向數(shù)據(jù)。圖3A示出本發(fā)明的實(shí)施方式，其中設(shè)備是以眼鏡的形式，且OTS正對(duì)單獨(dú)的人進(jìn)行跟蹤。為這兩個(gè)被跟蹤的聲源(即人)中的每個(gè)產(chǎn)生單獨(dú)的DSAS。圖3B到3D示出其中OTS跟蹤靜止和移動(dòng)的聲源且被跟蹤的人(聲獲取目標(biāo))的DSAS相應(yīng)地被調(diào)節(jié)或操縱的場(chǎng)景。還示出用戶隨意開始并中斷對(duì)特定聲源的跟蹤和聲音獲取。

根據(jù)又一些另外的實(shí)施方式，設(shè)備可包括適合于允許穿戴者選擇為哪個(gè)所識(shí)別的特征產(chǎn)生方向特定音頻信號(hào)的用戶接口電路。接口電路可包括從由下列項(xiàng)組成的組選擇的顯示器：(1)功能相關(guān)觸摸屏，以及(2)光學(xué)頭部安裝的顯示器。接口電路可從跟蹤器接收用戶輸入。接口電路可從功能相關(guān)觸摸屏接收用戶輸入。接口電路可包括在設(shè)備上的一個(gè)或多個(gè)電子按鈕、開關(guān)或計(jì)量?jī)x器。圖1A、2A和2B、2C和2D示出包括接口電路以將設(shè)備連接到可用作用戶接口的部分的智能電話的實(shí)施方式。

圖1B示出包括根據(jù)本發(fā)明的實(shí)施方式的聲信號(hào)獲取設(shè)備的示例性步驟的流程圖。光學(xué)跟蹤系統(tǒng)光學(xué)地跟蹤也被稱為DSAS目標(biāo)的一個(gè)或多個(gè)聲源。計(jì)算了目標(biāo)聲源的相對(duì)方向值、參數(shù)或矢量。定向音頻流產(chǎn)生器選擇、接通、激活和/或采樣被計(jì)算、估計(jì)或以其他方式被確定為可用于產(chǎn)生在目標(biāo)聲源的方向上的方向特定音頻流/信號(hào)(DSAS)的陣列麥克風(fēng)?？蛇x地，定向音頻流產(chǎn)生器使用與目標(biāo)聲源的方向相關(guān)的波束形成參數(shù)激活聲波束形成處理管線。音頻再現(xiàn)引擎或電路將(例如D/A)DSAS轉(zhuǎn)換成一個(gè)或多個(gè)模擬信號(hào)以驅(qū)動(dòng)一個(gè)或多個(gè)揚(yáng)聲器。可選地，音頻再現(xiàn)引擎或電路可調(diào)節(jié)在左右揚(yáng)聲器驅(qū)動(dòng)信號(hào)之間的振幅和延遲以給收聽者提供對(duì)DSAS的目標(biāo)聲源的方向的感知。

圖2A示出根據(jù)本發(fā)明的實(shí)施方式的與眼鏡有關(guān)的設(shè)備的圖。根據(jù)這個(gè)實(shí)施方式，麥克風(fēng)陣列是穿戴式麥克風(fēng)陣列。擁有麥克風(fēng)陣列的設(shè)備可與可選地以眼鏡、耳機(jī)(圖2C)或其它頭戴受話器的形式的任何穿戴式設(shè)備結(jié)合或以其他方式在功能上相關(guān)。光學(xué)跟蹤系統(tǒng)的至少一部分也可與被示為攝像頭R和攝像頭L的與麥克風(fēng)陣列相同的穿戴式設(shè)備結(jié)合或以其他方式在功能上相關(guān)。光學(xué)跟蹤系統(tǒng)和/或相關(guān)電路的一些或所有部分可以是與麥克風(fēng)陣列相同的設(shè)備的部分。根據(jù)另外的實(shí)施方式，跟蹤和/或信號(hào)處理功能的部分可由功能相關(guān)設(shè)備例如由有線或無線通信鏈路連接到設(shè)備的智能電話執(zhí)行。

如圖2B所示，圖2B是根據(jù)圖2A的設(shè)備的示例性功能方框圖，眼鏡可包括用于外部通信設(shè)備的接口。外部通信設(shè)備可提供在DSAS內(nèi)的定向地獲取的語音的轉(zhuǎn)錄(語音到文本)和翻譯。根據(jù)實(shí)施方式，DSAS可存儲(chǔ)在設(shè)備的非易失性存儲(chǔ)器(NVM)設(shè)備上或位于在線數(shù)據(jù)NVM設(shè)備上。DSAS可被提供到語音到文本引擎，該語音到文本引擎可并入到設(shè)備內(nèi)和/或可以是在功能上相關(guān)的通信設(shè)備(例如智能電話)的部分。語音到文本引擎可獨(dú)立地起作用或它可利用在線語音到文本服務(wù)，例如由Google提供的語音到文本服務(wù)。根據(jù)又一些另外的實(shí)施方式，DSAS或從其得到的文本可被提供到語言翻譯引擎，例如Google翻譯引擎?？纱鎯?chǔ)文本到語音引擎和/或語言翻譯引擎的輸出。文本到語音引擎和/或語言翻譯引擎的輸出可顯示在設(shè)備的顯示器上。文本到語音引擎和/或語言翻譯引擎的輸出可顯示在功能相關(guān)設(shè)備例如智能電話的顯示器上。

圖2C示出根據(jù)本發(fā)明的實(shí)施方式的、與頭戴受話器、更具體地耳機(jī)有關(guān)的設(shè)備的圖。這個(gè)實(shí)施方式類似于眼鏡的實(shí)施方式，例外是不包括眼投影顯示器。

雖然在本文示出并描述了本發(fā)明的某些特征，本領(lǐng)域中的技術(shù)人員現(xiàn)在將想到很多修改、替換、改變和等效形式。因此應(yīng)理解，所附權(quán)利要求并不意欲涵蓋如落在本發(fā)明的真實(shí)精神內(nèi)的所有這樣的修改和變化。