用于聲音可視化及聲源定位的設備與方法
【專利說明】用于聲音可視化及聲源定位的設備與方法
[0001] 相關專利申請的交叉引用
[0002] 本申請要求享有于2013年1月25日提交的美國臨時專利申請?zhí)?1/756535,標題 為"3D彩色實時定位聲源的可視化"的優(yōu)先權，其全部內(nèi)容在此引作參考。
【背景技術】
[0003] 本申請一般涉及助聽設備和增強現(xiàn)實技術設備。
[0004] 加拿大有80, 000人，美國有超過1，000, 000人，全世界有超過20, 000, 000的人是 完全失聰?shù)?。對這些人來說，常規(guī)的助聽設備并沒有幫助。人工電子耳蝸對一些人是有效 的，但它們是插入體內(nèi)的，且操作成本非常高。
[0005] 百分之五的世界人口遭受著聽力缺損的困擾?，F(xiàn)有的助聽設備在喧鬧環(huán)境中能提 供的性能較差，尤其是當用戶希望聽到相對于近距離聲源而言的遠距離聲源時性能較差。

【發(fā)明內(nèi)容】

[0006] 本申請?zhí)岢隽艘环N用于處理聲音信號、定位對應于一個或多個聲源的聲音信號、 以及在可穿戴顯示設備上呈現(xiàn)對應于定位后聲源的聲學可視化的方法和設備?？纱┐骺梢?化設備可包括兩個或兩個以上用于檢測來自一個或多個聲源的聲音的麥克風，和可選為以 立體方式顯示聲學可視化的顯示設備。通過處理由麥克風記錄的聲音信號以定位對應于給 定聲源的聲音信號，并處理該定位聲音信號以識別聲源位置，可以定位聲源。聲學可視化可 以是頻域可視化，也可以包括頻率到顏色的映射。
[0007] 因此，一方面，本申請?zhí)岢隽艘环N在聲學可視化設備上呈現(xiàn)聲學可視化的方法，其 中聲學可視化設備包括可穿戴顯示設備和兩個或兩個以上的麥克風，該方法包括：
[0008] 通過麥克風記錄來自一個或多個聲源的聲音信號；
[0009] 處理聲音信號，以提取出與至少一個聲源相關的定位聲音信號；
[0010] 在聲學可視化設備上呈現(xiàn)定位聲音信號的可視化表示的聲學圖像。
[0011] 另一方面，本申請?zhí)岢隽艘环N聲學可視化設備，包括：
[0012] 用于顯示對其穿戴者的至少一只眼睛可見的圖像的可穿戴顯示設備；
[0013] 兩個或兩個以上的與可穿戴顯示設備關聯(lián)的麥克風；和
[0014] 連接至顯示設備和麥克風的計算硬件，其中該計算硬件配置為：
[0015] 通過麥克風記錄來自一個或多個聲源的聲音信號；
[0016] 處理聲音信號，以提取出與至少一個聲源相關的定位聲音信號；
[0017] 在聲學可視化設備上呈現(xiàn)定位聲音信號的可視化表示的聲學圖像。參考以下詳細 描述和附圖可以對本申請的功能和有利的方面得到進一步的了解。
【附圖說明】
[0018] 接下來的實施例將僅以示例的方式參照附圖進行描述，其中：
[0019] 圖1示出了包括半透光3D立體投影眼鏡的示例性聲學可視化設備。
[0020] 圖2是集成了聽筒和麥克風的耳機的示例。
[0021] 圖3示出了用于處理音頻和視頻信號的處理單元的示例圖。
[0022] 圖4示出了示例性處理單元的框圖。
[0023] 圖5示出了示例性軟件系統(tǒng)的四大模塊，以及它們相互之間的關系和與用戶之間 的關系。
[0024] 圖6是聲源定位模塊的示例性執(zhí)行的流程圖。
[0025] 圖7A示出了具有三個用于聲源定位的麥克風的示例性聲學可視化設備。
[0026] 圖7B示出了三個麥克風和聲學聲源之間的空間關系。
[0027] 圖7C是用于聲首定位的不例性方法的流程圖。
[0028] 圖8是聲學聚焦/過濾模塊的示例性執(zhí)行的流程圖。
[0029] 圖9示出了聲學聚焦/過濾模塊的示例圖解和算法，包括通過聲源位置決定的頻 率分組，和基于用戶選擇出的聲源的聚焦/過濾。
[0030] 圖10是聲學可視化模塊的示例性執(zhí)行的流程圖。
[0031] 圖11示出了聲學可視化模塊的示例性輸出的圖示。
[0032] 圖12是說明3D立體顯示及用戶界面模塊的示例性執(zhí)行的流程圖。
[0033] 圖13示出了通過3D立體顯示及用戶界面模塊所執(zhí)行的立體呈現(xiàn)的示例性實現(xiàn)方 式。
【具體實施方式】
[0034] 本申請的各種實施例和各個方面將參考以下討論的細節(jié)來描述。以下描述和附圖 對本申請作說明作用，不應解釋為對本申請的限制。下面描述多種具體細節(jié)以提出對本申 請的各種實施例的透徹理解。然而，在某些情況下，為了簡化本申請的實施例的討論，對于 公知的和常見的細節(jié)并沒有描述。
[0035] 本申請所用的術語"包括"被解釋為包含在內(nèi)的和可擴充的，且不排外的。特別地， 當使用在說明書和權利要求中時，術語"包括"以及它們的變形意味著包括特定的特征、步 驟或部件。這些術語不能被解釋為排除其他特征、步驟或部件的存在。
[0036] 本申請所使用的術語"示例性"意思為"用作例子、示例或例證"，不應理解為相對 于本申請公開的其他配置是優(yōu)選或有利的。
[0037] 本申請所使用的術語"約"和"近似"用來覆蓋在數(shù)值范圍的上限值和下限值之間 存在的變量，例如性能變量、參數(shù)變量和容積變量。在一個非限制性實施例中，術語"約"和 "近似"表示增減10 %或更少。
[0038] 本申請所使用的術語"基本"指的是動作、特征、性能、狀態(tài)、結構、條目或結果的完 全或幾乎完全的范圍或程度。例如，"基本"封閉的對象指的是該對象是完全封閉的或幾乎 完全封閉的。在一些情況下，偏離絕對完整性的確切的容差程度取決于特定環(huán)境。然而，一 般而言，完成的接近度是為了得到與絕對的和全部的完成時獲得的結果相同的整體結果。 "基本"的使用在表示動作、特征、性能、狀態(tài)、結構、條目或結果的完全或幾乎完全缺乏的否 定意義時同樣適用。
[0039] 本申請的實施例提出了可穿戴顯示設備，配置為檢測和處理音頻信號，并隨后呈 現(xiàn)和顯示音頻信號的可視化。在一些實施例中，處理音頻信號以識別一個或多個音源的位 置，該音源的位置在顯示器上被展示給設備穿戴者。顯示設備可以是用于以3D形式顯示可 視化和定位音頻表示（聲學可視化）的虛擬現(xiàn)實（或增強現(xiàn)實）可穿戴立體顯示設備。通 過檢測到的音頻信號的可視化，本申請的實施例提出了能有效模擬人類耳蝸功能的用于將 聲學模擬信號傳送至大腦的方法和設備。
[0040] 本申請中公開的方法和設備可以應用以訓練人的大腦將可視化聲學信號理解為 聲音本身，由此恢復或有助于恢復失聰或聽力受損人士的至少一部分聽力。正如下文進一 步的描述，本申請的方面也可以基于可視化聲音有助于訓練那些失聰或聽力受損的人的說 話能力，例如用于說話準確性的提高。通過與聲音刺激聽覺系統(tǒng)的方式類似的刺激人類視 覺系統(tǒng)的方式顯示聲學信號，人腦可以更容易地像接受聽覺刺激一樣接受視覺刺激。
[0041] 現(xiàn)在參照圖1，示出了示例性的聲學可視化設備10。示例性設備10包括框架110、 部分透明的顯示元件120、微型HDMI端口 130、集成麥克風140和142的耳機150,以及附加 麥克風145。顯示元件120可以是折射透鏡，或基本上無折射（平面）的光學元件。
[0042] 在圖1所示的示例性實施例中，設備10配置為光學透視顯示設備，用于將圖像投 影在用戶眼睛上，同時允許用戶透過顯示元件120觀看（例如顯示設備是至少部分透明 的）。例如，該圖像可以通過光學引擎（載于框架中或框架上）形成，該光學引擎將顯示光 耦合至形成在顯示元件120中的波導中，其中，波導將被引導的顯示光指向佩戴者的眼睛， 在佩戴者的眼睛上形成了圖像。在圖13所示的示例性實施例中，左右顯示元件120-起提 供了聲源的3D立體可視化（可視化表示）。
[0043] 如下文詳述，音頻信號的處理可以包括一個或多個音頻信號的定位，該音頻信號 被設在耳機150上或耳機150中的麥克風140、142以及可選的附加麥克風145 (下文中會 進一步詳述）檢測到，這些麥克風通過線170連接至框架110。
[0044] 從麥克風收集的音頻信號可以通過線（如音頻電纜）或通過無線通信設備或協(xié)議 (如藍牙）傳輸至處理單元（下文進一步描述）。
[0045] 供電電源可以被集成至框架110中以向顯示單元10供電。可以使用可充電電池 來供電。
[0046] 現(xiàn)在參照圖2,耳機150可以配置為包括外置麥克風140和耳塞160的入耳式設 備。通過將耳機放置在人耳中，麥克風140可以設置成以和常規(guī)傾聽相同的方式收集聲音。 在一些實施例中，可以設置多個麥克風，例如采用人體的反射（如耳廓、面頰）以區(qū)分從上 方和/或從下方傳來的聲音。應當理解的是圖2被用來示出使用人耳作為自然聲學收集方 式的示例性設備，并且可以采用將麥克風置于耳道中或接近耳道的位置以達到相同或相似 結果的替代變形。
[0047] 繼續(xù)參照圖1，盡管示出的示例設備10為一副適于提供3D(立體）顯示的眼鏡，但 應當理解的是，本申請的范圍并不用以被限定在該示例性實施例