具有圖像捕獲能力的聽力設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及具有圖像捕獲能力的聽力設(shè)備。捕獲的圖像可以是靜止圖像、圖像的 序列和/或視頻。
【背景技術(shù)】
[0002] 聽力設(shè)備通常用于向用戶呈現(xiàn)比在用戶沒有聽力設(shè)備的情況下所體驗(yàn)到的更好 地被聽到和/或被理解和/或令人愉快等的目標(biāo)信號。具有多個聲音源的環(huán)境中的聲音處理 非常麻煩，并且當(dāng)使用具有定向輸入系統(tǒng)的儀器時，對活動聲音源的檢測和分離是活躍的 領(lǐng)域。因此，在一種意義上，聽力設(shè)備的一個目的是對進(jìn)來的聲學(xué)信號進(jìn)行過濾，并且向用 戶呈現(xiàn)聲學(xué)場景的相關(guān)部分，通過抑制無關(guān)部分、例如背景噪聲。

【發(fā)明內(nèi)容】

[0003] 因此，改進(jìn)的裝置將是有利的。本發(fā)明的一個目的是提供一種對現(xiàn)有技術(shù)的替代 方案。
[0004] 特別地，作為本發(fā)明的目的可以看到，提供一種聽力設(shè)備，其解決、或至少減輕上 述問題，或者至少提供一種對上述問題的替代解決方案。
[0005] 因此，上述目的和幾個其它目的旨在在第一方面通過提供由用戶佩戴的聽力設(shè)備 來獲得?？梢詫β犃υO(shè)備設(shè)置殼體，殼體被配置用于由用戶佩戴在用戶的耳朵處。殼體可以 被適配用于安裝在耳廓處或耳廓后、即在耳朵后面、在耳道中、完全在耳道內(nèi)或者部分在耳 道中。在聽力設(shè)備業(yè)內(nèi)，通常將這些配置稱為例如耳內(nèi)、ITE全殼、ITE半殼、耳道內(nèi)、微型耳 道、完全耳道內(nèi)等。聽力設(shè)備還可以包括用于接收聲音信號的輸入轉(zhuǎn)換器。輸入轉(zhuǎn)換器可以 包含在殼體中，或者可以是與殼體連通的外部單元，或者是構(gòu)成輸入轉(zhuǎn)換器的輸入設(shè)備、例 如位于殼體中的一個輸入設(shè)備和位于殼體外部的一個輸入設(shè)備的組合，其中，每個輸入設(shè) 備可以是兩個或更多個輸入設(shè)備的組合。此外，聽力設(shè)備可以從遠(yuǎn)離聽力設(shè)備的外部設(shè)備 接收聲音信號。這例如可以是佩戴在用戶的脖子周圍的帶子中的設(shè)備或者來自另一個人佩 戴的設(shè)備。
[0006] 聽力設(shè)備還可以包括處理器，處理器用于對接收到的聲音信號進(jìn)行處理。該處理 器可以對接收到的聲音進(jìn)行處理，以補(bǔ)償用戶的特定聽力損失，其可以包括增益校正、移 頻、壓縮、展開等。進(jìn)行處理的指令可以存儲在與處理器相關(guān)聯(lián)的聽力設(shè)備的存儲器中?？?以在處理器中存儲附加聲音信息，并且可以在向用戶呈現(xiàn)之前向信號添加。這可以包括自 然或者生成的聲音。例如，可以基于根據(jù)如稍后描述的圖像捕獲設(shè)備和/或輸入設(shè)備確定的 聲學(xué)環(huán)境的類型，選擇性地添加附加聲音信息。
[0007] 聽力設(shè)備還可以包括輸出轉(zhuǎn)換器，輸出轉(zhuǎn)換器用于向用戶提供可感知為聲音的處 理后的聲音信號。該輸出轉(zhuǎn)換器例如可以是揚(yáng)聲器單元，經(jīng)常稱為接收器或?qū)Χ佁峁╇?刺激的設(shè)備，或者是經(jīng)由骨源性振動向內(nèi)耳提供振動的振動單元，或者是幾個單元的組合。
[0008] 聽力設(shè)備還可以包括圖像捕獲設(shè)備，圖像捕獲設(shè)備與處理器進(jìn)行通信。處理器可 以被配置為經(jīng)由圖像捕獲設(shè)備檢測臉部的存在。處理器可以被配置為從該臉部確定存在話 音和沒有話音的時刻。處理器可以適于基于檢測運(yùn)行（聲音)信號處理算法。圖像捕獲設(shè)備 可以對可見光、紅外線、紫外線或者任意其它合適的射線敏感。如從本發(fā)明變得顯而易見 的，可以進(jìn)行不同種類的圖像處理。圖像捕獲設(shè)備至少可以用于目標(biāo)和/或噪聲源定位和/ 或存在的目的，即用于提供關(guān)于相對于聽力設(shè)備用戶的目標(biāo)的位置和/或存在和/或潛在的 噪聲源的信息。這可以包括檢測在圖像捕獲設(shè)備的視場中存在人或臉部或者多個人或臉 部。此外，圖像捕獲設(shè)備至少可以用于提供臉部和/或嘴部移動信息的目的，即通常用于提 供關(guān)于目標(biāo)說話人和潛在的干擾說話人的信息，特別是與嘴部/嘴唇移動、例如嘴部區(qū)域/ 形狀、嘴唇位置等有關(guān)的信息?？梢詫⑦@兩個目的組合，以甚至進(jìn)一步增強(qiáng)聲音處理。圖像 捕獲設(shè)備還可以用于自己或者與來自輸入設(shè)備的信息組合地確定聲學(xué)環(huán)境，例如，如果確 定在圖像中僅存在一個人，并且來自輸入設(shè)備的聲壓水平低于某一閾值，則可以確立該環(huán) 境可以被分類為安靜的，并且聲音處理器可以相應(yīng)地對聲音進(jìn)行處理，例如進(jìn)行更激進(jìn)的 噪聲抑制，以提高信噪比。
[0009] 在一個方面，聽力設(shè)備可以具有:第一部分，被配置為定位在用戶的耳廓后面;第 二部分，被配置為定位在用戶的耳道中；以及第三部分，被配置為將第一部分機(jī)械地連接到 第二部分。第一部分可以包括用于接收聲音信號的輸入轉(zhuǎn)換器、用于對接收到的聲音信號 進(jìn)行處理的處理器和與處理器進(jìn)行通信的圖像捕獲設(shè)備。處理器可以是任意合適的通用處 理器或特定信號處理器。圖像捕獲設(shè)備可以定位在殼體中，從而圖像捕獲設(shè)備沿佩戴者的 鼻子的方向進(jìn)行攝像;這也可以稱為觀看方向。此外，處理器可以被配置為經(jīng)由圖像捕獲設(shè) 備檢測臉部的存在，并且從臉部確定存在話音和沒有話音的時刻，并且處理器可以適于基 于檢測運(yùn)行信號處理算法。此外，聽力設(shè)備可以包括輸出轉(zhuǎn)換器，輸出轉(zhuǎn)換器用于向用戶提 供可感知為聲音的處理后的聲音信號。輸出轉(zhuǎn)換器可以被配置為定位在第一部分或第二部 分中。在輸出轉(zhuǎn)換器被定位在第一部分中的情況下，第三部分可以是用于來自輸出轉(zhuǎn)換器 的聲音的空氣傳輸?shù)墓?。在輸出轉(zhuǎn)換器被定位在第二部分中的情況下，第三部分可以包括 至少兩個電配線，用于向輸出轉(zhuǎn)換器傳輸表示處理后的聲音的信號。輸出轉(zhuǎn)換器應(yīng)當(dāng)將電 信號變換為用戶可以作為聲音感知的信號。
[0010] 檢查圖像或圖像的序列，在檢測到移動之后的情況下，可以識別嘴部/嘴唇區(qū)域。 作為"嘴部"的區(qū)域的識別或分類之前可以是識別臉部或頭部的步驟。
[0011] 通常，如果可以獲得目標(biāo)和/或噪聲源的位置信息，則聽力設(shè)備中的幾個信號處理 步驟可以相對于沒有該信息的聽力設(shè)備得到改善。例如，
[0012] -al)任意束形成算法的空間響應(yīng)(束模式)可以轉(zhuǎn)向識別出的目標(biāo)源的方向，
[0013] _a2)束模式的空間零點(diǎn)可以轉(zhuǎn)向識別出的噪聲源的方向。
[0014] -a3)知道相對于目標(biāo)源的相對方向使得能夠強(qiáng)調(diào)目標(biāo)源的空間感。
[0015] 通常，如果關(guān)于識別出的目標(biāo)說話人可以獲得臉部/嘴部/嘴唇移動信息，則該信 息可以用于改進(jìn)聽力設(shè)備板載語音處理算法。例如，
[0016] -bl)嘴部移動信息可以用于目標(biāo)語音活動檢測，其指導(dǎo)聽力設(shè)備板載噪聲降低算 法的處理。
[0017] _b2)目標(biāo)說話人的嘴部/嘴唇移動的更詳細(xì)的特征、例如嘴部張開面積、嘴部形狀 等可以幫助告知聽力損失補(bǔ)償系統(tǒng)改善其性能，例如在存在語音瞬變的情況下。
[0018] -b3)關(guān)于目標(biāo)嘴部/嘴唇移動的詳細(xì)信息提供能夠改善聽力設(shè)備板載噪聲降低算 法的性能的附加信息(通過麥克風(fēng)信號）。
[0019] 圖像捕獲設(shè)備可以被布置為在佩戴聽力設(shè)備時，圖像捕獲設(shè)備沿用戶的觀看方向 捕獲圖像。在聽力設(shè)備被附著或安裝到用戶頭部時，相對于聽力設(shè)備的觀看方向很可能在 使用期間基本上不變。觀看方向意為用戶的臉部正在面對的方向，可以被看作鼻子的方向。
[0020] 圖像捕獲設(shè)備可以捕獲單個圖像、圖像的序列或者連續(xù)捕獲圖像或視頻。捕獲可 以根據(jù)預(yù)先定義的安排、例如周期性地以固定或可變的時間間隔進(jìn)行。為了降低功率消耗， 安排可以適于在變化少的安靜的情形或者靜止的情形下捕獲數(shù)量較少的圖像?？梢栽谑褂?輸入轉(zhuǎn)換器檢測到特定聲音事件之后進(jìn)行或開始進(jìn)行捕獲，這可以是在檢測到多于一個的 聲音源的情形下。例如在用戶經(jīng)由接口開始時或者從聽力設(shè)備接通的時刻開始，捕獲可以 連續(xù)進(jìn)行，。
[0021] 圖像捕獲設(shè)備可以被定位在聽力設(shè)備的殼體中，并且聽力設(shè)備被配置為被定位在 用戶的耳朵處。這使得能夠檢測例如頭部的移動和/或相對于用戶的頭部從很好地定義的 方向捕獲圖像?？蛇x地，圖像捕獲設(shè)備可以被定位為遠(yuǎn)離聽力設(shè)備的殼體，然后圖像捕獲設(shè) 備可以與處理器進(jìn)行有線或無線通信?？梢园ù鎯ζ髟O(shè)備，用于緩沖和/或存儲圖像。如 果要沿用戶的臉部的方向捕獲圖像，并且聽力設(shè)備至少部分地被定位在用戶的耳道中，則 可能需要遠(yuǎn)程位置。這例如可以經(jīng)由安裝在一副眼鏡中或上或者身體佩戴的殼體中、例如 用于佩戴在用戶的胸部中、或者位于耳廓上并且與耳內(nèi)部分進(jìn)行有線或無線通信的設(shè)備中 的圖像捕獲設(shè)備來實(shí)現(xiàn)?？梢越M合多個圖像捕獲設(shè)備，例如以保證更完整的視場。此外，圖 像捕獲設(shè)備面對不同的方向。作為多個圖像捕獲設(shè)備的示例，可以是一個或更多個向前看， 并且一個或更多個向后看。
[0022] 圖像捕獲設(shè)備可以與專用圖像處理器進(jìn)行通信，或者可以利用也用于聲音處理的 處理器。在本文中，僅稱為處理器，但是意為覆蓋這兩種選項(xiàng)。
[0023] 處理器可以被配置為在圖像捕獲設(shè)備捕獲的圖像序列中檢測嘴唇移動。這使得能 夠根據(jù)檢測到的嘴唇移動，例如通過適配噪聲抑制、增益、語音增強(qiáng)和/或其它合適的處理， 來優(yōu)化對聲音信號的處理。處理器還可以適于對聲音信號進(jìn)行分析，以檢測語音包絡(luò)，并且 將語音包絡(luò)與檢測到的嘴唇移動關(guān)聯(lián)，以識別到活動的語音源相對于圖像捕獲設(shè)備的方 向。在存在多個語音源的情況下，例如在具有多個潛在聲音源的噪聲環(huán)境中，如果檢測單獨(dú) 基于聲音分析，則使得選擇當(dāng)前活動的語音源較不麻煩。
[0024]輸入轉(zhuǎn)換器可以包括具有可適配方向的定向麥克風(fēng)系統(tǒng)，并且處理器可以被配置 為適配定向麥克風(fēng)系統(tǒng)的方向。該適配可以至少部分地或者完全基于圖像捕獲設(shè)備捕獲的 圖像來進(jìn)行。用于適配方向的其它輸入可以包括來自用戶的指令，例如優(yōu)選某一方向，例如 用戶后面，相對于眼睛水平進(jìn)一步向上或向下，