專利名稱：音頻信號(hào)處理裝置及音頻信號(hào)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于從各由多個(gè)聲源音頻信號(hào)構(gòu)成的兩個(gè)系統(tǒng)(兩個(gè)聲道)的輸入音頻時(shí)序信號(hào)分離比輸入聲道數(shù)多的聲道的聲源的音頻信號(hào)的音頻信號(hào)處理裝置及方法。
本發(fā)明還涉及一種在從2聲道的輸入音頻時(shí)序信號(hào)分離比輸入聲道數(shù)多的聲道的聲源的音頻信號(hào)后生成用于使用耳機(jī)或兩個(gè)揚(yáng)聲器播放的音頻信號(hào)的音頻信號(hào)處理裝置。
背景技術(shù)：
記錄在唱片、光盤(pán)等上的承載立體聲音樂(lè)信號(hào)的左右2聲道的各聲道的音頻信號(hào)常常由來(lái)自多個(gè)聲源的音頻信號(hào)構(gòu)成。為了在使用兩個(gè)揚(yáng)聲器播放時(shí)實(shí)現(xiàn)這多個(gè)聲源在揚(yáng)聲器之間的聲像定位，這些立體聲音頻信號(hào)常設(shè)有聲級(jí)差并被記錄在相應(yīng)的聲道中。
例如，如果我們說(shuō)我們有5個(gè)聲源MS1至MS5，它們的信號(hào)是S1至S5，這些信號(hào)將被記錄為左右2聲道形式的音頻信號(hào)SL和SR，聲源MS1至MS5的信號(hào)S1至S5各被給予左右2聲道之間的聲級(jí)差，以被加法混合到相應(yīng)聲道的音頻信號(hào)中，如下所示SL＝S1+0.9S2+0.7S3+0.4S4SR＝S5+0.4S2+0.7S3+0.9S4例如圖32中所示地通過(guò)2個(gè)揚(yáng)聲器1L、1R播放通過(guò)用聲級(jí)差將聲源MS1至MS5的信號(hào)分解成左右2聲道的信號(hào)來(lái)記錄的立體聲音頻信號(hào)將使收聽(tīng)者2感覺(jué)到對(duì)應(yīng)于聲源MS1、MS2、MS3、MS4和MS5的聲像A、B、C、D和E。并且，這些聲像A、B、C、D和E已知被定位在揚(yáng)聲器1L與揚(yáng)聲器1R之間。
另外，在收聽(tīng)者2如圖33中所示地戴著耳機(jī)3并以耳機(jī)3的左揚(yáng)聲器單元3L和右揚(yáng)聲器單元3R播放上述左右2聲道的立體聲音頻信號(hào)的情況下，可使收聽(tīng)者2感覺(jué)到對(duì)應(yīng)于聲源MS1、MS2、MS3、MS4和MS5的聲源的聲像A、B、C、D和E在頭內(nèi)或近旁。
然而，以這種播放方法，聲像只被定位在兩個(gè)揚(yáng)聲器或揚(yáng)聲器單元之間的狹窄區(qū)域內(nèi)，并且還常常感覺(jué)到聲像相互重疊。
為了避免重疊聲像，可以對(duì)圖32的情形設(shè)想這樣一種設(shè)置，其中兩個(gè)揚(yáng)聲器1L和1R之間的間距被加寬，但在這些情形中，由于中心區(qū)域聲像(圖32中的聲像C)不明確，所以不能獲得明確的聲像定位。當(dāng)然，不能自由地將對(duì)應(yīng)于聲源的聲像定位在收聽(tīng)者后面或側(cè)面的位置。
問(wèn)題還在于在以耳機(jī)3播放同一立體聲音頻信號(hào)時(shí)，如圖33中所示，聲像A至E從左耳旁邊到右耳旁邊定位在頭內(nèi)，這導(dǎo)致聲像被定位在甚至比揚(yáng)聲器輸出更窄的范圍內(nèi)而且呈重疊的狀態(tài)，從而導(dǎo)致不自然發(fā)聲的聲場(chǎng)。
對(duì)于這一問(wèn)題，可以例如從雙聲道立體聲音頻信號(hào)分離合成來(lái)自原始聲源的三個(gè)或以上聲道的音頻信號(hào)，并由對(duì)應(yīng)于這多個(gè)聲道中的每一個(gè)的揚(yáng)聲器播放所分離合成的多聲道音頻信號(hào)，從而產(chǎn)生自然的聲場(chǎng)。這還使得能例如在收聽(tīng)者的后方等合成聲像。
對(duì)于用于實(shí)現(xiàn)這一目的的方法，有一種使用矩陣電路和方向性增強(qiáng)電路的方法。將參照?qǐng)D34來(lái)說(shuō)明這一原理。
準(zhǔn)備四種類型的聲源的信號(hào)L、C、R和S，且使用這些聲源信號(hào)通過(guò)用以下合成式進(jìn)行編碼處理來(lái)得到兩個(gè)聲源信號(hào)Si1和Si2。
Si1＝L+0.7C+0.7SSi2＝R+0.7C-0.7S以此方式生成的兩個(gè)信號(hào)Si1和Si2(2聲道)被記錄在諸如盤(pán)等記錄介質(zhì)中，從記錄介質(zhì)播放，并被輸入圖34中所示的解碼裝置10的輸入端子11和12。在解碼裝置10處從信號(hào)Si1和Si2分離4個(gè)聲道的聲源信號(hào)L、C、R和S。
具體而言，來(lái)自輸入端子11和12的輸入信號(hào)Si1和Si2被提供給加法電路13和減法電路14，相加和相減，從而分別生成加法輸出信號(hào)Sadd和Sdiff。此時(shí)，信號(hào)Si1和Si2以及信號(hào)Sadd和Sdiff表示如下Si1＝L+0.7C+0.7SSi2＝R+0.7C-0.7SSadd＝1.4C+L+RSdiff＝1.4S+L-R因此，信號(hào)Si1中的信號(hào)L、信號(hào)Si2中的信號(hào)R、信號(hào)Sadd中的信號(hào)C和信號(hào)Sdiff中的信號(hào)S均具有比其它聲源信號(hào)高3dB的聲級(jí)，所以各聲道音頻最好地保持了相應(yīng)聲源的特征。因此，將信號(hào)Si1、信號(hào)Si2、信號(hào)Sadd和信號(hào)Sdiff各自作為相應(yīng)的輸出信號(hào)使得能分離并輸出四個(gè)原始聲道的聲源信號(hào)L、C、R和S。
然而，在此狀態(tài)下，聲道之間聲像的分隔不足。因此，在圖34中所示的例子中，信號(hào)Si1、信號(hào)Si2、信號(hào)Sadd和信號(hào)Sdiff通過(guò)增強(qiáng)輸出聲級(jí)的方向性增強(qiáng)電路151、152、153和154輸出至輸出端子161、162、163和164。
各方向性增強(qiáng)電路151、152、153和154用于動(dòng)態(tài)地增強(qiáng)信號(hào)Si1、信號(hào)Si2、信號(hào)Sadd和信號(hào)Sdiff中的具有比其它聲道信號(hào)大的聲級(jí)的聲道信號(hào)從而明顯地改善與其它聲道的分隔。
接著，將參照?qǐng)D35至圖37D說(shuō)明另一常規(guī)的例子。在此例中，如圖35中所示，設(shè)置了解相關(guān)處理單元171、172、173和174來(lái)代替圖34中的例子中的方向性增強(qiáng)電路151、152、153和154。
解相關(guān)處理單元171至174各自由諸如在例如圖36A、圖36B、圖36C和圖36D或圖37A、圖37B、圖37C和圖37D中示出的特性的濾波器構(gòu)成。
對(duì)于圖36A、圖36B、圖36C和圖36D，聲道的解相關(guān)是通過(guò)相互錯(cuò)開(kāi)打陰影線的頻帶處的相位來(lái)實(shí)現(xiàn)的。對(duì)于圖37A、圖37B、圖37C和圖37D，聲道的解相關(guān)是通過(guò)在聲道間去除不同的頻帶來(lái)實(shí)現(xiàn)的。
從各不同揚(yáng)聲器播放在圖35中的例子中所示的解碼裝置10處生成并從輸出端子161至164輸出的偽4聲道信號(hào)確保了聲道之間的無(wú)相關(guān)性，所以能實(shí)現(xiàn)具有寬廣感的聲場(chǎng)再現(xiàn)。
作為參考的特許文獻(xiàn)是特表2003-515771號(hào)公報(bào)。
然而，用上述圖34中的方法，盡管可以在某種程序上實(shí)現(xiàn)從信號(hào)Si1和Si2中分離三個(gè)或以上編碼的聲道的聲源，但存在以下問(wèn)題(1)雖然在只存在一個(gè)聲源的情況下能取得良好的分隔，但在所有聲源同時(shí)以相同聲級(jí)出現(xiàn)的情況下，聲道間不存在聲級(jí)差，因此，方向性增強(qiáng)電路151至154不工作，從而只能確保聲道間3dB的分隔。
(2)由于方向性增強(qiáng)電路151至154，諸聲源的信號(hào)聲級(jí)動(dòng)態(tài)地改變，從而容易發(fā)生聲音中的不自然增/減。
(3)當(dāng)出現(xiàn)兩個(gè)相鄰的聲源時(shí)，一個(gè)聲源可能會(huì)被另一聲源牽引。
(4)除了設(shè)想用分離編碼的聲源以外，分離效果很少。
另外，以上用圖34描述的方法還具有下列問(wèn)題。即，對(duì)于圖34中的例子中的使用解相關(guān)處理的方法，不考慮聲源類型地錯(cuò)開(kāi)頻帶相位或去除頻帶，雖然能得到寬廣的聲場(chǎng)，但不能分離聲源，因此不能構(gòu)成明確的聲像。
在試圖從雙聲道立體聲信號(hào)分離聲源的情形中，使用方向性增強(qiáng)電路的方法的問(wèn)題在于在同時(shí)出現(xiàn)多個(gè)聲源的情況下聲源之間的分隔不足，存在不自然的音量變化、不自然的聲源移動(dòng)，并且除非準(zhǔn)備的預(yù)先編碼的聲源否則不易取得足夠的效果。
另外，對(duì)于使用解相關(guān)處理的偽多聲道方法，問(wèn)題在于聲源的聲像沒(méi)有明確定位。
本發(fā)明的一個(gè)目的是提供一種能從包含多個(gè)聲源的音頻信號(hào)的2系統(tǒng)的音頻信號(hào)中適當(dāng)?shù)胤蛛x多個(gè)聲源的音頻信號(hào)的音頻信號(hào)處理裝置和方法。

發(fā)明內(nèi)容
為了解決以上問(wèn)題，根據(jù)權(quán)利要求1的發(fā)明的音頻信號(hào)處理裝置包括分割裝置，用于將每一2系統(tǒng)音頻信號(hào)分割成多個(gè)頻帶；聲級(jí)比較裝置，用于計(jì)算在由分割裝置分割的多個(gè)頻帶中的每一個(gè)中的2系統(tǒng)的音頻信號(hào)的聲級(jí)比或聲級(jí)差；以及三個(gè)或以上輸出控制裝置，用于從來(lái)自分割裝置的2系統(tǒng)的音頻信號(hào)中的兩方或一方的多個(gè)頻帶分量中提取并輸出在聲級(jí)比較裝置處計(jì)算的聲級(jí)比或聲級(jí)差為預(yù)定值及近旁的頻帶分量。
其中由這三個(gè)或以上輸出控制裝置提取并輸出的頻帶分量是其聲級(jí)比或聲級(jí)差為互不相同的預(yù)定值及近旁的頻帶分量。
在權(quán)利要求1中的發(fā)明中，利用了多個(gè)聲源的音頻信號(hào)以預(yù)定聲級(jí)比或聲級(jí)差混合在2系統(tǒng)的音頻信號(hào)中這一事實(shí)。對(duì)于權(quán)利要求1中的發(fā)明，2系統(tǒng)的音頻信號(hào)中的每一個(gè)被分割裝置分割成多個(gè)頻帶。
在聲級(jí)比較裝置中，對(duì)音頻信號(hào)所分割成的每一頻帶計(jì)算2系統(tǒng)的音頻信號(hào)的聲級(jí)比或聲級(jí)差。
在這三個(gè)或以上輸出控制裝置中的每一個(gè)中，從2系統(tǒng)的輸出信號(hào)的兩方或一方中提取在聲級(jí)比較裝置處對(duì)每個(gè)輸出控制裝置計(jì)算的聲級(jí)比或聲級(jí)差為預(yù)定值及近旁的頻帶分量。
現(xiàn)在，如果為每一輸出控制裝置預(yù)先確定的聲級(jí)比或聲級(jí)差被設(shè)置成特定聲源的音頻信號(hào)混合在2系統(tǒng)的音頻信號(hào)中所用的聲級(jí)比或聲級(jí)差，則能從這些輸出控制裝置中的每一個(gè)中各提取構(gòu)成特定聲源的音頻信號(hào)的頻率分量。
根據(jù)權(quán)利要求2的發(fā)明包括第一和第二正交變換裝置，用于將2系統(tǒng)的輸入音頻時(shí)序信號(hào)轉(zhuǎn)換成相應(yīng)的頻域信號(hào)；頻分譜比較裝置，用于將來(lái)自第一正交變換裝置和第二正交變換裝置的相應(yīng)頻分譜(frequency division spectrum)之間的聲級(jí)比或聲級(jí)差相比較；由三個(gè)或以上聲源分離裝置構(gòu)成的頻分譜控制裝置，用于在頻分譜比較裝置的比較結(jié)果的基礎(chǔ)上控制從第一和第二正交變換裝置中的兩方或一方取得的頻分譜的聲級(jí)，以提取并輸出聲級(jí)比或聲級(jí)差為預(yù)定值及近旁的頻帶分量；三個(gè)或三個(gè)以上正交逆變換裝置，用于將來(lái)自頻分譜控制裝置的三個(gè)或三個(gè)以上聲源分離裝置中的每一個(gè)的頻域信號(hào)恢復(fù)成時(shí)序信號(hào)。
其中從這三個(gè)或以上正交逆變換裝置的每一個(gè)取得輸出音頻信號(hào)。
在權(quán)利要求2中的發(fā)明中，輸入音頻時(shí)序信號(hào)的兩個(gè)系統(tǒng)各由第一和第二正交變換裝置轉(zhuǎn)換成相應(yīng)的頻域信號(hào)，并且各自轉(zhuǎn)換成由多個(gè)頻分譜組成的分量。
在權(quán)利要求2中的發(fā)明中，由頻分譜比較裝置比較來(lái)自第一正交變換裝置和第二正交變換裝置的相應(yīng)頻分譜之間的聲級(jí)比或聲級(jí)差。
在這三個(gè)或以上輸出控制裝置中的每一個(gè)中，基于頻分譜比較裝置的比較結(jié)果來(lái)控制從第一和第二正交變換裝置中的兩方或一方取得的頻分譜的聲級(jí)，并提取和輸出聲級(jí)比或聲級(jí)差為預(yù)定值及近旁的頻帶分量；因此，如果在這多個(gè)輸出控制裝置的每一個(gè)中將預(yù)定聲級(jí)比或聲級(jí)差設(shè)置成特定聲源的音頻信號(hào)混合在2系統(tǒng)的音頻信號(hào)中所用聲級(jí)比或聲級(jí)差，則由輸出控制裝置從2系統(tǒng)的音頻信號(hào)中的兩方或一方提取并取得構(gòu)成為各輸出控制裝置設(shè)置的特定聲源的音頻信號(hào)的頻域分量。即，從三個(gè)或這三個(gè)或以上輸出控制裝置中的每一個(gè)取得從2系統(tǒng)的輸入音頻時(shí)序信號(hào)提取的特定聲源的音頻信號(hào)。
另外，權(quán)利要求3中的發(fā)明包括第一和第二正交變換裝置，用于將2系統(tǒng)的音頻時(shí)序信號(hào)轉(zhuǎn)換成相應(yīng)的頻域信號(hào)；相位差計(jì)算裝置，用于計(jì)算來(lái)自第一正交變換裝置和第二正交變換裝置的相應(yīng)頻分譜之間的相位差；由三個(gè)或以上聲源分離裝置構(gòu)成的頻分譜控制裝置，用于在相位差計(jì)算裝置所計(jì)算的相位差的基礎(chǔ)上控制從第一和第二正交變換裝置中的兩方或一方取得的頻分譜的聲級(jí)，以提取并輸出相位差為預(yù)定值及近旁的頻帶分量；三個(gè)或以上正交逆變換裝置，用于將來(lái)自頻分譜控制裝置的三個(gè)或以上聲源分離裝置中的每一個(gè)的頻域信號(hào)恢復(fù)成時(shí)序信號(hào)。
其中輸出音頻信號(hào)是從這三個(gè)或以上正交逆變換裝置中的每一個(gè)取得。
使用權(quán)利要求3中的發(fā)明，2系統(tǒng)的輸入音頻時(shí)序信號(hào)由第一和第二正交變換裝置轉(zhuǎn)換成相應(yīng)的頻域信號(hào)，并且各自被轉(zhuǎn)換成由多個(gè)頻分譜組成的分量。
另外，在權(quán)利要求3中，由相位差計(jì)算裝置計(jì)算來(lái)自第一正交變換裝置和第二正交變換裝置的相應(yīng)頻分譜之間的相位差。
另外，在這三個(gè)或以上聲源分離裝置中的每一個(gè)中，基于相位差計(jì)算裝置的計(jì)算結(jié)果來(lái)控制從第一和第二正交變換裝置中的兩方或一方取得的頻分譜的聲級(jí)，并提取和輸出相位差為預(yù)定值及近旁的頻帶分量。
因此，如果預(yù)定相位差被設(shè)置成特定聲源的音頻信號(hào)被混合在2系統(tǒng)的音頻信號(hào)中所用的相位差，則從2系統(tǒng)的音頻信號(hào)中的至少一個(gè)中提取并取得構(gòu)成該特定聲源的音頻信號(hào)的頻域分量。即，從這三個(gè)或以上聲源分離裝置提取一特定聲源的音頻信號(hào)。
根據(jù)本發(fā)明，基于預(yù)定聲級(jí)比或聲級(jí)差或預(yù)定相位差從2系統(tǒng)的音頻信號(hào)中的兩方或一方中分離并輸出在預(yù)定聲級(jí)比或聲級(jí)差或預(yù)定相位差下混合在2系統(tǒng)的音頻信號(hào)中的三個(gè)或以上聲源的音頻信號(hào)。


圖1是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第一實(shí)施例的一構(gòu)成例的框圖。
圖2是示出應(yīng)用了第一實(shí)施例的音頻播放系統(tǒng)的一構(gòu)成例的框圖。
圖3是示出作為圖1的一部分的頻分譜比較處理單元的一構(gòu)成例的框圖。
圖4是示出作為圖1的一部分的頻分譜控制處理單元的一構(gòu)成例的框圖。
圖5A是示出對(duì)頻分譜控制處理單元的乘法系數(shù)生成單元51設(shè)置的函數(shù)的幾個(gè)例子的圖。
圖5B是示出對(duì)頻分譜控制處理單元的乘法系數(shù)生成單元51設(shè)置的函數(shù)的幾個(gè)例子的圖。
圖5C是示出對(duì)頻分譜控制處理單元的乘法系數(shù)生成單元51設(shè)置的函數(shù)的幾個(gè)例子的圖。
圖5D是示出對(duì)頻分譜控制處理單元的乘法系數(shù)生成單元51設(shè)置的函數(shù)的幾個(gè)例子的圖。
圖5E是示出對(duì)頻分譜控制處理單元的乘法系數(shù)生成單元51設(shè)置的函數(shù)的幾個(gè)例子的圖。
圖6是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第二實(shí)施例的構(gòu)成例的框圖。
圖7是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第三實(shí)施例的一構(gòu)成例的框圖。
圖8是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第四實(shí)施例的一構(gòu)成例的框圖。
圖9是示出作為圖8的一部分的頻分譜比較處理單元以及頻分譜控制處理單元的構(gòu)成例的框圖。
圖10A是示出對(duì)圖9中的乘法系數(shù)生成單元61和65設(shè)置的函數(shù)的幾個(gè)例子的圖。
圖10B是示出對(duì)圖9中的乘法系數(shù)生成單元61和65設(shè)置的函數(shù)的幾個(gè)例子的圖。
圖10C是示出對(duì)圖9中的乘法系數(shù)生成單元61和65設(shè)置的函數(shù)的幾個(gè)例子的圖。
圖10D是示出對(duì)圖9中的乘法系數(shù)生成單元61和65設(shè)置的函數(shù)的幾個(gè)例子的圖。
圖10E是示出對(duì)圖9中的乘法系數(shù)生成單元61和65設(shè)置的函數(shù)的幾個(gè)例子的圖。
圖11是示出應(yīng)用了第5實(shí)施例的音頻播放系統(tǒng)的構(gòu)成例的框圖。
圖12是根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第5實(shí)施例的構(gòu)成例的圖。
圖13是示出應(yīng)用了第6實(shí)施例的音頻播放系統(tǒng)的一構(gòu)成例的框圖。
圖14是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第6實(shí)施例的一構(gòu)成例的圖。
圖15是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第6實(shí)施例的一部分的一構(gòu)成例的圖。
圖16是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第7實(shí)施例的一構(gòu)成例的圖。
圖17是用于說(shuō)明第7實(shí)施例的圖。
圖18是用于說(shuō)明第7實(shí)施例的圖。
圖19是用于說(shuō)明第7實(shí)施例的圖。
圖20是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第8實(shí)施例的一構(gòu)成例的圖。
圖21是用于說(shuō)明第8實(shí)施例的圖。
圖22是用于說(shuō)明第8實(shí)施例的圖。
圖23是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第9實(shí)施例的一構(gòu)成例的圖。
圖24是示出圖23的一部分的一構(gòu)成例的框圖。
圖25是示出圖23的一部分的另一構(gòu)成例的框圖。
圖26是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第10實(shí)施例的一構(gòu)成例的圖。
圖27是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第11實(shí)施例的一構(gòu)成例的圖。
圖28是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第12實(shí)施例的一構(gòu)成例的圖。
圖29是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第12實(shí)施例的一構(gòu)成例的圖。
圖30是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第13實(shí)施例的一構(gòu)成例的圖。
圖31是示出根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第13實(shí)施例的一構(gòu)成例的圖。
圖32是用于說(shuō)明以多個(gè)聲源構(gòu)成的2聲道信號(hào)進(jìn)行的聲像定位的圖。
圖33是用于說(shuō)明以多個(gè)聲源構(gòu)成的2聲道信號(hào)進(jìn)行的聲像定位的圖。
圖34是用于說(shuō)明常規(guī)的特定聲源音頻信號(hào)分離裝置的框圖。
圖35是用于說(shuō)明常規(guī)的特定聲源音頻信號(hào)分離裝置的框圖。
圖36A是用于說(shuō)明常規(guī)的特定聲源音頻信號(hào)分離裝置的框圖。
圖36B是用于說(shuō)明常規(guī)的特定聲源音頻信號(hào)分離裝置的框圖。
圖36C是用于說(shuō)明常規(guī)的特定聲源音頻信號(hào)分離裝置的框圖。
圖36D是用于說(shuō)明常規(guī)的特定聲源音頻信號(hào)分離裝置的框圖。
圖37A是用于說(shuō)明常規(guī)的特定聲源音頻信號(hào)分離裝置的框圖。
圖37B是用于說(shuō)明常規(guī)的特定聲源音頻信號(hào)分離裝置的框圖。
圖37C是用于說(shuō)明常規(guī)的特定聲源音頻信號(hào)分離裝置的框圖。
圖37D是用于說(shuō)明常規(guī)的特定聲源音頻信號(hào)分離裝置的框圖。
具體實(shí)施例方式
現(xiàn)在將參照

根據(jù)本發(fā)明的音頻信號(hào)處理裝置和方法的諸實(shí)施例。
在以下說(shuō)明中，將說(shuō)明從由上述左聲道音頻信號(hào)SL和右聲道音頻信號(hào)SR構(gòu)成的立體聲音頻信號(hào)分離聲源的情形。
例如，我們說(shuō)聲源MS1至MS5的音頻信號(hào)S1至S5被用以下(式1)和(式2)中所示的比例的聲級(jí)差分解成左聲道音頻信號(hào)SL和右聲道音頻信號(hào)SRSL＝S1+0.9S2+0.7S3+0.4S4(式1)SR＝S5+0.4S2+0.7S3+0.9S4(式2)與(式1)和(式2)相比較，聲源MS1至MS5的音頻信號(hào)S1至S5被以上述聲級(jí)差分配給左聲道音頻信號(hào)SL和右聲道音頻信號(hào)SR，從而只要能再次從左聲道音頻信號(hào)SL和/或右聲道音頻信號(hào)SR分解這些聲源，就能分離原始聲源。
在以下實(shí)施例中，使用每一聲源通常具有不同的譜分量這一事實(shí)通過(guò)具有足夠分辨率的FFT處理將左右2聲道的立體聲音頻信號(hào)各自轉(zhuǎn)換到頻域，從而分離成多個(gè)頻分譜分量。然后，對(duì)每一聲道的音頻信號(hào)求取相應(yīng)頻分譜間的聲級(jí)比或聲級(jí)差。
然后針對(duì)所要分離的聲源的每一音頻信號(hào)在(式1)和(式2)中檢測(cè)所求取的聲級(jí)比或聲級(jí)差所對(duì)應(yīng)的頻分譜。在檢測(cè)到作為要分離的聲源的每一音頻信號(hào)的聲級(jí)比或聲級(jí)差的頻分譜的情形中，對(duì)每一聲源分離所檢測(cè)到的頻分譜，從而使得能進(jìn)行較少受到其它聲源影響的聲源分離。
圖2是示出應(yīng)用了根據(jù)本發(fā)明的音頻信號(hào)處理裝置的第一實(shí)施例的音響再現(xiàn)系統(tǒng)的構(gòu)成的框圖。該音響再現(xiàn)系統(tǒng)從由諸如上述(式1)和(式2)中的5個(gè)聲源信號(hào)構(gòu)成的左右2聲道的立體聲音頻信號(hào)SL和SR分離這5個(gè)聲源信號(hào)，并從5個(gè)揚(yáng)聲器SP1至SP5執(zhí)行所分離的5個(gè)聲源信號(hào)的音響再現(xiàn)。
即，通過(guò)輸入端子31和32向作為該音頻信號(hào)處理裝置的實(shí)施例的音頻信號(hào)處理裝置單元100提供左聲道音頻信號(hào)SL和右聲道音頻信號(hào)SR。使用這一音頻信號(hào)處理裝置單元100，從左聲道音頻信號(hào)SL和右聲道音頻信號(hào)SR分離并提取5個(gè)聲源的音頻信號(hào)S1’、S2’、S3’、S4’和S5’。
已由音頻信號(hào)處理裝置單元100分離并提取的這5個(gè)聲源的音頻信號(hào)S1’、S2’、S3’、S4’和S5’分別由D/A轉(zhuǎn)換器331、332、333、334和335轉(zhuǎn)換成模擬信號(hào)，然后分別經(jīng)由放大器341、342、343、344和345以及輸出端子351、352、353、354和355提供給揚(yáng)聲器SP1、SP2、SP3、SP4和SP5并音響再現(xiàn)。
現(xiàn)在，在圖2中的例子中，在將收聽(tīng)者M(jìn)的正面方向作為揚(yáng)聲器SP3的方向時(shí)，揚(yáng)聲器SP1、SP2、SP3、SP4和SP5分別被定位在收聽(tīng)者M(jìn)的左后方、右方后、前方中心、左前方和右前方的位置，且5個(gè)聲源的音頻信號(hào)S1’、S2’、S3’、S4’和S5’分別用作左后(LS左環(huán)繞)聲道、右后(RS右環(huán)繞)聲道、中央聲道、左(L)聲道以及右(R)聲道。
圖1示出音頻信號(hào)處理裝置單元100的第一例。在音頻信號(hào)處理裝置單元100的該第一例中，2聲道的立體聲信號(hào)當(dāng)中，左聲道音頻信號(hào)SL被提供給用作D/A轉(zhuǎn)換裝置的一個(gè)例子的FFT(快速傅里葉變換)單元101，然后在是模擬信號(hào)的情況下被轉(zhuǎn)換成數(shù)字信號(hào)，對(duì)信號(hào)SL進(jìn)行FFT處理(快速傅里葉變換)，并將時(shí)序音頻信號(hào)轉(zhuǎn)換成頻域數(shù)據(jù)。顯然，如果信號(hào)SL是數(shù)字信號(hào)，則不需要FFT 101中模/數(shù)轉(zhuǎn)換。
另一方面，2聲道的立體聲信號(hào)當(dāng)中，右聲道音頻信號(hào)SR被提供給用作D/A轉(zhuǎn)換裝置的一個(gè)例子的FFT單元102，然后在是模擬信號(hào)的情況下被轉(zhuǎn)換成數(shù)字信號(hào)，對(duì)信號(hào)SR進(jìn)行FFT處理(快速傅里葉變換)，并將時(shí)序音頻信號(hào)轉(zhuǎn)換成頻域數(shù)據(jù)。顯然，如果信號(hào)SR是數(shù)字信號(hào)，則不需要FFT 102中的模/數(shù)轉(zhuǎn)換。
此例中的FFT單元101和102具有相同的構(gòu)成，并將時(shí)序信號(hào)SL和SR劃分成互不相同的多個(gè)頻率的頻分譜。作為頻分譜所取得的頻分?jǐn)?shù)目是對(duì)應(yīng)于聲源的分離精度的多數(shù)，且頻分?jǐn)?shù)目為例如500或以上，且優(yōu)選地，為4000或以上。頻分?jǐn)?shù)目等于FFT單元的點(diǎn)數(shù)。
分別來(lái)自FFT單元101和FFT單元102的頻分譜輸出F1和F2各自被提供給頻分譜比較處理單元103和頻分譜控制處理單元104。
頻分譜比較處理單元103計(jì)算來(lái)自FFT單元101和FFT單元102的頻分譜輸出F1和F2之間的相同頻率的聲級(jí)比，并向頻分譜控制處理單元104輸出所算出的聲級(jí)比。
頻分譜控制處理單元104具有對(duì)應(yīng)于要分離和提取的多個(gè)聲源的音頻信號(hào)數(shù)(在本例中是5)的數(shù)目的聲源分離處理單元1041、1042、1043、1044和1045。在此例中，向這5個(gè)聲源分離處理單元1042到1045中的每一個(gè)提供FFT單元101的輸出F1和FFT單元102的輸出F2以及在頻分譜比較處理單元103中算出的聲級(jí)比的信息。
聲源分離處理單元1041、1042、1043、1044和1045各自從頻分譜比較處理單元103接收聲級(jí)比信息，并且從FFT單元101和FFT單元102中的至少一個(gè)(在本情形中為兩個(gè))中僅提取其中聲級(jí)比等于所要分離和提取的聲源信號(hào)的兩個(gè)聲道信號(hào)SL和SR之間的分配比的頻分譜分量，并向相應(yīng)的逆FFT單元1051、1052、1053、1054和1055輸出提取結(jié)果輸出Fex1、Fex2、Fex3、Fex4和Fex5。
聲源分離處理單元1041、1042、1043、1044和1045各自由使用者根據(jù)所要分離的聲源設(shè)置要提取哪種聲級(jí)比的頻分譜分量。因此，聲源分離處理單元1041、1042、1043、1044和1045各自被構(gòu)造成只提取由被分解成左右2聲道的聲源的音頻信號(hào)中由用戶設(shè)定在要分離的聲級(jí)比的頻分譜分量。
逆FFT單元1051、1052、1053、1054和1055各自將來(lái)自頻分譜控制處理單元104的相應(yīng)聲源分離處理單元1041、1042、1043、1044和1045的提取結(jié)果輸出Fex1、Fex2、Fex3、Fex4和Fex5的頻分譜分量轉(zhuǎn)換成原始時(shí)序信號(hào)，并從輸出端子1061、1062、1063、1064和1065輸出經(jīng)轉(zhuǎn)換的輸出信號(hào)作為用戶設(shè)置成要分離的5個(gè)聲源的音頻信號(hào)S1’、S2’、S3’、S4’和S5’。
在本例中，頻分譜比較處理單元103在功能上具有如圖3中所示的構(gòu)成。即，頻分譜比較處理單元103由聲級(jí)檢測(cè)單元41和42、聲級(jí)比計(jì)算單元43和44以及選擇器451、452、453、454和455構(gòu)成。
聲級(jí)檢測(cè)單元41檢測(cè)來(lái)自FFT單元101的頻分譜分量F1的每一頻率分量的聲級(jí)，并輸出其檢測(cè)輸出D1。另外，聲級(jí)檢測(cè)單元42檢測(cè)來(lái)自FFT單元102的頻分譜分量F2的每一頻率分量的聲級(jí)，并輸出其檢測(cè)輸出D2。在此例中，檢測(cè)振幅譜作為每一頻分譜的聲級(jí)。注意，可以檢測(cè)功率譜作為每一頻分譜的聲級(jí)。
然后，聲級(jí)比計(jì)算單元43計(jì)算D2/D1。另外，聲級(jí)比計(jì)算單元44計(jì)算倒數(shù)D1/D2。向選擇器451、452、453、454和455中的每一個(gè)提供在聲級(jí)比計(jì)算單元43和44中計(jì)算的聲級(jí)比。然后，從選擇器451、452、453、454和455中的每一個(gè)提取其一個(gè)聲級(jí)比作為輸出聲級(jí)比r1、r2、r3、r4和r5。
向選擇器451、452、453、454和455中的每一個(gè)提供選擇控制信號(hào)SEL1、SEL2、SEL3、SEL4和SEL5，用于執(zhí)行關(guān)于根據(jù)由用戶設(shè)置的要分離的聲源及其聲級(jí)比來(lái)選擇聲級(jí)比計(jì)算單元43的輸出還是聲級(jí)比計(jì)算單元44的輸出的選擇控制。向頻分譜控制處理單元104的各聲源分離處理單元1041、1042、1043、1044和1045提供從選擇器451、452、453、454和455中的每一個(gè)取得的輸出聲級(jí)比r。
在此例中，對(duì)于頻分譜控制處理單元104的聲源分離處理單元1041、1042、1043、1044和1045中的每一個(gè)，用作要分離的聲源的聲級(jí)比的值總是滿足聲級(jí)比≤1。即，輸入聲源分離處理單元1041、1042、1043、1044和1045中的每一個(gè)的聲級(jí)比r是較小聲級(jí)的頻分譜的聲級(jí)除以較大聲級(jí)的頻分譜的聲級(jí)。
因此，對(duì)于聲源分離處理單元1041、1042、1043、1044和1045中的每一個(gè)，在分離被分配成被更多地包括在左聲道音頻信號(hào)SL中的聲源信號(hào)的情形中，使用從聲級(jí)比計(jì)算單元43輸出的聲級(jí)比計(jì)算輸出，相反，在分離被分配成被更多地包括在右聲道音頻信號(hào)SR中的聲源信號(hào)的情形中，使用從聲級(jí)比計(jì)算單元44輸出的聲級(jí)比計(jì)算輸出。
例如，在用戶要將左聲道和右聲道的分配率的值PL和PR(其中PL和PR是等于或小于1的值)的輸入設(shè)置為要分離的聲源的聲級(jí)比的情形中，PL和PR的分配率值滿足PR/PL＜1，選擇控制信號(hào)SEL1、SEL2、SEL3、SEL4和SEL5是其中取聲級(jí)比計(jì)算單元43的輸出(D2/D1)作為來(lái)自選擇器451、452、453、454和455中的每一個(gè)的輸出聲級(jí)比r的選擇控制信號(hào)，并且分配系數(shù)值PL和PR滿足PR/PL＞1，選擇控制信號(hào)SEL1、SEL2、SEL3、SEL4和SEL5是其中取聲級(jí)比計(jì)算單元44的輸出(D1/D2)作為來(lái)自選擇器451、452、453、454和455中的每一個(gè)的輸出聲級(jí)比r的選擇控制信號(hào)。
注意，在由用戶設(shè)置的分配率值PL和PR相等(其中聲級(jí)比＝1)的情形中，可以在選擇器451、452、453、454和455中的每一個(gè)中或可選擇聲級(jí)比計(jì)算單元43的輸出，或可選擇聲級(jí)比計(jì)算單元44的輸出。
頻分譜控制處理單元104的聲源分離處理單元1041、1042、1043、1044和1045中的每一個(gè)都具有相同的構(gòu)成，并且此例子中在功能上具有如圖4中所示的構(gòu)成。即，圖4中所示的聲源分離處理單元104i示出聲源分離處理單元1041、1042、1043、1044和1045中的一個(gè)的構(gòu)成，并且由乘法系數(shù)生成單元51、乘法單元52和53以及加法單元54構(gòu)成。
向乘法單元52提供來(lái)自FFT單元101的頻分譜分量F1以及來(lái)自乘法系數(shù)生成單元51的乘法系數(shù)w，并從乘法單元52向加法單元54提供它們相乘的結(jié)果。同樣，向乘法單元53提供來(lái)自FFT單元102的頻分譜分量F2以及來(lái)自乘法系數(shù)生成單元51的乘法系數(shù)w，并從乘法單元53向加法單元54提供它們相乘的結(jié)果。加法單元54的輸出是聲源分離處理單元104i的輸出Fexi(其中，F(xiàn)exi是Fex1、Fex2、Fex3、Fex4或Fex5中的一個(gè))。
乘法系數(shù)生成單元51接收來(lái)自頻分譜比較處理單元103的選擇器45i(其中選擇器45i是選擇器451、452、453、454和455中的一個(gè))的輸出聲級(jí)比ri(其中ri是r1、r2、r3、r4或r5中的一個(gè))的輸出，并生成對(duì)應(yīng)于聲級(jí)比ri的乘法系數(shù)wi。例如，乘法系數(shù)生成單元51由以聲級(jí)比ri為變量的關(guān)于乘法系數(shù)wi的函數(shù)生成電路。選擇哪種函數(shù)作為要由乘法系數(shù)生成單元51使用的函數(shù)取決于由用戶者根據(jù)要分離的聲源設(shè)置的分配率值PL和PR。
向乘法系數(shù)生成單元51提供的聲級(jí)比ri以頻分譜的頻率分量為單位變化，所以來(lái)自乘法系數(shù)生成單元51的乘法系數(shù)wi也以頻分譜的頻率分量為單位變化。
因此，使用乘法器52，來(lái)自FFT單元101的頻分譜的聲級(jí)由乘法系數(shù)wi控制，而使用乘法器53，來(lái)自FFT單元102的頻分譜的聲級(jí)由乘法系數(shù)wi控制。
圖5A至圖5E示出用作乘法系數(shù)生成單元51的函數(shù)生成電路中所使用的函數(shù)的幾個(gè)例子。例如，在從左右2聲道的音頻信號(hào)SL和SR分離以上(式1)和(式2)中所示的位于左右聲道的聲像之間中心處的聲源的音頻信號(hào)S3的情形中，具有如圖5A中所示的特性的函數(shù)生成電路被用于乘法系數(shù)生成單元51。
圖5A中的函數(shù)的特性是在左右聲道的聲級(jí)比ri為1或接近1情形中，即對(duì)于其中左右聲道在同一聲級(jí)或接近同一聲級(jí)的頻分譜分量，乘法系數(shù)wi為1或接近1，且在左右聲道的聲級(jí)比ri等于或小于0.6的區(qū)域中，乘法系數(shù)wi為0。
因此，其中輸入乘法系數(shù)生成單元51的聲級(jí)比ri為1或接近1的頻分譜分量的乘法系數(shù)wi為1或接近1，從而以幾乎相同的聲級(jí)從乘法單元52和53輸出頻分譜分量。另一方面，其中輸入乘法系數(shù)生成單元51的聲級(jí)比ri的值等于或小于0.6的頻分譜分量的乘法系數(shù)wi為0，因此乘法單元52和53將沒(méi)有輸出。
亦即，在這多個(gè)頻分譜分量當(dāng)中，以幾乎相同的聲級(jí)輸出其中左和右聲級(jí)具有相同或接近聲級(jí)的頻分譜分量，左右聲道之間的聲級(jí)差很大的頻分譜分量取其輸出聲級(jí)為0且不被輸出。因此，只從加法單元54得到以同一聲級(jí)向左右2聲道的音頻信號(hào)SL和SR分配的聲源的音頻信號(hào)S3的頻分譜分量。
同樣，在從以上(式1)和(式2)中所示的左右2聲道的音頻信號(hào)SL和SR分離位于左右聲道中僅一方的聲源的音頻信號(hào)S1或S5的情形中，具有諸如圖5B中所示的特性的函數(shù)生成電路被用于乘法系數(shù)生成單元51。
在本實(shí)施例的這一情況下，在分離音頻信號(hào)S1的情形中，用戶對(duì)要分離的聲源輸入左/右分配率PL∶PR＝1∶0的設(shè)置。一旦用戶進(jìn)行如此設(shè)置，就向選擇器45i提供用于控制以選擇來(lái)自聲級(jí)比計(jì)算單元43的聲級(jí)比的選擇控制信號(hào)SELi(其中SELi是SEL1、SEL2、SEL3、SEL4或SEL5中的一個(gè))。
另一方面，在分離音頻信號(hào)S5的情形中，用戶對(duì)要分離的聲源輸入左/右分配率PL∶PR＝0∶1的設(shè)置?；蛘撸脩糨斎胫T如PL＝0，PR＝1等設(shè)置。一旦用戶進(jìn)行如此設(shè)置，即向選擇器45i提供用于控制以選擇來(lái)自聲級(jí)比計(jì)算單元44的聲級(jí)比的選擇控制信號(hào)SELi。
圖5B中的函數(shù)的特性是對(duì)于左右聲道的聲級(jí)比ri為0或接近0的頻分譜分量，乘法系數(shù)wi為1或接近1，并且在其中左右聲道的聲級(jí)比ri約等于或大于0.4的區(qū)域中，乘法系數(shù)wi為0。
因此，其中輸入乘法系數(shù)生成單元51的聲級(jí)比ri為0或接近0的頻分譜分量的乘法系數(shù)wi為1或接近1，所以以幾乎相同的聲級(jí)從乘法單元52和53輸出該頻分譜分量。另一方面，其中輸入乘法系數(shù)生成單元51的聲級(jí)比ri是約等于或大于0.4的值的頻分譜分量的乘法系數(shù)wi為0，所以該頻分譜分量的輸出聲級(jí)被取為0，并且乘法單元52和53將沒(méi)有輸出。
亦即，在多個(gè)頻分譜分量當(dāng)中，以幾乎相同的聲級(jí)輸出其中左右聲道中的一方與另一方相比非常大的頻分譜分量，而其中左右聲道的聲級(jí)差很小的頻分譜分量的輸出聲級(jí)被取為0并且不被輸出。因此，從加法單元54只取得分配給左右2聲道的音頻信號(hào)SL和SR中的僅一方的聲源的音頻信號(hào)S1或S5的頻分譜分量。
同樣，在從以上(式1)和(式2)中所示的左右2聲道的音頻信號(hào)SL和SR分離在左右聲道之間以特定聲級(jí)差的聲源的音頻信號(hào)S2或S4的情形中，具有諸如圖5C中所示的特性的函數(shù)生成電路被用于乘法系數(shù)生成單元51。
即，以D2/D1(＝SR/SL)＝0.4/0.9＝0.44的聲級(jí)比向左右聲道分配音頻信號(hào)S2。同樣，以D1/D2(＝SL/SR)＝0.4/0.9＝0.44的聲級(jí)比向左右聲道分配音頻信號(hào)S4。
在本實(shí)施例的這一情況下，在分離音頻信號(hào)S2的情形中，用戶對(duì)要分離的聲源輸入左/右分配率PL∶PR＝0.9∶0.4的設(shè)置?；蛘撸脩糨斎胫T如PL＝0.9，PR＝0.4的設(shè)置。一旦用戶進(jìn)行如此設(shè)置，即向選擇器提供用于控制以選擇來(lái)自聲級(jí)比計(jì)算單元43聲級(jí)比的選擇控制信號(hào)，因?yàn)镻R/PL＜1成立。
另一方面，在分離音頻信號(hào)S4的情形中，用戶對(duì)要分離的聲源輸入左/右分配率PL∶PR＝0.4∶0.9的設(shè)置。或者，用戶輸入諸如PL＝0.4，PR＝0.9的設(shè)置。一旦用戶進(jìn)行如此設(shè)置，即向選擇器45i提供用于控制以選擇來(lái)自聲級(jí)比計(jì)算單元44的聲級(jí)比的選擇控制信號(hào)SELi，因?yàn)镻R/PL＞1成立。
圖5C中的函數(shù)的特性是對(duì)于左右聲道的聲級(jí)比ri為D2/D1(＝PR/PL)＝0.4/0.9＝0.44或聲級(jí)比ri接近0.44的頻分譜分量，乘法系數(shù)wi為1或接近1，并且在其中左右聲道的聲級(jí)比ri不接近約0.44的區(qū)域中，乘法系數(shù)wi為0。
因此，對(duì)于其中來(lái)自選擇器45i的聲級(jí)比ri為0.44或接近0.44的頻分譜分量，乘法系數(shù)wi為1或接近1，所以以幾乎相同的聲級(jí)從乘法單元52和53輸出頻分譜分量。另一方面，對(duì)于其中來(lái)自選擇器45i的聲級(jí)比ri為約等于或小于0.44或約等于或大于0.44的值的頻分譜分量，乘法系數(shù)wi為0，因此頻分譜分量的輸出聲級(jí)被取為0，并且乘法單元52和53沒(méi)有輸出。
即，在多個(gè)頻分譜分量當(dāng)中，以幾乎相同的聲級(jí)輸出其中左和右聲級(jí)的聲級(jí)比為0.44或附近的頻分譜分量，并且其中聲級(jí)比ri為約等于或小于0.44或約等于或大于0.44的值的頻分譜分量取其輸出聲級(jí)為0并且不被輸出。
因此，從加法單元54僅取得以0.44的聲級(jí)比向左右2聲道的音頻信號(hào)SL和SR分配的聲源的音頻信號(hào)S2或S4的頻分譜分量。
因此，根據(jù)本實(shí)施例，使用聲源分離處理單元1041、1042、1043、1044和1045，以預(yù)定分配比向左右2聲道分配的聲源的音頻信號(hào)可以基于其分配比從2聲道的音頻信號(hào)分離。
在此情形中，在上述實(shí)施例中，從2聲道的音頻信號(hào)的兩方提取要在聲源分離處理單元1041、1042、1043、1044和1045中分離的聲源的音頻信號(hào)，但不一定非要從兩個(gè)聲道中分離和提取，也可以作只從包含要分離的聲源的音頻信號(hào)分量的一個(gè)聲道分離和提取的設(shè)置。
另外，在上述實(shí)施例中，在音頻信號(hào)處理裝置單元100中，基于向2系統(tǒng)的音頻信號(hào)分配的聲源信號(hào)的聲級(jí)比從2系統(tǒng)的聲源信號(hào)分離聲源信號(hào)，但也可以作能基于2系統(tǒng)的音頻信號(hào)的聲源的信號(hào)的聲級(jí)差從2系統(tǒng)的音頻信號(hào)中的至少一方分離和提取該聲源的信號(hào)的設(shè)置。
注意以上說(shuō)明是參照根據(jù)(式1)和(式2)向左右聲道分配的聲源的左右2聲道的立體聲信號(hào)的一個(gè)例子進(jìn)行的，但甚至對(duì)不按意圖分配的通常的立體聲音樂(lè)信號(hào)，也可以根據(jù)圖5A至圖5E中所示的函數(shù)的選擇特性來(lái)分離相關(guān)聲源。
另外，可通過(guò)如圖5D、圖5E那樣改變函數(shù)來(lái)提供不同的聲源選擇性，諸如改變、擴(kuò)大或縮小要分離的聲級(jí)比范圍等。
對(duì)于聲源的譜構(gòu)成，許多立體聲音頻信號(hào)由具有不同譜的聲源構(gòu)成，但這些聲源也可以與上述類似地分離。
另外，對(duì)于譜重疊部分多的聲源能通過(guò)提高FFT單元101和102中的頻率分辨率從而使用例如具有4000或以上點(diǎn)的FFT電路來(lái)進(jìn)一步改善聲源分離的質(zhì)量[音頻信號(hào)處理裝置單元100的構(gòu)成的第二實(shí)施例]對(duì)于上述第一實(shí)施例，為要分離的所有聲源的音頻信號(hào)設(shè)置聲源分離處理單元，使用在兩個(gè)聲道的立體聲信號(hào)中分配聲源的音頻信號(hào)所用的預(yù)定聲級(jí)比或聲級(jí)差從2系統(tǒng)的音頻信號(hào)中的一方分離和提取要從2系統(tǒng)的音頻信號(hào)(在上述例子中，是左右2聲道的立體聲信號(hào)SL和SR)分離的所有聲源的音頻信號(hào)。
然而，不需要分離和提取所有聲源音頻信號(hào)，并且可以進(jìn)行如下設(shè)置在從左右聲道音頻信號(hào)分離和提取聲源音頻信號(hào)的一部分之后，從左聲道或右聲道減去所分離和提取的聲源的音頻信號(hào)，從而分離和提取其它聲源音頻信號(hào)作為其殘差。
下述第二實(shí)施例是此情形的一個(gè)例子。圖6是示出其一個(gè)例子的框圖。
在圖6中的例子中，使用聲源分離處理單元從左聲道音頻信號(hào)SL分離和提取聲源MS1的音頻信號(hào)S1，并且還從左聲道音頻信號(hào)SL減去已分離和提取的音頻信號(hào)S1，從而產(chǎn)生聲源MS2的音頻信號(hào)S2與聲源MS3的音頻信號(hào)S3的和。
同樣，使用聲源分離處理單元從右聲道音頻信號(hào)SR分離和提取聲源MS5的音頻信號(hào)S5，并且還從右聲道音頻信號(hào)SR減去已分離和提取的音頻信號(hào)S5，從而產(chǎn)生聲源MS4的音頻信號(hào)S4與聲源MS3的音頻信號(hào)S3的和。
即，如圖6中所示，在此第二實(shí)施例中，頻分譜控制處理單元104設(shè)有聲源分離處理單元1041和1045以及殘差提取處理單元1046和1047。
在此第二實(shí)施例中，只向聲源分離處理單元1041提供來(lái)自FFT單元101的左聲道音頻信號(hào)的頻域信號(hào)F1，并且還向殘差提取處理單元1046提供信號(hào)F1。從聲源分離處理單元1041提取的聲源1的頻域信號(hào)被提供給殘差提取處理單元1046，并將其從頻域信號(hào)F1中減去。
同樣，只向聲源分離處理單元1045提供來(lái)自FFT單元102的右聲道音頻信號(hào)的頻域信號(hào)F2，并且還向殘差提取處理單元1047提供信號(hào)F2。從聲源分離處理單元1045提取的聲源MS5的頻域信號(hào)被提供給殘差提取處理單元1047，并將其從頻域信號(hào)F2中減去。
向聲源分離處理單元1041提供來(lái)自頻分譜比較處理單元103的聲級(jí)比r1，并向聲源分離處理單元1045提供來(lái)自頻分譜比較處理單元103的聲級(jí)比r5。
因此，在圖6中所示的例子中，聲源分離處理單元1041由圖4中所示的乘法系數(shù)生成單元51和一個(gè)乘法單元52構(gòu)成，聲源分離處理單元1045由圖4中所示的乘法系數(shù)生成單元51和一個(gè)乘法單元53構(gòu)成，兩者均具有不需要加法單元54的構(gòu)成。
并且頻分譜比較處理單元103僅需使用圖3中的構(gòu)成的選擇器451和455，所以不需要選擇器452至454。
在此構(gòu)成中，對(duì)于聲源分離處理單元1041，只從向逆FFT單元1051提供的頻域信號(hào)F1提取將向逆FFT單元1051提供的聲源MS1的頻域信號(hào)。因此，在輸出端子1061得到聲源MS1的時(shí)域的音頻信號(hào)S1’。
在殘差提取處理單元1046中，從來(lái)自FFT單元101的頻域信號(hào)F1減去來(lái)自聲源分離處理單元1041的聲源MS1的頻域信號(hào)，從而產(chǎn)生殘差頻域信號(hào)。作為從殘差提取處理單元1046輸出的殘差的頻域信號(hào)是作為基于(式1)的聲源MS2的頻域信號(hào)與聲源MS3的頻域信號(hào)之和的信號(hào)。
向逆FFT單元1056提供殘差提取處理單元1046的輸出，從逆FFT單元1056取得作為已恢復(fù)到時(shí)域信號(hào)的聲源MS2的頻域信號(hào)與聲源MS3的頻域信號(hào)的和的信號(hào)，即作為從輸出端子1066提取的聲源MS2與聲源M3的音頻信號(hào)的和(S2’+S3’)的信號(hào)。
同樣，對(duì)于聲源分離處理單元1045，只從向逆FFT單元1055提供的頻域信號(hào)F2提取聲源MS5的頻域信號(hào)。因此，在輸出端子1065得到聲源MS5的時(shí)域的音頻信號(hào)S5’。
在殘差提取處理單元1047中，從來(lái)自FFT單元102的頻域信號(hào)F2中減去來(lái)自聲源分離處理單元1045的聲源MS5的頻域信號(hào)，從而產(chǎn)生殘差頻域信號(hào)。作為從殘差提取處理單元1047輸出的殘差的頻域信號(hào)是基于(式2)的作為聲源MS4的頻域信號(hào)與聲源MS3的頻域信號(hào)之和的信號(hào)。
向逆FFT單元1057提供殘差提取處理單元1047的輸出，從逆FFT單元1056取得作為已恢復(fù)到時(shí)域信號(hào)的聲源MS4的頻域信號(hào)與聲源MS3的頻域信號(hào)的和的信號(hào)，即作為從輸出端子1067提取的聲源MS4與聲源M3的音頻信號(hào)的和(S4’+S3’)的信號(hào)。
在此第二實(shí)施例中，從圖2中去除了用于音頻信號(hào)S3’的D/A轉(zhuǎn)換器333和放大器343以及揚(yáng)聲器SP3，并如下地在揚(yáng)聲器中音響再現(xiàn)來(lái)自輸出端子1061、1065、1066和1067的數(shù)字音頻信號(hào)。
即，由D/A轉(zhuǎn)換器331將來(lái)自輸出端子1061的數(shù)字音頻信號(hào)S1’轉(zhuǎn)換成模擬音頻信號(hào)，通過(guò)放大器341提供給揚(yáng)聲器SP1并音響再現(xiàn)該信號(hào)，并且由D/A轉(zhuǎn)換器335將來(lái)自輸出端子1065的數(shù)字音頻信號(hào)S5’轉(zhuǎn)換成模擬音頻信號(hào)，通過(guò)放大器345提供給揚(yáng)聲器SP5并音響再現(xiàn)該信號(hào)。
另外，來(lái)自輸出端子1066的數(shù)字音頻信號(hào)(S2’+S3’)由D/A轉(zhuǎn)換器332轉(zhuǎn)換成模擬音頻信號(hào)，通過(guò)放大器342提供給揚(yáng)聲器SP2并音響再現(xiàn)，并且來(lái)自輸出端子1067的數(shù)字音頻信號(hào)(S4’+S3’)由D/A轉(zhuǎn)換器334轉(zhuǎn)換成模擬音頻信號(hào)，通過(guò)放大器344提供給揚(yáng)聲器SP4并音響再現(xiàn)。在此情形中，揚(yáng)聲器SP2和揚(yáng)聲器SP4相對(duì)于收聽(tīng)者M(jìn)的設(shè)置可與第一實(shí)施例的情形有所變化。
第三實(shí)施例是第二實(shí)施例的變形例。即，對(duì)于第二實(shí)施例，從來(lái)自FFT單元101或FFT單元102的頻域信號(hào)F1或F2減去用聲源分離處理單元從來(lái)自FFT單元101或FFT單元102的頻域信號(hào)F1或F2分離和提取的特定聲源的頻域信號(hào)，從而以頻域信號(hào)的狀態(tài)取得除所分離和提取的聲源的信號(hào)以外的信號(hào)。因此，對(duì)于第二實(shí)施例，殘差提取處理單元被設(shè)置在頻分譜控制處理單元104內(nèi)。
相反，對(duì)于第三實(shí)施例，殘差處理單元在時(shí)域中從2系統(tǒng)的輸入音頻信號(hào)中的一方減去所分離和提取的聲源的信號(hào)。圖7是根據(jù)第三實(shí)施例的音頻信號(hào)處理裝置單元100的構(gòu)成例的框圖，與第二實(shí)施例相同，在頻分譜控制處理單元104的聲源分離處理單元中分離和提取聲源MS1和MS5的音頻分量，然而，這是從輸入音頻信號(hào)提取外部聲源的音頻分量作為其殘差的情形。
即，如圖7中所示，在此第三實(shí)施例中，頻分譜比較處理單元103的構(gòu)成與第二實(shí)施例的相同，但頻分譜控制處理單元104與第二實(shí)施例的不同之處在于它由聲源分離處理單元1041和聲源分離處理單元1045構(gòu)成，且殘差提取處理單元不設(shè)置在此頻分譜控制處理單元104內(nèi)。
在第三實(shí)施例中，通過(guò)延遲器1071向提取時(shí)域信號(hào)的殘差的殘差提取重單元1072提供來(lái)自輸入端子31的左聲道音頻信號(hào)SL。來(lái)自逆FFT單元1051的聲源S1的時(shí)域音頻信號(hào)S1’被提供給殘差提取處理單元1072，并將其從來(lái)自延遲器1071的左聲道音頻信號(hào)SL中減去。
因此，來(lái)自殘差提取處理單元1072的殘差輸出是作為從上述(式1)中的信號(hào)SL中減去聲源MS1的時(shí)域信號(hào)S1’的結(jié)果的、聲源MS2的時(shí)域信號(hào)與聲源MS3的時(shí)域信號(hào)的和的數(shù)字音頻信號(hào)(S2’+S3’)。通過(guò)輸出端子1068輸出數(shù)字音頻信號(hào)(S2’+S3’)的這一和。
以同樣的方式，通過(guò)延遲器1073向提取時(shí)域信號(hào)的殘差的殘差提取重單元1074提供來(lái)自輸入端子32的右聲道音頻信號(hào)SR。來(lái)自逆FFT單元1055的聲源S5的時(shí)域音頻信號(hào)S5’被提供給殘差提取處理單元1074，并將其從來(lái)自延遲器1073的右聲道音頻信號(hào)SR中減去。
因此，從殘差提取處理單元1074輸出的殘差是作為從上述(式5)中的信號(hào)SR減去聲源MS5的時(shí)域信號(hào)S5’的結(jié)果的、聲源MS4的時(shí)域信號(hào)與聲源MS3的時(shí)域信號(hào)的和的數(shù)字音頻信號(hào)(S4’+S3’)。通過(guò)輸出端子1069輸出數(shù)字音頻信號(hào)(S4’+S3’)的這一和。
注意，考慮到頻分譜比較處理單元103和頻分譜控制處理單元104中的處理延遲，向殘差提取處理單元1072和1074設(shè)置延遲器1071和1073。
在第三實(shí)施例中，在圖2中所示的音響再現(xiàn)系統(tǒng)中，以與第二實(shí)施例相同的方式，將來(lái)自輸出端子1061和1065的數(shù)字音頻信號(hào)S1’和S5’由D/A轉(zhuǎn)換器331和335轉(zhuǎn)換成模擬音頻信號(hào)，通過(guò)放大器341和345提供給揚(yáng)聲器SP1和SP5并將其音響再現(xiàn)，并且來(lái)自輸出端子1068的數(shù)字音頻信號(hào)(S2’+S3’)由D/A轉(zhuǎn)換器332轉(zhuǎn)換成模擬音頻信號(hào)，且來(lái)自輸出端子1069的數(shù)字音頻信號(hào)(S4’+S3’)由D/A轉(zhuǎn)換器334轉(zhuǎn)換成模擬音頻信號(hào)，并通過(guò)放大器344提供給揚(yáng)聲器SP4并音響再現(xiàn)。
根據(jù)第三實(shí)施例，殘差提取處理單元1072和1074在時(shí)域中提取殘差，所以不需要第二實(shí)施例中的逆FFT單元1056和1057，其優(yōu)點(diǎn)在于簡(jiǎn)化了構(gòu)成。
在上述實(shí)施例中，向2聲道的音頻信號(hào)分配每一聲源的音頻信號(hào)時(shí)的相位已被描述成對(duì)兩個(gè)聲道同相，但存在著以反相重新分配諸聲源的音頻信號(hào)的情形。作為一個(gè)例子，我們考慮其中如在以下(式3)和(式4)中所示地在左右2聲道中分配6個(gè)聲源MS1至MS6的音頻信號(hào)S1至S6的立體聲音頻信號(hào)SL和SR。
SL＝S1+0.9S2+0.7S3+0.4S4+0.7S6---(式3)SR＝S5+0.4S2+0.7S3+0.9S4-0.7S6---(式4)即，各以相同聲級(jí)向左右聲道分配聲源MS3的音頻信號(hào)S3和聲源MS6的音頻信號(hào)S6，但同相地向左右聲道分配聲源MS3的音頻信號(hào)S3，而反相地向左右聲道分配聲源MS6的音頻信號(hào)S6。
因此，在試圖不考慮相位只以使用聲級(jí)比或聲級(jí)差的頻分譜控制處理單元104的聲源分離處理單元來(lái)分離和提取聲源MS3的音頻信號(hào)S3或聲源MS6的音頻信號(hào)S6中的一個(gè)的情形中，以相同聲級(jí)向左右聲道分配音頻信號(hào)S3和S6，所以不能只分離和提取一個(gè)。
因此，在第四實(shí)施例中，在頻分譜控制處理單元104的聲源分離處理單元中，在與上述諸實(shí)施例一樣使用聲級(jí)比或聲級(jí)差分離音頻分量之后，進(jìn)一步使用相位差來(lái)進(jìn)行分離，從而即使在象(式3)和(式4)中那樣的情形中也能分離和輸出聲源MS3的音頻信號(hào)S3和聲源MS6的音頻信號(hào)S6。
圖8是根據(jù)第四實(shí)施例的音頻信號(hào)處理裝置單元100的主要部件的構(gòu)成例的框圖。此圖8相當(dāng)于示出頻分譜控制處理單元104的一個(gè)聲源分離處理單元的構(gòu)成。
根據(jù)第四實(shí)施例的音頻信號(hào)處理裝置單元100的頻分譜比較處理單元103具有聲級(jí)比較處理單元1031和相位比較處理單元1032。
根據(jù)第四實(shí)施例的頻分譜控制處理單元104還具有第一頻分譜控制處理單元以及基于相位差來(lái)執(zhí)行聲源分離處理的第二頻分譜控制處理單元104P。在此情形中，頻分譜控制處理單元104的聲源分離處理單元104i具有作為第一頻分譜控制處理單元104A的部分和作為基于相位差來(lái)執(zhí)行聲源分離處理的第二頻分譜控制處理單元104P的部分。
圖9是示出根據(jù)第四實(shí)施例的頻分譜比較處理單元103和頻分譜控制處理單元104的聲源分離處理單元中的一個(gè)的詳細(xì)構(gòu)成例的框圖。
即，頻分譜比較處理單元103的聲級(jí)比較處理單元1031具有與上述第一實(shí)施例中的頻分譜比較處理單元103相同的構(gòu)成，包括聲級(jí)檢測(cè)單元41和42、聲級(jí)比計(jì)算單元43和44以及選擇器。如圖3中所示，已描述了在向頻分譜控制處理單元104設(shè)置多個(gè)聲源分離單元的情形中設(shè)置對(duì)應(yīng)于聲源分離單元數(shù)目的數(shù)目的選擇器45這一事實(shí)。
頻分譜控制處理單元104的第一頻分譜控制處理單元104A也具有與圖4中所示的第一實(shí)施例中的頻分譜控制處理單元104的聲源分離處理單元104i幾乎相同的構(gòu)成(除了不包括加法單元54以外)，并具有由乘法系數(shù)生成單元51和乘法單元52和53組成的聲源分離單元的構(gòu)成。
如圖8和圖9中所示，來(lái)自聲級(jí)比較處理單元1031的聲級(jí)比輸出ri被以與第一實(shí)施例完全相同的方式提供給第一頻分譜控制處理單元104A的乘法系數(shù)生成單元51，且對(duì)應(yīng)于對(duì)乘法系數(shù)生成單元51設(shè)置的函數(shù)的乘法系數(shù)wr由乘法系數(shù)生成單元51生成并提供給乘法單元52和53。
向乘法單元52提供來(lái)自FFT單元101的頻分譜分量F1，并從乘法單元52得到頻分譜分量F1與乘法系數(shù)wr相乘的結(jié)果。同樣，向乘法單元53提供來(lái)自FFT單元102的頻分譜分量F2，并從乘法單元53得到頻分譜分量F2與乘法系數(shù)wr相乘的結(jié)果。
即，乘法單元52和53各自產(chǎn)生其中來(lái)自FFT單元101和102的頻分譜分量F1和F2已受到根據(jù)來(lái)自乘法系數(shù)生成單元51的乘法系數(shù)wr所進(jìn)行的聲級(jí)控制的輸出。
如前所述，乘法系數(shù)生成單元51由以聲級(jí)比ri為變量的關(guān)于乘法系數(shù)wr的函數(shù)生成電路構(gòu)成。將選擇哪種函數(shù)作為要由乘法系數(shù)生成單元51使用的函數(shù)取決于要分離到左右2聲道的音頻信號(hào)的聲源的分配百分比。
例如，對(duì)乘法系數(shù)生成單元51設(shè)置具有諸如圖5A至圖5E中所示的特性的關(guān)于乘法系數(shù)wr的聲級(jí)比ri的函數(shù)。例如，在分離和提取以相同聲級(jí)分配給左右2聲道的聲源的音頻信號(hào)的情形中，如前所述，在乘法系數(shù)生成單元51中設(shè)置圖5A中所示的特定函數(shù)。
在此第四實(shí)施例中，乘法單元52和53的輸出分別被提供給頻分譜比較處理單元103的相位比較處理單元1032，并且還被提供給第二頻分譜控制處理單元104P。
如圖9中所示，相位比較處理單元1032包括檢測(cè)乘法單元52和53的輸出的相位差φ的相位差檢測(cè)單元46，相位差φ的信息被提供給第二頻分譜控制處理單元104P。向各聲源分離處理單元設(shè)置相位差檢測(cè)單元46。
第二頻分譜控制處理單元104P包括兩個(gè)乘法系數(shù)生成單元61和65、乘法單元62和63、乘法單元66和67以及加法單元64和68。
向乘法單元62提供第一頻分譜控制處理單元104A的乘法單元52的輸出、以及來(lái)自乘法系數(shù)生成單元61的乘法系數(shù)wp1，并由乘法單元62向加法單元64提供兩者相乘的結(jié)果。同樣，向乘法單元63提供第一頻分譜控制處理單元104A的乘法單元53的輸出、以及來(lái)自乘法系數(shù)生成單元61的乘法系數(shù)wp1，并由乘法單元63向加法單元64提供兩者相乘的結(jié)果。加法單元64的輸出被取為第一輸出Fex1。
同樣，向乘法單元66提供第一頻分譜控制處理單元104A的乘法單元52的輸出、以及來(lái)自乘法系數(shù)生成單元65的乘法系數(shù)wp2，并由乘法單元66向加法單元68提供兩者相乘的結(jié)果。同樣，向乘法單元67提供第一頻分譜控制處理單元104A的乘法單元53的輸出、以及來(lái)自乘法系數(shù)生成單元65的乘法系數(shù)wp2，并由乘法單元67向加法單元68提供兩者相乘的結(jié)果。加法單元68的輸出被取為第二輸出Fex2。
乘法系數(shù)生成單元61和65接收來(lái)自相位差檢測(cè)單元26的相位差φ并生成對(duì)應(yīng)于所接收的相位差φ的乘法系數(shù)wp1和wp2。乘法系數(shù)生成單元61和65由其中以相位差φ為變量的關(guān)于乘法系數(shù)wp的函數(shù)生成電路構(gòu)成，用戶根據(jù)所要分離的聲源2聲道的相位差設(shè)置要選擇哪種函數(shù)作為乘法系數(shù)生成單元61和65使用的函數(shù)。
向乘法系數(shù)生成單元61和65提供的相位差φ以頻分譜的頻率分量為單位變化，因此來(lái)自乘法系數(shù)生成單元61和65的乘法系數(shù)wp1和wp2也以頻率分量為單位變化。
因此，在乘法單元62和乘法單元66中，來(lái)自乘法單元52的頻分譜的聲級(jí)由乘法系數(shù)wp1和wp2控制，且同樣，在乘法單元63和乘法單元67中，來(lái)自乘法單元53的頻分譜的聲級(jí)由乘法系數(shù)wp1和wp2控制。
圖10A至圖10E示出作為乘法系數(shù)生成單元301和305的函數(shù)生成電路中使用的函數(shù)的幾個(gè)例子。
圖10A中的函數(shù)的特性在于在相位差φ為0或接近0的情形中，即對(duì)于其中左右聲道同相或接近同相的頻分譜分量，乘法系數(shù)wp(相當(dāng)于wp1或wp2)為1或接近1，且在其中左右聲道的相位差φ約等于或大于π/4的區(qū)域中，乘法系數(shù)wp為0。
例如，在乘法系數(shù)生成單元61中設(shè)置圖10A中所示的特性的函數(shù)的情形中，對(duì)應(yīng)于其中來(lái)自相位差檢測(cè)單元46的相位差φ為0或接近0的頻分譜分量的乘法系數(shù)wp為1或接近1，所以以大約相同的聲級(jí)從乘法單元62和63輸出該頻分譜分量。另一方面，對(duì)應(yīng)于其中來(lái)自相位差檢測(cè)單元26的相位差φ為約等于或大于π/4的頻分譜分量的乘法系數(shù)wp為0，所以該頻分譜分量為0，并且不從乘法單元62和63輸出。
即，在許多頻分譜分量當(dāng)中，以大約相同的聲級(jí)從乘法單元62和63輸出左右聲道之間同相或接近同相的頻分譜分量，而左右聲道之間相位差很大的頻分譜分量的輸出聲級(jí)為0且不輸出。因此，只從加法單元64得到同相地向左右2聲道的音頻信號(hào)SL和SR分配的聲源的音頻信號(hào)的頻分譜分量。
即，圖10A中所示的特性的函數(shù)被用于提取同相地向左右2聲道分配的聲源的信號(hào)。
又，圖10B中所示的函數(shù)的特性在于在左右聲道的相位差φ為π或接近π的情形中，即對(duì)于其中左右聲道反相或接近反相的頻分譜分量，乘法系數(shù)wp為1或接近1，且在其中相位差φ約等于或小于3π/4的區(qū)域中，乘法系數(shù)wp為0。
例如，在乘法系數(shù)生成單元61中設(shè)置圖10B中所示的特性的函數(shù)的情形中，對(duì)應(yīng)于其中來(lái)自相位差檢測(cè)單元46的相位差φ為π或接近π的頻分譜分量的乘法系數(shù)wp為1或接近1，所以以大約相同的聲級(jí)從乘法單元62和63輸出該頻分譜分量。另一方面，對(duì)應(yīng)于其中來(lái)自相位差檢測(cè)單元46的相位差φ為約等于或小于3π/4的頻分譜分量的乘法系數(shù)wp為0，所以該頻分譜分量為0，并且不從乘法單元62和63輸出。
即，在許多頻分譜分量中，以大約相同的聲級(jí)從乘法單元62和63輸出左和右聲道之間反相或接近反相的頻分譜分量，左右聲道之間相位差很小的頻分譜分量的輸出聲級(jí)為0且不輸出。因此，只從加法單元64得到反相地向左右2聲道的音頻信號(hào)SL和SR分配的聲源的音頻信號(hào)的頻分譜分量。
即，圖10B中所示的特性的函數(shù)被用于提取反相地向左右2聲道分配的聲源的信號(hào)。
同樣，圖10C中所示的函數(shù)的特性在于在左右聲道的相位差φ為π/2或接近π/2的情形中，乘法系數(shù)wp為1或接近1，且在其它相位差φ的區(qū)域中，乘法系數(shù)wp為0。因此，圖10C中所示的特性的函數(shù)被用于提取以僅相差約π/2的相位向左右2聲道分配的聲源的信號(hào)。
另外，可以根據(jù)分配要被分離成2聲道的音頻信號(hào)的聲源時(shí)的相位差將乘法系數(shù)生成單元61和65設(shè)成諸如圖10D或圖10E中所示的特性的函數(shù)。
因此，從頻分譜控制處理單元104的聲源分離處理單元之一得到的第一輸出Fex1和第二輸出Fex2被分別提供給逆FFT單元150a和150b，恢復(fù)成原始時(shí)序音頻信號(hào)，并被提取作為第一和第二輸出信號(hào)SOa和SOb。在提取作為模擬信號(hào)的第一和第二輸出信號(hào)SOa和SOb的情形中，向逆FFT單元150a和150b的輸出側(cè)設(shè)置D/A轉(zhuǎn)換器。
在此第四實(shí)施例中，在從(式3)和(式4)中所示的左右2聲道的音頻信號(hào)SL和SR分離以相同聲級(jí)同相地向左和右聲道分配的聲源MS3的音頻信號(hào)S3以及以相同聲級(jí)但反相地向左和右聲道分配的聲源MS6的音頻信號(hào)S6作為輸出Fex1和Fex2的情形中，對(duì)乘法系數(shù)生成單元51設(shè)置具有諸如圖5A中所示的特性的函數(shù)，對(duì)乘法系數(shù)生成單元61設(shè)置具有諸如圖10A中所示的特性的函數(shù)，對(duì)乘法系數(shù)生成單元65設(shè)置具有諸如圖10B中所示的特性的函數(shù)。
因此，如圖8和圖9中所示，從頻分譜控制處理單元104的第一頻分譜控制處理單元104A的乘法單元52得到經(jīng)過(guò)FFT處理的左聲道音頻信號(hào)SL(頻分譜)的(S3+S6)的頻分譜分量，并且同樣，從乘法單元53得到經(jīng)過(guò)FFT處理的右聲道音頻信號(hào)SR(頻分譜)的(S3-S6)的頻分譜分量。即，以同一聲級(jí)向左右聲道分配信號(hào)S3和S6，從而不用能將其分離的第一頻分譜控制處理單元104A就能輸出這些信號(hào)。
然而，在第四實(shí)施例中，如下地運(yùn)用以反相向左右聲道分配信號(hào)S3和S6這一事實(shí)來(lái)分離信號(hào)S3和S6。
即，向構(gòu)成頻分譜比較處理單元103的相位比較處理單元1032的相位差檢測(cè)單元26提供乘法單元52和53的輸出，并且對(duì)兩個(gè)輸出檢測(cè)相位差φ。在相位差檢測(cè)單元26中檢測(cè)到的相位差φ的信息被提供給乘法系數(shù)生成單元61，還被提供給乘法系數(shù)生成單元65。
在乘法系數(shù)生成單元61中，設(shè)置具有如圖10A中所示的特性的函數(shù)，所以乘法單元62和63提取同相地向左右聲道分配的聲源的音頻信號(hào)。即，在頻分譜分量(S3+S6)和頻分譜分量(S3-S6)中，只從乘法單元62和63得到同相關(guān)系的聲源MS3的音頻信號(hào)S3的頻分譜分量并將其提供給加法單元64。
因此，從加法單元64提取聲源MS3的音頻信號(hào)S3的頻分譜分量作為輸出信號(hào)Fex1并將其提供給逆FFT單元150a。在逆FFT單元150a中將分離的音頻信號(hào)S3恢復(fù)成時(shí)序信號(hào)并將其作為輸出信號(hào)SOa輸出。
另一方面，在乘法系數(shù)生成單元65中，設(shè)置具有諸如圖10B中所示的特性的函數(shù)，所以乘法單元66和67提取反相地向左和右聲道分配的聲源的音頻信號(hào)。即，在頻分譜分量(S3+S6)和頻分譜分量(S3-S6)當(dāng)中，只分別從乘法單元66和67取得反相關(guān)系的聲源MS6的音頻信號(hào)S6的頻分譜分量并將其提供給加法單元68。
因此，從加法單元68提取聲源MS6的音頻信號(hào)S6的頻分譜分量作為輸出信號(hào)Fex2并將其提供給逆FFT單元150b。然后在逆FFT單元150b中將分離的音頻信號(hào)S6恢復(fù)成時(shí)序信號(hào)并將其作為輸出信號(hào)SOb輸出。
注意，在圖8和圖9中所示的實(shí)施例中，在第二頻分譜控制處理單元104P中使用相應(yīng)的乘法系數(shù)和乘法單元來(lái)分離在第一頻分譜控制處理單元104A中不能用聲級(jí)比分離的兩個(gè)信號(hào)，即上述例子中的同相信號(hào)S3和反相信號(hào)S6，但也可以作下列設(shè)置在使用相位差φ和乘法系數(shù)分離使用聲級(jí)比不能分離的兩個(gè)信號(hào)之一之后，從來(lái)自第一頻分譜控制處理單元104A的信號(hào)的和(乘法單元52的輸出加上乘法單元53的輸出得到的信號(hào))中減去分離出的信號(hào)，從而分離出兩個(gè)信號(hào)中的另一個(gè)。
又，雖然在圖8和圖9的實(shí)施例中取得兩個(gè)聲源信號(hào)，但要輸出的分離的聲源信號(hào)也可以是1個(gè)。另外，很明顯此第四實(shí)施例也可以應(yīng)用于使用相位差φ和乘法系數(shù)同時(shí)分離更多聲源的音頻信號(hào)的情形。
另外，圖8和圖9中的實(shí)施例被設(shè)置成在基于2系統(tǒng)的頻分譜的聲級(jí)比提取2系統(tǒng)的音頻信號(hào)中以相同聲級(jí)分配的聲源分量之后，基于來(lái)自提取結(jié)果的關(guān)于2系統(tǒng)的頻分譜的相位差來(lái)分離所期望的聲源，但很明顯，在輸入音頻信號(hào)是諸如(S3+S6)和(S3-S6)那樣的2系統(tǒng)的音頻信號(hào)的情形中，只能基于相位差來(lái)進(jìn)行聲源分離。
上述實(shí)施例是其中2聲道立體聲信號(hào)由5個(gè)聲源的音頻信號(hào)構(gòu)成的情形，該5個(gè)聲源各自分離，或被分離成與其它聲源信號(hào)的和。
此第五實(shí)施例是仍使用以上實(shí)施例中所述的聲源分離方法并也只生成低頻信號(hào)的聲道的音頻信號(hào)，從而生成所謂的5.1聲道音頻信號(hào)并用所生成的6個(gè)音頻信號(hào)驅(qū)動(dòng)6個(gè)揚(yáng)聲器的多聲道音響再現(xiàn)系統(tǒng)的情形。
圖11是示出根據(jù)第五實(shí)施例的音響再現(xiàn)系統(tǒng)的構(gòu)成例的框圖。同樣，圖12是示出圖11中所示的音響再現(xiàn)系統(tǒng)中的音頻信號(hào)處理裝置單元100的構(gòu)成例的框圖。
在第五實(shí)施例中，除了如上述實(shí)施例中在圖2中示出的5個(gè)揚(yáng)聲器SP1至SP5以外，還設(shè)置了低頻再現(xiàn)揚(yáng)聲器SP6。在根據(jù)第五實(shí)施例的音頻信號(hào)處理裝置單元100中，使用根據(jù)上述第一實(shí)施例的方法從2聲道立體聲信號(hào)SL和SR的高頻分量中分離和提取要向揚(yáng)聲器SP1至SP5提供的信號(hào)S1’至S5’，并從2聲道立體聲信號(hào)SL和SR的低頻分量生成要向低頻再現(xiàn)揚(yáng)聲器SP6提供的音頻信號(hào)S6’。
即，如圖12中所示，在第五實(shí)施例中，來(lái)自FFT單元101的頻域信號(hào)F1通過(guò)高通濾波器1081以只產(chǎn)生高頻分量，然后被提供給頻分譜比較處理單元103并且還被提供給頻分譜控制處理單元104。同樣，來(lái)自FFT單元102的頻域信號(hào)F2通過(guò)高通濾波器1082以只產(chǎn)生高頻分量，然后被提供給頻分譜比較處理單元103并且還被提供給頻分譜控制處理單元104。
和第一實(shí)施例一樣，5個(gè)聲源MS1至MS5的頻域音頻信號(hào)分量在頻分譜比較處理單元103和頻分譜控制處理單元104中被分離和提取，由逆FFT單元1051至1055恢復(fù)成時(shí)域信號(hào)S1’至S5’，并從輸出端子1061至1065輸出。
又，在第五實(shí)施例中，來(lái)自FFT單元101的頻域信號(hào)F1通過(guò)低通濾波器1084以只產(chǎn)生低頻分量，然后被提供給加法單元1085，而來(lái)自FFT單元102的頻域信號(hào)F2通過(guò)低通濾波器1084以只產(chǎn)生低頻分量，然后被提供給加法單元1085并與來(lái)自低通濾波器1084的低頻分量相加。即，從加法單元1085得到信號(hào)F1和F2的低頻分量的和。
來(lái)自加法單元1085的信號(hào)F1和F2的低頻分量的和被逆FFT單元1086取為時(shí)域信號(hào)S6’，并從輸出端子1087提取。亦即，從輸出端子1087提取了左右2聲道的音頻信號(hào)SL和SR的低頻分量之和S6’。然后，低頻分量的和S6’被作為信號(hào)LEF(低效頻率)輸出，并通過(guò)D/A轉(zhuǎn)換器336和放大器346提供給揚(yáng)聲器SP6。
因此，可以實(shí)現(xiàn)從2聲道立體聲音頻信號(hào)SL和SR提取5.1聲道信號(hào)的多聲道系統(tǒng)。
第6實(shí)施例示出對(duì)在音頻信號(hào)處理裝置單元100中生成的5.1聲道信號(hào)進(jìn)一步進(jìn)行信號(hào)處理，從而新分離一SB(回聲)聲道并作為6.1聲道信號(hào)輸出的一個(gè)例子。
圖13是示出音響再現(xiàn)系統(tǒng)中的音頻信號(hào)處理裝置單元100的下游的構(gòu)成例的框圖。在第6實(shí)施例中，除了上述第五實(shí)施例中的揚(yáng)聲器SP1至SP6以外還提供了SB聲道再現(xiàn)揚(yáng)聲器SP7。
下游信號(hào)處理單元200設(shè)置在音頻信號(hào)處理裝置單元100的下游，并且在下游信號(hào)處理單元200中從音頻信號(hào)處理裝置單元100的5.1聲道的音頻信號(hào)生成加入了SB聲道音頻信號(hào)的6.1聲道的音頻信號(hào)。為來(lái)自下游信號(hào)處理單元200的5.1聲道音頻信號(hào)設(shè)置D/A轉(zhuǎn)換器331至336以及放大器341至346，并且還設(shè)置用于將所加入的SB聲道的數(shù)字音頻信號(hào)轉(zhuǎn)換成模擬音頻信號(hào)的D/A轉(zhuǎn)換器以及放大器347。
圖14是下游信號(hào)處理單元200的內(nèi)部構(gòu)成例，數(shù)字信號(hào)S1’和S5’被提供給第二音頻信號(hào)處理裝置單元400并被分離成信號(hào)LS’和信號(hào)RS’以及信號(hào)SB’并在第二音頻信號(hào)處理裝置單元400輸出。同樣，在下游信號(hào)處理單元200中，為數(shù)字音頻信號(hào)S2’、S3’、S4’和S6’設(shè)置延遲器201、202、203和204，數(shù)字音頻信號(hào)S2’、S3’、S4’和S6’被延遲器201、202、203和204延遲對(duì)應(yīng)于第二音頻信號(hào)處理裝置單元400中的處理延遲時(shí)間的時(shí)間量并輸出。
第二音頻信號(hào)處理裝置單元400的基本構(gòu)成與音頻信號(hào)處理裝置單元100的相同。在第二音頻信號(hào)處理單元400中，從以相同聲級(jí)同相地向數(shù)字信號(hào)S1’和S5’分配的信號(hào)，即作為聲級(jí)比為1∶1的信號(hào)的數(shù)字信號(hào)S1’和S5’中分離和提取SB信號(hào)。又，從數(shù)字信號(hào)S1’和S5’中的每一個(gè)分離和提取數(shù)字信號(hào)LS和RS作為主要包含在數(shù)字信號(hào)S1’和S5’之一中的信號(hào)，即作為聲級(jí)比為1∶0的信號(hào)。
圖15示出此第二音頻信號(hào)處理裝置單元400的構(gòu)成例的框圖。如圖15中所示，在第二音頻信號(hào)處理裝置單元400中，數(shù)字音頻信號(hào)S1’被提供給FFT單元401，經(jīng)過(guò)FFT處理，并且時(shí)序音頻信號(hào)被轉(zhuǎn)換成頻域數(shù)據(jù)。同樣，數(shù)字音頻信號(hào)S5’被提供給FFT單元402，經(jīng)過(guò)FFT處理，并且時(shí)序音頻信號(hào)被轉(zhuǎn)換成頻域數(shù)據(jù)。
FFT單元401和402具有與上述實(shí)施例中的FFT單元101和102相同的構(gòu)成。向頻分譜比較處理單元403和頻分譜控制處理單元404各自提供來(lái)自FFT單元401和402的頻分譜輸出F3和F4。
頻分譜比較處理單元403計(jì)算來(lái)自FFT單元401和FFT單元402的頻分譜分量F3和F4之間的相應(yīng)頻率的聲級(jí)比，并向頻分譜控制處理單元404輸出所算出的聲級(jí)比。
頻分譜比較處理單元403具有與上述實(shí)施例中的頻分譜比較處理單元103相同的構(gòu)成，并且在此例中包括聲級(jí)檢測(cè)單元4031和4032、聲級(jí)比計(jì)算單元4033和4034以及選擇器4035、4036和4037。
聲級(jí)檢測(cè)單元4031檢測(cè)來(lái)自FFT單元401的頻分譜分量F3的每一頻率分量的聲級(jí)，并輸出其檢測(cè)輸出D3。同樣，聲級(jí)檢測(cè)單元4032檢測(cè)來(lái)自FFT單元402的頻分譜分量F4的每一頻率分量的聲級(jí)，并輸出其檢測(cè)輸出D4。在此例中，檢測(cè)振幅譜作為每一頻分譜的聲級(jí)。注意，可以檢測(cè)功率譜作為每一頻分譜的聲級(jí)。
然后，聲級(jí)比計(jì)算單元4033計(jì)算D3/D4。同樣，聲級(jí)比計(jì)算單元4034計(jì)算D4/D3。向選擇器4035、4036和4037中的每一個(gè)提供在聲級(jí)比計(jì)算單元4033和4034中算出的聲級(jí)比。然后，從選擇器4035、4036和4037中的每一個(gè)中提取其一個(gè)聲級(jí)比作為輸出聲級(jí)比r6、r7和r8。
向選擇器4035、4036和4037中的每一個(gè)根據(jù)由用戶設(shè)置成要分離的聲源及其聲級(jí)比來(lái)提供用于執(zhí)行關(guān)于選擇聲級(jí)比計(jì)算單元4033的輸出還是聲級(jí)比計(jì)算單元4034的輸出的選擇控制的選擇控制信號(hào)SEL6、SEL7和SEL8。從選擇器4035、4036和4037中的每一個(gè)得到的輸出聲級(jí)比r6、r7和r8被提供給頻分譜控制處理單元404。
頻分譜控制處理單元404具有與要分離的多個(gè)聲源的音頻信號(hào)的數(shù)目相對(duì)應(yīng)的數(shù)目的聲源分離處理單元，在此情形中為三個(gè)聲源分離單元4041、4042和4043。
在本例中，向聲源分離處理單元4041提供FFT單元401的輸出F3并提供從頻分譜比較處理單元403的選擇器4035得到的輸出聲級(jí)比r6。同樣，向聲源分離處理單元4042提供FFT單元402的輸出F4并提供從頻分譜比較處理單元403的選擇器4036得到的輸出聲級(jí)比r7。同樣，向聲源分離處理單元4043提供FFT單元401的輸出F3以及FFT單元402的輸出F4，并提供從頻分譜比較處理單元403的選擇器4037得到的輸出聲級(jí)比r8。
在本例中，聲源分離處理單元4041由乘法系數(shù)生成單元411和乘法單元412構(gòu)成，且聲源分離處理單元4042由乘法系數(shù)生成單元421和乘法單元422構(gòu)成。同樣，聲源分離處理單元4043由乘法系數(shù)生成單元431及乘法單元432和433以及加法單元434構(gòu)成。
在聲源分離處理單元4041中，向乘法單元412提供FFT單元401的輸出F3，還向乘法系數(shù)生成單元411提供從頻分譜比較處理單元403的選擇器4035得到的輸出聲級(jí)比r6。以與上述相同的方式，從乘法系數(shù)生成單元411得到對(duì)應(yīng)于輸入聲級(jí)比r6的乘法系數(shù)wi，并將其提供給乘法單元412。
又，在聲源分離處理單元4042中，向乘法單元422提供FFT單元402的輸出F4，還向乘法系數(shù)生成單元421提供從頻分譜比較處理單元403的選擇器4036得到的輸出聲級(jí)比r7。以與上述相同的方式，從乘法系數(shù)生成單元411得到對(duì)應(yīng)于輸入聲級(jí)比r7的乘法系數(shù)wi，并將其提供給乘法單元422。
又，在聲源分離處理單元4043中，向乘法單元432提供FFT單元401的輸出F3，向乘法單元433提供FFT單元402的輸出F4，還向乘法系數(shù)生成單元431提供從頻分譜比較處理單元403的選擇器4036得到的輸出聲級(jí)比r8。以與上述相同的方式，從乘法系數(shù)生成單元411得到對(duì)應(yīng)于輸入聲級(jí)比r8的乘法系數(shù)wi，并將其提供給乘法單元432和433。在加法單元434中將乘法單元432和433的輸出相加，并隨后輸出。
聲源分離處理單元4041、4042和4043中的每一個(gè)從頻分譜比較處理單元403接收聲級(jí)比r6、r7和r8的信息，從FFT單元401和FFT單元402中的一方或兩方只提取其中聲級(jí)比等于要被分離和提取到兩個(gè)聲道的信號(hào)S1’和S5’的聲源信號(hào)的分配比的頻分譜分量，并向相應(yīng)的逆FFT單元1101、1102和1103輸出提取結(jié)果輸出Fex11、Fex12和Fex13。
向聲源分離處理單元4041的乘法系數(shù)生成單元411提供來(lái)自選擇器4035的聲級(jí)比r6D4/D3。對(duì)此乘法系數(shù)生成單元411設(shè)置諸如圖5B中所示的函數(shù)生成電路，只包含在信號(hào)S1’中的頻率分量主要從乘法單元412得到，將其作為聲源分離處理單元4042的輸出信號(hào)Fex11輸出。
向聲源分離處理單元4042的乘法系數(shù)生成單元421提供來(lái)自選擇器4036的聲級(jí)比r7D3/D4。對(duì)此乘法系數(shù)生成單元421設(shè)置諸如圖5B中所示的函數(shù)生成電路，只包含在信號(hào)S5’中的頻率分量主要從乘法單元422得到，將其作為聲源分離處理單元4042的輸出信號(hào)Fex12輸出。
向聲源分離處理單元4043的乘法系數(shù)生成單元431提供來(lái)自選擇器4037的聲級(jí)比r8D4/D3或D3/D4中的一個(gè)。對(duì)此乘法系數(shù)生成單元431設(shè)置諸如圖5A中所示的函數(shù)生成電路。因此，以相同聲級(jí)且同相地包含在信號(hào)S1’和S5’中的頻率分量主要從乘法單元432和433得到，并從加法單元434得到這些乘法單元432和433的輸出信號(hào)的相加的輸出，將其作為聲源分離處理單元4043的輸出信號(hào)Fex13輸出。
逆FFT單元1101、1102和1103各自將來(lái)自頻分譜控制處理單元404的聲源分離處理單元4041、4042和4043中的每一個(gè)的提取結(jié)果輸出Fex11、Fex12和Fex13的頻分譜分量轉(zhuǎn)換成原始時(shí)序信號(hào)，并從輸出端子1201、1202和1203輸出經(jīng)轉(zhuǎn)換的輸出信號(hào)作為用戶已設(shè)置成要分離的三個(gè)聲源的音頻信號(hào)LS’、RS’和SB。
因此，根據(jù)第6實(shí)施例，從5.1聲道音頻信號(hào)生成6.1聲道音頻信號(hào)，并實(shí)現(xiàn)了將其從7個(gè)揚(yáng)聲器SP1至SP7再現(xiàn)的系統(tǒng)。
注意，在上述第6實(shí)施例的說(shuō)明中，以使用升級(jí)比的聲源分離處理單元對(duì)信號(hào)LS’和RS’進(jìn)行聲源分離，但也作其中象第三或第四實(shí)施例那樣提取信號(hào)SB作為分離的殘差的設(shè)置。根據(jù)這一構(gòu)成，可以從多聲道輸入的音頻信號(hào)分離更多的聲源，并進(jìn)行再配置，從而能實(shí)現(xiàn)具有分離更好的聲像定位的多聲道系統(tǒng)。
圖16示出第7實(shí)施例的構(gòu)成例。此第7實(shí)施例是其中在音頻信號(hào)處理裝置單元500中對(duì)2聲道立體聲音頻信號(hào)SL和SR進(jìn)行信號(hào)處理并用耳機(jī)收聽(tīng)作為信號(hào)處理結(jié)果的音頻信號(hào)的系統(tǒng)。
如圖16中所示，在第7實(shí)施例中，通過(guò)輸入端子511和512向音頻信號(hào)處理裝置單元500輸入2聲道立體聲音頻信號(hào)SL和SR。音頻信號(hào)處理裝置單元500由第一信號(hào)處理單元501和第二信號(hào)處理單元502構(gòu)成。
第一信號(hào)處理單元501以與上述實(shí)施例中的音頻信號(hào)處理單元100相同的方式構(gòu)成。即，在第一信號(hào)處理單元501中，將輸入2聲道立體聲音頻信號(hào)SL和SR以與第一實(shí)施例相同的方式轉(zhuǎn)換成三個(gè)或以上聲道，例如5聲道的多聲道信號(hào)。
接著，第二信號(hào)處理單元502從第一信號(hào)處理單元501取得這些多聲道音頻信號(hào)作為輸入，對(duì)多聲道中的每一個(gè)的音頻信號(hào)附加相當(dāng)于從設(shè)置在任意位置的揚(yáng)聲器到收聽(tīng)者雙耳的傳遞函數(shù)的特性，然后再次將它們合并成兩2聲道的信號(hào)SLo和SRo。
來(lái)自第二信號(hào)處理單元502的輸出信號(hào)SLo和Sro被取為音頻信號(hào)處理裝置單元500的輸出，提供給D/A轉(zhuǎn)換器513和514，轉(zhuǎn)換成模擬音頻信號(hào)，并通過(guò)放大器515和516輸出至輸出端517和518。輸出信號(hào)SLo和Sro由與輸出端子517和518連接的耳機(jī)520音響再現(xiàn)。
用耳機(jī)520實(shí)現(xiàn)與揚(yáng)聲器再現(xiàn)相同的特性的原理如下所述。
圖17示出這種耳機(jī)的一個(gè)例子的框圖，其中模擬音頻信號(hào)SA通過(guò)輸入端子521提供給A/D轉(zhuǎn)換器522并轉(zhuǎn)換成數(shù)字音頻信號(hào)SD。向數(shù)字濾波器523和524提供數(shù)字音頻信號(hào)SD。
數(shù)字濾波器523和524中的每一個(gè)被構(gòu)造成多個(gè)采樣延遲器531、532…、53(n-1)、濾波器系數(shù)乘法單元541、542、…、54n以及加法單元551、552、…、55(n-1)(其中n為等于或大于2的整數(shù))的FIR(有限沖激響應(yīng))濾波器，在數(shù)字濾波器523和524中的每一個(gè)中進(jìn)行用于頭部以外的聲像的定位的處理。
即，例如圖19中所示，在聲源SP位于收聽(tīng)者M(jìn)的前方的情形中，來(lái)自聲源SP的聲音輸出通過(guò)具有傳遞函數(shù)HL和HR的路徑傳遞至收聽(tīng)者M(jìn)的左耳和右耳。
因此，在數(shù)字濾波器523和524中，將信號(hào)SD與其中傳遞函數(shù)HL和HR被轉(zhuǎn)換到時(shí)間軸的沖激信號(hào)卷積。即，得到對(duì)應(yīng)于傳遞函數(shù)HL和HR的濾波器系數(shù)W1、W2、…、Wn，并在數(shù)字濾波器523和524中執(zhí)行使聲源SP的聲音好象到達(dá)收聽(tīng)者M(jìn)的左耳和右耳那樣的處理。注意，通過(guò)預(yù)先測(cè)量或預(yù)先計(jì)算來(lái)計(jì)算在數(shù)字濾波器523和524中卷積的沖激信號(hào)，然后將其轉(zhuǎn)換成濾波器系數(shù)W1、W2、…、Wn，并提供給數(shù)字濾波器523和524。
作為這一處理的結(jié)果的信號(hào)SD1和SD2被提供給D/A轉(zhuǎn)換器電路525和526并被轉(zhuǎn)換成模擬音頻信號(hào)SA1和SA2，并通過(guò)耳機(jī)放大器527和528向耳機(jī)520的左和右音響單元(電聲換能元件)提供信號(hào)SA1和SA2。
因此，來(lái)自耳機(jī)的左右音響單元的再現(xiàn)聲音是已通過(guò)傳遞函數(shù)HL和HR的路徑的聲音，所以當(dāng)收聽(tīng)者M(jìn)戴著耳機(jī)520并收聽(tīng)其再現(xiàn)的聲音時(shí)，如圖19中所示地，重建了聲像SP被定位在頭部以外的狀態(tài)。
參照?qǐng)D17至圖19進(jìn)行的以上說(shuō)明對(duì)應(yīng)于來(lái)自第一信號(hào)處理單元501的一個(gè)聲道的音頻信號(hào)，而第二信號(hào)處理單元502對(duì)來(lái)自第一信號(hào)處理單元501的多個(gè)聲道中的每一聲道的音頻信號(hào)執(zhí)行上述處理。要作為左聲道或右聲道信號(hào)的信號(hào)各自通過(guò)在這多個(gè)聲道信號(hào)間進(jìn)行相加來(lái)生成。
雖然在圖17中設(shè)置了A/D轉(zhuǎn)換器，但第一信號(hào)處理單元501的輸出是數(shù)字音頻信號(hào)，所以很明顯第二信號(hào)處理單元502不需要A/D轉(zhuǎn)換器。
對(duì)在第一信號(hào)處理單元501中分離的多個(gè)聲道的聲源中的每一個(gè)執(zhí)行諸如以上用第二信號(hào)處理單元502說(shuō)明的數(shù)字濾波器處理使得能在耳機(jī)520中聽(tīng)到像是將這多個(gè)聲道的聲源的聲像定位在任意位置。
圖20中示出第8實(shí)施例的一個(gè)構(gòu)成例。第8實(shí)施例是用于以音頻信號(hào)處理裝置單元600進(jìn)行2聲道立體聲音頻信號(hào)SL、SR的信號(hào)處理、并使得能用2個(gè)揚(yáng)聲器SPL、SPR收聽(tīng)這些信號(hào)處理結(jié)果的音頻信號(hào)的系統(tǒng)。
如圖20中所示，在第8實(shí)施例中，與第7實(shí)施例類似地，分別通過(guò)輸入端子611和612將2聲道立體聲音頻信號(hào)SL、SR輸入音頻信號(hào)處理裝置單元600。音頻信號(hào)處理裝置單元600由第一信號(hào)處理單元601和第二信號(hào)處理單元602構(gòu)成。
第一信號(hào)處理單元601與第7實(shí)施例的第一信號(hào)處理單元501完全相同，并和例如第一實(shí)施例一樣將輸入的2聲道立體聲信號(hào)SL、SR轉(zhuǎn)換成三個(gè)或以上例如5個(gè)聲道的多聲道信號(hào)。
在第二信號(hào)處理單元602中，接收該多聲道音頻信號(hào)作為來(lái)自第一信號(hào)處理單元601的輸入，其中將與從設(shè)置在任意位置的揚(yáng)聲器到收聽(tīng)者雙耳的傳遞函數(shù)的特性相同的多聲道中每一聲道的音頻信號(hào)的特性附加至用2個(gè)揚(yáng)聲器SPL、SPR實(shí)現(xiàn)的特性。然后，這些信號(hào)被再次合并成2聲道信號(hào)Slsp和SRsp。
然后，來(lái)自第二信號(hào)處理單元602的輸出信號(hào)SLsp和SRsp從音頻信號(hào)處理裝置單元600輸出，提供給D/A轉(zhuǎn)換器613和614，轉(zhuǎn)換成模擬音頻信號(hào)，并通過(guò)放大器615和616輸出到輸出端子617和618。音頻信號(hào)SLsp和SRsp由連接到輸出端子617和618的揚(yáng)聲器SPL和SPR音響再現(xiàn)。
下面將說(shuō)明用2個(gè)揚(yáng)聲器SPL和SPR來(lái)實(shí)現(xiàn)類似于任意位置的揚(yáng)聲器再現(xiàn)的特性的原理。
圖21是用兩個(gè)揚(yáng)聲器將聲像定位在任意位置的信號(hào)處理裝置的構(gòu)成例的框圖。
即，模擬音頻信號(hào)SA通過(guò)輸入端子621提供給A/D轉(zhuǎn)換器622，并被轉(zhuǎn)換成數(shù)字音頻信號(hào)SD。然后，向由上述圖18中所示的數(shù)字濾波器構(gòu)成的數(shù)字處理電路623和624提供這一數(shù)字音頻信號(hào)SD。在數(shù)字處理電路623和624中，將下述傳遞函數(shù)轉(zhuǎn)換到時(shí)間軸的沖激響應(yīng)被卷積到信號(hào)SD中。
其處理結(jié)果的信號(hào)SDL和SDR被提供給D/A轉(zhuǎn)換器電路625、626，轉(zhuǎn)換成模擬音頻信號(hào)SAL、SAR，且這些信號(hào)SAL、SAR通過(guò)揚(yáng)聲器放大器627和628提供給位于收聽(tīng)者M(jìn)的左前方和右前方的左和右聲道揚(yáng)聲器SPL、SPR。
現(xiàn)在，數(shù)字處理電路623和624中的處理具有以下內(nèi)容。即，現(xiàn)在如圖22中所示，考慮將聲源SPL、SPR設(shè)置在收聽(tīng)者M(jìn)的左前方和右前方、并用聲源SPL、SPR等效地再現(xiàn)位于任意位置處的聲源SPX的情形。
然后，如果HLL從聲源SPL到收聽(tīng)者M(jìn)的左耳的傳遞函數(shù)HLR從聲源SPL到收聽(tīng)者M(jìn)的右耳的傳遞函數(shù)HRL從聲源SPR到收聽(tīng)者M(jìn)的左耳的傳遞函數(shù)HRR從聲源SPR到收聽(tīng)者M(jìn)的右耳的傳遞函數(shù)HXL從聲源SPX到收聽(tīng)者M(jìn)的左耳的傳遞函數(shù)HXR從聲源SPX到收聽(tīng)者M(jìn)的右耳的傳遞函數(shù)成立，則聲源SPL、SPR可以表示如下SPL＝(HXLxHRR-HXRxHRL)/(HLLxHRR-HLRxHRL)xSPX…(式5)SPL＝(HXRxHLL-HXLxHLR)/(HLLxHRR-HLRxHRL)xSPX…(式6)因此，如果通過(guò)實(shí)現(xiàn)(式5)中的傳遞函數(shù)部分的濾波器向設(shè)置在聲源SPL的位置的揚(yáng)聲器提供對(duì)應(yīng)于聲源SPX的輸入音頻信號(hào)SXA，并通過(guò)實(shí)現(xiàn)(式6)中的傳遞函數(shù)部分的濾波器向設(shè)置在聲源SPR的位置的揚(yáng)聲器提供信號(hào)SXA，則可以將音頻信號(hào)SX的聲像定位在聲源SPX的位置。
在數(shù)字處理電路623和624中，其中將類似于(式5)和(式6)的傳遞函數(shù)部分的傳遞函數(shù)轉(zhuǎn)換到時(shí)間軸的沖激響應(yīng)被卷積到數(shù)字音頻信號(hào)SD中。注意，卷積到構(gòu)成數(shù)字處理電路623和624的數(shù)字濾波器中的沖激響應(yīng)通過(guò)預(yù)先測(cè)量或計(jì)算來(lái)算出，并被轉(zhuǎn)換成濾波器系數(shù)w1、w2、…、Wn，并提供給數(shù)字處理電路623和624。
數(shù)字處理電路623和624的處理結(jié)果的信號(hào)SDL、SDR被提供給D/A轉(zhuǎn)換器電路625和626并被轉(zhuǎn)換成模擬音頻信號(hào)SAL和SAR，且這些信號(hào)SAL和SAR通過(guò)放大器627和628提供給揚(yáng)聲器SPL和SPR，并被音響再現(xiàn)。
因此，可以從來(lái)自兩個(gè)揚(yáng)聲器SPL、SPR的再現(xiàn)聲音將來(lái)自模擬音頻信號(hào)SA的聲像定位在圖22中所示的聲源SPX的位置。
注意，以上參照?qǐng)D20至圖22給出的說(shuō)明對(duì)應(yīng)于對(duì)來(lái)自第一信號(hào)處理單元601的單聲道音頻信號(hào)的處理，且在第二信號(hào)處理單元602中，對(duì)來(lái)自第一信號(hào)處理單元601的多聲道中每一聲道的音頻信號(hào)執(zhí)行上述處理。然后，將用作左聲道或右聲道信號(hào)的信號(hào)與多聲道信號(hào)相加，并相應(yīng)地生成。
在圖21中，設(shè)置了A/D轉(zhuǎn)換器，但因?yàn)榈谝恍盘?hào)處理單元601的輸出是數(shù)字音頻信號(hào)，所以很明顯第二信號(hào)處理單元602中不需要A/D轉(zhuǎn)換器。
因此，通過(guò)在第二信號(hào)處理單元602中對(duì)用第一信號(hào)處理單元601分離的多個(gè)聲道的聲源中的每一個(gè)執(zhí)行上述數(shù)字濾波器處理，可以將多聲道的每一聲源的聲像定位在任意位置，且這可以用兩個(gè)揚(yáng)聲器SPL、SPR再現(xiàn)。
圖23中示出第9實(shí)施例的一構(gòu)成例。如圖23中所示，此第9實(shí)施例是由編碼裝置單元710、傳送裝置720以及解碼裝置單元730構(gòu)成的編碼/解碼裝置的一個(gè)例子。
即，在第9實(shí)施例中，用編碼裝置單元710將多聲道音頻信號(hào)編碼成2聲道信號(hào)SL、SR，并且在記錄和再現(xiàn)已編碼的2聲道信號(hào)的信號(hào)SL、SR或用傳送裝置720傳送這些信號(hào)之后，在解碼裝置單元730中再合成原始多聲道信號(hào)。
這里，編碼裝置單元710被構(gòu)造成例如圖24中所示。在圖24中，輸入的多聲道的音頻信號(hào)S1、S2、…、Sn分別用衰減器741L、742L、743L、…、74nL進(jìn)行聲級(jí)調(diào)節(jié)，并被提供給加法單元751，并且還由衰減器741R、742R、743R、…、74nR進(jìn)行聲級(jí)調(diào)節(jié)，并被提供給加法單元752。然后，從加法單元751和752將這些信號(hào)作為2聲道信號(hào)SL和SR輸出。
即，多聲道的音頻信號(hào)S1、S2、…、Sn中的每一個(gè)用衰減器741L、742L、743L、…、74nL調(diào)節(jié)聲級(jí)并提供給加法單元751，并由衰減器741R、742R、743R、…、74nR調(diào)節(jié)聲級(jí)并提供給加法單元752。然后這些信號(hào)作為2聲道信號(hào)SL和SR從加法單元751和752輸出。
亦即，多聲道的音頻信號(hào)S1、S2、…、Sn的每一個(gè)由衰減器741L、742L、743L、…、74nL和衰減器741R、742R、743R、…、74nR以不同比值附加聲級(jí)差，合成到2聲道信號(hào)SL、SR并輸出。換言之，使用衰減器741L、742L、743L、…、74nL，將每一聲道的輸入信號(hào)輸出為kL1、kL2、kL3、…、kLn倍的聲級(jí)(kL1、kL2、kL3、…、kLn≤1)。同樣，使用衰減器741R、742R、743R、…、74nR，將每一聲道的輸入信號(hào)輸出為kR1、kR2、kR3、…、kRn倍的聲級(jí)(kR1、kR2、kR3、…、kRn≤1)。
所合成的2聲道信號(hào)SL、SR被記錄在諸如光盤(pán)等記錄介質(zhì)上。然后，從記錄介質(zhì)進(jìn)行再現(xiàn)并傳送，或通過(guò)通信線傳送。傳送裝置720由用于通過(guò)此種目的的記錄再現(xiàn)裝置或通過(guò)通信線來(lái)發(fā)送/接收的裝置構(gòu)成。
向解碼裝置單元730提供通過(guò)傳送裝置720傳送的2聲道音頻信號(hào)SL、SR，并在這里輸出已被再合成的原始聲源。解碼裝置單元730包括上述第一至第三實(shí)施例的音頻信號(hào)處理裝置單元100，并將用編碼裝置單元710編碼時(shí)的各聲源的2聲道的音頻信號(hào)SL、SR混合的情形中的聲級(jí)比為基準(zhǔn)從2聲道音頻信號(hào)分離恢復(fù)原始多聲道信號(hào)，并通過(guò)多個(gè)揚(yáng)聲器再現(xiàn)它。
在上述例子中，在編碼裝置單元710中未考慮信號(hào)相位，但在生成2聲道信號(hào)SL、SR的情況下可考慮相位。圖25是此情形中的編碼裝置單元710的一個(gè)構(gòu)成例。
如圖25中所示，在此情形中的編碼裝置單元710中，移相器761L、762L、763L、…、76nL設(shè)置在衰減器741L、742L、743L、…、74nL和加法單元751之間，且移相器761R、762R、763R、…、76n R設(shè)置在衰減器741R、742R、743R、…、74nR和加法單元752之間。在用這些移相器761L、762L、763L、…、76nL和移相器761R、762R、763R、…、76nR將各聲道信號(hào)與2聲道信號(hào)SL、SR合成的情形中，可以在2聲道信號(hào)SL、SR之間附相位差。
在此例的情形中，解碼裝置單元730使用例如第4實(shí)施例的音頻信號(hào)處理裝置單元100。
根據(jù)如上所述的音響再現(xiàn)系統(tǒng)，能構(gòu)成聲源之間的分離優(yōu)良的編碼/解碼系統(tǒng)。
圖26中示出第10實(shí)施例的一構(gòu)成例。此第10實(shí)施例是一種用于用音頻信號(hào)處理裝置單元800進(jìn)行2聲道立體聲音頻信號(hào)SL、SR的信號(hào)處理\并使得能用耳機(jī)或用兩個(gè)揚(yáng)聲器收聽(tīng)信號(hào)處理結(jié)果的音頻信號(hào)的系統(tǒng)。
在第7實(shí)施例和第8實(shí)施例中，第一信號(hào)處理單元和第二信號(hào)處理單元設(shè)置在音頻信號(hào)處理裝置單元上，輸入的立體聲信號(hào)由第一信號(hào)處理單元轉(zhuǎn)換成多聲道信號(hào)，且對(duì)于輸入第二信號(hào)處理單元的多聲道音頻信號(hào)，將得到與從設(shè)置在任意位置處的揚(yáng)聲器到達(dá)收聽(tīng)者的雙耳的傳遞函數(shù)相同的多聲道音頻信號(hào)特性或是能取得用兩個(gè)揚(yáng)聲器將聲源定位在任意位置處的特性。
在第10實(shí)施例中，不獨(dú)立地執(zhí)行用第一信號(hào)處理單元進(jìn)行的處理和用第二信號(hào)處理單元進(jìn)行的處理，而是在從時(shí)域到頻域的一個(gè)轉(zhuǎn)換處理中執(zhí)行所有處理。
在圖26中，用于2聲道音頻信號(hào)SL、SR轉(zhuǎn)換成頻域信號(hào)然后分離到例如5個(gè)聲道的頻域的音頻信號(hào)分量的構(gòu)成與圖1中所示的構(gòu)成相同。即，圖26中的實(shí)施例包括FFT單元101和102、頻分譜比較處理單元103以及頻分譜控制處理單元104的構(gòu)成部分。
第10實(shí)施例具有信號(hào)處理單元900，它用于在將來(lái)自頻分譜控制處理單元104的輸出信號(hào)轉(zhuǎn)換到時(shí)域之前，執(zhí)行對(duì)應(yīng)于第7實(shí)施例的第二信號(hào)處理或第8實(shí)施例的第二信號(hào)處理的處理。
此信號(hào)處理單元900對(duì)于來(lái)自頻分譜控制處理單元104的5聲道的音頻信號(hào)中的每一個(gè)，具有用于左聲道信號(hào)生成的系數(shù)乘法器91L、92L、93L、94L和95L，以及用于右聲道信號(hào)生成的系數(shù)乘法器91R、92R、93R、94R和95R。該信號(hào)處理單元900還具有加法單元96L，用于合成用于左聲道信號(hào)生成的系數(shù)乘法器91L、92L、93L、94L和95L的輸出信號(hào)；以及加法單元96R，用于合成用于右聲道信號(hào)生成的系數(shù)乘法器91R、92R、93R、94R和95R的輸出信號(hào)。
系數(shù)乘法器91L、92L、93L、94L和95L以及系數(shù)乘法器91R、92R、93R、94R和95R的乘法系數(shù)被設(shè)置為對(duì)應(yīng)于上述第7實(shí)施例中的第二信號(hào)處理單元的數(shù)字濾波器的濾波器系數(shù)或上述第8實(shí)施例中的第二信號(hào)處理單元的數(shù)字處理電路的濾波器系數(shù)的乘法系數(shù)。
因?yàn)闀r(shí)域中的卷積積分可以通過(guò)頻域內(nèi)相乘來(lái)實(shí)現(xiàn)，所以在第10實(shí)施例中，在圖26中，由系數(shù)乘法器91L、92L、93L、94L和95L以及系數(shù)乘法器91R、92R、93R、94R和95R對(duì)分離的各信號(hào)乘以一對(duì)用于實(shí)現(xiàn)傳遞特性的系數(shù)。
又，在用加法單元96L和96R將向耳機(jī)和揚(yáng)聲器輸出的聲道相加之后，相乘的結(jié)果被提供給逆FFT單元1201和1202，并被恢復(fù)成時(shí)序數(shù)據(jù)，并作為2聲道音頻信號(hào)SL’和SR’輸出。
用D/A轉(zhuǎn)換器將來(lái)自逆FFT單元1201和1202的時(shí)序數(shù)據(jù)SL’和SR’恢復(fù)成模擬信號(hào)，提供給耳機(jī)或2個(gè)揚(yáng)聲器，并執(zhí)行音響再現(xiàn)，雖然圖被省略。
以這種構(gòu)成，能減少逆FFT處理的次數(shù)以及用頻域來(lái)附加傳遞特性，所以能用少量處理時(shí)間附加長(zhǎng)抽頭(tap)特性，從而能構(gòu)建高效的多聲道再現(xiàn)系統(tǒng)。
圖27是示出根據(jù)第11實(shí)施例的音頻信號(hào)處理裝置單元的部分構(gòu)成例的框圖。圖27示出用于使用數(shù)字濾波器從作為左右2聲道音頻信號(hào)SL、SR之一的左聲道音頻信號(hào)SL分離以預(yù)定聲級(jí)比或聲級(jí)差向左右聲道分配的一個(gè)聲源的音頻信號(hào)。
即，通過(guò)用于定時(shí)調(diào)節(jié)的延遲器1301向數(shù)字濾波器1302提供左聲道的音頻信號(hào)SL(在本例中為數(shù)字信號(hào))。向數(shù)字濾波器1302提供如下所述的基于要分離的聲源的音頻信號(hào)的左右聲道的聲級(jí)比形成的濾波器系數(shù)，以從數(shù)字濾波器1302提取所要分離的聲源音頻信號(hào)。
濾波器系數(shù)如下地形成。首先，分別向FFT單元1303和1304提供左右聲道的音頻信號(hào)SL和SR(數(shù)字信號(hào))，進(jìn)行FFT處理，將時(shí)序音頻信號(hào)轉(zhuǎn)換成頻域數(shù)據(jù)，并從FFT單元1303和FFT單元1304中的每一個(gè)輸出頻率互不相同的多個(gè)頻分譜分量。
向聲級(jí)檢測(cè)單元1305和1306提供來(lái)自FFT單元1303和1304中的每一個(gè)的頻分譜分量，并通過(guò)所檢測(cè)的其振幅譜或功率譜來(lái)檢測(cè)其聲級(jí)。向聲級(jí)比計(jì)算單元1307提供分別由聲級(jí)檢測(cè)單元1305和1306檢測(cè)到的聲級(jí)值D1和D2，并計(jì)算其聲級(jí)比D1/D2或D2/D1。
向加權(quán)系數(shù)生成單元1308提供用聲級(jí)比計(jì)算單元1307算出的聲級(jí)比值。加權(quán)系數(shù)生成單元1308對(duì)應(yīng)于上述實(shí)施例的乘法系數(shù)生成單元，以對(duì)于要分離的聲源的音頻信號(hào)的左右2聲道音頻信號(hào)的混合聲級(jí)比或接近其的聲級(jí)比輸出大值的加權(quán)系數(shù)，并對(duì)其它聲級(jí)比輸出較小加權(quán)系數(shù)。為從FFT單元1303和1304輸出的頻分譜分量的每一頻率取得加權(quán)系數(shù)。
向?yàn)V波器系數(shù)生成單元1309提供來(lái)自加權(quán)系數(shù)生成單元1308的頻域加權(quán)系數(shù)，并將其轉(zhuǎn)換成時(shí)間軸域的濾波器系數(shù)。濾波器系數(shù)生成單元1309通過(guò)使頻域加權(quán)系數(shù)經(jīng)歷逆FFT處理取得要提供給數(shù)字濾波器1302的濾波器系數(shù)。
然后，向數(shù)字濾波器1302提供來(lái)自濾波器系數(shù)生成單元1309的濾波器系數(shù)，并從數(shù)字濾波器1302分離和提取對(duì)應(yīng)于用加權(quán)系數(shù)生成單元1308設(shè)置的函數(shù)的聲源音頻信號(hào)，并將其作為輸出SO輸出。應(yīng)注意，延遲器1301是用于調(diào)節(jié)處理延遲時(shí)間直至生成向數(shù)字濾波器1302提供的濾波器系數(shù)。
圖27中的例子只考慮到聲級(jí)比，但也可以作只考慮相位差，或考慮聲級(jí)比與相位差組合的構(gòu)成。即，例如在考慮聲級(jí)比和相位差的組合的情形中，還向相位差檢測(cè)單元提供FFT單元1303和1304的輸出，還向加權(quán)系數(shù)生成單元提供所檢測(cè)到的相位差，雖然其圖被省略。在此例的情形中的加權(quán)系數(shù)生成單元被構(gòu)造成不僅以要分離的聲源的左右2聲道音頻信號(hào)的聲級(jí)比、還以相位差為變量的用于生成加權(quán)系數(shù)的函數(shù)生成電路。
換言之，此情形中的加權(quán)系數(shù)生成單元是用于設(shè)置生成系數(shù)的函數(shù)，其中聲級(jí)比在要分離的聲源的左右2聲道的音頻信號(hào)的聲級(jí)比或與其接近的聲級(jí)比的情形中，以及如果相位差是要分離的聲源的左右2聲道的音頻信號(hào)的相位差或與其接近的相位差，則生成大加權(quán)系數(shù)，在除此以外的情形中，生成小系數(shù)。
然后，通過(guò)對(duì)來(lái)自加權(quán)系數(shù)生成單元的加權(quán)系數(shù)進(jìn)行逆FFT處理，形成數(shù)字濾波器1302的濾波器系數(shù)。
在圖27中，要分離的是期望僅來(lái)自左聲道的聲源的音頻信號(hào)，但通過(guò)設(shè)置用于生成右聲道的音頻信號(hào)的濾波器系數(shù)的分離系統(tǒng)可以同樣地分離預(yù)定聲源的音頻信號(hào)。
注意，為了從2聲道立體聲信號(hào)SL、SR分離和提取具有3個(gè)或以上聲道的多聲道的聲源信號(hào)，圖27的構(gòu)成部分需要只設(shè)置相應(yīng)聲道數(shù)。在此情形中，可以在每一聲道共用FFT單元1303和1304、聲級(jí)檢測(cè)單元1305和1306、以及聲級(jí)比計(jì)算單元1307。
在上述實(shí)施例中，當(dāng)對(duì)輸入音頻信號(hào)進(jìn)行FFT處理時(shí)，難以對(duì)諸如樂(lè)曲等長(zhǎng)時(shí)序信號(hào)按原樣進(jìn)行FFT處理，因此被分段成預(yù)定分析段，并通過(guò)取得每一分析段的分段數(shù)據(jù)來(lái)進(jìn)行FFT處理。
然而，在單純地只提取固定長(zhǎng)度的時(shí)序數(shù)據(jù)并進(jìn)行聲源分離處理然后執(zhí)行逆FFT變換來(lái)鏈接數(shù)據(jù)的情形中，在鏈接點(diǎn)產(chǎn)生波形不連續(xù)點(diǎn)，并且當(dāng)將其作為聲音收聽(tīng)時(shí)，存在著產(chǎn)生噪聲的問(wèn)題。
因此，在第12實(shí)施例中，為了提取分段數(shù)據(jù)，如圖28中所示，區(qū)間1、區(qū)間2、區(qū)間3、區(qū)間4、…的長(zhǎng)度被設(shè)為相同長(zhǎng)度的單位區(qū)間，但在相鄰的區(qū)間中，可以設(shè)置例如單位區(qū)間的長(zhǎng)度的1/2的區(qū)間部分以重疊每一區(qū)間，并提取每一區(qū)間的分段數(shù)據(jù)。注意，在圖28中，x1、x2、x3、…、xn示出數(shù)字音頻信號(hào)的采樣數(shù)據(jù)。
當(dāng)以此方式處理時(shí)，已經(jīng)過(guò)上述實(shí)施例中所述的聲源分離處理以及逆FFT變換的時(shí)序數(shù)據(jù)也能具有諸如圖29中所示的輸出分段數(shù)據(jù)1、2等重疊區(qū)間。
在第8實(shí)施例中，如圖29中所示，對(duì)具有重疊區(qū)間的相鄰輸出分段數(shù)據(jù)，例如分段數(shù)據(jù)1、2的重疊區(qū)間執(zhí)行具有諸如圖29中所示的三角窗的窗函數(shù)1、2的處理，并可以通過(guò)對(duì)相應(yīng)輸出分段數(shù)據(jù)1、2的重疊區(qū)間將同時(shí)刻的數(shù)據(jù)相加來(lái)得到圖29中所示的輸出合成數(shù)據(jù)。因此，可以得到?jīng)]有波形不連續(xù)點(diǎn)并且無(wú)噪聲的分離的輸出音頻信號(hào)。
另外，在第13實(shí)施例中，為了提取分段數(shù)據(jù)，諸如圖30中所示的如區(qū)間1、區(qū)間2、區(qū)間3、區(qū)間4那樣相互重疊地提取固定區(qū)間的相鄰分段數(shù)據(jù)，同時(shí)在進(jìn)行FFT處理之前，對(duì)各區(qū)間的分段數(shù)據(jù)進(jìn)行諸如圖30中所示的三角窗的窗函數(shù)1、2、3、4的窗函數(shù)處理。
然后，在執(zhí)行諸如圖30中所示的窗函數(shù)處理之后，執(zhí)行FFT變換處理。然后，對(duì)要進(jìn)行聲源分離處理的信號(hào)進(jìn)行逆FFT變換，并因此取得圖31中所示的輸出分段數(shù)據(jù)1、2。此輸出分段數(shù)據(jù)是已對(duì)重疊部分進(jìn)行了窗函數(shù)處理的數(shù)據(jù)。因此，只要在輸出單元將各重疊分段數(shù)據(jù)部分相加，就能得到無(wú)不連續(xù)波形點(diǎn)并且無(wú)噪聲的分離的音頻信號(hào)。
注意，對(duì)于上述窗函數(shù)，除了三角窗之外，還可以使用漢寧窗(Hanningwindow)、漢明窗(Hamming window)或布蘭克曼窗(Blackman window)等。
另外，在上述實(shí)施例中，通過(guò)對(duì)時(shí)間離散信號(hào)進(jìn)行正交變換，然后將信號(hào)轉(zhuǎn)換成頻域信號(hào)來(lái)比較立體聲道之間的頻分譜，但在原理上也可以作如下構(gòu)成可以將時(shí)域信號(hào)細(xì)分到多個(gè)頻帶總線濾波器，并對(duì)相應(yīng)的頻帶執(zhí)行同樣的處理。然而，在上述實(shí)施例中，執(zhí)行FFT處理比較容易增加頻率分解能力并提高要分離的聲源的分離度，因此具有高實(shí)用性。
注意，在上述實(shí)施例中，已描述了2聲道立體聲信號(hào)作為應(yīng)用了本發(fā)明的2系統(tǒng)音頻信號(hào)，但本發(fā)明能就于任何類型的2系統(tǒng)音頻信號(hào)，只要聲源的音頻信號(hào)是以預(yù)定聲級(jí)比或聲級(jí)差分配的2個(gè)音頻信號(hào)即可。相位差亦是如此。
另外，在上述實(shí)施例中，取得2系統(tǒng)音頻信號(hào)的頻分譜的聲級(jí)比，且乘法系數(shù)生成單元使用對(duì)聲級(jí)比的乘法系數(shù)的函數(shù)，但可以作如下設(shè)置取得2系統(tǒng)音頻信號(hào)的頻分譜的聲級(jí)差，并且乘法系數(shù)生成單元使用對(duì)聲級(jí)差的乘法系數(shù)的函數(shù)。
另外，用于將時(shí)序信號(hào)轉(zhuǎn)換成頻域信號(hào)的正交變換裝置不限于FFT處理裝置，還可以是能比較頻分譜的聲級(jí)或相位的任何事物。
權(quán)利要求
1.一種音頻信號(hào)處理裝置，包括分割裝置，用于將2系統(tǒng)的音頻信號(hào)的每一個(gè)分割成多個(gè)頻帶；聲級(jí)比較裝置，用于計(jì)算在由所述分割裝置分割的多個(gè)頻帶中的每一個(gè)中所述2系統(tǒng)的音頻信號(hào)的聲級(jí)比或聲級(jí)差；以及三個(gè)或以上輸出控制裝置，用于從來(lái)自所述分割裝置的2系統(tǒng)的音頻信號(hào)中的兩方或一方的多個(gè)頻帶分量中提取并輸出在所述聲級(jí)比較裝置處計(jì)算的所述聲級(jí)比或所述聲級(jí)差為預(yù)定值及其近旁的頻帶分量。其中由所述三個(gè)或以上輸出控制裝置提取并輸出的所述頻帶分量是其聲級(jí)比或聲級(jí)差是互不相同的預(yù)定值及其近旁的頻帶分量。
2.一種音頻信號(hào)處理裝置，包括第一和第二正交變換裝置，用于將2系統(tǒng)的輸入音頻時(shí)序信號(hào)轉(zhuǎn)換成相應(yīng)的頻域信號(hào)；頻分譜比較裝置，用于將來(lái)自所述第一正交變換裝置和所述第二正交變換裝置的相應(yīng)頻分譜之間的聲級(jí)比或聲級(jí)差相比較；由三個(gè)或以上聲源分離裝置構(gòu)成的頻分譜控制裝置，用于在所述頻分譜比較裝置的比較結(jié)果的基礎(chǔ)上控制從所述第一和第二正交變換裝置中的兩方或一方取得的頻分譜的聲級(jí)，以提取并輸出所述聲級(jí)比或所述聲級(jí)差為預(yù)定值及其近旁的頻帶分量；三個(gè)或以上正交逆變換裝置，用于將來(lái)自所述頻分譜控制裝置的所述三個(gè)或以上聲源分離裝置中的每一個(gè)的所述頻域信號(hào)恢復(fù)成時(shí)序信號(hào)。其中輸出音頻信號(hào)從所述三個(gè)或以上正交逆變換裝置中的每一個(gè)取得。
3.一種音頻信號(hào)處理裝置，包括第一和第二正交變換裝置，用于將2系統(tǒng)的輸入音頻時(shí)序信號(hào)轉(zhuǎn)換成相應(yīng)的頻域信號(hào)；相位差計(jì)算裝置，用于計(jì)算來(lái)自所述第一正交變換裝置和所述第二正交變換裝置的相應(yīng)頻分譜之間的相位差；由三個(gè)或以上聲源分離裝置構(gòu)成的頻分譜控制裝置，用于在所述相位差計(jì)算裝置所計(jì)算的相位差的基礎(chǔ)上控制從所述第一和第二正交變換裝置中的兩方或一方取得的頻分譜的聲級(jí)，以提取并輸出所述聲級(jí)比或所述聲級(jí)差為預(yù)定值及近旁的頻帶分量；三個(gè)或以上正交逆變換裝置，用于將來(lái)自所述頻分譜控制裝置的三個(gè)或以上所述聲源分離裝置中的每一個(gè)的所述頻域信號(hào)恢復(fù)成時(shí)序信號(hào)。其中輸出音頻信號(hào)從所述三個(gè)或以上正交逆變換裝置取得。
4.如權(quán)利要求2所述的音頻信號(hào)處理裝置，其特征在于，所述頻分譜比較裝置計(jì)算來(lái)自所述第一正交變換裝置和所述第二正交變換裝置的相應(yīng)頻分譜之間的聲級(jí)比或聲級(jí)差；并且所述頻分譜控制裝置的所述三個(gè)或以上聲源分離裝置，各自具有用于生成設(shè)置成所述計(jì)算出的聲級(jí)比或聲級(jí)差的函數(shù)的乘法系數(shù)的生成裝置，并將從所述第一正交變換裝置和所述第二正交變換裝置中的兩方或一方取得的頻分譜與來(lái)自所述乘法系數(shù)生成裝置的所述乘法系數(shù)相乘，從而確定其輸出聲級(jí)。
5.如權(quán)利要求3所述的音頻信號(hào)處理裝置，其特征在于，所述頻分譜控制裝置的所述三個(gè)或以上聲源分離裝置，各自具有用于生成設(shè)置成所述計(jì)算出的相位差的函數(shù)的乘法系數(shù)的生成裝置，并將從所述第一正交變換裝置和所述第二正交變換裝置中的兩方或一方取得的頻分譜與來(lái)自所述乘法系數(shù)生成裝置的所述乘法系數(shù)相乘，從而確定其輸出聲級(jí)。
6.如權(quán)利要求2所述的音頻信號(hào)處理裝置，其特征在于，所述頻分譜比較裝置計(jì)算來(lái)自所述第一正交變換裝置和所述第二正交變換裝置的相應(yīng)頻分譜之間的聲級(jí)比或聲級(jí)差，并且還計(jì)算所述相位差；并且所述頻分譜控制裝置的所述三個(gè)或以上聲源分離裝置，各自具有用于生成設(shè)置成所述計(jì)算出的聲級(jí)比或聲級(jí)差的函數(shù)的第一乘法系數(shù)的生成裝置或用于生成設(shè)置成所述相位差的函數(shù)的第二乘法系數(shù)的生成裝置；所述音頻信號(hào)處理裝置包括第一裝置，用于將從所述第一正交變換裝置和所述第二正交變換裝置中的兩方或一方取得的頻分譜與來(lái)自所述第一乘法系數(shù)生成裝置的所述第一乘法系數(shù)相乘；以及第二裝置，用于將所述第一裝置的輸出與來(lái)自所述第二乘法系數(shù)生成裝置的所述第二乘法系數(shù)相乘，從而確定其輸出聲級(jí)；其中所述第二裝置的輸出被輸入所述正交逆變換裝置。
7.一種音頻信號(hào)處理裝置，包括第一和第二正交變換裝置，用于將2系統(tǒng)的輸入音頻時(shí)序信號(hào)轉(zhuǎn)換成相應(yīng)的頻域信號(hào)；頻分譜比較裝置，用于比較來(lái)自所述第一正交變換裝置和所述第二正交變換裝置的相應(yīng)頻分譜之間的聲級(jí)比或聲級(jí)差；第一聲源分離裝置，用于基于所述頻分譜比較裝置中的比較結(jié)果來(lái)控制從所述第一正交變換裝置取得的頻分譜的聲級(jí)并提取所述聲級(jí)比或所述聲級(jí)差為預(yù)定的第一值及其近旁的頻率分量；第二聲源分離裝置，用于基于所述頻分譜比較裝置中的比較結(jié)果來(lái)控制從所述第二正交變換裝置取得的頻分譜的聲級(jí)并提取所述聲級(jí)比或所述聲級(jí)差為預(yù)定的第二值及其近旁的頻率分量；第一和第二正交逆變換裝置，用于將來(lái)自所述第一和第二聲源分離裝置的所述頻域信號(hào)恢復(fù)成時(shí)序信號(hào)；第一殘差提取裝置，用于從所述第一正交變換裝置的頻域信號(hào)減去所述第一聲源分離裝置的頻域信號(hào)；第二殘差提取裝置，用于從所述第二正交變換裝置的頻域信號(hào)減去所述第二聲源分離裝置的頻域信號(hào)；第三和第四正交逆變換裝置，用于將來(lái)自所述第一和第二殘差提取裝置的所述頻域信號(hào)恢復(fù)成時(shí)序信號(hào)；其中輸出音頻信號(hào)從所述第一、第二、第三和第四正交逆變換裝置取得。
8.一種音頻信號(hào)處理裝置，包括第一正交變換裝置，用于將第一系統(tǒng)的輸入音頻時(shí)序信號(hào)轉(zhuǎn)換成頻域信號(hào)；第二正交變換裝置，用于將第二系統(tǒng)的輸入音頻時(shí)序信號(hào)轉(zhuǎn)換成頻域信號(hào)；頻分譜比較裝置，用于比較來(lái)自所述第一正交變換裝置和所述第二正交變換裝置的相應(yīng)頻分譜之間的聲級(jí)比或聲級(jí)差；第一聲源分離裝置，用于基于所述頻分譜比較裝置中的比較結(jié)果來(lái)控制從所述第一正交變換裝置取得的頻分譜的聲級(jí)并提取所述聲級(jí)比或所述聲級(jí)差為預(yù)定的第一值及其近旁的頻率分量；第二聲源分離裝置，用于基于所述頻分譜比較裝置中的比較結(jié)果來(lái)控制從所述第二正交變換裝置取得的頻分譜的聲級(jí)并提取所述聲級(jí)比或所述聲級(jí)差為預(yù)定的第二值及其近旁的頻帶分量；第一和第二正交逆變換裝置，用于將來(lái)自所述第一和第二聲源分離裝置的所述頻域信號(hào)恢復(fù)成時(shí)序信號(hào)；第一殘差提取裝置，用于從所述第一系統(tǒng)的輸入音頻時(shí)序信號(hào)減去所述第一正交逆變換裝置的時(shí)序信號(hào)；第二殘差提取裝置，用于從所述第二系統(tǒng)的輸入音頻時(shí)序信號(hào)減去所述第二正交逆變換裝置的時(shí)序信號(hào)；其中輸出音頻信號(hào)從所述第一和第二正交變換裝置以及所述第一和第二殘差提取裝置取得。
9.如權(quán)利要求4所述的音頻信號(hào)處理裝置，其特征在于，所述計(jì)算出的聲級(jí)比或聲級(jí)差將對(duì)除了預(yù)定范圍的頻分譜以外的頻分譜的所述乘法系數(shù)設(shè)置為0。
10.如權(quán)利要求2或3所述的音頻信號(hào)處理裝置，其特征在于，所述2系統(tǒng)的輸入音頻時(shí)序信號(hào)被分段成預(yù)定分析區(qū)間并取得分段數(shù)據(jù)，并且還以重疊的方式提取預(yù)定分段區(qū)間，輸出時(shí)序信號(hào)接受窗函數(shù)處理，并將同一時(shí)刻的時(shí)序數(shù)據(jù)相加并輸出。
11.如權(quán)利要求2或權(quán)利要求3所述的音頻信號(hào)處理裝置，其特征在于，所述2系統(tǒng)的輸入音頻時(shí)序信號(hào)被分段成預(yù)定分析區(qū)間并取得分段數(shù)據(jù)，并且還以重疊的方式提取預(yù)定分段區(qū)間，進(jìn)行窗函數(shù)處理，然后進(jìn)行正交變換，輸出時(shí)序信號(hào)接受正交逆變換以將其轉(zhuǎn)換成時(shí)序數(shù)據(jù)，連續(xù)分析區(qū)間的同一時(shí)刻的時(shí)序數(shù)據(jù)被相加并輸出。
12.一種音頻信號(hào)處理方法，包括聲級(jí)比較步驟，用于計(jì)算在所分割的多個(gè)頻帶中的每一個(gè)中2系統(tǒng)的音頻信號(hào)的聲級(jí)比或聲級(jí)差；以及輸出控制步驟，用于提取在所述聲級(jí)比較步驟中計(jì)算的所述聲級(jí)比或所述聲級(jí)差為預(yù)定值及其近旁的頻帶分量，其中三個(gè)或以上值被設(shè)為所述預(yù)定值，對(duì)每一值提取所述頻帶的分量，并輸出三個(gè)頻域信號(hào)。
13.一種音頻信號(hào)處理方法，包括正交變換步驟，用于將2系統(tǒng)的輸入音頻時(shí)序信號(hào)轉(zhuǎn)換成相應(yīng)的頻域信號(hào)，以取得2系統(tǒng)的頻分譜；頻分譜比較步驟，用于比較來(lái)自在所述正交變換步驟中取得的所述2系統(tǒng)的頻分譜的相應(yīng)頻分譜之間的聲級(jí)比或聲級(jí)差；頻分譜控制步驟，用于基于所述頻分譜比較步驟中的比較結(jié)果控制在所述正交變換步驟中取得的所述2系統(tǒng)的頻分譜的兩方或一方頻分譜的聲級(jí)，以從所述2系統(tǒng)的頻分譜中的兩方或一方提取并輸出所述聲級(jí)比或所述聲級(jí)差為預(yù)定值及其近旁的頻分譜分量，其中三個(gè)或以上值被設(shè)置成所述預(yù)定值，對(duì)每一值提取所述頻帶的分量，并輸出三個(gè)頻域信號(hào)；以及正交逆變換步驟，用于將在所述頻分譜控制步驟中取得的所述三個(gè)或以上頻域信號(hào)中的每一個(gè)恢復(fù)成時(shí)序信號(hào)。
14.一種音頻信號(hào)處理方法，包括正交變換步驟，用于將2系統(tǒng)的輸入音頻時(shí)序信號(hào)轉(zhuǎn)換成頻域信號(hào)；相位差計(jì)算步驟，用于計(jì)算在所述正交變換步驟中取得的2系統(tǒng)的輸入音頻時(shí)序信號(hào)的頻分譜中的相應(yīng)頻分譜之間的相位差；頻分譜控制步驟，用于基于在所述相位差計(jì)算步驟中計(jì)算出的相位差來(lái)控制在所述正交變換步驟中取得的2系統(tǒng)的頻分譜的兩方或一方頻分譜的聲級(jí)，以從所述2系統(tǒng)的頻分譜中的兩方或一方提取并輸出所述相位差為預(yù)定值及其近旁的頻帶分量，其中三個(gè)或以上值被設(shè)置成所述預(yù)定值，對(duì)每一值提取所述頻帶的分量，并輸出三個(gè)頻域信號(hào)；以及正交逆變換步驟，用于將在所述頻分譜控制步驟中取得的所述三個(gè)或以上頻域信號(hào)中的每一個(gè)恢復(fù)成時(shí)序信號(hào)。
15.一種音頻信號(hào)處理裝置，其中向第一信號(hào)處理單元提供2系統(tǒng)的輸入音頻時(shí)序信號(hào)，由所述第一信號(hào)處理單元從所述2系統(tǒng)的輸入音頻時(shí)序信號(hào)中分離三個(gè)或以上不同聲源信號(hào)，向第二信號(hào)處理單元提供所述三個(gè)或以上不同聲源信號(hào)，并通過(guò)由所述第二信號(hào)處理單元將來(lái)自所述三個(gè)或以上聲源信號(hào)的聲像定位在收聽(tīng)者的頭部外的預(yù)定位置來(lái)生成耳機(jī)用2聲道信號(hào)；其中所述第一信號(hào)處理單元包括根據(jù)權(quán)利要求1至12中任一項(xiàng)的音頻信號(hào)處理裝置；并且其中所述第二信號(hào)處理單元包括用于各聲道的三個(gè)或以上系數(shù)乘法裝置，用于將為所述耳機(jī)的兩個(gè)聲道中的每一個(gè)預(yù)先取得的預(yù)定傳遞系數(shù)乘以來(lái)自所述第一信號(hào)處理單元的指所述三個(gè)或三個(gè)以上不同的聲源信號(hào)；以及用于通過(guò)將用于所述各聲道的三個(gè)或以上系數(shù)乘法裝置的相應(yīng)輸出信號(hào)相加來(lái)生成所述各聲道的音頻信號(hào)的裝置。
16.一種音頻信號(hào)處理裝置，其中向第一信號(hào)處理單元提供2系統(tǒng)的輸入音頻時(shí)序信號(hào)，由所述第一信號(hào)處理單元從所述2系統(tǒng)的輸入音頻時(shí)序信號(hào)中分離三個(gè)或以上不同聲源信號(hào)，向第二信號(hào)處理單元提供所述三個(gè)或以上不同聲源信號(hào)，并通過(guò)由第二信號(hào)處理單元生成由兩個(gè)揚(yáng)聲器將來(lái)自所述三個(gè)或三個(gè)以上聲源信號(hào)的聲像定位在預(yù)定位置的2聲道信號(hào)；其中所述第一信號(hào)處理單元包括根據(jù)權(quán)利要求1至12中任一項(xiàng)的音頻信號(hào)處理裝置；且其中所述第二信號(hào)處理單元包括用于各聲道的三個(gè)或以上系數(shù)乘法裝置，用于將為要向所述2個(gè)揚(yáng)聲器中每一個(gè)提供的2聲道信號(hào)的每一聲道預(yù)先取得的預(yù)定傳遞系數(shù)乘以來(lái)自所述第一信號(hào)處理單元的所述三個(gè)或以上不同的聲源信號(hào)的每一個(gè)；以及加法裝置，用于通過(guò)將每一所述聲道的三個(gè)或以上系數(shù)乘法裝置的相應(yīng)輸出信號(hào)相加來(lái)生成所述各聲道的音頻信號(hào)。
17.一種音頻信號(hào)處理裝置，包括第一和第二正交變換裝置，用于將2系統(tǒng)的輸入音頻時(shí)序信號(hào)轉(zhuǎn)換成相應(yīng)頻域信號(hào)；頻分譜比較裝置，用于比較來(lái)自所述第一正交變換裝置和所述第二正交變換裝置的相應(yīng)頻分譜之間的聲級(jí)比或聲級(jí)差；由三個(gè)或以上聲源分離裝置構(gòu)成的頻分譜控制裝置，用于基于所述頻分譜比較裝置中的比較結(jié)果來(lái)控制從所述第一和第二正交變換裝置中的兩方或一方取得的頻分譜的聲級(jí)，以提取并輸出所述聲級(jí)比或所述聲級(jí)差為預(yù)定值及其近旁的頻帶分量；用于各聲道的三個(gè)或以上系數(shù)乘法裝置，用于將預(yù)先為耳機(jī)的2聲道信號(hào)的每一聲道取得的預(yù)定傳遞系數(shù)乘以來(lái)自所述頻分譜控制裝置的所述三個(gè)或以上聲源分離裝置的每一頻域信號(hào)；聲道頻域信號(hào)生成裝置，用于通過(guò)將用于所述各聲道的三個(gè)或以上系數(shù)乘法裝置的相應(yīng)輸出信號(hào)相加來(lái)生成所述各聲道的頻域信號(hào)；以及正交逆變換裝置，用于將來(lái)自所述聲道頻域信號(hào)生成裝置的所述各聲道的頻域信號(hào)恢復(fù)成時(shí)序信號(hào)；其中與作為聲源定位在預(yù)定位置的三個(gè)或以上聲源相對(duì)應(yīng)地將值設(shè)置成所述聲級(jí)比或所述聲級(jí)差的預(yù)定值，并從所述各聲源分離裝置取得所述三個(gè)或三個(gè)以上聲源中的每一個(gè)的頻域信號(hào)。
全文摘要
提供了一種音頻信號(hào)處理裝置，從而能從其中包含多個(gè)聲源的音頻信號(hào)的2系統(tǒng)音頻信號(hào)適當(dāng)?shù)胤蛛x多聲源的音頻信號(hào)。該音頻信號(hào)處理裝置包括分割裝置101和102，用于將每一2系統(tǒng)音頻信號(hào)分割成多個(gè)頻帶；聲級(jí)比較裝置，用于計(jì)算在由分割裝置分割的多個(gè)頻帶中的每一個(gè)中2系統(tǒng)的音頻信號(hào)的聲級(jí)比或聲級(jí)差；以及三個(gè)或三個(gè)以上輸出控制裝置，用于提取并輸出在聲級(jí)比較裝置處計(jì)算的聲級(jí)比或聲級(jí)差為預(yù)定值及其近旁的頻帶分量。由這三個(gè)或以上輸出控制裝置提取并輸出的所述頻帶分量是其聲級(jí)比或聲級(jí)差為相互不同的預(yù)定值及其近旁的頻帶分量。
文檔編號(hào)H04R3/04GK101040564SQ20058003538
公開(kāi)日2007年9月19日 申請(qǐng)日期2005年10月4日 優(yōu)先權(quán)日2004年10月19日
發(fā)明者山田裕司, 沖本越 申請(qǐng)人:索尼株式會(huì)社