專利名稱：實(shí)現(xiàn)3d虛擬聲音的裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種實(shí)現(xiàn)3D虛擬聲音的裝置及其方法。雖然本發(fā)明適用于廣泛的應(yīng)用范圍，但是它特別適用于在沒有裝備用于實(shí)現(xiàn)3D聲音的昂貴設(shè)備、用作移動(dòng)通信終端等的移動(dòng)式平臺(tái)中實(shí)現(xiàn)3D(3-D)虛擬聲音。
相關(guān)技術(shù)最近，對(duì)3D虛擬聲音技術(shù)的研究和開發(fā)做出了許多努力，該技術(shù)僅使用一對(duì)揚(yáng)聲器或頭戴式耳機(jī)、而無需使用高級(jí)設(shè)備，在需要用于多媒體內(nèi)容、CD-ROM標(biāo)題、游戲者、虛擬現(xiàn)實(shí)等的3D虛擬現(xiàn)實(shí)的多媒體設(shè)備中帶來3D虛擬音頻效果。在3D虛擬音頻技術(shù)中，形成有方向、距離、空間等的敏感度，如同聲音是從虛擬音源的位置傳來的，該虛擬音源以通過使得用戶能夠聽到聲音的頭戴式耳機(jī)或揚(yáng)聲器在特定的位置建立音源的一種方式而定位。
在大多數(shù)3D虛擬音頻技術(shù)中，使用頭部相關(guān)轉(zhuǎn)移函數(shù)(下文簡(jiǎn)稱為HRTF)對(duì)揚(yáng)聲器或頭戴式耳機(jī)給出虛擬聲音效果。
虛擬聲音效果產(chǎn)生一種效果，從而聲音源位于3D虛擬空間中的特定位置。并且，通過將來自單聲道音源中的聲音流用頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF)進(jìn)行濾波而得出虛擬聲音效果。
通過以仿真頭為目標(biāo)，在消聲室中測(cè)量出頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF)。具體地，從多個(gè)在消聲室中以仿真頭為中心、以各種角度環(huán)繞設(shè)置的多個(gè)揚(yáng)聲器中分別輸出偽隨機(jī)二進(jìn)制序列，并且通過置于仿真頭兩耳上的微型話筒測(cè)量所接收到的信號(hào)，以計(jì)算出聲路徑的轉(zhuǎn)移函數(shù)。并且，該轉(zhuǎn)移函數(shù)被稱為頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF)。
下面詳細(xì)解釋一種找尋頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF)的方法。
首先，以仿真頭為中心將標(biāo)高和方位角分別細(xì)分成預(yù)定的間隔。揚(yáng)聲器分別每隔例如10°的細(xì)分角度而放置。從放置在細(xì)分角度的該坐標(biāo)方格中的各位置上的揚(yáng)聲器中輸出偽隨機(jī)二進(jìn)制序列。然后對(duì)到達(dá)放置在仿真頭兩耳中的右和左微型話筒中的信號(hào)進(jìn)行測(cè)量。然后計(jì)算出脈沖響應(yīng)以及從揚(yáng)聲器到左右耳的聲路徑的轉(zhuǎn)移函數(shù)。可以通過相鄰的頭部相關(guān)轉(zhuǎn)移函數(shù)之間的內(nèi)插法找到在非連續(xù)空間中的未測(cè)量頭部相關(guān)轉(zhuǎn)移函數(shù)。因此，可以上述方式來建立頭部相關(guān)轉(zhuǎn)移函數(shù)數(shù)據(jù)庫(kù)。
如前所述，虛擬聲音效果將產(chǎn)生一種效果，即音源好像位于3D虛擬空間中的特定位置上。
3D虛擬音頻技術(shù)可以產(chǎn)生在固定特定位置中感覺聲音的一種效果，以及聲音從一個(gè)位置移動(dòng)到另一個(gè)位置的另一效果。具體地，可通過在來自單聲道音源的音頻流的對(duì)應(yīng)位置上使用頭部相關(guān)轉(zhuǎn)移函數(shù)來執(zhí)行濾波操作而獲得靜態(tài)或已定位的聲音的產(chǎn)生。并且，可通過使用一組頭部相關(guān)函數(shù)(對(duì)應(yīng)于移動(dòng)音源軌線的不同點(diǎn))以連續(xù)的方法對(duì)來自單聲道音源執(zhí)行濾波操作而獲得動(dòng)態(tài)或移動(dòng)的聲音的產(chǎn)生。
由于上述的3D虛擬音頻技術(shù)需要用于存儲(chǔ)產(chǎn)生靜態(tài)(已定位)和動(dòng)態(tài)(移動(dòng))聲音的頭部相關(guān)轉(zhuǎn)移函數(shù)的巨大數(shù)據(jù)庫(kù)的存儲(chǔ)空間，并且同時(shí)需要用于用頭部相關(guān)轉(zhuǎn)移函數(shù)對(duì)來自單聲道音源的信號(hào)執(zhí)行濾波操作的大量計(jì)算。對(duì)于實(shí)時(shí)實(shí)現(xiàn)來說，高性能硬件(HW)和軟件(SW)設(shè)備是有必要的。
除此之外，在將3D虛擬音頻技術(shù)應(yīng)用到需要對(duì)多個(gè)移動(dòng)的聲音實(shí)現(xiàn)虛擬3D聲音的電影、虛擬現(xiàn)實(shí)、游戲等的過程中，就會(huì)帶來如下問題。
首先，如果使用在3D空間中位置唯一的低階IIR(無限脈沖響應(yīng))濾波器而直接近似出HRTF(由于IIR濾波器用低于FIR(有限脈沖響應(yīng))濾波器的計(jì)算復(fù)雜性來建立HRTF模型，如同現(xiàn)有建議中所進(jìn)行的那樣)，為了使用3D虛擬音頻技術(shù)模擬出從一位置移動(dòng)到另一位置上的單聲道音源，需要從對(duì)應(yīng)于音源初始位置的一個(gè)IIR(無限脈沖響應(yīng))濾波器到對(duì)應(yīng)于音源軌線中的下一個(gè)位置的另一IIR濾波器的切換。
并且，當(dāng)音源做出從空間一位置到另一位置的轉(zhuǎn)換時(shí)，在兩個(gè)建立HRTF模型的IIR濾波器之間的切換可使得系統(tǒng)不穩(wěn)定，并且可能增加在做出從一個(gè)濾波器到另一濾波器的轉(zhuǎn)換時(shí)的可聽到的“滴答”噪聲。
其次，如果HRTF模型，如同存在于許多目前工藝水平系統(tǒng)中一樣，是處于空間中的唯一位置，則對(duì)空間中一組占據(jù)不同位置的音源的模擬需要建立對(duì)應(yīng)于聽覺空間中音源位置的HRTF模型的一組濾波器。要模擬N個(gè)音源，需要實(shí)時(shí)可操作的N個(gè)濾波器。因此，復(fù)雜性隨著組中的音源的數(shù)量增加而按比例線性地增加。具體地，要對(duì)諸如電影、虛擬現(xiàn)實(shí)、游戲等的多媒體內(nèi)容給出根據(jù)多個(gè)移動(dòng)聲音的3D聲音效果，能夠提供大規(guī)模存儲(chǔ)空間以及實(shí)時(shí)操作能力的高性能硬件和軟件設(shè)備是必需的。

發(fā)明內(nèi)容
相應(yīng)的，本發(fā)明旨在一種基本消除由于相關(guān)技術(shù)領(lǐng)域的限制和缺點(diǎn)所導(dǎo)致的一個(gè)或多個(gè)問題的、用于實(shí)現(xiàn)3D虛擬聲音的一種裝置及其方法。
本發(fā)明的目的之一是提供一種用于實(shí)現(xiàn)3D虛擬聲音的裝置及其方法，其中可確保系統(tǒng)穩(wěn)定性，其中較之目前的工藝水平，計(jì)算復(fù)雜性和存儲(chǔ)復(fù)雜性減少，用于模擬多個(gè)音源，并且通過它，可在未裝備用于實(shí)現(xiàn)3D聲音的昂貴設(shè)備的用作移動(dòng)通信終端等的移動(dòng)性平臺(tái)中實(shí)現(xiàn)3D虛擬聲音。
本發(fā)明的其它優(yōu)點(diǎn)、目的、和特征可在隨后的描述中得到部分陳述，并且對(duì)本領(lǐng)域一般技術(shù)人員來說，在細(xì)查了下文之后可部分地明顯，或者從本發(fā)明的實(shí)踐中學(xué)習(xí)到。本發(fā)明的目的和其它優(yōu)點(diǎn)可以通過由書面說明及其權(quán)利要求還有附圖所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。
要實(shí)現(xiàn)這些目的和其它優(yōu)點(diǎn)并依照本發(fā)明的意圖，如同在此表達(dá)和廣泛描述的那樣，根據(jù)本發(fā)明的合成3D聲音的方法包括將聽覺間時(shí)間延遲(inter-aural timedelay)(ITD)提供給至少一個(gè)輸入聲音輸入信號(hào)的第一步驟，將第一步驟的輸出信號(hào)乘以主分量(principal component)權(quán)重的第二步驟，以及通過從頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF)中選取的基本向量的多個(gè)低階模型對(duì)第二步驟所得出的結(jié)果值進(jìn)行濾波的第三步驟。
較佳地，在第一步驟中，根據(jù)至少一個(gè)輸入聲音信號(hào)的位置，通過給出聽覺間時(shí)間延遲來產(chǎn)生左信號(hào)和右信號(hào)。
更佳地，在第二步驟中，左和右信號(hào)分別乘以對(duì)應(yīng)于根據(jù)至少一個(gè)輸入聲音信號(hào)位置的標(biāo)高φ和方位角θ的左主分量權(quán)重和右主分量權(quán)重。
更佳地，該方法還包括一步驟，通過基本向量的多個(gè)低階模型對(duì)乘以主分量權(quán)重的聲音信號(hào)進(jìn)行濾波。
更佳地，該方法還包括一步驟，將分別根據(jù)左信號(hào)分類和根據(jù)右信號(hào)分類的基本向量的多個(gè)低階模型濾波的信號(hào)相加。
較佳地，多個(gè)基本向量的包括方向獨(dú)立均值向量以及多個(gè)定向基本向量。
較佳地，通過主分量分析(PCA)從頭部相關(guān)轉(zhuǎn)移函數(shù)中選取多個(gè)基本向量。
更佳地，通過IIR(無限脈沖響應(yīng))濾波器來建立多個(gè)基本向量的模型。
更佳地，用平衡模型近似技術(shù)來建立多個(gè)基本向量的模型。
在本發(fā)明的第二方面，一種用于合成3D立體聲的裝置包括ITD(聽覺間時(shí)間延遲)模塊，用于將聽覺間時(shí)間延遲(ITD)提供給至少一個(gè)輸入聲音信號(hào)；權(quán)重應(yīng)用模塊，用于將從ITD模塊中輸出的輸出信號(hào)乘以主分量權(quán)重；以及濾波模塊，用于通過從頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF)中選取基本向量的多個(gè)低階模型對(duì)從權(quán)重應(yīng)用模塊中輸出的結(jié)果值進(jìn)行濾波。
較佳地，該裝置還包括加法模塊，將通過分別根據(jù)左信號(hào)和根據(jù)右信號(hào)分類的多個(gè)低階基本向量而濾波的信號(hào)相加。
在本發(fā)明的第三方面，一種移動(dòng)終端包括上述用于實(shí)現(xiàn)3D聲音的裝置。
應(yīng)該理解，本發(fā)明的兩個(gè)前述說明和接下來的詳細(xì)說明是示意性和解釋性的，并旨在提供對(duì)如同所要求的本發(fā)明的進(jìn)一步解釋。


被包括以提供對(duì)本發(fā)明的進(jìn)一步理解、并且被結(jié)合和組成本申請(qǐng)的一部分的附圖，圖示出了本發(fā)明的實(shí)施例，并且與說明一起用作解釋本發(fā)明的原理。在附圖中圖1是根據(jù)本發(fā)明一較佳實(shí)施例用于聲音合成的HRTF建模方法的流程圖；圖2是從KEMAR數(shù)據(jù)庫(kù)中選取的方向獨(dú)立均值向量的128拍FIR模型、以及根據(jù)本發(fā)明一較佳實(shí)施例近似的方向獨(dú)立均值向量的低階模型的曲線圖；圖3是從KEMAR數(shù)據(jù)庫(kù)中選取的最重要基本向量的128拍FIR模型、以及根據(jù)本發(fā)明一較佳實(shí)施例近似的最重要基本向量的低階模型的圖表；圖4是根據(jù)本發(fā)明一較佳實(shí)施例用于實(shí)現(xiàn)3D虛擬聲音的裝置的框圖。
具體實(shí)施例方式
將對(duì)本發(fā)明的較佳實(shí)施例做出詳細(xì)地引用，在附圖中示出其示例。如果適當(dāng)，在整個(gè)附圖中使用相同的標(biāo)號(hào)指代相同或類似的部分。參照?qǐng)D1，下面對(duì)由本發(fā)明所提議的用于合成多個(gè)移動(dòng)聲音的HRTF建模方法進(jìn)行描述。
首先，使用最小相位濾波器和聽覺間時(shí)間延遲對(duì)各個(gè)和每一方向中的HRTF建模。
然后使用統(tǒng)計(jì)特征選取技術(shù)從已建模的HRTF中選取一組基本向量〔S200〕。在該情形中，選取是在時(shí)域內(nèi)做出的。在獲取數(shù)據(jù)組的方差的過程中，最有代表性的統(tǒng)計(jì)特征選取方法是主分量分析(PCA)，該分析在J.Acoust.Soc.Am.120(4)2211-2218pp.(十月，1997，Zhenyang Wu，F(xiàn)rancis H.Y.Chan，以及F.K.Lam，“基于頭部相關(guān)轉(zhuǎn)移函數(shù)的空間特征選取的時(shí)域雙耳模型”(A time domain binauralmodel based on spatial feature extraction for the head related transfer functions”)中有詳細(xì)的描述，該描述通過引用結(jié)合在此。
將對(duì)基本向量做出如下尖端的描述。首先，基本向量包括一方向獨(dú)立均值向量和多個(gè)定向基本向量。方向獨(dú)立均值向量表示代表一種特征的向量，該特征被確定，而與在各個(gè)和每一方向中的已建模的HRTF(頭部相關(guān)轉(zhuǎn)移函數(shù))的各個(gè)特征中的音源位置(方向)無關(guān)。另一方面，定向基本向量代表一種特征，由音源的位置(方向)而確定該特征。
最后，基于平衡模型近似技術(shù)將基本向量被建模成一組IIR濾波器。平衡模型近似技術(shù)是在“信號(hào)處理的IEEE學(xué)報(bào)，vol.40，No.3，三月，1992(B.Beliczynski，I.Kale，以及G.D.Cain，“通過IIR信號(hào)數(shù)字濾波器的FIR的近似基于平衡模型歸約的算法”(“Approximation of FIR by IIR digital filtersan algorithm based onbalanced model reduction”)中有細(xì)節(jié)性的揭示，該揭示通過引用整體結(jié)合在此。從模擬中可以看到平衡模型近似技術(shù)借助于低計(jì)算復(fù)雜性對(duì)基本向量精確地建模。
圖2示出從KEMAR數(shù)據(jù)庫(kù)中選取的方向獨(dú)立均值向量的128拍FIR模型以及使用前述步驟而近似出的方向獨(dú)立均值向量的低階模型。近似方向獨(dú)立均值向量的IIR濾波器的階數(shù)是12。圖3示出從KEMAR數(shù)據(jù)庫(kù)中選取的第一重要定向基本向量的128拍FIR模型、以及使用前述步驟近似出的第一重要定向基本向量的低階模型。對(duì)定向基本向量作近似的IIR濾波器的位是12。從圖2和圖3可以明顯看出該近似是相當(dāng)精確的。在J.Acoust.Soc.Am.97(6)，pp.3907-3908(Gardner，W.G.以及Martin，K.D.KEMAR HRTF measurement of KEMAR)中詳細(xì)地揭示出在http//sound.media.mit.edu/KEMAR.html上可公開得到的對(duì)KEMAR數(shù)據(jù)庫(kù)的描述，該揭示通過引用整體結(jié)合在此。
下面參照?qǐng)D4對(duì)根據(jù)本發(fā)明一較佳實(shí)施例用于實(shí)現(xiàn)3D虛擬聲音的全體系統(tǒng)結(jié)構(gòu)進(jìn)行描述。在下面描述中所解釋的實(shí)施例是要解釋本發(fā)明的細(xì)節(jié)，并且不應(yīng)被理解為限制本發(fā)明的技術(shù)范圍。
參照?qǐng)D4，根據(jù)本發(fā)明一較佳實(shí)施例用于實(shí)現(xiàn)3D虛擬聲音的裝置包括ITD模塊10，用于根據(jù)至少一個(gè)輸入聲音信號(hào)的位置，通過使用ITD(聽覺間時(shí)間延遲)來產(chǎn)生左和右耳聲音信號(hào)；權(quán)重施加模塊20，用于將左和右耳信號(hào)分別乘以對(duì)應(yīng)于至少一個(gè)輸入聲音信號(hào)位置的標(biāo)高φ和方位角θ的左和右主分量成分權(quán)重；一種濾波器模塊30，通過從頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF)中選取的基本向量的多個(gè)IIR濾波器，對(duì)權(quán)重施加模塊20所得出的每個(gè)結(jié)果值進(jìn)行濾波；以及第一和第二加法模塊40，50，用于相加以輸出被多個(gè)基本向量濾波的信號(hào)。
ITD模塊10包括分別對(duì)應(yīng)于一個(gè)或多個(gè)單聲道聲音信號(hào)(第一到第n聲音信號(hào))的至少一個(gè)或多個(gè)ITD緩沖器(第一到第n個(gè)ITD緩沖器)。每個(gè)ITD緩沖器根據(jù)每個(gè)聲音信號(hào)的位置給出聽覺間時(shí)間延遲(ITD)，以分別對(duì)左和右耳產(chǎn)生左和右信號(hào)流xiL和xiR(其中i＝1，2Λ，n)。換言之，左和右信號(hào)流之一將是另一個(gè)的延遲形式(version)。如果對(duì)應(yīng)的源位置在中部平面上，該延遲可以是0。
權(quán)重施加模塊20通過將來自ITD模塊10中的左和右信號(hào)流乘以分別乘以對(duì)應(yīng)于輸入聲音信號(hào)i，i＝1，2，Λ，n的標(biāo)高φi和方位角θi的左和右主分量權(quán)重wjL(θi，φi)，j＝1，2，Λ，m和wjR(θi，φi)，j＝1，2，Λ，m，來輸出[S^aL;S^jL,j=1,2,Λ,m]]]>和[S^aR;S^jR,j=1,2,Λ,m].]]>在該情形中，分別通過公式1到4來計(jì)算S^aL,S^jL,j=1,2,Λ,m]]>以及S^aR,S^jR,j=1,2,Λ,m.]]>〔公式1〕S^jL=Σi=1nxiLwjL(θi,φi),j=1,2,Λ,m]]>〔公式2〕S^jR=Σi=1nxiRwjR(θi,φi),j=1,2,Λ,m]]>〔公式3〕S^aL=Σi=1nxiL]]>〔公式4〕S^aR=Σi=1nxiR]]>濾波器模塊30使用方向獨(dú)立均值向量模塊qa(z)對(duì) 和 進(jìn)行濾波。qa(z)是在Z域中的方向獨(dú)立均值向量的轉(zhuǎn)移函數(shù)。分別通過m個(gè)最重要定向基本向量模型qj(z)，j＝1，2，Λ，m對(duì)S^jL,j=1,2,Λ,m]]>以及S^jR,j=1,2,Λ,m]]>進(jìn)行濾波。qj(z)，j＝1，2，Λ，m表示在z域中的m個(gè)最重要定向基本向量的轉(zhuǎn)移函數(shù)。如果定向基本向量的數(shù)量上升了，則在精度方面會(huì)表現(xiàn)更佳。如果定向基本向量的數(shù)量減少了，則在存儲(chǔ)復(fù)雜性和計(jì)算復(fù)雜性方面會(huì)表現(xiàn)更佳。但是，作為一種模擬的結(jié)果，即便是定向基本向量的數(shù)量m是上升了，卻發(fā)現(xiàn)存在一個(gè)臨界點(diǎn)，即使定向基本向量的數(shù)量m在增加，精確度也不會(huì)有顯著的上升。在該情形中，臨界點(diǎn)的數(shù)量m＝7。
讓 和S^jL(z),j=1,2,···,m]]>是時(shí)域聲音流 和S^jL,j=1,2,···,m]]>的z域等效體。第一加法模塊40將由濾波器模塊30對(duì) 和S^jL(z),j=1,2,···,m]]>進(jìn)行濾波而得出的結(jié)果值累加起來，然后輸出對(duì)應(yīng)的結(jié)果。第一加法模塊40的輸出值可如公式5表示。
〔公式5〕yL(z)=Σj=1mS^jL(z)qj(z)+S^aL(z)qa(z)]]>讓 和S^jR(z),j=1,2,···,m]]>是時(shí)域聲音流 和S^jR,j=1,2,···,m]]>的z域等效體。第二加法模塊50將由濾波器模塊30對(duì) 和S^jR(z),j=1,2,···,m]]>進(jìn)行濾波而得出的結(jié)果值累加起來，然后輸出對(duì)應(yīng)的結(jié)果。第2加法模塊50的輸出值可如公式6表示。
〔公式6〕yR(z)=Σj=1mS^jR(z)qj(z)+S^aR(z)qa(z)]]>為了標(biāo)記上的方便，公式5和公式6以z域表示。在實(shí)施中，濾波操作是在時(shí)域中執(zhí)行的。通過將輸出值yL(z)(或時(shí)域等效體yL)以及yR(z)(或時(shí)域等效體yR)轉(zhuǎn)換成模擬信號(hào)以通過揚(yáng)聲器或頭戴式耳機(jī)輸出，從而可以產(chǎn)生3D虛擬聲音。
在本發(fā)明中，基本向量的數(shù)量固定在一特定數(shù)量，而不論輸入聲音信號(hào)的數(shù)量。較之操作數(shù)量隨著音源數(shù)量增加而線性增加的相關(guān)技術(shù)，本發(fā)明不論音源的增加的數(shù)量，而沒有顯著地增加操作量。在本發(fā)明中使用基本向量的低階IIR濾波器模型，特別是在高采樣頻率例如CD質(zhì)量音頻44.1kHZ，顯著地減少了計(jì)算復(fù)雜性。由于從HRTF數(shù)據(jù)組中獲得的基本向量是顯著地較高階濾波器，使用低階IIR濾波器模型的該近似減少了計(jì)算復(fù)雜性。使用平衡模型近似技術(shù)建立基本向量的模型可實(shí)現(xiàn)對(duì)使用較低階IIR濾波器的基本向量的精確近似。
在本發(fā)明下面的描述中，在諸如PC、PDA、移動(dòng)通信終端等的設(shè)備中游戲軟件可驅(qū)動(dòng)3D聲音實(shí)現(xiàn)被示例地解釋為如圖4所示的本發(fā)明的較佳實(shí)施例。這僅僅是有助于對(duì)本發(fā)明的技術(shù)特征的理解。即，在圖4中示出的各個(gè)模塊是在PC、PDA或移動(dòng)通信終端中實(shí)現(xiàn)的，例如，通過這些模塊來說明實(shí)現(xiàn)3D聲音的示例。
PC、PDA或移動(dòng)通信終端的存儲(chǔ)器存儲(chǔ)在游戲軟件中用到的所有聲音數(shù)據(jù)、對(duì)應(yīng)于標(biāo)高φ和方位角θ的左和右主分量權(quán)重，以及從頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF)中選取的多個(gè)低階建?；鞠蛄俊Ｔ谧蠛陀抑鞣至繖?quán)重的情形中，最好根據(jù)每個(gè)聲音信號(hào)的位置的標(biāo)高φ和方位角θ以及對(duì)應(yīng)于標(biāo)高φ和方位角θ的左和右主分量權(quán)重值被存儲(chǔ)在查找表格(LUT)的一格式中。
至少有一個(gè)或多個(gè)必需的聲音信號(hào)根據(jù)游戲軟件的算法被輸入到ITD模塊10中。輸入到ITD模塊10的聲音信號(hào)的位置以及根據(jù)該位置的標(biāo)高φ和方位角θ將由游戲軟件的算法所決定。ITD模塊10根據(jù)輸入聲音信號(hào)的每個(gè)位置，通過給出聽覺間時(shí)間延遲(ITD)來產(chǎn)生左和右信號(hào)。在移動(dòng)聲音的情形中，一個(gè)位置以及根據(jù)該位置的標(biāo)高Φ和方位角Θ是根據(jù)與屏幕視頻數(shù)據(jù)同步化匹配的每一幀的聲音信號(hào)所確定的。
權(quán)重施加模塊30通過將從ITD模塊10中輸出的多個(gè)左和右信號(hào)分別乘以對(duì)應(yīng)于存儲(chǔ)在存儲(chǔ)器中輸入聲音信號(hào)的位置標(biāo)高φ和方位角θ的左和右主分量權(quán)重wjL(φi，θi)和wjR(φi，θi)來輸出S^aL(z);S^jL(z),j=1,2,···,m]]>和S^aR(z);S^jR(z),j=1,2,···,m.]]>從權(quán)重施加模塊30中輸出的[S^aL;S^jL,j=1,2,···,m]]]>和[S^aR;S^jR,j=1,2,···,m]]]>分別輸入到由IRR濾波器建模的濾波模塊30中，并且然后通過方向獨(dú)立向量qa(z)和m個(gè)定向基本向量qj(z)，j＝1，2，…，m進(jìn)行濾波。
由濾波器模塊30對(duì)[S^aL;S^jL,j=1,2,···,m]]]>濾波后得出的結(jié)果由第一加法模塊40累加到一起并然后輸出為左音頻信號(hào)yL。并且，由濾波模塊30對(duì)[S^aR;S^jR,j=1,2,···,m]]]>濾波后得出的結(jié)果值由第二加法模塊50累加到一起并然后輸出為右音頻信號(hào)yR。左和右音頻信號(hào)yL和yR從數(shù)字信號(hào)轉(zhuǎn)換成模擬信號(hào)，并且然后分別通過PC、PDA或移動(dòng)通信終端的揚(yáng)聲器輸出。因此，就產(chǎn)生了3D聲音信號(hào)。
相應(yīng)地，本發(fā)明提供如下的效果和優(yōu)點(diǎn)。
首先，對(duì)多個(gè)移動(dòng)聲音實(shí)現(xiàn)3D聲音的操作計(jì)算復(fù)雜性和存儲(chǔ)要求并沒有顯著增加。在使用12階IIR濾波器對(duì)每個(gè)基本向量建模、以及一個(gè)方向獨(dú)立基本向量和七個(gè)定向基本向量的情形中，可通過下列公式估計(jì)出計(jì)算復(fù)雜性。
計(jì)算復(fù)雜性＝2×(IIR濾波器階數(shù)+1)×(IIR濾波器數(shù)量或基本向量數(shù)量)＝2×(12+1)×8。
在該體系中加上一新音源的復(fù)雜性涉及到額外的分立ITD緩沖器以及使用主分量權(quán)重的聲音流的純量乘法。濾波操作不會(huì)產(chǎn)生任何的額外成本。其次，本發(fā)明使用基本向量的IIR濾波器模型，代替了使用IIR濾波器對(duì)HRTF進(jìn)行建模。由于基本向量濾波器的固定設(shè)置總是可操作的，而與音源的位置無關(guān)，作為結(jié)果，就不會(huì)涉及到濾波器之間的切換。因此，基本向量的穩(wěn)定IIR濾波器模型的合成足以確保運(yùn)行期中系統(tǒng)穩(wěn)定性。
根據(jù)上述的效果，本發(fā)明可以在沒有裝備用于實(shí)現(xiàn)3D聲音的昂貴設(shè)備工具、作為移動(dòng)通信終端等的設(shè)備中實(shí)現(xiàn)3D虛擬聲音。具體的，本發(fā)明在需要對(duì)多個(gè)移動(dòng)移動(dòng)音源實(shí)現(xiàn)虛擬立體聲的電影、虛擬顯示、游戲等中更加有效。
對(duì)于本領(lǐng)域一般技術(shù)人員來說顯而易見，在不脫離本發(fā)明的精神和范圍之內(nèi)可以做出各種修改和變化。因此，本發(fā)明旨在涵蓋本發(fā)明的修改和變化，只要它們都落在所附權(quán)利要求及其等效體范圍內(nèi)。
權(quán)利要求
1.一種實(shí)現(xiàn)3D聲音的方法，包括第一步驟，將聽覺間時(shí)間延遲(ITD)給與至少一個(gè)輸入聲音信號(hào)；第二步驟，將所述第一步驟的輸出信號(hào)乘以主分量權(quán)重；以及第三步驟，通過從頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF)中提取的多個(gè)基本向量的低階模型對(duì)所述第二步驟的結(jié)果值進(jìn)行濾波。
2.如權(quán)利要求1所述的方法，其特征在于，在所述第一步驟中，通過根據(jù)至少一個(gè)輸入聲音信號(hào)的位置給出聽覺間時(shí)間延遲，來產(chǎn)生左信號(hào)和右信號(hào)。
3.如權(quán)利要求2所述的方法，其特征在于，在所述第二步驟中，所述左和右信號(hào)分別乘以對(duì)應(yīng)于根據(jù)至少一輸入聲音信號(hào)位置的標(biāo)高φ和方位角θ的左主分量權(quán)重和右主分量權(quán)重。
4.如權(quán)利要求3所述的方法，還包括累加分別按左信號(hào)和按右信號(hào)分類的多個(gè)基本向量所濾波的信號(hào)。
5.如權(quán)利要求1所述的方法，其特征在于，所述多個(gè)基本向量包括一個(gè)方向獨(dú)立均值向量和多個(gè)定向基本向量。
6.如權(quán)利要求5所述的方法，其特征在于，所述多個(gè)基本向量通過時(shí)域中的主分量分析(PCA)從頭部相關(guān)轉(zhuǎn)移函數(shù)中提取。
7.如權(quán)利要求5所述的方法，其特征在于，所述多個(gè)基本向量分別由IIR(無限脈沖響應(yīng))濾波器建模。
8.如權(quán)利要求7所述的方法，其特征在于，用IIR濾波器建模是由平衡模型近似技術(shù)實(shí)現(xiàn)的。
9.一種實(shí)現(xiàn)3D聲音的裝置，包括ITD(聽覺間時(shí)間延遲)模塊，用于將聽覺間時(shí)間延遲(ITD)給與至少一個(gè)輸入聲音信號(hào)；權(quán)重施加模塊，用于將從所述ITD模塊中輸出的輸出信號(hào)乘以主分量權(quán)重；以及濾波模塊，用于通過頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF)中提取的多個(gè)基本向量的低階模型對(duì)從所述權(quán)重施加模塊中輸出的結(jié)果值進(jìn)行濾波。
10.如權(quán)利要求9所述的裝置，其特征在于，所述ITD模塊產(chǎn)生左信號(hào)和右信號(hào)，所述左信號(hào)和右信號(hào)是通過根據(jù)至少一個(gè)輸入聲音信號(hào)的位置給出聽覺間時(shí)間延遲而產(chǎn)生的。
11.如權(quán)利要求10所述的裝置，其特征在于，所述權(quán)重施加模塊將所述左和右信號(hào)分別乘以對(duì)應(yīng)于根據(jù)至少一個(gè)輸入聲音信號(hào)的位置的標(biāo)高φ和方位角θ的左主分量權(quán)重和右主分量權(quán)重。
12.如權(quán)利要求11所述的裝置，還包括一加法模塊，它累加分別按左信號(hào)和按右信號(hào)分類的多個(gè)基本向量所濾波的信號(hào)。
13.如權(quán)利要求9所述的裝置，其特征在于，所述多個(gè)基本向量包括一個(gè)方向無關(guān)的基本向量和多個(gè)定向基本向量。
14.如權(quán)利要求13所述的裝置，其特征在于，所述多個(gè)基本向量通過時(shí)域中的主分量分析(PCA)從頭部相關(guān)轉(zhuǎn)移函數(shù)中提取。
15.如權(quán)利要求13所述的裝置，其特征在于，所述多個(gè)基本向量分別由IIR(無限脈沖響應(yīng))濾波器建模。
16.如權(quán)利要求15所述的裝置，其特征在于，所述多個(gè)基本向量用平衡模型近似技術(shù)建模。
17.一種移動(dòng)終端，包括根據(jù)權(quán)利要求9-16之一的用于實(shí)現(xiàn)3D聲音的裝置。
全文摘要
揭示了一種用于實(shí)現(xiàn)3D虛擬聲音的裝置及其方法，其中計(jì)算和存儲(chǔ)復(fù)雜性減少了，其中確保了系統(tǒng)穩(wěn)定性，并且通過它們，3D虛擬聲音可在沒有裝備用于實(shí)現(xiàn)3D聲音的昂貴設(shè)備、作為移動(dòng)通信終端等的移動(dòng)性平臺(tái)中實(shí)現(xiàn)。本發(fā)明包括將聽覺間時(shí)間延遲(ITD)提供給至少一個(gè)輸入聲音信號(hào)的第一步驟，將第一步驟的輸出信號(hào)乘以主分量權(quán)重的第二步驟，以及通過從頭部相關(guān)轉(zhuǎn)移函數(shù)(HRFT)中選取的基本向量的多個(gè)低階近似IIR濾波器，對(duì)第二步驟得出的結(jié)果進(jìn)行濾波的第三步驟。用平衡模型近似技術(shù)對(duì)從頭部相關(guān)轉(zhuǎn)移函數(shù)數(shù)據(jù)庫(kù)中選取的基本向量進(jìn)行近似。
文檔編號(hào)H04S5/00GK1816224SQ200610003708
公開日2006年8月9日 申請(qǐng)日期2006年2月5日 優(yōu)先權(quán)日2005年2月4日
發(fā)明者P·S·查恩達(dá), 樸晟鎮(zhèn), 樸基佑 申請(qǐng)人:Lg電子株式會(huì)社