本發(fā)明屬于音頻信號(hào)處理領(lǐng)域，特別涉及一種全息音頻渲染控制方法。

背景技術(shù)：

隨著VR、AR技術(shù)的不斷發(fā)展，在追求視覺(jué)沉浸感的同時(shí)，也需要相應(yīng)的加強(qiáng)聽(tīng)覺(jué)的沉浸感；而虛擬環(huán)繞聲技術(shù)是聽(tīng)覺(jué)VR、AR重要的支撐技術(shù)，該技術(shù)是在虛擬聲場(chǎng)中渲染出虛擬聲源以及虛擬聲源的運(yùn)動(dòng)軌跡，得到全息音頻信號(hào)，實(shí)時(shí)監(jiān)聽(tīng)或者記錄后重放該信號(hào)，則可以為用戶(hù)營(yíng)造出逼真的聲場(chǎng)。如附圖1所示，現(xiàn)有的虛擬聲源渲染控制方法，一般是通過(guò)畫(huà)面顯示空間坐標(biāo)系，用戶(hù)通過(guò)鼠標(biāo)操控在空間坐標(biāo)系中放置虛擬聲源或者設(shè)定聲源的運(yùn)動(dòng)軌跡，然而這種方法對(duì)普通用戶(hù)而言不夠直觀，操作的難度較大，應(yīng)用前景不佳。

技術(shù)實(shí)現(xiàn)要素：

為了克服現(xiàn)有技術(shù)的缺陷，本發(fā)明提出一種全息音頻渲染控制方法。通過(guò)多級(jí)觸控的方式對(duì)虛擬聲源的方位進(jìn)行控制，以方便、直觀的對(duì)虛擬聲源進(jìn)行全息聲場(chǎng)的渲染。

提出一種全息音頻渲染控制方法，提供一種觸控裝置，該觸控裝置具有立體形狀，其包括觸摸表面，其具有與觸控裝置的立體形狀相同的形狀，該觸摸表面用于感應(yīng)用戶(hù)手的觸摸位置同時(shí)可感應(yīng)用戶(hù)手按壓的壓力；建立起聽(tīng)眾的虛擬聲場(chǎng)聽(tīng)覺(jué)坐標(biāo)系和觸控裝置的物理坐標(biāo)系間的對(duì)應(yīng)關(guān)系，即，觸控裝置相當(dāng)于聽(tīng)眾所處的虛擬聲場(chǎng)，在觸控裝置的觸摸表面上的點(diǎn)的方位對(duì)應(yīng)于聽(tīng)眾所處的虛擬聲場(chǎng)的聲源的方位，而施加在該點(diǎn)上的壓力大小則對(duì)應(yīng)于虛擬聲場(chǎng)中的聲源的距離遠(yuǎn)近；用戶(hù)的手接觸到觸控裝置的觸摸表面時(shí)，根據(jù)觸摸表面所感應(yīng)到用戶(hù)的手的觸摸位置來(lái)確定該觸摸點(diǎn)的方位也即確定了虛擬聲源的方位；同時(shí)，根據(jù)觸摸表面所感應(yīng)到的用戶(hù)手的按壓壓力大小確定出對(duì)應(yīng)的虛擬聲場(chǎng)中聲源的距離；根據(jù)所確定的虛擬聲源的方位以及距離，對(duì)干信號(hào)進(jìn)行空間卷積，得到經(jīng)渲染的虛擬聲源信號(hào)；將該信號(hào)饋送至聽(tīng)眾的耳機(jī)或聽(tīng)眾面前的揚(yáng)聲器中進(jìn)行重放，聽(tīng)眾獲得虛擬聲源的感知；可設(shè)置專(zhuān)門(mén)的壓力傳感器，其設(shè)置于觸摸表面的下方，壓力傳感器用于感應(yīng)用戶(hù)手施加在觸摸表面上的壓力。

其中，所述空間卷積包括使用頭相關(guān)傳輸函數(shù)(HRTF)或雙耳房間脈沖響應(yīng)(BRIR)進(jìn)行信號(hào)卷積。其中，用音箱進(jìn)行虛擬聲源信號(hào)重放時(shí)，包括串音消除的步驟。

包括在觸控裝置的觸摸表面上觸碰多個(gè)位置以虛擬出多個(gè)虛擬聲源的步驟或根據(jù)用戶(hù)的手在觸控裝置的觸摸表面上的運(yùn)動(dòng)軌跡，虛擬出運(yùn)動(dòng)的聲源的步驟或同時(shí)包括以上兩種方式。

進(jìn)一步包括實(shí)時(shí)空間卷積以進(jìn)行同步監(jiān)聽(tīng)，或者先對(duì)虛擬聲源的位置或運(yùn)動(dòng)軌跡進(jìn)行記錄，再通過(guò)后期信號(hào)處理的方式得到虛擬聲源信號(hào)。

另外提出一種全息音頻渲染控制方法，提供一種觸控裝置，該觸控裝置具有立體形狀，其包括觸摸表面，其具有與觸控裝置的立體形狀相同的形狀，該觸摸表面用于感應(yīng)用戶(hù)手的觸摸位置；建立起聽(tīng)眾的虛擬聲場(chǎng)聽(tīng)覺(jué)坐標(biāo)系和觸控裝置的物理坐標(biāo)系間的對(duì)應(yīng)關(guān)系，即，觸控裝置相當(dāng)于聽(tīng)眾所處的虛擬聲場(chǎng)，在觸控裝置的觸摸表面上的點(diǎn)的方位對(duì)應(yīng)于聽(tīng)眾所處的虛擬聲場(chǎng)的聲源的方位；用戶(hù)的手接觸到觸控裝置的觸摸表面時(shí)，根據(jù)觸摸表面所感應(yīng)到用戶(hù)的手的觸摸位置來(lái)確定該觸摸點(diǎn)的方位也即確定了虛擬聲源的方位；利用能量Panning的方式基于確定的虛擬聲源的方位對(duì)干聲信號(hào)進(jìn)行渲染，該能量Panning的方式包括但不限于VBAP(Vector Base Amplitude Panning)方式，并將渲染后的信號(hào)饋送至多個(gè)音箱進(jìn)行重放，使聽(tīng)眾獲得虛擬聲源感知。

其中，包括在觸控裝置的觸摸表面上觸碰多個(gè)位置以虛擬出多個(gè)虛擬聲源的步驟或根據(jù)用戶(hù)的手在觸控裝置的觸摸表面上的運(yùn)動(dòng)軌跡，虛擬出運(yùn)動(dòng)的聲源的步驟或同時(shí)包括以上兩種方式。

進(jìn)一步包括實(shí)時(shí)空間卷積以進(jìn)行同步監(jiān)聽(tīng)，或者先對(duì)虛擬聲源的位置或運(yùn)動(dòng)軌跡進(jìn)行記錄，再通過(guò)后期信號(hào)處理的方式得到虛擬聲源信號(hào)。

附圖說(shuō)明

圖1為現(xiàn)有技術(shù)中的虛擬聲源控制方法示意圖

圖2為本發(fā)明的全息音頻渲染控制方法的操作示意圖

具體實(shí)施方式

結(jié)合附圖，對(duì)本發(fā)明的全息音頻渲染控制方法進(jìn)行詳細(xì)說(shuō)明。如附圖2所示，對(duì)于雙耳信號(hào)重放的情況(包括耳機(jī)重放及揚(yáng)聲器重放)，第一步，提供一種觸控裝置1，其可為球體、橢球體、立方體、長(zhǎng)方體或是其他立體形狀，可根據(jù)所要虛擬的聲場(chǎng)情況進(jìn)行具體配置；該觸控裝置1包括觸摸表面2，其具有與觸控裝置1的立體形狀相同的形狀，該觸摸表面2用于感應(yīng)用戶(hù)手的觸摸位置，進(jìn)一步該觸摸表面2同時(shí)可感應(yīng)用戶(hù)手按壓的壓力，或者設(shè)置專(zhuān)門(mén)的壓力傳感器3，其設(shè)置于觸摸表面2的下方，壓力傳感器3用于感應(yīng)用戶(hù)手施加在觸摸表面2上的壓力。第二步，建立起聽(tīng)眾的虛擬聲場(chǎng)聽(tīng)覺(jué)坐標(biāo)系和觸控裝置1的物理坐標(biāo)系間的對(duì)應(yīng)關(guān)系，也即，觸控裝置1就相當(dāng)于聽(tīng)眾所處的虛擬聲場(chǎng)，在觸控裝置1的觸摸表面2上的點(diǎn)的方位對(duì)應(yīng)于聽(tīng)眾所處的虛擬聲場(chǎng)的聲源的方位，而施加在該點(diǎn)上的壓力大小則對(duì)應(yīng)于虛擬聲場(chǎng)中的聲源的距離遠(yuǎn)近，壓力大則距離遠(yuǎn)，壓力小則距離近，相反亦可。第三步，用戶(hù)的手接觸到觸控裝置1的觸摸表面2時(shí)，根據(jù)觸摸表面2所感應(yīng)到用戶(hù)的手的觸摸位置來(lái)確定該觸摸點(diǎn)的方位也即確定了虛擬聲源的方位，方位可采用方位角-仰角來(lái)表示，也可以用其他方位表示方法來(lái)表示；同時(shí)，根據(jù)觸摸表面2或者壓力傳感器3所感應(yīng)到的用戶(hù)手的按壓壓力大小確定出對(duì)應(yīng)的虛擬聲場(chǎng)中聲源的距離；上述確定方位及距離的執(zhí)行主體可以是該觸控裝置1本身，或是與其連接的外部終端，例如計(jì)算機(jī)。第四步，根據(jù)所確定的虛擬聲源的方位以及距離，對(duì)干信號(hào)進(jìn)行空間卷積，包括使用對(duì)應(yīng)所述虛擬聲源方位和距離的頭相關(guān)傳輸函數(shù)(HRTF)或雙耳房間脈沖響應(yīng)(BRIR)進(jìn)行時(shí)域卷積，從而得到經(jīng)渲染的虛擬聲源信號(hào)。第五步，將該信號(hào)饋送至聽(tīng)眾的耳機(jī)或聽(tīng)眾面前的揚(yáng)聲器中進(jìn)行重放，聽(tīng)眾獲得虛擬聲源的感知。注意用音箱進(jìn)行虛擬聲源信號(hào)重放時(shí)，包括串音消除的步驟。另外，上述操控觸控裝置1的用戶(hù)與聽(tīng)眾可以是同一人也可為不同的人。

進(jìn)一步的，通過(guò)在觸控裝置1的觸摸表面2上觸碰多個(gè)位置可虛擬出多個(gè)虛擬聲源；也可根據(jù)用戶(hù)的手在觸控裝置1上的觸摸表面2的運(yùn)動(dòng)軌跡，虛擬出運(yùn)動(dòng)的聲源。既可以進(jìn)行實(shí)時(shí)的虛擬聲場(chǎng)卷積以進(jìn)行同步監(jiān)聽(tīng)，也可以先將虛擬聲源的位置或運(yùn)動(dòng)軌跡進(jìn)行記錄，再通過(guò)后期信號(hào)處理的方式得到虛擬聲源信號(hào)。

對(duì)于多通道環(huán)繞聲重放的情況，如附圖2中斜向箭頭所指向的場(chǎng)景所示，與雙耳信號(hào)重放的情況所不同的是，其中，當(dāng)用戶(hù)的手接觸到觸控裝置1的觸摸表面2時(shí)，根據(jù)觸摸表面2所感應(yīng)到用戶(hù)的手的觸摸位置來(lái)確定該觸摸點(diǎn)的方位也即確定了虛擬聲源的方位，利用能量Panning的方式基于確定的虛擬聲源的方位對(duì)干聲信號(hào)進(jìn)行渲染，該能量Panning的方式包括但不限于VBAP(Vector Base Amplitude Panning)方式，并將渲染后的信號(hào)饋送至多個(gè)音箱進(jìn)行重放，使聽(tīng)眾獲得虛擬聲源感知。也即，不考慮虛擬聲源的距離。

本發(fā)明的全息音頻渲染控制方法既可以用于音頻制作也可以用于現(xiàn)場(chǎng)演示監(jiān)聽(tīng)，操控簡(jiǎn)單，直觀性強(qiáng)，應(yīng)用前景廣闊。