本公開與用于音頻內(nèi)容的定制的雙耳渲染的系統(tǒng)、方法、以及介質(zhì)有關(guān)。

背景技術(shù)：

1、媒體內(nèi)容觀看者對可以造成沉浸的感知的空間音頻越來越感興趣。例如，當(dāng)收聽沉浸式音頻內(nèi)容時，收聽者可以感覺到好像音頻內(nèi)容正在環(huán)繞他們。然而，渲染空間音頻內(nèi)容可能是困難的，特別是在經(jīng)由耳機或耳塞雙耳地渲染聲音的情況下。

2、符號和命名

3、貫穿本公開，包括在權(quán)利要求中，術(shù)語“揚聲器”、“喇叭”和“音頻再現(xiàn)換能器”被同義地使用以表示任何發(fā)聲換能器(或一組換能器)。典型的一組耳機包括兩個揚聲器。揚聲器可以被實現(xiàn)為包括多個換能器(例如，低音揚聲器和高音揚聲器)，它們可以由單個公共的揚聲器饋送或多個揚聲器饋送驅(qū)動。在一些示例中，揚聲器饋送可以在耦合到不同換能器的不同電路分支中經(jīng)歷不同處理。

4、貫穿本公開，包括在權(quán)利要求中，表達“對”信號或數(shù)據(jù)執(zhí)行操作(例如，對信號或數(shù)據(jù)進行濾波、縮放、變換或應(yīng)用增益)在廣義上被用于表示直接對信號或數(shù)據(jù)執(zhí)行操作、或?qū)π盘柣驍?shù)據(jù)的處理的版本(例如，對在對其執(zhí)行操作之前已經(jīng)歷初步濾波或預(yù)處理的信號的版本)執(zhí)行操作。

5、貫穿本公開，包括在權(quán)利要求中，表達“系統(tǒng)”在廣義上被用于表示設(shè)備、系統(tǒng)或子系統(tǒng)。例如，實現(xiàn)解碼器的子系統(tǒng)可以被稱為解碼器系統(tǒng)，并且包括這樣的子系統(tǒng)的系統(tǒng)(例如，響應(yīng)于多個輸入生成x個輸出信號的系統(tǒng)，其中子系統(tǒng)生成輸入中的m個并且其它x-m個輸入從外部源接收)也可以被稱為解碼器系統(tǒng)。

6、貫穿本公開，包括在權(quán)利要求中，術(shù)語“處理器”在廣義上被用于表示可編程或以其它方式可配置(例如，利用軟件或固件)為對數(shù)據(jù)(例如，音頻、或視頻或其它圖像數(shù)據(jù))執(zhí)行操作的系統(tǒng)或設(shè)備。處理器的示例包括現(xiàn)場可編程門陣列(或其它可配置的集成電路或芯片組)、被編程和/或以其它方式配置為對音頻或其它聲音數(shù)據(jù)執(zhí)行流水線處理的數(shù)字信號處理器、可編程通用處理器或計算機、以及可編程微處理器芯片或芯片組。

技術(shù)實現(xiàn)思路

1、提供了用于音頻內(nèi)容的定制的雙耳渲染的方法、系統(tǒng)、以及介質(zhì)。在一些實施例中，方法涉及接收立體聲音頻信號。所述方法可以進一步涉及將所述立體聲音頻信號分離成導(dǎo)向信號和擴散信號，其中所述導(dǎo)向信號與所述立體聲音頻信號中的定向內(nèi)容對應(yīng)，并且其中所述擴散信號與所述立體聲音頻信號中的背景內(nèi)容對應(yīng)。所述方法可以進一步涉及基于當(dāng)前收聽情境確定一個或更多個擴散信號修改參數(shù)，其中所述一個或更多個擴散信號修改參數(shù)指示要被重新分配給輸出多聲道信號中的一個或更多個輸出聲道的所述擴散信號的比例或者要被應(yīng)用到所述擴散信號的衰減的程度。所述方法可以進一步涉及基于所述導(dǎo)向信號、所述擴散信號、以及所述一個或更多個擴散信號修改參數(shù)生成所述輸出多聲道信號。所述方法可以進一步涉及將所述輸出多聲道信號提供給虛擬器以用于渲染為雙耳音頻信號以供在可穿戴設(shè)備上播放。

2、在一些示例中，所述一個或更多個輸出聲道包括左聲道、右聲道、或者中央聲道中的至少一個。

3、在一些示例中，生成所述輸出多聲道信號包括：獲得擴展矩陣；使用所述擴展矩陣和所述一個或更多個擴散信號修改參數(shù)生成修改的擴展矩陣；使用所述修改的擴展矩陣生成擴散多聲道信號；以及基于所述擴散多聲道信號和所述導(dǎo)向信號生成所述輸出多聲道信號。在一些示例中，所述一個或更多個擴散信號修改參數(shù)使所述比例的擴散信號被重新分配到所述一個或更多個輸出聲道中，并且其中生成所述修改的擴展矩陣包括確定以下項的矩陣點積：與所述擴展矩陣和表示所述擴散信號修改參數(shù)的矩陣相關(guān)聯(lián)的范數(shù)、與所述一個或更多個擴散信號修改參數(shù)相關(guān)聯(lián)的矩陣、以及所述擴展矩陣。在一些示例中，所述一個或更多個擴散信號修改參數(shù)包括一個擴散信號重新分配修改參數(shù)，所述擴散信號重新分配修改參數(shù)指示多聲道輸出中所述擴散信號的重新分配，并且其中所述范數(shù)對所述擴散信號的能量進行規(guī)范化。在一些示例中，所述一個或更多個擴散信號修改參數(shù)使所述程度的衰減被應(yīng)用到所述擴散信號，并且其中生成所述輸出多聲道信號包括執(zhí)行能量規(guī)范化，所述能量規(guī)范化被配置為使所述輸出多聲道信號的能量與所述立體聲音頻信號的能量相同。在一些示例中，對能量進行規(guī)范化由以下項中的一個執(zhí)行：生成所述輸出多聲道信號的上混器、或者所述虛擬器。

4、在一些示例中，所述當(dāng)前收聽情境包括以下項中的一個：觀看電影內(nèi)容模式、收聽音樂模式、或者玩游戲模式。在一些示例中，所述當(dāng)前收聽情境是觀看電影內(nèi)容模式，并且其中所述一個或更多個擴散信號修改參數(shù)在大約0.8-1的范圍內(nèi)。在一些示例中，所述當(dāng)前收聽情境是收聽音樂模式，并且其中所述一個或更多個擴散信號修改參數(shù)在大約0-0.2的范圍內(nèi)。在一些示例中，所述當(dāng)前收聽情境是玩游戲模式，并且其中所述一個或更多個擴散信號修改參數(shù)具有小于與觀看電影內(nèi)容模式相關(guān)聯(lián)的值的值。

5、在一些示例中，所述一個或更多個擴散信號修改參數(shù)是從所述可穿戴設(shè)備的用戶接收的。在一些示例中，所述一個或更多個擴散信號修改參數(shù)是經(jīng)由用戶接口接收的。

6、在一些示例中，生成所述輸出多聲道信號發(fā)生在與所述可穿戴設(shè)備相關(guān)聯(lián)的配套用戶設(shè)備上，并且其中所述虛擬器包括在所述可穿戴設(shè)備上執(zhí)行的一個或更多個組件。在一些示例中，所述方法進一步涉及經(jīng)由藍牙通信協(xié)議從所述配套用戶設(shè)備向所述可穿戴設(shè)備傳輸數(shù)據(jù)。

7、在一些示例中，所述可穿戴設(shè)備包括耳塞或耳機中的一個。

8、在一些示例中，所述可穿戴設(shè)備包括一個或更多個傳感器，所述一個或更多個傳感器收集可用于生成與所述可穿戴設(shè)備的穿戴者相關(guān)聯(lián)的頭部跟蹤信息的傳感器數(shù)據(jù)。

9、在一些示例中，所述虛擬器被配置為基于所述輸出多聲道信號和所述頭部跟蹤信息渲染所述雙耳音頻信號。

10、本文中描述的操作、功能和/或方法中的一些或全部可以由一個或更多個設(shè)備根據(jù)存儲在一個或更多個非暫態(tài)介質(zhì)上的指令(例如，軟件)執(zhí)行。這樣的非暫態(tài)介質(zhì)可以包括存儲器設(shè)備，諸如本文中描述的那些，包括但不限于隨機存取存儲器(ram)設(shè)備、只讀存儲器(rom)設(shè)備等。因而，本公開中描述的主題的一些創(chuàng)新方面可以經(jīng)由其上存儲有軟件的一個或更多個非暫態(tài)介質(zhì)實現(xiàn)。

11、本公開的至少一些方面可以經(jīng)由裝置實現(xiàn)。例如，一個或更多個設(shè)備可以能夠至少部分地執(zhí)行本文中公開的方法。在一些實現(xiàn)中，裝置是或者包括具有接口系統(tǒng)和控制系統(tǒng)的音頻處理系統(tǒng)?？刂葡到y(tǒng)可以包括一個或更多個通用單芯片或多芯片處理器、數(shù)字信號處理器(dsp)、專用集成電路(asic)、現(xiàn)場可編程門陣列(fpga)或其它可編程邏輯設(shè)備、分立門或晶體管邏輯、分立硬件組件、或者其組合。

12、本說明書中描述的主題的一個或更多個實現(xiàn)的細節(jié)在附圖和下面的描述中闡述。其它特征、方面和優(yōu)點從描述、附圖和權(quán)利要求將變得清楚。注意的是，以下附圖的相對尺寸可能沒有按比例繪制。

技術(shù)特征：

1.一種處理音頻的方法，所述方法包括：

2.如權(quán)利要求1所述的方法，其中所述一個或更多個輸出聲道包括左聲道、右聲道、或者中央聲道中的至少一個。

3.如權(quán)利要求1所述的方法，其中生成所述輸出多聲道信號包括：

4.如權(quán)利要求3所述的方法，其中所述一個或更多個擴散信號修改參數(shù)使所述比例的擴散信號被重新分配到所述一個或更多個輸出聲道中，并且其中生成所述修改的擴展矩陣包括確定以下項的矩陣點積：與所述擴展矩陣和表示所述擴散信號修改參數(shù)的矩陣相關(guān)聯(lián)的范數(shù)、與所述一個或更多個擴散信號修改參數(shù)相關(guān)聯(lián)的矩陣、以及所述擴展矩陣。

5.如權(quán)利要求4所述的方法，其中所述一個或更多個擴散信號修改參數(shù)包括一個擴散信號重新分配修改參數(shù)，所述擴散信號重新分配修改參數(shù)指示多聲道輸出中所述擴散信號的重新分配，并且其中所述范數(shù)對所述擴散信號的能量進行規(guī)范化。

6.如權(quán)利要求3所述的方法，其中所述一個或更多個擴散信號修改參數(shù)使所述程度的衰減被應(yīng)用到所述擴散信號，并且其中生成所述輸出多聲道信號包括執(zhí)行能量規(guī)范化，所述能量規(guī)范化被配置為使所述輸出多聲道信號的能量與所述立體聲音頻信號的能量相同。

7.如權(quán)利要求6所述的方法，其中對能量進行規(guī)范化由以下項中的一個執(zhí)行：生成所述輸出多聲道信號的上混器、或者所述虛擬器。

8.如權(quán)利要求1-7中的任一項所述的方法，其中所述當(dāng)前收聽情境包括以下項中的一個：觀看電影內(nèi)容模式、收聽音樂模式、或者玩游戲模式。

9.如權(quán)利要求8所述的方法，其中所述當(dāng)前收聽情境是觀看電影內(nèi)容模式，并且其中所述一個或更多個擴散信號修改參數(shù)在大約0.8-1的范圍內(nèi)。

10.如權(quán)利要求8所述的方法，其中所述當(dāng)前收聽情境是收聽音樂模式，并且其中所述一個或更多個擴散信號修改參數(shù)在大約0-0.2的范圍內(nèi)。

11.如權(quán)利要求8所述的方法，其中所述當(dāng)前收聽情境是玩游戲模式，并且其中所述一個或更多個擴散信號修改參數(shù)具有小于與觀看電影內(nèi)容模式相關(guān)聯(lián)的值的值。

12.如權(quán)利要求1-11中的任一項所述的方法，其中所述一個或更多個擴散信號修改參數(shù)是從所述可穿戴設(shè)備的用戶接收的。

13.如權(quán)利要求12所述的方法，其中所述一個或更多個擴散信號修改參數(shù)是經(jīng)由用戶接口接收的。

14.如權(quán)利要求1-13中的任一項所述的方法，其中生成所述輸出多聲道信號發(fā)生在與所述可穿戴設(shè)備相關(guān)聯(lián)的配套用戶設(shè)備上，并且其中所述虛擬器包括在所述可穿戴設(shè)備上執(zhí)行的一個或更多個組件。

15.如權(quán)利要求14所述的方法，還包括經(jīng)由藍牙通信協(xié)議從所述配套用戶設(shè)備向所述可穿戴設(shè)備傳輸數(shù)據(jù)。

16.如權(quán)利要求1-15中的任一項所述的方法，其中所述可穿戴設(shè)備包括耳塞或耳機中的一個。

17.如權(quán)利要求1-16中的任一項所述的方法，其中所述可穿戴設(shè)備包括一個或更多個傳感器，所述一個或更多個傳感器收集可用于生成與所述可穿戴設(shè)備的穿戴者相關(guān)聯(lián)的頭部跟蹤信息的傳感器數(shù)據(jù)。

18.如權(quán)利要求17所述的方法，其中所述虛擬器被配置為基于所述輸出多聲道信號和所述頭部跟蹤信息渲染所述雙耳音頻信號。

19.一種系統(tǒng)，包括：

20.一種非暫態(tài)計算機可讀介質(zhì)，所述非暫態(tài)計算機可讀介質(zhì)存儲指令，所述指令在由一個或更多個處理器執(zhí)行時使所述一個或更多個處理器執(zhí)行權(quán)利要求1-18的操作。

技術(shù)總結(jié)
提供了用于處理音頻的方法、系統(tǒng)、以及介質(zhì)。在一些實施例中，用于處理音頻的方法可以涉及接收立體聲音頻信號。所述方法可以涉及將所述立體聲音頻信號分離成導(dǎo)向信號和擴散信號。所述方法可以涉及基于當(dāng)前收聽情境確定一個或更多個擴散信號修改參數(shù)，其中所述一個或更多個擴散信號修改參數(shù)指示要被重新分配給輸出多聲道信號中的一個或更多個輸出聲道的所述擴散信號的比例或者要被應(yīng)用到所述擴散信號的衰減的程度。所述方法可以涉及基于所述導(dǎo)向信號、所述擴散信號、以及所述一個或更多個擴散信號修改參數(shù)生成所述輸出多聲道信號。所述方法可以涉及將所述輸出多聲道信號提供給虛擬器以用于渲染為雙耳音頻信號以供在可穿戴設(shè)備上播放。

技術(shù)研發(fā)人員：姜自然,余雪梅,車彥寧
受保護的技術(shù)使用者：杜比實驗室特許公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19