音頻信號(hào)輸出裝置和方法、編碼裝置和方法、解碼裝置和方法及程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本技術(shù)涉及音頻信號(hào)輸出裝置和方法、編碼裝置和方法、解碼裝置和方法以及程 序，更具體地，涉及被設(shè)計(jì)成能夠進(jìn)行具有更真實(shí)感覺的音頻再現(xiàn)的音頻信號(hào)輸出裝置和 方法、編碼裝置和方法、解碼裝置和方法以及程序。
【背景技術(shù)】
[0002] 在多聲道音頻再現(xiàn)中，再現(xiàn)側(cè)的揚(yáng)聲器的位置優(yōu)選地對(duì)應(yīng)于聲音源的位置。然而， 實(shí)際上，再現(xiàn)側(cè)的揚(yáng)聲器的位置通常與聲音源的位置不同。
[0003] 在再現(xiàn)側(cè)的揚(yáng)聲器的位置與聲音源的位置不同的情況下，出現(xiàn)沒有位于揚(yáng)聲器的 位置的聲音源，因此如何再現(xiàn)這樣的聲音源的聲音是關(guān)鍵問題。
[0004] 提出了稱為VBAP(矢量基幅度平移）的技術(shù)作為通過位于期望位置的揚(yáng)聲器來再 現(xiàn)位于期望位置的聲音源的聲音的方法（例如，參見非專利文獻(xiàn)1)。
[0005] 通過VBAP，聲音圖像的目標(biāo)正常位置由朝向位于正常位置周圍的兩個(gè)或三個(gè)揚(yáng)聲 器延伸的矢量的線性和來表示。各個(gè)矢量以線性和與其相乘的系數(shù)用作要從各個(gè)揚(yáng)聲器輸 出的音頻信號(hào)的增益，并且執(zhí)行增益調(diào)整以使得聲音圖像固定在目標(biāo)位置。
[0006] 引用列表
[0007] 非專利文獻(xiàn)
[0008] 非專利文獻(xiàn) I :Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning"，Journal of AES, vol. 45, no. 6, pp. 456-466, 1997

【發(fā)明內(nèi)容】

[0009] 本發(fā)明要解決的問題
[0010] 同時(shí)，針對(duì)如下傳統(tǒng)情形提出了一種聲音再現(xiàn)方法：其中，預(yù)先確定聲音源側(cè)的聲 道的數(shù)量和揚(yáng)聲器布置以及再現(xiàn)側(cè)的揚(yáng)聲器的聲道的數(shù)量和揚(yáng)聲器布置，如在多個(gè)國際標(biāo) 準(zhǔn)化會(huì)議中推薦的7. 1聲道布置和5. 1聲道布置、5. 1聲道布置和2. 1聲道布置或者22. 2 聲道布置和5. 1聲道布置。在這樣的情況下，通過下混合（down-mixing)處理而從具有適 當(dāng)增益的各個(gè)揚(yáng)聲器輸出聲音，并且可以實(shí)現(xiàn)具有真實(shí)感覺的音頻再現(xiàn)。
[0011] 然而，在其它情況下，諸如在聲音源或揚(yáng)聲器布置在與預(yù)定位置不同的位置的情 況下，可能無法通過所提出的再現(xiàn)方法來再現(xiàn)聲音，或者即使可以通過所提出的再現(xiàn)方法 來進(jìn)行再現(xiàn)，聲音質(zhì)量和聲音圖像清晰度也可能嚴(yán)重地劣化。
[0012] 在通過上述VBAP來再現(xiàn)基于聲道的聲音源的情況下，基于聲道的聲音源的大部 分聲音圖像的位置與再現(xiàn)聲音源的理想揚(yáng)聲器的位置不同。結(jié)果，聲音圖像清晰度嚴(yán)重劣 化。
[0013] 通過上述技術(shù)，難以實(shí)現(xiàn)具有真實(shí)感覺的音頻再現(xiàn)。
[0014] 本技術(shù)是鑒于這樣的狀況而開發(fā)的，并且旨在實(shí)現(xiàn)具有更真實(shí)感覺的音頻再現(xiàn)。
[0015] 針對(duì)問題的解決方案
[0016] 本技術(shù)的第一方面的音頻信號(hào)輸出裝置包括：距離計(jì)算單元，計(jì)算再現(xiàn)音頻信號(hào) 的理想揚(yáng)聲器的位置與再現(xiàn)音頻信號(hào)的實(shí)際揚(yáng)聲器的位置之間的距離；增益計(jì)算單元，基 于距離而計(jì)算音頻信號(hào)的再現(xiàn)增益；以及增益調(diào)整單元，基于再現(xiàn)增益而對(duì)音頻信號(hào)執(zhí)行 增益調(diào)整。
[0017] 增益計(jì)算單元可以基于用于獲得與距離對(duì)應(yīng)的再現(xiàn)增益的曲線信息而計(jì)算再現(xiàn) 增益。
[0018] 曲線信息可以是指示折線曲線或函數(shù)曲線的信息。
[0019] 當(dāng)理想揚(yáng)聲器沒有位于以預(yù)定參考點(diǎn)作為其中心點(diǎn)的單位圓上時(shí)，增益調(diào)整單元 還可以以基于從參考點(diǎn)到理想揚(yáng)聲器的距離和單位圓的半徑確定的增益對(duì)音頻信號(hào)執(zhí)行 增益調(diào)整。
[0020] 增益調(diào)整單元可以基于延遲時(shí)間而延遲音頻信號(hào)，該延遲時(shí)間是基于從參考點(diǎn)到 理想揚(yáng)聲器的距離和單位圓的半徑確定的。
[0021] 當(dāng)實(shí)際揚(yáng)聲器沒有位于以預(yù)定參考點(diǎn)作為其中心點(diǎn)的單位圓上時(shí)，增益調(diào)整單元 還可以以基于從參考點(diǎn)到實(shí)際揚(yáng)聲器的距離和單位圓的半徑確定的增益對(duì)音頻信號(hào)執(zhí)行 增益調(diào)整。
[0022] 增益調(diào)整單元可以基于延遲時(shí)間而延遲音頻信號(hào)，該延遲時(shí)間是基于從參考點(diǎn)到 實(shí)際揚(yáng)聲器的距離和單位圓的半徑確定的。
[0023] 音頻信號(hào)輸出裝置還可包括增益校正單元，該增益校正單元基于理想中心揚(yáng)聲器 的位置與實(shí)際揚(yáng)聲器的位置之間的距離而對(duì)再現(xiàn)增益進(jìn)行校正。
[0024] 音頻信號(hào)輸出裝置還可包括下限校正單元，該下限校正單元在再現(xiàn)增益小于預(yù)定 下限時(shí)對(duì)再現(xiàn)增益進(jìn)行校正。
[0025] 音頻信號(hào)輸出裝置還可包括總增益校正單元，該總增益校正單元計(jì)算基于經(jīng)受了 利用再現(xiàn)增益的增益調(diào)整的音頻信號(hào)的輸出聲音的總功率與輸入聲音的總功率之間的比 率，并且基于該比率對(duì)再現(xiàn)增益進(jìn)行校正，該比率是基于再現(xiàn)增益和基于音頻信號(hào)輸入的 輸入聲音的聲壓的期望值而計(jì)算的。
[0026] 本技術(shù)的第一方面的音頻信號(hào)輸出方法或程序包括以下步驟：計(jì)算再現(xiàn)音頻信號(hào) 的理想揚(yáng)聲器的位置與再現(xiàn)音頻信號(hào)的實(shí)際揚(yáng)聲器的位置之間的距離；基于距離而計(jì)算音 頻信號(hào)的再現(xiàn)增益；以及基于再現(xiàn)增益而對(duì)音頻信號(hào)執(zhí)行增益調(diào)整。
[0027] 在本技術(shù)的第一方面，計(jì)算再現(xiàn)音頻信號(hào)的理想揚(yáng)聲器的位置與再現(xiàn)音頻信號(hào)的 實(shí)際揚(yáng)聲器的位置之間的距離，基于該距離計(jì)算音頻信號(hào)的再現(xiàn)增益，并且基于再現(xiàn)增益 而對(duì)音頻信號(hào)執(zhí)行增益調(diào)整。
[0028] 本技術(shù)的第二方面的編碼裝置包括：校正信息生成單元，根據(jù)再現(xiàn)音頻信號(hào)的理 想揚(yáng)聲器的位置與再現(xiàn)音頻信號(hào)的實(shí)際揚(yáng)聲器的位置之間的距離而生成用于對(duì)音頻信號(hào) 的增益進(jìn)行校正的校正信息；編碼單元，對(duì)音頻信號(hào)進(jìn)行編碼；以及輸出單元，輸出包括校 正信息和編碼后的音頻信號(hào)的位流。
[0029] 本技術(shù)的第二方面的編碼方法包括以下步驟：根據(jù)再現(xiàn)音頻信號(hào)的理想揚(yáng)聲器的 位置與再現(xiàn)音頻信號(hào)的實(shí)際揚(yáng)聲器的位置之間的距離而生成用于對(duì)音頻信號(hào)的增益進(jìn)行 校正的校正信息；對(duì)音頻信號(hào)進(jìn)行編碼；以及輸出包括校正信息和編碼后的音頻信號(hào)的位 流。
[0030] 在本技術(shù)的第二方面，根據(jù)再現(xiàn)音頻信號(hào)的理想揚(yáng)聲器的位置與再現(xiàn)音頻信號(hào)的 實(shí)際揚(yáng)聲器的位置之間的距離而生成用于校正音頻信號(hào)的增益的校正信息，對(duì)音頻信號(hào)進(jìn) 行編碼，以及輸出包括校正信息和編碼后的音頻信號(hào)的位流。
[0031] 本技術(shù)的第三方面的解碼裝置包括：提取單元，從位流提取校正信息和編碼后的 音頻信號(hào)，該校正信息用于根據(jù)再現(xiàn)音頻信號(hào)的理想揚(yáng)聲器的位置與再現(xiàn)音頻信號(hào)的實(shí)際 揚(yáng)聲器的位置之間的距離而對(duì)音頻信號(hào)的增益進(jìn)行校正；解碼單元，對(duì)編碼后的音頻信號(hào) 進(jìn)行解碼；以及輸出單元，輸出解碼后的音頻信號(hào)和校正信息。
[0032] 校正信息可以是關(guān)于理想揚(yáng)聲器的位置信息。
[0033] 校正信息可以是用于獲得與距離對(duì)應(yīng)的增益的曲線信息。
[0034] 曲線信息可以是指示折線曲線或函數(shù)曲線的信息。
[0035] 本技術(shù)的第三方面的解碼方法包括以下步驟：從位流提取校正信息和編碼后的音 頻信號(hào)，該校正信息用于根據(jù)再現(xiàn)音頻信號(hào)的理想揚(yáng)聲器的位置與再現(xiàn)音頻信號(hào)的實(shí)際揚(yáng) 聲器的位置之間的距離而對(duì)音頻信號(hào)的增益進(jìn)行校正；對(duì)編碼后的音頻信號(hào)進(jìn)行解碼；以 及輸出解碼后的音頻信號(hào)和校正信息。
[0036] 在本技術(shù)的第三方面，從位流提取校正信息和編碼后的音頻信號(hào)，對(duì)編碼后的音 頻信號(hào)進(jìn)行解碼，以及輸出解碼后的音頻信號(hào)和校正信息，該校正信息用于根據(jù)再現(xiàn)音頻 信號(hào)的理想揚(yáng)聲器的位置與再現(xiàn)音頻信號(hào)的實(shí)際揚(yáng)聲器的位置之間的距離而對(duì)音頻信號(hào) 的增益進(jìn)行校正。
[0037] 本發(fā)明的效果
[0038] 根據(jù)本技術(shù)的第一至第三方面，可以執(zhí)行具有更真實(shí)感覺的音頻再現(xiàn)。
【附圖說明】
[0039] 圖1是用于說明本技術(shù)的概況的圖。
[0040] 圖2是用于說明折線曲線的圖。
[0041] 圖3是用于說明函數(shù)曲線的圖。
[0042] 圖4是用于說明再現(xiàn)增益的圖。
[0043] 圖5是示出再現(xiàn)裝置的示例結(jié)構(gòu)的圖。
[0044] 圖6是用于說明下混合處理的流程圖。
[0045] 圖7是示出音頻系統(tǒng)的示例配置的圖。
[0046] 圖8是用于說明元數(shù)據(jù)的圖。
[0047] 圖9是用于說明編碼處理的流程圖。
[0048] 圖10是用于說明解碼處理的流程圖。
[0049] 圖11是示出計(jì)算機(jī)的示例配置的圖。
【具體實(shí)施方式】
[0050] 以下是參照附圖對(duì)應(yīng)用了本技術(shù)的實(shí)施例的描述。
[0051] 〈第一實(shí)施例〉
[0052] 〈本技術(shù)的概況〉
[0053] 本技術(shù)涉及一種利用期望數(shù)量的揚(yáng)聲器再現(xiàn)聲道的聲音源的再現(xiàn)方法以及用于 對(duì)實(shí)現(xiàn)再現(xiàn)方法所需的信息（元數(shù)據(jù)）進(jìn)行編碼和解碼的技術(shù)。
[0054] 首先，描述本技術(shù)的概況。
[0055] 聲道的音頻信號(hào)和這些音頻信號(hào)的元數(shù)據(jù)被提供到再現(xiàn)裝置，并且再現(xiàn)裝置基于 例如元數(shù)據(jù)和音頻信號(hào)而控制聲音再現(xiàn)。
[0056] 各個(gè)聲道的音頻信號(hào)是被生成用于通過位于由元數(shù)據(jù)指示的理想位置的揚(yáng)聲器 來再現(xiàn)的信號(hào)。在以下描述中，位于由元數(shù)據(jù)指示的位置并且再現(xiàn)各個(gè)聲道的音頻信號(hào)的 虛擬揚(yáng)聲器將被稱為理想揚(yáng)聲器。另外，基于從再現(xiàn)裝置輸出的音頻信號(hào)而輸出聲音的實(shí) 際揚(yáng)聲器將被稱為再現(xiàn)揚(yáng)聲器。
[0057] 在本技術(shù)中，所有聲道的音頻信號(hào)被分類為用于LFE (低頻效果）的音頻信號(hào)和不 是用于LFE的音頻信號(hào)。即，所有理想揚(yáng)聲器被分類為用于LFE的揚(yáng)聲器和不是用于LFE 的揚(yáng)聲器。同樣地，再現(xiàn)揚(yáng)聲器被分類為用于LFE的揚(yáng)聲器和不是用于LFE的揚(yáng)聲器。
[0058] 首先，描述不是用于LFE的聲道的音頻信號(hào)的再現(xiàn)。
[0059] 在再現(xiàn)不是用于LFE的聲道的音頻信號(hào)時(shí)，例如，如圖1所示，基于理想揚(yáng)聲器與 再現(xiàn)揚(yáng)聲器之間的距離而執(zhí)行音頻信號(hào)增益調(diào)整。
[0060] 在圖1中，理想揚(yáng)聲器VSPl和再現(xiàn)揚(yáng)聲器RSPll-I至RSP11-3布置在球體PHll 的表面上，該球體PHll具有半徑ru并且其中心在作為觀看者的用戶Ull的位置處。理想 揚(yáng)聲器VSPl和再現(xiàn)揚(yáng)聲器RSPll-I至RSP11-3為不是用于LFE的揚(yáng)聲器。
[0061] 在下文中，如果不需要特別彼此區(qū)分開，則再現(xiàn)揚(yáng)聲器RSPll-I至RSPl 1-3也將被 簡稱為再現(xiàn)揚(yáng)聲器RSPl 1。雖然在該示例中示出了僅一個(gè)理想揚(yáng)聲器和三個(gè)再現(xiàn)揚(yáng)聲器，但 是實(shí)際上存在其它理想揚(yáng)聲器和再現(xiàn)揚(yáng)聲器。
[0062] 例如，基于與理想揚(yáng)聲器VSPl對(duì)應(yīng)的聲道的音頻信號(hào)的聲音理想地將聲音圖像 固定在理想揚(yáng)聲器VSPl的位置處。
[0063] 因此，在本技術(shù)中，根據(jù)理想揚(yáng)聲器VSPl與再現(xiàn)揚(yáng)聲器RSPll之間的距離而確 定各個(gè)再現(xiàn)揚(yáng)聲器RSPll的再現(xiàn)增益，并且從具有所確定的再現(xiàn)增益的每個(gè)再現(xiàn)揚(yáng)聲器 RSPll輸出基于音頻信號(hào)的聲音，以使得聲音圖像固定在理想揚(yáng)聲器VSPl的位置處。
[0064] 具體地，理想揚(yáng)聲器VSPl與再現(xiàn)揚(yáng)聲器RSPll之間的距離是從用戶Ull朝向理想 揚(yáng)聲器VSPl的方向上的矢量與從用戶Ull朝向再現(xiàn)揚(yáng)聲器RSPll的方向上的矢量之間的 角度。
[0065] 換言之，球體PHll的表面上的理想揚(yáng)聲器VSPl與再現(xiàn)揚(yáng)聲器RSPll之間的距離 或者連接兩個(gè)揚(yáng)聲器的弧的長度是理想揚(yáng)聲器VSPl與再現(xiàn)揚(yáng)聲器RSPll之間的距離。
[0066] 在圖1所示的示例中，箭頭All與箭頭A12之間的角度是理想揚(yáng)聲器VSPl與再現(xiàn) 揚(yáng)聲器RSPll-I之間的距離DistMl。同樣地，箭頭All與箭頭A13之