到可單獨(dú)尋址驅(qū)動(dòng)器的上混內(nèi)容的反射和直接渲染的制作方法
【專(zhuān)利說(shuō)明】
[0001] 對(duì)相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求于2012年8月31日提交的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)No. 61/695,998的優(yōu)先 權(quán)，該申請(qǐng)的全部?jī)?nèi)容通過(guò)引用被結(jié)合于此。
技術(shù)領(lǐng)域
[0003] -種或多種實(shí)現(xiàn)方式一般而言涉及音頻信號(hào)處理，并且更具體而言涉及用于渲染 (render)通過(guò)可單獨(dú)尋址的驅(qū)動(dòng)器的反射和直接音頻的上混（upmix)系統(tǒng)。
【背景技術(shù)】
【背景技術(shù)】 [0004] 部分中所討論的主題不應(yīng)當(dāng)僅僅由于其在部分中提到就被假 設(shè)為是現(xiàn)有技術(shù)。類(lèi)似地，在部分中提到或者與部分的主題關(guān)聯(lián)的問(wèn)題 不應(yīng)當(dāng)被假設(shè)為之前在現(xiàn)有技術(shù)中已經(jīng)認(rèn)識(shí)到。部分中的主題僅僅代表不同的方 法，它們本身也可以是發(fā)明。
[0005] 電影院聲跡（soundtrack)通常包括許多對(duì)應(yīng)于屏幕上的圖像、對(duì)話、噪音和源自 屏幕上不同地方的聲音效果的不同聲音元素，并且與背景音樂(lè)和環(huán)境效果相結(jié)合以創(chuàng)建整 體觀眾體驗(yàn)。準(zhǔn)確的回放需要聲音關(guān)于聲音源位置、強(qiáng)度、運(yùn)動(dòng)和深度以盡可能接近屏幕 上所顯示內(nèi)容的方式再現(xiàn)。傳統(tǒng)的基于聲道的音頻系統(tǒng)以揚(yáng)聲器饋送的形式向回放環(huán)境 中的各個(gè)揚(yáng)聲器發(fā)送音頻內(nèi)容。數(shù)字電影院的引入已經(jīng)對(duì)電影院聲音創(chuàng)建了新的標(biāo)準(zhǔn)，諸 如多個(gè)音頻聲道的結(jié)合以允許內(nèi)容創(chuàng)建者的更大創(chuàng)造性，以及對(duì)觀眾來(lái)說(shuō)更包圍和現(xiàn)實(shí)的 聽(tīng)覺(jué)體驗(yàn)。超越作為分發(fā)空間音頻的手段的傳統(tǒng)揚(yáng)聲器饋送和基于聲道的音頻是關(guān)鍵的， 并且對(duì)基于模型的音頻描述已經(jīng)有相當(dāng)大的興趣，這種音頻描述允許收聽(tīng)者選擇具有專(zhuān)門(mén) 為他們選擇的配置渲染的音頻的期望的回放配置。為了進(jìn)一步改善收聽(tīng)者體驗(yàn)，在真正三 維（"3D"）或虛擬3D環(huán)境中聲音的回放已經(jīng)變成加大研究和開(kāi)發(fā)的領(lǐng)域。聲音的空間給 出利用音頻對(duì)象，音頻對(duì)象是具有關(guān)聯(lián)的視在源位置（例如，3D坐標(biāo)）、視在源寬度及其它 參數(shù)的參數(shù)化源描述的音頻信號(hào)?；趯?duì)象的音頻可以用于許多多媒體應(yīng)用，諸如數(shù)字電 影、視頻游戲、模擬器，并且在其中揚(yáng)聲器個(gè)數(shù)和它們的放置通常受相對(duì)小收聽(tīng)環(huán)境的邊界 限制或約束的家庭環(huán)境中是特別重要的。
[0006] 已經(jīng)開(kāi)發(fā)出各種技術(shù)來(lái)改善電影院環(huán)境中的聲音系統(tǒng)以及更準(zhǔn)確地捕捉和再現(xiàn) 創(chuàng)建者對(duì)運(yùn)動(dòng)畫(huà)面聲跡的藝術(shù)意圖。例如，已經(jīng)開(kāi)發(fā)出下一代空間音頻（也被稱為"自適 應(yīng)音頻"）格式，這種格式包括音頻對(duì)象和傳統(tǒng)的基于聲道的揚(yáng)聲器饋送連同用于音頻對(duì)象 的位置元數(shù)據(jù)的混合。在空間音頻解碼器中，聲道被直接發(fā)送到它們關(guān)聯(lián)的揚(yáng)聲器（如果 適當(dāng)?shù)膿P(yáng)聲器存在）或者下混到現(xiàn)有的揚(yáng)聲器組，并且音頻對(duì)象被解碼器以靈活的方式渲 染。與每個(gè)對(duì)象關(guān)聯(lián)的參數(shù)化源描述，諸如3D空間中的位置軌跡，連同連接到解碼器的揚(yáng) 聲器的數(shù)目和位置一起被取為輸入。然后，渲染器利用某些算法，諸如平搖法則（panning law)，跨附連的揚(yáng)聲器組分發(fā)與每個(gè)對(duì)象關(guān)聯(lián)的音頻。以這種方式，所創(chuàng)作的每個(gè)對(duì)象的空 間意圖經(jīng)收聽(tīng)房間內(nèi)存在的具體揚(yáng)聲器配置被最優(yōu)地給出。
[0007] 但是，目前的系統(tǒng)主要被開(kāi)發(fā)成使用直接向收聽(tīng)區(qū)域內(nèi)的收聽(tīng)者傳播聲音的正面 或直接發(fā)射揚(yáng)聲器。這降低了可以由比直接傳播而言更適合從表面反射離開(kāi)的內(nèi)容提供的 空間效果。因此，所需要的是利用反射和直接渲染的聲音提供更沉浸式或全面的空間收聽(tīng) 體驗(yàn)的系統(tǒng)。

【發(fā)明內(nèi)容】

[0008] 描述了用于在收聽(tīng)環(huán)境中渲染空間音頻內(nèi)容的系統(tǒng)和方法的實(shí)施例。系統(tǒng)包括配 置為生成多個(gè)音頻聲道的渲染部件，這多個(gè)音頻聲道包括規(guī)定各個(gè)音頻聲道在收聽(tīng)區(qū)域中 的回放位置的信息；接收這多個(gè)音頻聲道并且為每個(gè)音頻聲道生成配置為使驅(qū)動(dòng)器能量的 大部分從收聽(tīng)區(qū)域的一個(gè)或多個(gè)表面反射離開(kāi)的至少一個(gè)反射子聲道以及配置為使驅(qū)動(dòng) 器能量的大部分直接傳播到回放位置的至少一個(gè)直接子聲道的上混器部件；及耦合到上混 器部件并且包括分別使用所述至少一個(gè)反射子聲道和所述至少一個(gè)直接子聲道的用于使 聲波從一個(gè)或多個(gè)表面?zhèn)鞑ルx開(kāi)的至少一個(gè)反射驅(qū)動(dòng)器和用于使聲波直接傳播到回放位 置的至少一個(gè)直接驅(qū)動(dòng)器的可單獨(dú)尋址驅(qū)動(dòng)器的陣列。在上混信號(hào)的語(yǔ)境下，反射的聲波 波形可以可選地在從具體表面反射離開(kāi)與導(dǎo)致能量從非定向驅(qū)動(dòng)器的一般漫射的從任何 任意表面反射離開(kāi)之間不作區(qū)分。在這后一種情況下，與這種驅(qū)動(dòng)器關(guān)聯(lián)的聲波將理想地 是沒(méi)有方向的，即，它們將構(gòu)成漫射波形，其是其中聲音不是來(lái)自單一方向的波形。
[0009] 方法包括從音頻渲染器接收多個(gè)輸入音頻聲道；在第一分解過(guò)程中把每個(gè)輸入音 頻聲道分成至少一個(gè)反射子聲道和至少一個(gè)直接子聲道；驗(yàn)證在由反射子聲道和直接子聲 道生成的聲波的傳播中消耗的能量的量在第一分解過(guò)程期間守恒（conserved);并且在后 續(xù)的分解處理中進(jìn)一步把每個(gè)子聲道分成各個(gè)子聲道直到為在收聽(tīng)區(qū)域內(nèi)收聽(tīng)者周?chē)?間成像聲音獲得反射和直接子聲道的最優(yōu)混合為止。
[0010] 如本文所述的上混處理的系統(tǒng)和方法可以在包括更新的內(nèi)容創(chuàng)建工具的音頻格 式和系統(tǒng)、基于包括新?lián)P聲器和聲道配置的自適應(yīng)音頻系統(tǒng)的分發(fā)方法和增強(qiáng)用戶體驗(yàn)以 及通過(guò)為電影院聲音混合者創(chuàng)建的先進(jìn)內(nèi)容創(chuàng)建工具套件使其成為可能的新空間描述格 式當(dāng)中使用。音頻流（一般包括聲道和對(duì)象）連同描述內(nèi)容創(chuàng)建者或聲音混合者意圖的元 數(shù)據(jù)一起發(fā)送，包括音頻流的期望位置。位置可以表示為（來(lái)自預(yù)定義的聲道配置內(nèi)的） 命名聲道或者表示為3D空間位置信息。這種聲道加對(duì)象格式提供最佳的既基于聲道又基 于模型的音頻場(chǎng)景描述方法。
[0011] 實(shí)施例具體地致力于用于渲染自適應(yīng)音頻內(nèi)容的系統(tǒng)和方法，自適應(yīng)音頻內(nèi)容包 括反射的聲音以及直接的聲音，這些聲音意味著要通過(guò)揚(yáng)聲器或者既包含直接（正面發(fā) 射）驅(qū)動(dòng)器又包含反射（向上或側(cè)面發(fā)射）驅(qū)動(dòng)器的驅(qū)動(dòng)器陣列播放。
[0012] 通過(guò)引用的結(jié)合
[0013] 在本說(shuō)明書(shū)中提到的每個(gè)公開(kāi)物、專(zhuān)利和/或?qū)＠暾?qǐng)的全部?jī)?nèi)容都通過(guò)引用被 結(jié)合于此，就好像每個(gè)個(gè)別的公開(kāi)物和/或?qū)＠暾?qǐng)都具體地并且單獨(dú)地被指示通過(guò)引用 結(jié)合于此一樣。
【附圖說(shuō)明】
[0014] 在以下的圖中，相同的標(biāo)號(hào)被用來(lái)指相同的元件。雖然以下的圖繪出了各種例子， 但是一個(gè)或多個(gè)實(shí)現(xiàn)方式不限于圖中所繪出的例子。
[0015] 圖1圖示出在提供高度揚(yáng)聲器用于高度聲道回放的環(huán)繞系統(tǒng)（例如，9. 1環(huán)繞）中 的不例揚(yáng)聲器放置。
[0016] 圖2圖示出根據(jù)一實(shí)施例的用于產(chǎn)生自適應(yīng)音頻混合的基于聲道和對(duì)象的數(shù)據(jù) 的組合。
[0017] 圖3是根據(jù)一實(shí)施例用在自適應(yīng)音頻系統(tǒng)中的回放體系架構(gòu)的框圖。
[0018] 圖4A是圖示出根據(jù)一實(shí)施例的修改基于電影院的音頻內(nèi)容使其適應(yīng)在收聽(tīng)環(huán)境 中使用的功能部件的框圖。
[0019] 圖4B是根據(jù)一實(shí)施例的圖3A部件的詳細(xì)框圖。
[0020] 圖4C是根據(jù)一實(shí)施例的自適應(yīng)音頻環(huán)境的功能部件的框圖。
[0021] 圖4D圖不出根據(jù)一實(shí)施例的其中渲染功能的一部分在揚(yáng)聲器單兀中執(zhí)行的分布 式渲染系統(tǒng)。
[0022] 圖5圖示出自適應(yīng)音頻系統(tǒng)在示例家庭影院環(huán)境中的部署。
[0023] 圖6圖示出在家庭影院中向上發(fā)射驅(qū)動(dòng)器利用反射的聲音模擬頭頂揚(yáng)聲器的使 用。
[0024] 圖7A圖示出根據(jù)一實(shí)施例的具有多個(gè)處于第一配置的驅(qū)動(dòng)器的揚(yáng)聲器，該揚(yáng)聲 器在具有反射聲音渲染器的自適應(yīng)音頻系統(tǒng)中使用。
[0025] 圖7B圖不出根據(jù)一實(shí)施例的具有在多個(gè)外殼中分布的驅(qū)動(dòng)器的揚(yáng)聲器系統(tǒng)，該 揚(yáng)聲器系統(tǒng)在具有反射聲音渲染器的自適應(yīng)音頻系統(tǒng)中使用。
[0026] 圖7C圖示出根據(jù)一實(shí)施例的用于在利用反射聲音渲染器的自適應(yīng)音頻系統(tǒng)中使 用的條形音箱（soundbar)的示例配置。
[0027] 圖8圖示出放在收聽(tīng)室內(nèi)的具有包括向上發(fā)射驅(qū)動(dòng)器的可單獨(dú)尋址驅(qū)動(dòng)器的揚(yáng) 聲器的示例放置。
[0028] 圖9A圖不出根據(jù)一實(shí)施例的用于自適應(yīng)音頻5. 1系統(tǒng)的揚(yáng)聲器配置，其中該系統(tǒng) 對(duì)反射的音頻利用多個(gè)可尋址的驅(qū)動(dòng)器。
[0029] 圖9B圖不出根據(jù)一實(shí)施例的用于自適應(yīng)音頻7. 1系統(tǒng)的揚(yáng)聲器配置，其中該系統(tǒng) 對(duì)反射的音頻利用多個(gè)可尋址的驅(qū)動(dòng)器。
[0030] 圖10是圖示出根據(jù)一實(shí)施例的雙向互連的組成的圖。
[0031] 圖11圖示出根據(jù)一實(shí)施例的用在自適應(yīng)音頻系統(tǒng)中的自動(dòng)配置與系統(tǒng)校準(zhǔn)處 理。
[0032] 圖12是圖示出根據(jù)一實(shí)施例的用于在自適應(yīng)音頻系統(tǒng)中使用的校準(zhǔn)方法的處理 步驟的流程圖。
[0033] 圖13圖不出自適應(yīng)首頻系統(tǒng)在不例電視和條形首箱用例中的使用。
[0034] 圖14圖示出根據(jù)一實(shí)施例的自適應(yīng)音頻系統(tǒng)中三維雙耳耳機(jī)虛擬化的簡(jiǎn)化表 /Jn〇
[0035] 圖15是圖示出根據(jù)一實(shí)施例的用在自適應(yīng)音頻系統(tǒng)中的某些元數(shù)據(jù)定義的表， 其中該音頻系統(tǒng)對(duì)收聽(tīng)環(huán)境使用反射聲音渲染器。
[0036] 圖16是圖示出根據(jù)一實(shí)施例的把輸入聲道分割成子聲道的處理的流程圖。
[0037]圖17圖示出根據(jù)一實(shí)施例的把多個(gè)音頻聲道處理成多個(gè)反射和直接子聲道的處 理的上混器系統(tǒng)。
[0038] 圖18是圖示出根據(jù)一實(shí)施例的把輸入聲道分解成子聲道的處理的流程圖。
【具體實(shí)施方式】
[0039] 描述了用于基于把音頻聲道分解成在自適應(yīng)音頻系統(tǒng)中使用的反射和直接子聲 道的上混器的系統(tǒng)和方法，其中自適應(yīng)音頻系統(tǒng)渲染反射的聲音以供在收聽(tīng)環(huán)境中創(chuàng)建空 間音頻效果，但是本申請(qǐng)不限于此。本文所述的一種或多種實(shí)施例的各方面可以在音頻或 音頻-視覺(jué)系統(tǒng)中實(shí)現(xiàn)，這種系統(tǒng)在包括執(zhí)行軟件指令的一個(gè)或多個(gè)計(jì)算機(jī)或處理設(shè)備的 混合、渲染和回放系統(tǒng)中處理源音頻信息。任何所述實(shí)施例都可以單獨(dú)地或者以任意組合 彼此一起使用。雖然各種實(shí)施例可能是由現(xiàn)有技術(shù)中的各種缺陷引發(fā)的，這些缺陷可能在 說(shuō)明書(shū)的一處或多處討論或提到，但是所述實(shí)施例不一定解決這些缺陷中的任何缺陷。換 句話說(shuō)，不同的實(shí)施例可以解決可能在說(shuō)明書(shū)中討論的不同缺陷。有些實(shí)施例可以只部分 地解決在說(shuō)明書(shū)中討論的一些缺陷或者僅一個(gè)缺陷，并且有些實(shí)施例可以不解決這些缺陷 中的任何缺陷。
[0040] 出于本說(shuō)明書(shū)的目的，以下術(shù)語(yǔ)具有關(guān)聯(lián)的意義：術(shù)語(yǔ)"聲道"指音頻信號(hào)+元數(shù) 據(jù)，其中位置被編碼為聲道標(biāo)識(shí)符，例如，左前或右上環(huán)繞；"基于聲道的音頻"是為了通過(guò) 具有關(guān)聯(lián)標(biāo)稱位置的預(yù)定義揚(yáng)聲器區(qū)的組，例如5. 1、7. 1等，回放而格式化的音頻；術(shù)語(yǔ) "對(duì)象"或"基于對(duì)象的音頻"指具有參數(shù)化源描述（諸如視在源位置（例如，3D坐標(biāo)）、視 在源寬度等）的一個(gè)或多個(gè)音頻聲道；"自適應(yīng)音頻"指基于聲道的和/或基于對(duì)象的音頻 信號(hào)+元數(shù)據(jù)，它基于回放環(huán)境利用音頻流加上其中位置被編碼為空間中的3D位置的元數(shù) 據(jù)來(lái)渲染音頻信號(hào)；并且"收聽(tīng)環(huán)境"指任何開(kāi)放的、部分封閉的或者完全封閉的區(qū)域，諸如 可以用于音頻內(nèi)容單獨(dú)地或者與視頻或其它內(nèi)容一起回放的房間，并且可以在家、電影院、 劇場(chǎng)、禮堂、工作室、游戲控制臺(tái)等當(dāng)中體現(xiàn)。這種區(qū)域可以具有部署在其中的一個(gè)或多個(gè) 表面，諸如可以直接或漫射地反射聲波的墻壁或隔板。
[0041] 自話應(yīng)咅頻格式和系統(tǒng)
[0042] 在一實(shí)施例中，用于把音頻聲道分解成反射和直接子聲道的上混器可以在如下音 頻系統(tǒng)中使用，該音頻系統(tǒng)配置為與可以被稱為"空間音頻系統(tǒng)"或"自適應(yīng)音頻系統(tǒng)"的 聲音格式化和處理系統(tǒng)一起使用。這種系統(tǒng)基于音頻格式化和渲染技術(shù)來(lái)允許增強(qiáng)的聽(tīng)眾 沉浸感、更好的藝術(shù)控制以及系統(tǒng)靈活性和伸縮性。整個(gè)自適應(yīng)音頻系統(tǒng)一般包括配置為 生成一個(gè)或多個(gè)既包含常規(guī)的基于聲道的音頻元素又包含音頻對(duì)象編碼元素的位流的音 頻編碼、分發(fā)和解碼系統(tǒng)。與單獨(dú)采用基于聲道或基于對(duì)象的方法相比，這種組合的方法提 供更大的編碼效率和渲染靈活性?？梢越Y(jié)合所給出的實(shí)施例使用的自適應(yīng)音頻系統(tǒng)的例子 在于2012年4月20日提交且標(biāo)題為"System and Method for Adaptive Audio Signal Generation, Coding and Rendering"的未決美國(guó)臨時(shí)專(zhuān)利申請(qǐng)61/636, 429中描述，該申請(qǐng) 通過(guò)引用被結(jié)合于此。
[0043] 自適應(yīng)音頻系統(tǒng)和關(guān)聯(lián)的音頻格式化的示例實(shí)現(xiàn)方式是Dolby?Atmos?平臺(tái)。 這種系統(tǒng)包含可以實(shí)現(xiàn)為9. 1環(huán)繞系統(tǒng)或者類(lèi)似的環(huán)繞聲配置的高度（上/下）維度。圖 1圖示出在提供高度揚(yáng)聲器用于高度聲道回放的本環(huán)繞系統(tǒng)（例如，9. 1環(huán)繞）中的揚(yáng)聲器 放置。9. 1系統(tǒng)100的揚(yáng)聲器配置由位于地平面中的五個(gè)揚(yáng)聲器102和位于高度平面中的 四個(gè)揚(yáng)聲器104組成。一般而言，這些揚(yáng)聲器可以用來(lái)產(chǎn)生設(shè)計(jì)成從房間內(nèi)任何位置或多 或少準(zhǔn)確地發(fā)出的聲音。預(yù)定義的揚(yáng)聲器配置，諸如圖1中所示的配置，必然會(huì)限制準(zhǔn)確 表現(xiàn)給定聲音源位置的能力。例如，聲音源不能比左揚(yáng)聲器本身更進(jìn)一步向左平搖。