利用數(shù)字內(nèi)容增強(qiáng)現(xiàn)場(chǎng)表演的系統(tǒng)和方法
【專利摘要】描述了利用通過(guò)追蹤一個(gè)或多個(gè)表演者的運(yùn)動(dòng)的數(shù)字內(nèi)容增強(qiáng)一個(gè)或多個(gè)表演者的現(xiàn)場(chǎng)表演并利用基于所追蹤的動(dòng)作的實(shí)時(shí)數(shù)字內(nèi)容擴(kuò)充現(xiàn)場(chǎng)表演。
【專利說(shuō)明】
利用數(shù)字內(nèi)容増強(qiáng)現(xiàn)場(chǎng)表演的系統(tǒng)和方法
技術(shù)領(lǐng)域
[0001]本公開涉及利用數(shù)字內(nèi)容增強(qiáng)一個(gè)或多個(gè)表演者的現(xiàn)場(chǎng)表演的系統(tǒng)和方法。更具體地，本公開涉及利用基于追蹤一個(gè)或多個(gè)表演者的動(dòng)作的數(shù)字內(nèi)容增強(qiáng)一個(gè)或多個(gè)表演者的現(xiàn)場(chǎng)表演的系統(tǒng)和方法。
【背景技術(shù)】
[0002]通常的現(xiàn)場(chǎng)表演，如現(xiàn)場(chǎng)戲劇表演，不提供任何形式的現(xiàn)場(chǎng)表演或任何在現(xiàn)場(chǎng)表演中的互動(dòng)觀眾的參與的實(shí)時(shí)數(shù)字增強(qiáng)。
[0003]例如，通常的現(xiàn)場(chǎng)表演可以用視覺和音頻效果充實(shí)，而充實(shí)通常由現(xiàn)場(chǎng)表演的工作人員控制，保持視覺和音頻效果的出現(xiàn)與現(xiàn)場(chǎng)表演的表演動(dòng)作同步?；蛘?，視覺和聽覺效果的時(shí)間線可以被預(yù)設(shè)定，在這種情況下，表演者必須小心地與被預(yù)設(shè)定的視覺和聽覺效果出現(xiàn)的時(shí)間線同步表演。然而，在這兩種情況下，實(shí)現(xiàn)完美的同步是困難的，所以將復(fù)雜的數(shù)字增強(qiáng)綜合到現(xiàn)場(chǎng)表演中是具有挑戰(zhàn)性的。
[0004]此外，在通常的現(xiàn)場(chǎng)表演中，互動(dòng)觀眾的參與是具有挑戰(zhàn)性的，因?yàn)榇罅康娜巳嚎赡軙?huì)引起壓倒性的輸入，導(dǎo)致現(xiàn)場(chǎng)表演的工作人員不能適度地應(yīng)對(duì)。

【發(fā)明內(nèi)容】

[0005]本內(nèi)容用于以簡(jiǎn)化形式介紹概念的選擇，這會(huì)在下面在【具體實(shí)施方式】中進(jìn)一步描述。本內(nèi)容并不旨在指定所要求保護(hù)的主題的關(guān)鍵特征，也不旨在用于輔助確定所要求保護(hù)的主題的范圍。
[0006]實(shí)時(shí)數(shù)字增強(qiáng)和互動(dòng)觀眾的參與的潛力似乎是龐大的，因此存在解決這些問題的需要。
[0007]根據(jù)本公開內(nèi)容，通過(guò)一種利用數(shù)字內(nèi)容增強(qiáng)一個(gè)或多個(gè)表演者的現(xiàn)場(chǎng)表演的系統(tǒng)和一種利用數(shù)字內(nèi)容增強(qiáng)一個(gè)或多個(gè)表演者的現(xiàn)場(chǎng)表演的方法可以解決通常的現(xiàn)場(chǎng)表演中的問題。
[0008]根據(jù)第一個(gè)方面，一種利用數(shù)字內(nèi)容增強(qiáng)一個(gè)或多個(gè)表演者的現(xiàn)場(chǎng)表演的系統(tǒng)包括表演捕捉設(shè)備和渲染引擎。該表演捕捉設(shè)備被配置為追蹤一個(gè)或多個(gè)表演者的運(yùn)動(dòng)并將信號(hào)輸出到渲染引擎，該信號(hào)是基于一個(gè)或多個(gè)表演者的運(yùn)動(dòng)而產(chǎn)生的。渲染引擎被配置為利用基于來(lái)自表演捕捉設(shè)備的信號(hào)的數(shù)字內(nèi)容實(shí)時(shí)增強(qiáng)現(xiàn)場(chǎng)表演。
[0009]因此，一個(gè)或多個(gè)表演者可以以通常的方式進(jìn)行表演，比如堅(jiān)持預(yù)定的情節(jié)，此時(shí)一個(gè)或多個(gè)表演者的運(yùn)動(dòng)被表演捕捉設(shè)備追蹤并被傳輸?shù)戒秩疽?。渲染引擎被配置為將所追蹤的運(yùn)動(dòng)(這可以是所傳輸?shù)膭?dòng)作捕捉信號(hào))轉(zhuǎn)換為大范圍的數(shù)字內(nèi)容，以向現(xiàn)場(chǎng)觀眾顯示和/或被現(xiàn)場(chǎng)觀眾聽到，從而擴(kuò)充了現(xiàn)場(chǎng)表演并增強(qiáng)現(xiàn)場(chǎng)觀眾的視覺和/或聽覺體驗(yàn)。
[0010]因此，現(xiàn)場(chǎng)觀眾所看到或聽到的取決于一個(gè)或多個(gè)表演者所做，尤其是他們?cè)趺醋?，比如基于表演者的決定、他們的策略和技巧等，正如他們動(dòng)作所表達(dá)的，他們的動(dòng)作被渲染引擎轉(zhuǎn)換為想要的數(shù)字內(nèi)容，增強(qiáng)現(xiàn)場(chǎng)觀眾對(duì)現(xiàn)場(chǎng)表演的享受。
[0011]優(yōu)選地，該系統(tǒng)進(jìn)一步包括投影儀、激光器、顯示屏、音頻/音響系統(tǒng)和全息技術(shù)中的一個(gè)以上的任意組合，用于接收來(lái)自渲染引擎的數(shù)字內(nèi)容。
[0012]因此，現(xiàn)場(chǎng)觀眾體驗(yàn)的增強(qiáng)可以包括各種各樣的視覺和聽覺效果，這補(bǔ)充了現(xiàn)場(chǎng)表演。特別地，視覺效果可以不僅僅補(bǔ)充一個(gè)或多個(gè)表演者的表演，還成為表演的一個(gè)組成部分，例如通過(guò)提供一個(gè)印象，這印象是一個(gè)或多個(gè)表演者與在顯示屏中的視覺圖像或在舞臺(tái)上由激光器或全息技術(shù)產(chǎn)生的視覺圖像互動(dòng)。
[0013]優(yōu)選地，表演捕捉設(shè)備包括攝像動(dòng)作追蹤模塊，該攝像動(dòng)作追蹤模塊被配置為追蹤一個(gè)或多個(gè)表演者的動(dòng)作。
[0014]攝像動(dòng)作追蹤模塊可以提供實(shí)時(shí)動(dòng)作捕捉技術(shù)，并不限制捕捉的動(dòng)作，從而使系統(tǒng)可以在各種各樣的現(xiàn)場(chǎng)表演環(huán)境中使用，其中的攝像動(dòng)作追蹤模塊可以無(wú)縫集成。
[0015]優(yōu)選地，攝像動(dòng)作追S示t旲塊集成到現(xiàn)場(chǎng)舞臺(tái)系統(tǒng)中。
[0016]如整個(gè)說(shuō)明書和權(quán)利要求中使用的術(shù)語(yǔ)“現(xiàn)場(chǎng)舞臺(tái)系統(tǒng)”旨在指安裝在上或在舞臺(tái)附近的照明和/或音頻/音響系統(tǒng)。攝像動(dòng)作追蹤模塊集成到現(xiàn)場(chǎng)舞臺(tái)系統(tǒng)進(jìn)一步增加了表演捕捉設(shè)備無(wú)縫融合到現(xiàn)場(chǎng)表演環(huán)境。例如，照相機(jī)可以附著到現(xiàn)場(chǎng)表演舞臺(tái)上的光設(shè)備，它可以是一個(gè)簡(jiǎn)單的安裝過(guò)程。
[0017]優(yōu)選地，表演捕捉設(shè)備通過(guò)無(wú)線鏈路將信號(hào)傳輸?shù)戒秩疽妗?br>[0018]在表演捕捉設(shè)備和渲染引擎之間的無(wú)線連接，諸如IEEE 802.11或IEEE 802.16連接，使得表演捕捉設(shè)備和渲染引擎在現(xiàn)場(chǎng)表演環(huán)境的放置有很大的自由，也節(jié)省系統(tǒng)安裝的工作。然而，本公開不限于特定的無(wú)線技術(shù)，任何其它進(jìn)行數(shù)據(jù)的無(wú)線傳輸?shù)募夹g(shù)或協(xié)議都可以被使用。
[0019]優(yōu)選地，渲染引擎被配置為接收來(lái)自多個(gè)手持設(shè)備的輸入并利用基于來(lái)自表演捕捉設(shè)備的信號(hào)和來(lái)自多個(gè)手持設(shè)備的輸入的數(shù)字內(nèi)容擴(kuò)充現(xiàn)場(chǎng)表演。
[0020]因此，現(xiàn)場(chǎng)觀眾的體驗(yàn)還可通過(guò)加入觀眾互動(dòng)式手持設(shè)備來(lái)得到進(jìn)一步的增強(qiáng)，例如智能電話、平板電腦、游戲控制器或其它類似設(shè)備。通過(guò)從多個(gè)手持設(shè)備到渲染引擎的輸入來(lái)表達(dá)他們的動(dòng)作，手持設(shè)備使得現(xiàn)場(chǎng)觀眾有能力影響現(xiàn)場(chǎng)表演。
[0021 ]優(yōu)選地，渲染引擎被配置通過(guò)無(wú)線鏈路接收來(lái)自多個(gè)手持設(shè)備的信號(hào)。
[0022]具有無(wú)線鏈路，諸如蜂窩網(wǎng)絡(luò)、IEEE 802.11連接或IEEE 802.16連接，促進(jìn)交互參與，還使得相對(duì)于現(xiàn)場(chǎng)觀眾放置渲染引擎有很大的自由。
[0023]優(yōu)選地，渲染引擎被配置為接收指示觀眾人員統(tǒng)計(jì)和分布數(shù)據(jù)的信號(hào)，并利用基于來(lái)自表演捕捉設(shè)備來(lái)的信號(hào)和指示觀眾人員統(tǒng)計(jì)和分布數(shù)據(jù)的信號(hào)的數(shù)字內(nèi)容擴(kuò)充現(xiàn)場(chǎng)表演。
[0024]因此，渲染引擎可以被配置為發(fā)起數(shù)字內(nèi)容/輸出的大陣列，以向現(xiàn)場(chǎng)觀眾顯示，其中，向現(xiàn)場(chǎng)觀眾顯示/現(xiàn)場(chǎng)觀眾聽到的數(shù)字內(nèi)容的確切本質(zhì)取決于在現(xiàn)場(chǎng)表演中的特定場(chǎng)景或時(shí)刻、觀眾人員統(tǒng)計(jì)以及現(xiàn)場(chǎng)表演的類型和現(xiàn)場(chǎng)表演的制作人所想要的效果。
[0025]根據(jù)另一個(gè)方面，一種利用數(shù)字內(nèi)容增強(qiáng)一個(gè)或多個(gè)表演者的現(xiàn)場(chǎng)表演的方法包括:追蹤一個(gè)或多個(gè)表演者的運(yùn)動(dòng);將信號(hào)傳輸?shù)戒秩疽?，該信?hào)是基于一個(gè)或多個(gè)表演者的運(yùn)動(dòng)而產(chǎn)生的;和利用基于信號(hào)的數(shù)字內(nèi)容實(shí)時(shí)擴(kuò)充現(xiàn)場(chǎng)表演。
[0026]因此，現(xiàn)場(chǎng)捕捉技術(shù)將一個(gè)或多個(gè)表演者的表演傳輸?shù)戒秩疽?，其被配置為利用一個(gè)或多個(gè)表演者的運(yùn)動(dòng)作為輸入信號(hào)來(lái)啟動(dòng)，建立，渲染，從而利用實(shí)時(shí)數(shù)字內(nèi)容增強(qiáng)并擴(kuò)充現(xiàn)場(chǎng)表演。如上所述，通過(guò)合適的投影機(jī)、激光器、顯示屏、音頻/音響系統(tǒng)和/或全息技術(shù)，該數(shù)字內(nèi)容可實(shí)時(shí)地向現(xiàn)場(chǎng)觀眾顯示/被現(xiàn)場(chǎng)觀眾聽到。
[0027]優(yōu)選地，渲染引擎接收預(yù)渲染的數(shù)字內(nèi)容和/或預(yù)定的視覺效果，并基于一個(gè)或多個(gè)表演者的運(yùn)動(dòng)和預(yù)渲染的數(shù)字內(nèi)容的至少一部分和/或預(yù)定的視覺效果的至少一部分產(chǎn)生信號(hào)。
[0028]因此，渲染引擎還允許預(yù)渲染的數(shù)字內(nèi)容和/或預(yù)定的視覺效果向現(xiàn)場(chǎng)觀眾顯示和/或被現(xiàn)場(chǎng)觀眾聽到，并允許一個(gè)或多個(gè)表演者在即將來(lái)臨的場(chǎng)景所做的來(lái)決定隨后的數(shù)字內(nèi)容。
[0029]優(yōu)選地，該方法進(jìn)一步包括通過(guò)渲染引擎接收觀眾人員統(tǒng)計(jì)和分布數(shù)據(jù)以及基于所接收的觀眾人員統(tǒng)計(jì)和分布數(shù)據(jù)選擇所接收的預(yù)渲染的數(shù)字內(nèi)容的至少一部分或/或預(yù)定的視覺效果的至少一部分。
[0030]因此，向現(xiàn)場(chǎng)觀眾顯示和/或被現(xiàn)場(chǎng)觀眾聽到的所接收的預(yù)渲染的數(shù)字內(nèi)容和/或預(yù)定的視覺效果基于所接收的觀眾人員統(tǒng)計(jì)和分布數(shù)據(jù)被選擇，因此鑒于現(xiàn)場(chǎng)表演的制作人的藝術(shù)概念而適于觀眾。例如，現(xiàn)場(chǎng)表演的制作人可以針對(duì)不同的觀眾人員統(tǒng)計(jì)提供不同的預(yù)渲染的數(shù)字內(nèi)容和/或預(yù)定的視覺效果，并且可以根據(jù)實(shí)際的觀眾人員統(tǒng)計(jì)，例如，現(xiàn)場(chǎng)觀眾的平均年齡、預(yù)定年齡范圍、性別分布等等，通過(guò)渲染引擎選擇各預(yù)渲染的數(shù)字內(nèi)容和/或預(yù)定的視覺效果。
[0031]優(yōu)選地，渲染引擎是在實(shí)時(shí)渲染服務(wù)器中執(zhí)行。渲染服務(wù)器可控制投影儀、激光器、顯示屏、音頻/音響系統(tǒng)和/或全息技術(shù)中的一個(gè)以上的任意組合。
[0032]實(shí)時(shí)渲染服務(wù)器因而可以包括足夠的硬件資源來(lái)實(shí)時(shí)執(zhí)行數(shù)字內(nèi)容的渲染。此夕卜，顯示屏和投影儀可被用于顯示數(shù)字內(nèi)容來(lái)增強(qiáng)舞臺(tái)上的現(xiàn)場(chǎng)表演，但也可以用于顯示利用數(shù)字內(nèi)容所擴(kuò)充并增強(qiáng)的現(xiàn)場(chǎng)表演。
[0033]優(yōu)選地，所述渲染服務(wù)器發(fā)送輸出數(shù)據(jù)到觀眾的多個(gè)手持設(shè)備。
[0034]因此，現(xiàn)場(chǎng)觀眾可以通過(guò)手持設(shè)備發(fā)布現(xiàn)場(chǎng)舞臺(tái)照片、視頻和其他內(nèi)容到社交媒體平臺(tái)。此外，觀眾也可通過(guò)提供如何連接和提交輸入到渲染引擎的指示，邀請(qǐng)朋友或熟人參與來(lái)增強(qiáng)現(xiàn)場(chǎng)表演。
[0035]優(yōu)選地，渲染引擎接收來(lái)自觀眾的多個(gè)手持設(shè)備的輸入并基于一個(gè)或多個(gè)表演者的運(yùn)動(dòng)和觀眾的手持設(shè)備的輸入產(chǎn)生信號(hào)。
[0036]因此，該方法允許通過(guò)手持設(shè)備，例如智能電話、平板電腦、游戲控制器或其它類似設(shè)備，進(jìn)行觀眾互動(dòng)和影響。手持設(shè)備可以通過(guò)無(wú)線連接而被連接到渲染服務(wù)器并給現(xiàn)場(chǎng)觀眾帶來(lái)影響現(xiàn)場(chǎng)表演的數(shù)字?jǐn)U充和增強(qiáng)的能力。例如，觀眾的動(dòng)作可以通過(guò)渲染引擎使用或解讀，以建立數(shù)字內(nèi)容。
[0037]優(yōu)選地，該方法還包括發(fā)送增強(qiáng)的現(xiàn)場(chǎng)表演到社交平臺(tái)。
[0038]發(fā)送增強(qiáng)的現(xiàn)場(chǎng)表演到社交平臺(tái)，使得各種不同的人關(guān)注現(xiàn)場(chǎng)表演，并使得利用社交平臺(tái)賬戶連接到渲染服務(wù)器成為可能，該社交平臺(tái)賬戶可能被用于確定觀眾人員統(tǒng)計(jì)和分布數(shù)據(jù)。
[0039]此外，渲染引擎還可以允許一個(gè)或多個(gè)表演者通過(guò)他們的運(yùn)動(dòng)啟動(dòng)特殊效果。任何特殊效果的潛力和精確本質(zhì)是巨大的，并且這些特殊效果可以是實(shí)時(shí)的、數(shù)字建立和視覺或音頻效果，它們不限于這種格式，并可以例如是由一個(gè)或多個(gè)表演者觸發(fā)的真實(shí)世界中的物理效果，例如通過(guò)手勢(shì)、觸摸增強(qiáng)現(xiàn)場(chǎng)表演的數(shù)字內(nèi)容的一個(gè)元素或按壓與渲染引擎通信的物理觸發(fā)器。
[0040]此外，物理的照明系統(tǒng)，例如光設(shè)備，也可以設(shè)置在現(xiàn)場(chǎng)表演環(huán)境的舞臺(tái)上。例如，物理光設(shè)備可以由渲染引擎中的基于物理的照明部件進(jìn)行控制。位于渲染引擎內(nèi)部的照明工程學(xué)會(huì)(IES)準(zhǔn)則認(rèn)可的并且基于物理的照明部件可以因此使得現(xiàn)場(chǎng)動(dòng)作照亮無(wú)縫驅(qū)動(dòng)的虛擬光線，從而提供了獨(dú)特的照明體驗(yàn)。(IES準(zhǔn)則提供物理光元素的光強(qiáng)度的分布的計(jì)算機(jī)可讀說(shuō)明，如聚光燈。)
[0041]根據(jù)本公開的另一方面，提供了一種存儲(chǔ)了指令的計(jì)算機(jī)可讀介質(zhì)，例如一個(gè)或多個(gè)非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中，根據(jù)本公開的一個(gè)或多個(gè)實(shí)施例響應(yīng)于計(jì)算設(shè)備的執(zhí)行的上述指令使計(jì)算設(shè)備自動(dòng)執(zhí)行一種利用數(shù)字內(nèi)容增強(qiáng)一個(gè)或多個(gè)表演者的現(xiàn)場(chǎng)表演的方法。特別是，上述指令可以使計(jì)算設(shè)備自動(dòng)追蹤一個(gè)或多個(gè)表演者的運(yùn)動(dòng)，將基于一個(gè)或多個(gè)表演者的運(yùn)動(dòng)而產(chǎn)生的信號(hào)傳輸?shù)戒秩疽?，并基于上述信?hào)利用數(shù)字內(nèi)容實(shí)時(shí)擴(kuò)充現(xiàn)場(chǎng)表演。
[0042]因此，前面的內(nèi)容公開了一種系統(tǒng)和一種使用(實(shí)時(shí))渲染引擎以利用實(shí)時(shí)數(shù)字內(nèi)容/輸出，特別是通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)和/或全息技術(shù)擴(kuò)充現(xiàn)場(chǎng)表演的觀眾體驗(yàn)的方法。該數(shù)字內(nèi)容/輸出例如通過(guò)一系列的投影機(jī)、激光器、增強(qiáng)現(xiàn)實(shí)屏幕和音頻/音響輸出設(shè)備的任意組合被顯示。現(xiàn)場(chǎng)觀眾的體驗(yàn)可以通過(guò)交互元件得到進(jìn)一步增強(qiáng)，其受到連接到渲染引擎的手持交互式設(shè)備影響，這使得進(jìn)一步數(shù)字增強(qiáng)現(xiàn)場(chǎng)表演。
【附圖說(shuō)明】
[0043]進(jìn)一步的優(yōu)點(diǎn)和特征將通過(guò)下面的描述變得顯而易見，參照附圖，其中:
[0044]圖1是示例性現(xiàn)場(chǎng)表演環(huán)境的示意圖；和
[0045]圖2是示出了在現(xiàn)場(chǎng)表演環(huán)境中執(zhí)行的操作的流程圖。
【具體實(shí)施方式】
[0046]現(xiàn)在將參考在附圖中示出的實(shí)施例并且具體的語(yǔ)言將用來(lái)描述該實(shí)施例。盡管如此，可以理解的是，這不意味著對(duì)本發(fā)明的范圍的限制，圖示系統(tǒng)中的改變和進(jìn)一步的修改以及本申請(qǐng)的公開內(nèi)容的原理的進(jìn)一步應(yīng)用被設(shè)想為對(duì)本公開所涉及的領(lǐng)域的技術(shù)人員來(lái)說(shuō)會(huì)在現(xiàn)在或在將來(lái)發(fā)生。
[0047]圖1是示例性的現(xiàn)場(chǎng)表演環(huán)境100的示意圖?，F(xiàn)場(chǎng)表演環(huán)境100包括實(shí)時(shí)渲染引擎102，其在實(shí)時(shí)渲染服務(wù)器104中執(zhí)行?？商娲兀瑢?shí)時(shí)渲染引擎102可以在實(shí)時(shí)渲染引擎設(shè)備中執(zhí)行，并且該實(shí)時(shí)渲染引擎設(shè)備可以連接到實(shí)時(shí)渲染服務(wù)器104。
[0048]現(xiàn)場(chǎng)表演環(huán)境100還包括舞臺(tái)和現(xiàn)場(chǎng)觀眾108，該舞臺(tái)作為舞臺(tái)環(huán)境106的一部分。舞臺(tái)環(huán)境106還包括音頻/音響系統(tǒng)110和顯示屏112，該顯示屏從實(shí)時(shí)渲染服務(wù)器104中接收數(shù)字內(nèi)容。此外，舞臺(tái)環(huán)境106包括投影儀114，經(jīng)由無(wú)線鏈路，該投影儀從實(shí)時(shí)渲染服務(wù)器104中接收輸出數(shù)據(jù)120形式的數(shù)字內(nèi)容。
[0049]舞臺(tái)環(huán)境106還包括表演捕捉設(shè)備116，該表演捕捉設(shè)備具有攝像動(dòng)作追fet旲塊，可以追蹤作為現(xiàn)場(chǎng)表演的一部分的一個(gè)或多個(gè)表演者的運(yùn)動(dòng)?？蛇x地，攝像動(dòng)作追蹤模塊也追蹤在舞臺(tái)環(huán)境106的光條件。表演捕捉設(shè)備116將與一個(gè)或多個(gè)表演者的運(yùn)動(dòng)相關(guān)的信號(hào)和可選地與光條件和/或現(xiàn)場(chǎng)表演的視頻流相關(guān)的信號(hào)作為輸入數(shù)據(jù)118發(fā)送到實(shí)時(shí)渲染引擎102。
[0050]實(shí)時(shí)渲染引擎102基于輸入數(shù)據(jù)118產(chǎn)生數(shù)字內(nèi)容，其中數(shù)字內(nèi)容要向現(xiàn)場(chǎng)觀眾108顯示或者被現(xiàn)場(chǎng)觀眾108聽到，以擴(kuò)充并增強(qiáng)在舞臺(tái)環(huán)境106的現(xiàn)場(chǎng)表演，和/或擴(kuò)充并增強(qiáng)現(xiàn)場(chǎng)表演的視頻流，如果由表演捕捉設(shè)備116提供的話。
[0051]為了擴(kuò)充并增強(qiáng)在舞臺(tái)環(huán)境106的現(xiàn)場(chǎng)表演，實(shí)時(shí)渲染服務(wù)器104可以傳輸數(shù)字內(nèi)容到音頻/音響系統(tǒng)110和顯示屏112。另外，實(shí)時(shí)渲染服務(wù)器104可以發(fā)送輸出數(shù)據(jù)120形式的數(shù)子內(nèi)容到投影儀114。另外，數(shù)字內(nèi)容也可通過(guò)將實(shí)時(shí)渲染服務(wù)器104的輸出數(shù)據(jù)120發(fā)送到多個(gè)交互式觀眾設(shè)備122，例如手機(jī)或平板電腦的手持設(shè)備，向現(xiàn)場(chǎng)觀眾108顯示或被現(xiàn)場(chǎng)觀眾108聽到，其中該輸出數(shù)據(jù)120包括已增強(qiáng)的現(xiàn)場(chǎng)表演的視頻流。
[0052]交互式觀眾設(shè)備122也可以被用于補(bǔ)充或修改發(fā)送到實(shí)時(shí)渲染引擎102的輸入數(shù)據(jù)118，由此通過(guò)影響向現(xiàn)場(chǎng)觀眾108顯示或者被現(xiàn)場(chǎng)觀眾108聽到的數(shù)字內(nèi)容產(chǎn)生，允許現(xiàn)場(chǎng)觀眾108參與到現(xiàn)場(chǎng)表演。另外的可能影響數(shù)字內(nèi)容產(chǎn)生的因素是觀眾人員統(tǒng)計(jì)和分布數(shù)據(jù)124，對(duì)現(xiàn)場(chǎng)觀眾108分類可以進(jìn)一步補(bǔ)充和修改被發(fā)送到實(shí)時(shí)渲染引擎102的輸入數(shù)據(jù)118，由此允許鑒于特定的現(xiàn)場(chǎng)觀眾108剪輯該數(shù)字內(nèi)容。
[0053]實(shí)時(shí)渲染引擎102還可以提供有預(yù)渲染的數(shù)字內(nèi)容126和/或預(yù)定的視覺效果128。例如，預(yù)渲染的數(shù)字內(nèi)容126和/或預(yù)定的視覺效果128可以在現(xiàn)場(chǎng)表演的時(shí)間線上的某些點(diǎn)被顯示或被聽到，而由輸入數(shù)據(jù)118產(chǎn)生的數(shù)字內(nèi)容可以被用于補(bǔ)充或延續(xù)預(yù)渲染的數(shù)字內(nèi)容126和/或預(yù)定的視覺效果128。
[0054]根據(jù)進(jìn)一步的方面，體驗(yàn)130可能被現(xiàn)場(chǎng)觀眾108在社交平臺(tái)上分享。例如，輸出數(shù)據(jù)120，例如，增強(qiáng)的現(xiàn)場(chǎng)表演的視頻可在社交平臺(tái)上被傳輸?shù)浆F(xiàn)場(chǎng)觀眾108的朋友或熟人。
[0055]圖2是不出了現(xiàn)場(chǎng)表演環(huán)境100中執(zhí)行的操作的流程圖200。在202，表演被表演捕捉設(shè)備116無(wú)線捕捉。在204，捕捉的表演被傳輸?shù)綄?shí)時(shí)清染引擎102。例如，所捕捉的表演利用無(wú)線鏈路被傳輸?shù)綄?shí)時(shí)渲染引擎102，諸如IEEE 802.11或IEEE 802.16。
[0056]在206，實(shí)時(shí)渲染服務(wù)器104被實(shí)時(shí)渲染引擎觸發(fā)，基于捕捉的表演生成數(shù)字內(nèi)容。在208，實(shí)時(shí)數(shù)字內(nèi)容向現(xiàn)場(chǎng)觀眾108顯示并且與捕捉的表演的至少一部分一起被傳輸?shù)绞殖纸换ナ接^眾設(shè)備122。任選地，在210，現(xiàn)場(chǎng)觀眾108還利用手持設(shè)備捕捉現(xiàn)場(chǎng)表演體驗(yàn)。
[0057]手持交互式觀眾設(shè)備122可在212被用于提供輸入數(shù)據(jù)118到實(shí)時(shí)渲染引擎204。另夕卜，手持交互式觀眾設(shè)備122也可在212中使用，以提供實(shí)時(shí)數(shù)字內(nèi)容和/或現(xiàn)場(chǎng)表演的體驗(yàn)到社交平臺(tái)。在214，實(shí)時(shí)數(shù)字內(nèi)容和/或現(xiàn)場(chǎng)表演的體驗(yàn)可與社會(huì)平臺(tái)上的其他用戶分享。
[0058]為了進(jìn)一步促進(jìn)現(xiàn)場(chǎng)表演環(huán)境100的其它方面的理解，現(xiàn)在將參考兩個(gè)示例性使用情況。
[0059]根據(jù)第一使用情況，在舞臺(tái)環(huán)境106進(jìn)行的現(xiàn)場(chǎng)表演的場(chǎng)景可包含現(xiàn)場(chǎng)表演者和根據(jù)基于煙全息效果的數(shù)字建立的一條龍，也就是說(shuō)，數(shù)字地建立的內(nèi)容和現(xiàn)實(shí)世界特殊效果的組合。在表演中，表演者與龍戰(zhàn)斗，并且捕捉到的表演者的動(dòng)作無(wú)線傳送到實(shí)時(shí)渲染引擎102。
[0060]實(shí)時(shí)渲染引擎102將表演者的戰(zhàn)斗動(dòng)作轉(zhuǎn)換成新的實(shí)時(shí)數(shù)字內(nèi)容，例如，人物或頭像等等，這又反應(yīng)出表演者的運(yùn)動(dòng)和動(dòng)作。表演捕捉設(shè)備116拍攝舞臺(tái)環(huán)境106上的現(xiàn)場(chǎng)動(dòng)作和實(shí)時(shí)渲染引擎102通過(guò)傳送了產(chǎn)生的數(shù)字內(nèi)容的HD-SDI視頻組合該視頻鏡頭。顯示屏112呈現(xiàn)最終的增強(qiáng)現(xiàn)實(shí)場(chǎng)景給現(xiàn)場(chǎng)觀眾。
[0061]根據(jù)第二使用情況，視頻游戲的水平被顯示給現(xiàn)場(chǎng)觀眾108和舞臺(tái)環(huán)境106中的表演者。表演者對(duì)他/她所看到進(jìn)行反應(yīng)，并且在現(xiàn)場(chǎng)觀眾108面前現(xiàn)場(chǎng)表演游戲水平。所顯示的數(shù)字內(nèi)容由視頻游戲決定且與表演者的能力水平、所采用的策略、所做的決定等直接相關(guān)?，F(xiàn)場(chǎng)觀眾108可以通過(guò)其手持互動(dòng)式觀眾設(shè)備122參與到現(xiàn)場(chǎng)表演中，他們自身的反應(yīng)、決定等可以被實(shí)時(shí)渲染引擎102解讀，例如，讓他們可以與現(xiàn)場(chǎng)表演者競(jìng)爭(zhēng)。
[0062]現(xiàn)場(chǎng)觀眾108可以捕捉舞臺(tái)環(huán)境106中的現(xiàn)場(chǎng)表演或輸出數(shù)據(jù)120，然后通過(guò)社交平臺(tái)將捕捉的內(nèi)容分享給他們的朋友。手持交互式觀眾設(shè)備122的應(yīng)用程序甚至可以使這些朋友通過(guò)社交平臺(tái)來(lái)提供合并的輸入，并驅(qū)動(dòng)由實(shí)時(shí)渲染引擎102渲染的虛擬內(nèi)容。
[0063]上述的例子和使用情況和附圖僅僅是用于說(shuō)明與現(xiàn)有技術(shù)相比本公開和它的優(yōu)點(diǎn)，并且不應(yīng)當(dāng)被理解為在任何意義上的限制。
【主權(quán)項(xiàng)】
1.一種利用數(shù)字內(nèi)容增強(qiáng)一個(gè)或多個(gè)表演者的現(xiàn)場(chǎng)表演的系統(tǒng)，其特征在于，所述系統(tǒng)包括: 表演捕捉設(shè)備;和 渲染引擎； 其中，所述表演捕捉設(shè)備被配置為追蹤所述一個(gè)或多個(gè)表演者的運(yùn)動(dòng)并將信號(hào)傳輸?shù)剿鲣秩疽?，所述信?hào)是基于所述一個(gè)或多個(gè)表演者的運(yùn)動(dòng)而產(chǎn)生的;并且 所述渲染引擎被配置為利用基于來(lái)自所述表演捕捉設(shè)備的所述信號(hào)的數(shù)字內(nèi)容實(shí)時(shí)擴(kuò)充現(xiàn)場(chǎng)表演。2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，進(jìn)一步包括投影儀、激光器、顯示屏、音頻/音響系統(tǒng)和/或全息技術(shù)，用于接收來(lái)自所述渲染引擎的數(shù)字內(nèi)容。3.如權(quán)利要求1所述的系統(tǒng)，其特征在于，其中，所述表演捕捉設(shè)備包括攝像動(dòng)作追蹤模塊，所述攝像動(dòng)作追蹤模塊被配置為追蹤所述一個(gè)或多個(gè)表演者的運(yùn)動(dòng)。4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，其中，所述攝像動(dòng)作追蹤模塊集成到現(xiàn)場(chǎng)舞臺(tái)系統(tǒng)中。5.如權(quán)利要求1所述的系統(tǒng)，其特征在于，其中，所述表演捕捉設(shè)備通過(guò)無(wú)線鏈路將所述信號(hào)傳輸?shù)剿鲣秩疽妗?.如權(quán)利要求1所述的系統(tǒng)，其特征在于，其中，所述渲染引擎被配置為接收來(lái)自多個(gè)手持設(shè)備的輸入并利用基于來(lái)自所述表演捕捉設(shè)備的所述信號(hào)和來(lái)自所述多個(gè)手持設(shè)備的所述輸入的數(shù)字內(nèi)容擴(kuò)充現(xiàn)場(chǎng)表演。7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，其中，所述渲染引擎被配置為通過(guò)無(wú)線鏈路接收來(lái)自所述多個(gè)手持設(shè)備的信號(hào)。8.如權(quán)利要求1所述的系統(tǒng)，其特征在于，其中，所述渲染引擎被配置為接收指示觀眾人員統(tǒng)計(jì)和分布數(shù)據(jù)的信號(hào)，并利用基于來(lái)自所述表演捕捉設(shè)備的所述信號(hào)和指示所述觀眾人員統(tǒng)計(jì)和分布數(shù)據(jù)的所述信號(hào)的數(shù)字內(nèi)容擴(kuò)充現(xiàn)場(chǎng)表演。9.一種利用數(shù)字內(nèi)容增強(qiáng)一個(gè)或多個(gè)表演者的現(xiàn)場(chǎng)表演的方法，其特征在于，所述方法包括: 追蹤所述一個(gè)或多個(gè)表演者的運(yùn)動(dòng)； 將信號(hào)傳輸?shù)戒秩疽?，所述信?hào)是基于所述一個(gè)或多個(gè)表演者的運(yùn)動(dòng)而產(chǎn)生的;和 利用基于所述信號(hào)的數(shù)字內(nèi)容實(shí)時(shí)擴(kuò)充現(xiàn)場(chǎng)表演。10.如權(quán)利要求9所述的方法，其特征在于，進(jìn)一步包括通過(guò)所述渲染引擎接收預(yù)渲染的數(shù)字內(nèi)容以及基于所述一個(gè)或多個(gè)表演者的運(yùn)動(dòng)和所述預(yù)渲染的數(shù)字內(nèi)容的至少一部分產(chǎn)生信號(hào)。11.如權(quán)利要求10所述的方法，其特征在于，進(jìn)一步包括通過(guò)所述渲染引擎接收觀眾人員統(tǒng)計(jì)和分布數(shù)據(jù)以及基于所接收的所述觀眾人員統(tǒng)計(jì)和分布數(shù)據(jù)選擇所接收的所述預(yù)渲染的數(shù)字內(nèi)容的所述至少一部分。12.如權(quán)利要求9所述的方法，其特征在于，其中，所述渲染引擎在實(shí)時(shí)渲染服務(wù)器中執(zhí)行。13.如權(quán)利要求12所述的方法，其特征在于，進(jìn)一步包括通過(guò)所述渲染服務(wù)器控制投影儀、激光器、顯示屏、音頻/音響系統(tǒng)和/或全息技術(shù)中的至少一個(gè)。14.如權(quán)利要求12所述的方法，其特征在于，進(jìn)一步包括通過(guò)所述渲染服務(wù)器發(fā)送輸出數(shù)據(jù)到觀眾的多個(gè)手持設(shè)備。15.如權(quán)利要求14所述的方法，其特征在于，進(jìn)一步包括通過(guò)所述渲染引擎接收來(lái)自所述觀眾的所述多個(gè)手持設(shè)備的輸入并基于所述一個(gè)或多個(gè)表演者的運(yùn)動(dòng)和所述觀眾的所述手持設(shè)備的輸入產(chǎn)生信號(hào)。16.如權(quán)利要求9所述的方法，其特征在于，進(jìn)一步包括發(fā)送增強(qiáng)的現(xiàn)場(chǎng)表演到社交平臺(tái)ο
【文檔編號(hào)】H04N5/222GK105938541SQ201610119116
【公開日】2016年9月14日
【申請(qǐng)日】2016年3月2日
【發(fā)明人】杰瓦特·耶爾利
【申請(qǐng)人】卡雷風(fēng)險(xiǎn)投資有限責(zé)任公司