專利名稱：交互式虛擬現(xiàn)實演出劇場娛樂系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電子視頻和現(xiàn)場演出娛樂領(lǐng)域。具體來說，本發(fā)明涉及這樣一種娛樂與教育系統(tǒng)，參與者通過它除了可與現(xiàn)場和/或預(yù)先錄制的表演者互動外，還能實現(xiàn)與電子或計算機(jī)化的環(huán)境互動。更具體而言，本發(fā)明涉及投入式虛擬現(xiàn)實計算機(jī)系統(tǒng)，其中參與者利用諸如頭盔式顯示器和手持鍵盤之類的各種投入和輸入裝置與虛擬現(xiàn)實環(huán)境以及現(xiàn)場表演者互動。
背景技術(shù)：
多年來為了訓(xùn)練和娛樂目的，已經(jīng)采用了利用頭盔式顯示器或者其它投入式裝置或方法的系統(tǒng)，借此參與者能觀看軟件產(chǎn)生的虛擬現(xiàn)實環(huán)境，并與它產(chǎn)生互動。此處所使用和描述的投入式虛擬現(xiàn)實環(huán)境是指計算機(jī)產(chǎn)生的圖形環(huán)境，其中盡管參與者僅通過電子儀器與環(huán)境內(nèi)的其它對象共存，但是參與者卻能“投入”到該環(huán)境中，從而提供給用戶身處圖形環(huán)境中的感覺。因此，投入式虛擬現(xiàn)實環(huán)境通過利用三維(3D)圖形和能模擬參與者與周圍環(huán)境間關(guān)系的計算機(jī)軟件讓參與者產(chǎn)生他或她處于人工制造的環(huán)境中的幻覺。
在傳統(tǒng)上，在軟件環(huán)境中通過本領(lǐng)域被稱為化身的人像投影代表參與者。參與者通過包括但不限于手持輸入裝置的輸入機(jī)構(gòu)結(jié)合監(jiān)控身體位移的電子或電磁跟蹤裝置產(chǎn)生的數(shù)據(jù)來控制他們的化身。虛擬現(xiàn)實環(huán)境中不受參與者動作控制的對象一般由計算機(jī)軟件程序控制，其還能對參與者的輸入產(chǎn)生反應(yīng)。
在相關(guān)領(lǐng)域的虛擬現(xiàn)實環(huán)境中，不受參與者控制的人像或?qū)ο髢H依照軟件程序自主移動，其還能對每個參與者的輸入裝置(Carmein的美國專利5490784，Latypov的美國專利5846134)產(chǎn)生反應(yīng)。諸如樹木和動物的靜態(tài)和活動物體在虛擬現(xiàn)實環(huán)境中按預(yù)定方式移動。另外，參與者有機(jī)會與虛擬現(xiàn)實環(huán)境中的這些物體互動，但是，物體僅限于計算機(jī)產(chǎn)生的圖像。
一般而言，在傳統(tǒng)上虛擬現(xiàn)實環(huán)境的目標(biāo)或焦點集中于參與者與完全由計算機(jī)圖形程序產(chǎn)生的對象的互動，它們不會顯示出來，或者它們基本不受模擬環(huán)境中的人類參與者控制。另外，在傳統(tǒng)上，參與者群體利用以圖形方式增強(qiáng)的現(xiàn)場或者預(yù)先錄制的舞臺表演者、或者通過電視、電影或者其它非投入式媒體得到娛樂，它們不具備投入式裝置或方法的增強(qiáng)作用，另外也沒有結(jié)合由參與者向表演者進(jìn)行語音通信、以及在他們雙方中間和參與者之間進(jìn)行語音通信的投入式裝置或方法。(Trumbull等人的美國專利5795228)。
其它已知娛樂系統(tǒng)、例如在Freeman等人的美國專利5682196中公開的系統(tǒng)包括在計算機(jī)控制的主持與參與者之間的雙向通信能力。但是這些系統(tǒng)不具備在參與者之中和他們之間或者參與者與現(xiàn)場主持之間進(jìn)行語音通信的能力。Trumbull專利中的系統(tǒng)允許現(xiàn)場表演者向參與者進(jìn)行單向音頻通信，但它不能提供參與者向現(xiàn)場表演者的音頻通信。Trumbull的系統(tǒng)也不能實現(xiàn)參與者之中和之間的音頻通信，另外該系統(tǒng)還不能通過投入式虛擬現(xiàn)實環(huán)境得到增強(qiáng)。
幾種已知技術(shù)的虛擬現(xiàn)實系統(tǒng)已經(jīng)開發(fā)了一種初等觸覺界面。例如，Shaw等人的美國專利5737505公開了一種類似于用來檢測肢體位置的上身鎧衣的界面。該裝置能向從事于與虛擬現(xiàn)實環(huán)境進(jìn)行主動和被動通信的參與者提供力反饋或者向其傳遞動作。但是，Shaw的虛擬現(xiàn)實系統(tǒng)不能提供參與者之中和之間的通信，該系統(tǒng)也不包括現(xiàn)場和/或預(yù)先錄制的表演者。
因此，已知技術(shù)的娛樂系統(tǒng)缺乏某些有利特征。在傳統(tǒng)系統(tǒng)中，參與者利用某些輸入裝置與主持和環(huán)境互動。但是主持很少是現(xiàn)場的，相反他是預(yù)先錄制或者計算機(jī)控制的，因此這降低了與參與者進(jìn)行任何互動的自發(fā)性。Trumbull專利中的主持是現(xiàn)場表演者，但該系統(tǒng)本身并不處于虛擬現(xiàn)實環(huán)境中，因此它缺乏賦予參與者更激動體驗的投入效果。另外，在Trumbull專利中不存在參與者向表演者的語音通信，也沒有參與者之中和之間的語音通信，因此這進(jìn)一步限制了娛樂或者教育的體驗。
因此，在本領(lǐng)域需要這樣一種基于虛擬現(xiàn)實的娛樂和/或教育系統(tǒng)，其能提供以下三方之中和之間的三向投入式互動通信1〕參與者；2〕投入式環(huán)境；以及3〕現(xiàn)場和/或預(yù)先錄制的表演者。另外，該系統(tǒng)還需要包括用于單獨和/或混合的視頻、音頻和圖形輸入和輸出的設(shè)備，用以增強(qiáng)整個娛樂和/或教育體驗。另外，需要通過參與者響應(yīng)于來自表演者和/或虛擬現(xiàn)實環(huán)境的腳本和/或即興通信作出的輸入，至少部分地控制體驗內(nèi)容和效果。最后，還需要這樣一個系統(tǒng)，其穩(wěn)固而且在設(shè)計上是模塊化的，這樣能根據(jù)所希望的應(yīng)用方便地更新多個參與者、表演者、以及虛擬現(xiàn)實環(huán)境的輸入和輸出，并能適應(yīng)計算機(jī)技術(shù)的迅速變化。這些元件的協(xié)同組合能夠為參與者觀眾提供迄今從未達(dá)到的娛樂水平和/或教育的刺激和質(zhì)量。

發(fā)明內(nèi)容
依照本發(fā)明的虛擬現(xiàn)實演出劇場(VRPT)，發(fā)明人利用單個參與者與虛擬現(xiàn)實環(huán)境中由計算機(jī)產(chǎn)生的圖形目標(biāo)之間的互動將軟件程序和娛樂或教育表演的焦點改為參與者、現(xiàn)場和/或預(yù)先錄制的表演者、和投入式虛擬現(xiàn)實環(huán)境之間的三向互動通信。參與者、現(xiàn)場和/或預(yù)先錄制的表演者、以及投入式虛擬現(xiàn)實環(huán)境之中和之間的三向通信的引入導(dǎo)致協(xié)同效果，其產(chǎn)生前所未有的娛樂和/或教育體驗。
因此本發(fā)明的主要目的是提供一種虛擬現(xiàn)實演出劇場，其中在參與者(們)、現(xiàn)場和/或預(yù)先錄制的表演者(們)、以及虛擬現(xiàn)實環(huán)境之中和之間存在三向通信。三向通信包括但不限于音頻、視頻和圖形輸入和輸出的數(shù)據(jù)。重要的是，在某種程度上參與者與表演者彼此之間的互動以及與虛擬現(xiàn)實環(huán)境的互動決定了表演內(nèi)容和最終效果。
于是，本發(fā)明的另一目的是創(chuàng)造互動的虛擬現(xiàn)實環(huán)境，在其中多個參與者享受投入到軟件產(chǎn)生的與現(xiàn)場和/或預(yù)選錄制的表演相結(jié)合的模擬環(huán)境中。
本發(fā)明的再一目的是允許參與者對表演內(nèi)容和效果進(jìn)行控制。
本發(fā)明的另一目的是提供一種新型的投入式表演，其中利用語音對講系統(tǒng)通過語音通信將每個參與者和多個表演者聯(lián)系在一起。該系統(tǒng)將允許參與者建立持續(xù)對話，同時通過讓他們在娛樂游戲或者教育環(huán)境中分享意見并一起工作來增強(qiáng)互動性。
本發(fā)明的再一目的是提供一種虛擬現(xiàn)實環(huán)境，它容易習(xí)慣于具體應(yīng)用的要求，并容易被升級以適合計算機(jī)技術(shù)的快速步伐。
在簡要概述中，本發(fā)明通過提供參與者與現(xiàn)場和/或預(yù)先錄制的表演者、以及與投入式虛擬現(xiàn)實環(huán)境間彼此互動的互動式虛擬現(xiàn)實表演平臺和環(huán)境來提供令人高度愉悅的娛樂和/或教育體驗，從而克服并基本上避免了現(xiàn)有技術(shù)中的缺陷。重要的是，參與者能通過輸入裝置和語音通信對表演內(nèi)容和效果進(jìn)行有限控制。
系統(tǒng)一般利用為每位參與者和表演者設(shè)置的輸入和輸出裝置，其還包括具有能執(zhí)行特定處理任務(wù)的系統(tǒng)數(shù)據(jù)和程序的控制計算機(jī)。系統(tǒng)進(jìn)一步包括各種音頻和視頻部件，它們對呈現(xiàn)給觀眾中的參與者的視頻和音頻數(shù)據(jù)進(jìn)行混合和轉(zhuǎn)換。通過新穎的混合和轉(zhuǎn)換技術(shù)，該系統(tǒng)能夠為參與者呈現(xiàn)圖形形式的虛擬現(xiàn)實環(huán)境，其中表演者的現(xiàn)場影像被疊置在圖形環(huán)境中。因此，參與者能觀看到能產(chǎn)生令人激動的娛樂和/或教育體驗的圖形數(shù)據(jù)和現(xiàn)場視頻數(shù)據(jù)的新顯示，并能與其進(jìn)行互動。
為了支持視頻混合與轉(zhuǎn)換，可通過色鍵和以電子方式產(chǎn)生的其它服裝實現(xiàn)虛擬現(xiàn)實顯示，其中來自表演者的視頻和/或音頻輸入與參與者例如利用頭盔顯示器(HMD)投入到其中的圖形環(huán)境混合。因此，參與者能體驗到表演者也能看到和/或聽到的投入式圖形環(huán)境。
參與者在觀看表演者/表演者們、軟件模擬的圖像或電子傳真、以及虛擬現(xiàn)實環(huán)境的其它視頻、音頻和圖形輸出的過程中，通過利用諸如鍵盤或計算機(jī)手套之類的手持輸入裝置控制表演內(nèi)容和效果。例如，表演者(們)通過遵照腳本和/或即席表演詢問聽眾，以便根據(jù)被詢問的具體問題或者觀眾對具體主題的觀點作出反應(yīng)。然后參與者的反應(yīng)要求其它表演內(nèi)容和最終效果，例如基于參與者響應(yīng)表演者(們)和/或系統(tǒng)的詢問賺得的點數(shù)宣布一個參與者為“勝方”。
系統(tǒng)還包括附加的音頻和運(yùn)動裝置，其包括但不限于為每個參與者提供的揚(yáng)聲器和裝配了運(yùn)動機(jī)構(gòu)的座椅，用以增強(qiáng)投入體驗。參與者的投入體驗可通過裝配了運(yùn)動機(jī)構(gòu)的座椅的音響和身體感覺來補(bǔ)充，后面將該座椅稱為“無篷(rumble)座椅”，在整個表演過程中各參與者要坐在該座椅中。座椅包括用于背景音效的揚(yáng)聲器，座椅的運(yùn)動效果是利用軟件響應(yīng)參與者的語音通信、決定和身體動作來產(chǎn)生。
另外，引入網(wǎng)絡(luò)，它與計算機(jī)連接用以進(jìn)行數(shù)據(jù)傳輸，并用于便利遠(yuǎn)程互聯(lián)性和參與性。隨著網(wǎng)絡(luò)的使用，參與者和表演者在地理上能身處遠(yuǎn)地，但同時又能體驗同一虛擬現(xiàn)實環(huán)境和表演。
于是，發(fā)明人將投入式虛擬現(xiàn)實技術(shù)和電子互動加到表演者的現(xiàn)場和/或預(yù)選錄制的表演中。通過使參與者置于虛擬現(xiàn)實環(huán)境中，參與者和表演者能在感受身體彼此接近和投入式虛擬現(xiàn)實環(huán)境的同時更直接地進(jìn)行互動。
正如下面將更完整描述的，將投入式環(huán)境定義為這樣一個環(huán)境在離觀眾不超過10英尺的地方提供的對角線視域不超過25度。為了獲得投入式環(huán)境，VRPT能利用頭盔顯示(HMD)器，該顯示器能產(chǎn)生投入到3D圖形環(huán)境的感覺。另外，離非頭盔式顯示器特別近時也會產(chǎn)生類似的投入環(huán)境，例如該顯示器是位于眼睛高度上的監(jiān)視器。下面將完整地描述另外的投入裝置和方法。
結(jié)果，可將整個系統(tǒng)分成混合或結(jié)合形式的虛擬現(xiàn)實、計算機(jī)圖形、以及電信會議技術(shù)。表演者不需要處于參與者所處的當(dāng)?shù)匚恢没驁鏊Ｏ喾?，表演者可處于通信電路能允許的遠(yuǎn)處，他們自己可通過因特網(wǎng)、衛(wèi)星傳播或者其它信道將表演從不同的位置傳到多個位置。
該系統(tǒng)的一個好處是，人類參與者能與其它的參與者和表演者互動，這比以前的互動形式要自然的多。通過利用投入式裝置和互動式通信技術(shù)，參與者還能獲得更“個性和獨特”的體驗。
該系統(tǒng)的另一好處是，現(xiàn)在可利用虛擬現(xiàn)實表演劇場作為個人對個人可視投影的媒體，以及娛樂和商務(wù)應(yīng)用，例如喜劇(stand-up comedy)、戲劇放映、教育和演講以及有關(guān)向所有在投入式模擬媒介中的觀眾傳達(dá)想法和觀念的其它活動。
另外，同時包括多個表演者的能力為表演增加了新的范圍?？杉尤敫郊颖硌菡?，其僅有音頻、僅有視頻或者既有音頻又有視頻信號。盡管印象深刻的是僅讓單個表演者作獨白，但也允許他與系統(tǒng)的參與觀眾進(jìn)行互動。作為比較，電子模擬媒體中的多個表演者允許將該媒體用于在表演者與參與者之間進(jìn)行現(xiàn)場和錄制的對話，從而能演出真正的話劇。
其它目的和特征對于本領(lǐng)域的那些普通技術(shù)人員來說是顯而易見的，下面將更具體地指出這些目的和特征。


通過參照對本發(fā)明實施例所作的以下描述，并結(jié)合附圖，將使本發(fā)明上面所提的以及其它的特征和目的、實現(xiàn)它們的方式變得更加顯明，并能使發(fā)明本身得到更好理解，其中圖1是表示參與者、表演者以及投入式虛擬現(xiàn)實環(huán)境之中和之間通信的方框圖。
圖2是表示發(fā)明人的“投入”定義的計算機(jī)顯示立體圖。
圖3是依照本發(fā)明的虛擬現(xiàn)實表演劇場的立體圖。
圖4是依照本發(fā)明的演播室的立體圖。
圖5是依照本發(fā)明由參與者所看到的視頻信號取樣顯示器的正視圖。
圖6是依照本發(fā)明的本發(fā)明手持輸入裝置的鍵盤的俯視圖。
圖7是依照本發(fā)明的系統(tǒng)部件的方框圖。
圖8是依照本發(fā)明的軟件流程圖。
圖9是依照本發(fā)明的網(wǎng)絡(luò)圖。
圖10是虛擬現(xiàn)實表演劇場的選擇性實施例的俯視圖，其描繪了16座劇場。
圖11是虛擬現(xiàn)實表演現(xiàn)場的選擇性實施例的俯視圖，其描繪了8座劇場。
在這幾個視圖中相應(yīng)的參考符號表示相應(yīng)部件。盡管附圖代表本發(fā)明的實施例，但為了更好地說明和解釋本發(fā)明，附圖沒有按比例繪制，對某些特征作了夸大。
具體實施例方式
為了突出并強(qiáng)調(diào)本發(fā)明的新穎性，圖1表示參與者、表演者、和投入式虛擬現(xiàn)實環(huán)境之中和之間的三向通信。虛擬現(xiàn)實表演劇場(VRPT)提供參與者與表演者之中和之間的語音和視頻通信、參與者與表演者之間的語音和視頻通信、表演者之中和之間的語音和視頻通信、以及參與者、表演者和投入式虛擬現(xiàn)實環(huán)境之中和之間的圖形、音頻和視頻通信。每個參與者、表演者和投入式環(huán)境的音頻/語音、視頻和圖形輸入和輸出的結(jié)合產(chǎn)生協(xié)同效果，如下面要更完整描述的，這將為參與者帶來前所未有的娛樂和/或教育體驗。
貫穿以下描述應(yīng)當(dāng)理解的是，盡管虛擬現(xiàn)實表演劇場被參照為單一或多個場景，但除非另外指明，可將單個或者多個參與者和表演者用于虛擬現(xiàn)實表演劇場。
對于本發(fā)明優(yōu)選和可選擇實施例的以下描述，發(fā)明人將“投入式”顯示器定義為距離觀眾不超過10英寸遠(yuǎn)的、對角線視域超過25度的顯示器。在圖2中更清楚地示出了10英寸距離的25度對角線視域，其中，一般而言，為了讓顯示器達(dá)到“投入”程度，對角線觀看長度為14英寸的計算機(jī)終端顯示器要求觀眾距離顯示器約31.6英寸。
參照圖3，其示出了本發(fā)明的優(yōu)選實施例，一般將其表示為虛擬現(xiàn)實表演劇場10。虛擬現(xiàn)實表演劇場(VRPT)10便于多個參與者使用，其一般包括每位參與者的頭盔式顯示器(HMD)12，安裝在HMD上的麥克風(fēng)14，安裝在HMD12上的頭戴耳機(jī)15，以及手持輸入裝置16。HMD12通過一個或者兩個陰極射線管(CRT)、一個或者兩個液晶顯示器(LCD)、或者其它顯示裝置為每個參與者提供投入式環(huán)境的視覺顯示。參與者通過HMD12觀看虛擬現(xiàn)實環(huán)境，并利用手持輸入裝置16和麥克風(fēng)14向系統(tǒng)提供輸入。另外，參與者利用頭戴耳機(jī)15能聽到來自其它參與者、表演者和VRPT的語音和/或音頻通信。
也可以通過無篷座椅18提供由VRPT10到參與者的音頻輸出，每個座椅都裝配有適宜的揚(yáng)聲器系統(tǒng)或者其它適宜的聲音應(yīng)答器，因此每個座椅都被稱為“無篷座椅”。無篷座椅18還包括向參與者提供輸出的振動板或者其它聲音或運(yùn)動轉(zhuǎn)換器或裝置，用以補(bǔ)充虛擬現(xiàn)實環(huán)境中的投入體驗。
虛擬現(xiàn)實表演劇場10進(jìn)一步包括控制中心30，在此現(xiàn)場主持與參與者進(jìn)行互動，例如，在每位參與者就座于無篷座椅18之前將每位參與者的名字輸入到注冊計算機(jī)32中。每位參與者一般要在參與到虛擬現(xiàn)實表演劇場10中之前先通過控制中心30和寄存器。
在表演之前或者在表演過程中，利用攝像機(jī)20和劇場麥克風(fēng)22捕捉參與者的身體動作和音頻輸入。然后在娛樂和/或教育表演過程中分別將攝像機(jī)22和劇場麥克風(fēng)22捕捉到的視頻圖像和音頻信號傳遞給位于演播室24內(nèi)的現(xiàn)場表演者或表演者們。來自攝像機(jī)20和劇場麥克風(fēng)22的輸出也將進(jìn)一步由VRPT10來處理，這將在下面作更完整的描述。
在圖4中更清楚地示出了演播室24的內(nèi)部，其中示出了現(xiàn)場表演者通過視頻監(jiān)視器44看到參與者，并通過揚(yáng)聲器46傾聽參與者說話。分別將攝像機(jī)20和劇場麥克風(fēng)22的輸出發(fā)送給位于演播室24內(nèi)部的視頻監(jiān)視器44和揚(yáng)聲器46。特別的是將演播室24設(shè)計成能掩蔽現(xiàn)場主持人的存在，以便使參與者覺察不到他或她的實際存在。演播室24還包括用于捕捉表演者現(xiàn)場圖像的立體攝像機(jī)42和用于方便將表演者的現(xiàn)場影像與VRPT10內(nèi)的圖形數(shù)據(jù)相混的亮背景幕布48。
本發(fā)明的關(guān)鍵新特征包括來自現(xiàn)場表演者的視頻輸入與虛擬現(xiàn)實環(huán)境中的圖形數(shù)據(jù)或圖像混合，然后參與者通過HMD12觀看到該結(jié)合。如圖4所示，立體攝像機(jī)42捕捉表演者的現(xiàn)場視頻圖像，然后將相應(yīng)的視頻信號發(fā)送給對其進(jìn)行處理并將其與虛擬現(xiàn)實環(huán)境中的圖形數(shù)據(jù)混合的系統(tǒng)。
結(jié)果是如圖5所示的新型虛擬現(xiàn)實環(huán)境，將其大體表示為投入式顯示器60。參與者不僅看到虛擬現(xiàn)實環(huán)境中的圖形數(shù)據(jù)，而且也看到與該環(huán)境內(nèi)的圖形數(shù)據(jù)相疊合或混合的現(xiàn)場表演者影像。因此，隨著參與者與圖形環(huán)境62交叉互動，現(xiàn)場表演者的視頻圖像64周期性地疊合到該環(huán)境中，于是參與者和表演者能利用此處所述的通信裝置在他們之中和之間彼此實現(xiàn)互動。
正如下面要更完整描述的，可通過虛擬現(xiàn)實表演劇場10的計算機(jī)軟件、或者通過現(xiàn)場表演者來控制將現(xiàn)場表演者的視頻圖像64連同圖形環(huán)境62一起包含到虛擬現(xiàn)實環(huán)境中。投入式顯示器60進(jìn)一步包括計分板66，該計分板列出了每位參與者的名字和他們在整個表演中的各自計分，所述計分代表他們在對現(xiàn)場表演者和/或虛擬現(xiàn)實環(huán)境提出的問題作出反應(yīng)的過程中贏得的成就水平。應(yīng)當(dāng)理解的是，還可以對參與者設(shè)置其它挑戰(zhàn)，其包括技能、輸入或者運(yùn)氣。此處所述的投入式顯示器60僅表示圖形數(shù)據(jù)與現(xiàn)場視頻信號的許多可能組合，因此并不試圖限制它的內(nèi)容。
正如在圖6中更詳細(xì)表示的，在本發(fā)明的優(yōu)選實施例中使用了手持輸入裝置16，以方便用戶作出反應(yīng)。將手持輸入裝置16表示為鍵盤，其包括多個按鍵80，按鍵包括對應(yīng)于現(xiàn)場表演者和/或虛擬現(xiàn)實環(huán)境所提問題的可能答案或者輸入的標(biāo)簽。例如，系統(tǒng)可向參與者提出有4個可能答案、即A到D的多選題。參與者簡單地按動與準(zhǔn)確答案相對應(yīng)的按鍵，系統(tǒng)將參與者的輸入結(jié)果作成表格。再舉一個例子，可根據(jù)投入式環(huán)境的內(nèi)容向參與者提出簡單的“是”或“非”問題，然后參與者按動手持輸入裝置16上的對應(yīng)“是”或“非”按鍵。再舉另一個例子，參與者按動按鍵表示更復(fù)雜的動態(tài)含義或概念，例如按動寫著“TRUST”的按鍵表示他們“信任”表演者，并同意采取表演者提出的行動計劃。再舉一個例子，參與者僅可能快地按動一個或多個按鍵，以完成某些客觀挑戰(zhàn)或者戰(zhàn)勝某些挑戰(zhàn)，以此作為反應(yīng)或記憶測試。前面僅是參與者輸入裝置如何用于與表演者和虛擬現(xiàn)實環(huán)境實現(xiàn)互動的例子，其并不試圖限制可與虛擬現(xiàn)實表演劇場實現(xiàn)互動的類型。
在圖7所示的系統(tǒng)圖中詳細(xì)描述了所有系統(tǒng)輸入和輸出的處理與通信。對本發(fā)明優(yōu)選實施例的計算機(jī)化的系統(tǒng)作了舉例說明，大體將其表示為虛擬現(xiàn)實表演劇場系統(tǒng)100?？刂朴嬎銠C(jī)102借助網(wǎng)絡(luò)104與音頻處理器106、視頻處理器108、視頻轉(zhuǎn)換開關(guān)112、外部觀眾視頻114、外部觀眾音頻115、現(xiàn)場表演者視頻監(jiān)視器116、以及VR顯示器118。外部觀眾視頻114、現(xiàn)場表演者視頻監(jiān)視器116、和VR顯示器每個都放映軟件控制的虛擬環(huán)境的遠(yuǎn)景視點視覺顯示和虛擬現(xiàn)實表演劇場系統(tǒng)100的表演。VR顯示器118還包括能向參與者發(fā)送音頻數(shù)據(jù)的頭戴耳機(jī)121?？刂朴嬎銠C(jī)102、音頻處理器106、視頻處理器108、音頻轉(zhuǎn)換開關(guān)110、以及視頻轉(zhuǎn)換開關(guān)112除了處理來自參與者、表演者和虛擬現(xiàn)實表演劇場系統(tǒng)100的輸入外，還處理軟件內(nèi)的各種預(yù)編程數(shù)據(jù)。
虛擬現(xiàn)實表演劇場系統(tǒng)100的輸入包括參與者麥克風(fēng)119、參與者輸入裝置120(例如前面討論過的并在圖3中舉例說明的手持輸入裝置16)、現(xiàn)場表演者攝像機(jī)122、現(xiàn)場表演者麥克風(fēng)124、現(xiàn)場表演者鍵盤126、輔助攝像機(jī)128、輔助視頻、圖形和音頻信號源130 。虛擬現(xiàn)實表演劇場系統(tǒng)100的附加系統(tǒng)部件包括椅子132、電網(wǎng)134、操縱裝置136。椅子132表示上面結(jié)合圖3提前描述的多個無篷座椅18。
電網(wǎng)134為虛擬現(xiàn)實表演劇場系統(tǒng)100中每個需要電力的裝置提供所需量的電能。操縱裝置136是由“工程師”或者“系統(tǒng)操作員”監(jiān)控和調(diào)節(jié)的電子部件，這些人員與表演者或者主持人(將參與者的信息錄入注冊計算機(jī)、收錢、安排參與者就座、作介紹等工作的人)是分開的。操縱裝置134控制音量級、特效、或者其它表演要素。
音頻處理器106和音頻轉(zhuǎn)換開關(guān)110與網(wǎng)絡(luò)104、現(xiàn)場表演者麥克風(fēng)124、和參與者麥克風(fēng)119的每個都相連。音頻處理器106和音頻轉(zhuǎn)換開關(guān)110由控制計算機(jī)102控制，為此它們?yōu)檎麄€系統(tǒng)分配音頻信號。
有設(shè)置到HMD中的小麥克風(fēng)的麥克風(fēng)119能保證語音通信能力。利用音頻混合部件將麥克風(fēng)語音信號混合一起，這將在下面更完整地描述。然后將該語音信號與其它的表演者語音、音樂、特殊音響效果、以及其它現(xiàn)場和由軟件產(chǎn)生的預(yù)先錄制的音頻信號作進(jìn)一步混合。
系統(tǒng)利用安裝在HMD內(nèi)部的小型緊縮型(condensor)麥克風(fēng)，所有參與者都有能傳感他們的聲音的單獨麥克風(fēng)。例如，在VRPT系統(tǒng)的Internet實施例中可以使用高速因特網(wǎng)音頻傳輸，其利用軟件程序在主持所在地將聲音混合在一起，這些將在下文中作更完整描述。
在本發(fā)明的可選擇實施例中，為了增強(qiáng)團(tuán)隊活動或者濾除那些選擇使用不受歡迎的語言或者干擾現(xiàn)場表演的參與者，設(shè)置了將某些參與者的麥克風(fēng)切換成開和關(guān)或者自動控制音量的功能?？赏ㄟ^計算機(jī)控制開關(guān)或者手動開關(guān)來實現(xiàn)麥克風(fēng)的開關(guān)轉(zhuǎn)換。
可利用與HMD不連接的其它音頻傳輸裝置代替或者增強(qiáng)頭戴耳機(jī)121。附加的音頻裝置包括臺式揚(yáng)聲器、壁掛揚(yáng)聲器、或者其它類型的音頻發(fā)生裝置。
在VRPT中采用了音頻處理器108和音頻轉(zhuǎn)換開關(guān)112，用以向參與者傳輸各種各樣的圖形。利用多功能混頻器提供諸如各種信號源色鍵(chromakeying)之類的繪畫效果。例如，現(xiàn)場表演者或表演者們位于亮蘭屏幕前方，對來自任何其它信號源的圖形進(jìn)行色鍵調(diào)節(jié)，所述信號源包括主計算機(jī)或副計算機(jī)、或者其它表演者或者其它攝像機(jī)輸入信號源。在本發(fā)明的系統(tǒng)中，一組參與者與虛擬現(xiàn)實環(huán)境內(nèi)的表演者互動，他們享受到投入到這樣產(chǎn)生的環(huán)境中的感覺。
參與者輸入裝置120包括前面所述的手持輸入裝置。參與者響應(yīng)具體的游戲動態(tài)按動鍵盤上的按鍵，以便回答問題、投票、解決問題、或者對前面所述的反射挑戰(zhàn)作出反應(yīng)。
本發(fā)明的選擇性實施例包括其它的能與虛擬現(xiàn)實環(huán)境通信的選手輸入裝置120。選手輸入裝置120的可選擇實施例包括其它類型的選手輸入裝置，例如鍵盤、操縱桿、方向盤、計算機(jī)手套、飛行(flying)鼠標(biāo)、桌面鼠標(biāo)、軌跡球或墊，它們通過各種硬件和軟件裝置與計算機(jī)通信。
在本發(fā)明的優(yōu)選實施例中，網(wǎng)絡(luò)104利用具有TCP/IP通信協(xié)議的視窗操作系統(tǒng)，通過帶有多端口集線器和3Com 905BTX網(wǎng)卡的100base-T網(wǎng)絡(luò)工作?？蛇x擇的實施例可以利用有源/無源的、或者交換/非交換的集線器以及其它網(wǎng)卡(Linksys或者其它)、其它通信協(xié)議(例如NetBEUI或者IPX)、以及其它操作系統(tǒng)(例如視窗95、98、2000、NT、OS/2、或者M(jìn)acintonsh)。在優(yōu)選實施例中，使用微軟的網(wǎng)絡(luò)軟件，該軟件是以客戶對客戶或者客戶對服務(wù)器為基礎(chǔ)的?？蛇x擇的實施例包FTP、Banyan、Sunsoft、或者Novell網(wǎng)絡(luò)軟件。
遠(yuǎn)程系統(tǒng)的優(yōu)選實施例將4臺網(wǎng)絡(luò)機(jī)用于控制計算機(jī)102。這4臺機(jī)器包括主服務(wù)器，扮演音響、電視和其它功能的輔助計算機(jī)和第三計算機(jī)，以及注冊計算機(jī)，(如上面圖3中的32所示)，該注冊計算機(jī)用于輸入姓名和其它信息?？刂朴嬎銠C(jī)1 02利用TCP/IP協(xié)議和文件以及驅(qū)動器共享進(jìn)行通信。本發(fā)明的可選擇實施例利用少量或者較大數(shù)量的網(wǎng)絡(luò)化計算機(jī)向每位參與者提供個性而又獨特的圖形，這些網(wǎng)絡(luò)化計算機(jī)包括供每位參與者專用的一臺計算機(jī)。
例如，VR顯示器118所采用的裝置包括由i-O DisplaySystems制造的所謂“i-glasses”型LC，它使用可傳輸立體圖像的兩個LCD裝置，LCD裝置的視域接近30度，分辨率為320×240象素?？梢允褂闷渌愋偷腍MD實現(xiàn)本發(fā)明可選擇實施例的投入效果，例如采用了LCD顯示器、CRT顯示器、投影顯示器及其技術(shù)的HMD。在此不必將立體圖形定義為傳送到每只眼睛的獨特透視圖形。在將同樣的圖形傳送給一雙眼睛時，單象圖形差不多能達(dá)到本發(fā)明目的的相同效果。
在選擇性實施例中可以使用除HMD之外的另外VR顯示器118，例如CRT或者LCD監(jiān)視器。監(jiān)視器位于參與者前方，使視域至少為25度，或者大屏幕投影儀位于參與者的10英寸范圍內(nèi)，視域至少為25度。對于上面提前闡述并參照圖2描述的“投入?yún)?shù)”而言，一般，從31.6英寸的典型距離觀察其視域?qū)蔷€大約為14英寸的臺式計算機(jī)監(jiān)視器具有投入式裝置的資格。
本發(fā)明優(yōu)選實施例的手持輸入裝置是17或18鍵的數(shù)字鍵盤，例如Genovation Systems制造的623或633型。但是，也有大量來自其它制造商的其它數(shù)字鍵盤，它們也可以用于本發(fā)明的VRPT中。鍵盤、或者其它的參與者輸入裝置通過串行RS-232通信協(xié)議與控制計算機(jī)102通信，它們與ISA或者PCI系統(tǒng)總線上安裝的多端口RS-232裝置相連。多端口裝置由WilliesComputer Software制造，它們管理著視窗環(huán)境中的COM端口。自定義裝置驅(qū)動器軟件讀取端口，并將參與者信息傳送給游戲軟件。
本發(fā)明的可選擇實施例可包括其它的選手輸入裝置120，它們與串行鍵盤或者輸入裝置通信，或者完全按照諸如USB、并行、無線或者單線之類的其它協(xié)議工作。
麥克風(fēng)119接收電力，并將信號發(fā)送給由以下部件構(gòu)成的放大器/混頻器例如Biamp Systems型Advantage One、AdvantageEX、801、601e、以及301e?？蛇x擇的實施例可利用其它品牌的放大器/混頻器設(shè)備，或者利用臺式麥克風(fēng)或者其它單機(jī)麥克風(fēng)。信號與各種硬件或者軟件解決方案或者這兩者的組合混合在一起。
本發(fā)明的優(yōu)選實施例采用Panasonic MX-50視頻混頻器。該系統(tǒng)還用到混頻器的其它色鍵和轉(zhuǎn)換功能，它們由主計算機(jī)或者副計算機(jī)借助RS-232通信來控制。VRPT利用Burst視頻轉(zhuǎn)換開關(guān)將各種信號導(dǎo)入Panansonic混頻器。本發(fā)明的選擇性實施例可以利用既可通過硬件又可通過軟件來實施的不同混頻或轉(zhuǎn)換技術(shù)。
舉例說明虛擬現(xiàn)實表演劇場系統(tǒng)100的軟件，通常將其表示為圖8所示的軟件流程圖200。VRPT軟件系統(tǒng)是低級和高級軟件編程碼以及多媒體腳本的組合。利用Macromedia Authorware并將整個Authorware命令陣列與功能圖標(biāo)結(jié)合來產(chǎn)生最高級顯示命令。在最高級處，存在于控制計算機(jī)上的顯示編程(正如前面結(jié)合圖7所描述的)從參與者名字由注冊計算機(jī)登錄開始，軟件讀取這些名字，并將它們合并為顯示過程中要使用的變量。在表演者鼓勵參與者說話和公開他們自己的信息以及讓各參與者習(xí)慣于設(shè)備和麥克風(fēng)功率的過程中，軟件處于等候狀態(tài)。如果表演利用團(tuán)隊的形式，則參與者就開始建立團(tuán)隊身份。
在表演者(們)的指示下，節(jié)目在一系列動畫剪輯(將表演者(們)都表示為重疊而不顯示)、分支(branches)、挑戰(zhàn)、即興片段、按腳本進(jìn)行的片段、計分回顧、決策點、選手或團(tuán)隊活動等等之中進(jìn)行。軟件一接到表演者(們)的指示就演播圖像、聲音，顯示圖形，讀取選手輸入裝置，執(zhí)行計算，控制硬件裝置，與網(wǎng)絡(luò)中的其它計算機(jī)通信，并執(zhí)行其它功能。Authorware多媒體應(yīng)用同時在其它網(wǎng)絡(luò)計算機(jī)(包括Intensor Chare Computer的多個輔助計算機(jī)的任意一個)上運(yùn)行，以提供其它功能，并使最終顯示(傳送給每位參與者的)更平穩(wěn)、無縫隙地進(jìn)行。
具體的函數(shù)式程序與Authorware應(yīng)用系統(tǒng)結(jié)合運(yùn)行，它是用C++語言編寫的。函數(shù)式程序與主Authorware程序軟件通信，并執(zhí)行以下功能控制鍵盤，并將參與者的按鍵傳送給軟件，控制向參與者的Rumble座椅傳送的聲音和信號，傳送命令，以及監(jiān)控諸如音頻/視頻混頻器和視頻轉(zhuǎn)換開關(guān)之類的硬件部件的狀態(tài)，它還執(zhí)行其它功能?？刂朴嬎銠C(jī)和所有其它計算機(jī)借助于TCP/IP網(wǎng)絡(luò)協(xié)議并通過共享硬盤驅(qū)動器和文本文件以及其它類型文件來通信。
除了Authorware之外，還可以利用許多其它類型的多媒體編輯包容易地創(chuàng)建依照本發(fā)明的軟件系統(tǒng)，這些編輯包是普遍使用的，或者將來可從PC、Macintosh或者其它類型計算機(jī)系統(tǒng)的出版商那里得到，或者它們可以用諸如C++或者Java之類的低級編程語言編寫。除了C++之外，可以使用許多不同類型的編程語言編寫基礎(chǔ)控制程序和裝置驅(qū)動器，它們產(chǎn)生相當(dāng)?shù)男阅芎凸δ堋？衫媚壳耙延谢蛘邔頃械脑S多其它協(xié)議或者裝置實現(xiàn)網(wǎng)絡(luò)通信功能。
在圖9中更完整地示出了圖7所示的網(wǎng)絡(luò)104，一般將其表示為網(wǎng)絡(luò)執(zhí)行圖300。網(wǎng)絡(luò)一般包括本地終端節(jié)點站點310，廣播臺320，因特網(wǎng)330，專用寬帶網(wǎng)絡(luò)340，路由器360，以及遠(yuǎn)程終端節(jié)點站點380。利用該網(wǎng)絡(luò)，虛擬現(xiàn)實表演劇場(VRPT)能夠與一個或多個在地理意義上為遠(yuǎn)程的位置相連，并能與其通信，從而實現(xiàn)傳送有關(guān)投入式體驗的數(shù)據(jù)的目的。
VRPT網(wǎng)絡(luò)由兩個主要部件組成即主持投入式體驗的廣播臺320，和使參與者感知到廣播臺320和現(xiàn)場表演者并與它們互動的多個遠(yuǎn)程終端節(jié)點站點380。廣播臺320和遠(yuǎn)程終端節(jié)點站點380與另外的網(wǎng)絡(luò)部件相連，這些網(wǎng)絡(luò)部件包括因特網(wǎng)330、專用寬帶網(wǎng)絡(luò)340和路由器360。
廣播臺320包括必要的硬件和軟件，用以傳送產(chǎn)生VRPT體驗的計算機(jī)圖形、音頻信息、觸覺反饋(觸覺)、以及現(xiàn)場表演者的聲音和影像內(nèi)容。每個廣播臺還能接收參與者或者多個參與者提供的輸入，其包括但不限于來自輸入裝置的數(shù)據(jù)、來自麥克風(fēng)的聲音、以及視頻傳輸。
多個站點具有結(jié)合形成單個廣播臺的能力。例如，能在不同位置建立多個服務(wù)器系統(tǒng)，用以作為余度或者產(chǎn)生更復(fù)雜的體驗，于是在整個網(wǎng)絡(luò)中能夠允許更大量的參與者和/或更多處理。
雖然每個廣播臺擁有在局域網(wǎng)上支持現(xiàn)場表演的能力，但還可以讓一個或多個表演者位于與參與者在地理意義上存在距離的一個或幾個遠(yuǎn)程廣播站點320。如具有廣播臺320B的情況所示，廣播站點2A處的表演者將是由廣播臺320A或者廣播站點2B或由兩者一起主持的體驗的整體部分。
遠(yuǎn)程終端節(jié)點站點380包括能使參與者感受廣播臺320主持的投入式體驗并與其互動的設(shè)備和網(wǎng)絡(luò)上行鏈路。由于聯(lián)網(wǎng)技術(shù)的靈活性，網(wǎng)絡(luò)拓?fù)鋵W(xué)在不同應(yīng)用之間變化很大。拓?fù)鋵W(xué)的范圍從直接與主持服務(wù)器(例C)相連的VR站點到遠(yuǎn)程信息站(例E和G)，或者到家用計算機(jī)或者諸如游戲系統(tǒng)之類的能進(jìn)行互動反饋的電視機(jī)“機(jī)頂”盒(例D)。任何一個例子都要至少包括反饋系統(tǒng)，其能對來自輸入裝置和/或語音通信的數(shù)據(jù)進(jìn)行延遲，每個例子還要包括但不限于諸如頭盔式顯示器、力反饋輸出、和/或上面結(jié)合圖3提前描述的無篷座椅之類的設(shè)備。
實施三種主要種類的網(wǎng)絡(luò)連接，以提供能實時向遠(yuǎn)程終端節(jié)點站點380發(fā)送現(xiàn)場音頻和視頻信息的最小表演電平(level)和數(shù)據(jù)輸入與聲音響應(yīng)的反饋。這三種連接包括1)局域網(wǎng)(LAN)LAN提供了一種經(jīng)濟(jì)的方法，其中利用諸如Ethernet之類的網(wǎng)絡(luò)技術(shù)將遠(yuǎn)程終端節(jié)點站點380與廣播臺320相連。
2)專用網(wǎng)絡(luò)(PN)還可以使用由一個或多個通信公司的專用電路組成的PN。PN鏈接還利用telco電路作為通信的物理媒體，其包括但不限于xDSL、T1、DS3、或者OC3標(biāo)準(zhǔn)(level)的鏈接。另外，利用這些電路類型的數(shù)據(jù)能通過諸如SONET、衛(wèi)星、微波以及其它的傳統(tǒng)通信基本設(shè)施系統(tǒng)傳播。
3)公眾網(wǎng)絡(luò)(因特網(wǎng))因特網(wǎng)作為最具成本效益的連接，特別是在參與者位于遠(yuǎn)程終端節(jié)點的情況下更是如此。另外，還可以利用通過因特網(wǎng)傳輸?shù)臄?shù)據(jù)代替上面討論的PN。一般接入因特網(wǎng)的鏈接設(shè)備包括模擬調(diào)制解調(diào)器、電纜調(diào)制解調(diào)器、T1、ISDN、以及xDSL連接部件。
于是網(wǎng)絡(luò)中的多個計算機(jī)和處理部件能將通過互動和腳本宣讀以及自發(fā)使用攝像機(jī)確定的數(shù)據(jù)作為圖像投影到多個觀眾所穿戴的顯示裝置上，即使當(dāng)表演者位于遠(yuǎn)離觀眾的某一場所或者某些場所時，也可以通過監(jiān)視器為表演者放映上述數(shù)據(jù)，從而產(chǎn)生并提供軟件控制的投入式虛擬現(xiàn)實表演。類似地，也可利用表演者的座位和他們的頭戴耳機(jī)為他們提供音頻信號。通過圖像、聲音的相互通信、聲音放映、提供振動以及手持輸入裝置，每位觀眾能夠在有限程度上觀看現(xiàn)場和/或預(yù)選錄制的表演者和虛擬現(xiàn)實環(huán)境，并與其互動。
如圖10所示，將VRPT的可選擇實施例表示為16座劇場，或者將其表示為如圖11所示的8座劇場。VRPT還能根據(jù)觀眾的具體需要以及表演的娛樂和/或教育特征進(jìn)行定制。座位數(shù)量的范圍根據(jù)應(yīng)用可從僅有一個到一打，或者甚至到幾百個座位?？砂凑漳K化方式設(shè)計VRPT系統(tǒng)，以便使其容納定制數(shù)量的參與者和有關(guān)的輸入輸出裝置。如圖10和11所示，VRPT一般包括參與者座位、演播室、控制臺、以及計算機(jī)/電子系統(tǒng)，所有這些部件都已經(jīng)在上面作了完整描述。
依照上面所述的并在圖7中較詳細(xì)地表示的系統(tǒng)特征，系統(tǒng)提供了按照以下方式讓表演者投入虛擬現(xiàn)實環(huán)境的方法所傳輸?shù)膴蕵烦绦蛟O(shè)計是自發(fā)的，其適合表演者與參與者的現(xiàn)時行為。
由前面的描述可以看到，該系統(tǒng)提供了新穎的投入式虛擬現(xiàn)實(VR)技術(shù)集成，其能向一群參與者傳送互動的娛樂和/或教育體驗。舉例來說，系統(tǒng)能以游戲或者應(yīng)用型娛樂的方式提供范圍從幾分鐘到許多分鐘的演出長度，它依賴于參與者的數(shù)量，該數(shù)量可以是一個選手或兩個選手到許多選手，例如幾百個或者可以想像的數(shù)量的選手。
要理解的是在此描述的系統(tǒng)部件特征允許現(xiàn)場表演利用諸如攝像機(jī)/電子/機(jī)械/磁裝置之類的接口技術(shù)捕捉表演者的特征、聲音和動作，于是能實現(xiàn)發(fā)生表演的虛擬現(xiàn)實環(huán)境。在本發(fā)明的系統(tǒng)中，一群參與者能與虛擬現(xiàn)實環(huán)境中的表演者互動，并能享受到“沉浸”在這樣產(chǎn)生的環(huán)境中的感覺。
系統(tǒng)將現(xiàn)場和/或預(yù)先錄制的表演者和/或參與者表示為虛擬現(xiàn)實環(huán)境內(nèi)的化身，即具有人性或者其它屬性的活生生人物。另外表演者和參與者還與圖形和投入式環(huán)境結(jié)合，從而有助于產(chǎn)生互動和更有趣的虛擬現(xiàn)實體驗。即使表演者位于遠(yuǎn)離參與者的位置，只要所用的通信裝置允許，表演者和參與者也能體驗到這些。因此，該系統(tǒng)能作出可能的表演者化身、參與者化身、以及其它幻想人物的其它虛擬現(xiàn)實對象，它們具有逼真的既定程序動作以及特殊視覺效果。
在該系統(tǒng)的參與者中，選手通過聲音、電子語音相互通信、語音識別、手持裝置、力反饋裝置、運(yùn)動裝置、身體動作、鍵盤輸入、皮膚阻力、操縱桿控制器、以及方向盤中的一種或者多種方式實現(xiàn)互動。
系統(tǒng)提供了采集參與者投票、查詢、詢問等反饋的能力，系統(tǒng)還能監(jiān)控參與者對他們感興趣的觀察目標(biāo)的當(dāng)前和事后分析觀點。人工智能能監(jiān)視并響應(yīng)參與者的反饋，也可以將它添加到系統(tǒng)中。
由于顯示器能通過軟件來增強(qiáng)，因此該系統(tǒng)能為觀眾提供較大的視頻顯示。因為系統(tǒng)結(jié)構(gòu)是模塊化的，因此可利用它向觀眾傳輸任何尺寸的表演，這些觀眾包括分布在許多站點的觀眾?？衫谜Z音處理增強(qiáng)表演者的虛擬人替身。
操作中，系統(tǒng)硬件、軟件以及總成以技術(shù)創(chuàng)新方式提供了以下功能
1.在虛擬現(xiàn)實環(huán)境中有多個表演者和參與者。
2.可同時向多臺計算機(jī)傳播表演者的語音和圖像信息。
3.通過視頻混合和色鍵技術(shù)實現(xiàn)了表演者與計算機(jī)圖形的有效互動和一體化。
4.后臺操作者和演出表演者可將傳播命令與系統(tǒng)網(wǎng)絡(luò)對接。
5.表演者可遵照腳本宣讀、即席創(chuàng)作、即興表演或者自發(fā)方式一起互動和/或與參與者互動。
6.為演出沿著既定腳本進(jìn)行實現(xiàn)了獨特的技術(shù)增強(qiáng)方法，其允許因參與者和表演者的行為而導(dǎo)致自發(fā)地偏離腳本。
7.系統(tǒng)具有將來自許多不同的現(xiàn)場攝像機(jī)、視頻信號源的信號和多種來自麥克風(fēng)和/或現(xiàn)場或預(yù)先錄制的廣播或其它類型信號混合成娛樂和多媒體格式的能力，其中所述視頻信號源例如VCR、光盤播放器、計算機(jī)、衛(wèi)星饋送、因特網(wǎng)饋送等等。
8.新穎的通信結(jié)構(gòu)可供數(shù)量幾乎不限比例擴(kuò)大的參與者、觀眾與表演者、以及分布在多個彼此遠(yuǎn)離的站點中的各類參與者使用。
9.實現(xiàn)了立體可視圖形。
10.在該系統(tǒng)中使用了獨特而又新穎的方法，其通過預(yù)編程運(yùn)動途徑、網(wǎng)格變換、以及計算機(jī)動畫傳輸可視的特定效果，并將它們實時傳送給參與者。
11.使計算機(jī)控制的麥克風(fēng)轉(zhuǎn)換開關(guān)成為可能。
12.將人工智能用于向觀眾的虛擬攝像機(jī)顯示。
在試圖將新系統(tǒng)用于互動的許多方式中僅有一些舉例說明包括但不限于以下內(nèi)容1.將人們吸引到試映小室的特殊方法。
2.將觀眾吸引到特定的銷售活動中進(jìn)行款待和/或宣傳。
3.多站點聯(lián)合宣傳游歷的獨特媒體。
4.是與一個群體交流想法和觀念的增強(qiáng)且更有效的裝置。
5.在公共娛樂場所讓觀眾獲得娛樂的獨特方法。
6.通過各種反饋機(jī)構(gòu)向一群人演示新想法或者產(chǎn)品和/或監(jiān)視他們的反應(yīng)的有效裝置。
7.借助技術(shù)手段將備用或者即興喜劇帶給觀眾的可選擇方法。
8.向觀眾傳遞表演藝術(shù)的可選擇方法。
9.向觀眾有效地傳遞歷史信息的獨特方法。
10.傳送教育和培訓(xùn)材料的新方法，其增強(qiáng)了記憶恢復(fù)并提高了學(xué)習(xí)效率。
11.將觀眾吸引到特定場合和假日并使他們娛樂的獨特方法。
12.有效替代或增強(qiáng)影劇院的娛樂或者預(yù)演宣傳。
13.利用投入式虛擬現(xiàn)實模擬媒體演出對話和戲劇。
14.使諸如排五點或者紙牌戲之類的機(jī)會游戲變?nèi)菀椎莫毺胤绞健?br> 鑒于本發(fā)明的前述描述和實用實施例，可以看到實現(xiàn)了本發(fā)明的的若干目的，并獲得了其它優(yōu)點。為了最好地解釋本發(fā)明的原理和它的實際應(yīng)用，選擇并描述了上述實施例和例子，以便使本領(lǐng)域的其它普通技術(shù)人員能最好地利用各實施例中描述的本發(fā)明，其具有適合特定預(yù)期用途的各種改進(jìn)。
由于可在不脫離本發(fā)明的范圍情況下對此處描述和舉例說明的結(jié)構(gòu)和方法作出各種改進(jìn)，因此試圖認(rèn)為前述描述中包含的或者在附圖中表示的所有內(nèi)容都應(yīng)解釋為說明性而非限制性的。
本發(fā)明的外延和范圍不應(yīng)當(dāng)受上述任何示范性實施例限制，而是其僅應(yīng)當(dāng)根據(jù)該申請的權(quán)利要求及其等效范圍來限定。
權(quán)利要求書(按照條約第19條的修改)(國際局于2001年11月6日(06.11.01)收到；對原權(quán)利要求1和6、7作了修改，其余權(quán)利要求不變(3頁))1.一種與參與者和表演者互動的系統(tǒng)，所述系統(tǒng)包括投入式虛擬現(xiàn)實環(huán)境；至少一個表演者輸入裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；至少一個參與者輸入裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；至少一個表演者輸出裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；至少一個參與者輸出裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；其中至少一個現(xiàn)場表演者與至少一個參與者和所述投入式虛擬現(xiàn)實環(huán)境互動；其中所述虛擬現(xiàn)實環(huán)境包括表演者的現(xiàn)場視頻圖像；其中至少一個參與者與現(xiàn)場表演者和所述投入式虛擬現(xiàn)實環(huán)境互動，由此產(chǎn)生由參與者和所述參與者輸入裝置部分控制的體驗。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述投入式虛擬現(xiàn)實環(huán)境進(jìn)一步包括至少一個處理裝置；系統(tǒng)數(shù)據(jù)；輸出數(shù)據(jù)；以及網(wǎng)絡(luò)，所述網(wǎng)絡(luò)與所述處理裝置連接，所述表演者輸入和
6.一種與參與者和表演者互動的系統(tǒng)，所述系統(tǒng)包括投入式虛擬現(xiàn)實環(huán)境，所述投入式虛擬現(xiàn)實環(huán)境進(jìn)一步包括至少一個處理裝置；系統(tǒng)數(shù)據(jù)；輸出數(shù)據(jù)；以及網(wǎng)絡(luò)；至少一個表演者輸入裝置，其與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；至少一個參與者輸入裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；至少一個表演者輸出裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；至少一個參與者輸出裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；其中至少一個現(xiàn)場表演者與至少一個參與者以及所述投入式虛擬現(xiàn)實環(huán)境互動，而所述虛擬現(xiàn)實環(huán)境包括表演者的現(xiàn)場視頻圖像；其中至少一個參與者與現(xiàn)場表演者和所述投入式虛擬現(xiàn)實環(huán)境互動，由此產(chǎn)生由參與者和所述參與者輸入裝置部分控制的體驗；所述網(wǎng)絡(luò)與所述處理裝置連接，所述表演者輸入和輸出裝置以及所述參與者輸入和輸出裝置處于電子通信狀態(tài)，借此向表演者和參與者發(fā)送所述系統(tǒng)數(shù)據(jù)和所述輸出數(shù)據(jù)，以及所述網(wǎng)絡(luò)通過因特網(wǎng)與所述投入式虛擬現(xiàn)實環(huán)境以及所述參與者的輸入和輸出裝置相連。
7.一種為參與者與表演者之間提供互動通信的方法，其包括以下步驟(a)提供投入式虛擬現(xiàn)實環(huán)境；(b)提供至少一個與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)的表演者輸入裝置；(c)提供至少一個與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)的參與者輸入裝置；(d)提供至少一個與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)的表演者輸出裝置；(e)提供至少一個與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)的參與者輸出裝置；(f)通過使所述虛擬現(xiàn)實環(huán)境包括表演者的現(xiàn)場視頻圖像，從而讓至少一個表演者與至少一個參與者以及所述投入式虛擬現(xiàn)實環(huán)境互動；(g)使至少一個參與者與至少一個現(xiàn)場表演者以及所述投入式虛擬現(xiàn)實環(huán)境互動，借此產(chǎn)生由參與者和所述參與者輸入裝置部分控制的體驗。
聲明權(quán)利要求7現(xiàn)在包括從句(f)“通過讓所述虛擬現(xiàn)實環(huán)境包括表演者的現(xiàn)場視頻圖像”。
所修改的或者新提出的權(quán)利要求沒有超出所提交的國家申請的公開范圍。未提出新內(nèi)容。
附隨于19條修改的申請人聲明US 605 6640 A(shaiij)公開了計算機(jī)化的博弈系統(tǒng)，它沒有新修改的權(quán)利要求所需的現(xiàn)場主持表演者。
US 6227974 BI(Eilat等人)公開了沒有現(xiàn)場主持表演者的交互式游戲系統(tǒng)。表演者利用化身參與游戲，或者彼此對抗，由于在它的現(xiàn)場主持和參與者之間沒有互動，因此它不同于新修改的權(quán)利要求。
US 5916024 A(Von Kohorm)提出了在內(nèi)容上與新修改的權(quán)利要求不同的票證贖回(coupon redemption)和計分系統(tǒng)，其在內(nèi)容、功能和效果方面不同于新修改的權(quán)利要求，在參與者之間沒有互動，在現(xiàn)場主持與參與者之間沒有互動。
US 6130898 A(Kostreski等人)描述了利用無線分組網(wǎng)的數(shù)字視頻程序同播(simulcasting)，其沒有現(xiàn)場主持表演者，由于該參考文獻(xiàn)未公開在參與者之間、或者現(xiàn)場主持與參與者之間的互動，因此它與新修改的權(quán)利要求不同。
US 5795228 A(Trumbull等人)展示了一種以計算機(jī)為基礎(chǔ)的互動式娛樂系統(tǒng)，其包括操作者。由于它在參與者之間或者在現(xiàn)場主持與參與者之間沒有互動，因此它在內(nèi)容、功能和效果上也與新修改的權(quán)利要求不同。
US 5679075 A(Forrest等人)展示了一種互動式多媒體游戲系統(tǒng)，比賽者團(tuán)隊在游戲中要解決難題。其未提出現(xiàn)場主持表演者。由于既沒有在參與者之間存在互動，也沒有在現(xiàn)場主持與參與者之間存在互動，因此它與新修改的權(quán)利要求不同。
US 5850352 A(Moezzi等人)披露了具有現(xiàn)場主持表演者的視頻系統(tǒng)；其具有利用對多視頻場景的超級鑲嵌(hypermosaicing)獲得的對現(xiàn)實世界場景的合成、虛擬、影像表示的非實時創(chuàng)造。由于既沒有在參與者之間實現(xiàn)互動，也沒有在現(xiàn)場主持與參與者之間實現(xiàn)互動，因此它與新修改的權(quán)利要求不同。
US 6183364 B1(Trovato)提出了一種利用電子地圖數(shù)據(jù)和環(huán)境發(fā)展器的電子游戲。用戶用化身表示。其未公開象新修改權(quán)利要求中那樣的在現(xiàn)場主持與參與者之間實現(xiàn)互動。
US 6155927 A(Levasseur等人)提出了一種沒有現(xiàn)場主持表演者的電子競賽系統(tǒng)，其用于在實際或者模擬比賽線路上移動的機(jī)車駕駛員之間的比賽系統(tǒng)。其未公開象新修改權(quán)利要求中那樣的在現(xiàn)場主持與參與者之間實現(xiàn)互動。
US 6154723 A(Cox等人)公開了一種帶有現(xiàn)場主持的三維驅(qū)動虛擬導(dǎo)向器系統(tǒng)，其也沒有公開象新修改權(quán)利要求中那樣的在參與者之間或者在現(xiàn)場主持與參與者之間存在互動。
US 5923337 A(Yamamoto)提出了通過化身人物畫像的動畫序列進(jìn)行通信的系統(tǒng)，它通過視頻圖像展現(xiàn)給大批觀眾成員。成員不能通過象新修改權(quán)利要求中那樣的系統(tǒng)進(jìn)行彼此互動。
US 6157100 A(Smith)描述了一種多個表演者的虛擬現(xiàn)實游戲，但它沒有現(xiàn)場主持表演者。它不象的新修改權(quán)利要求中那樣在表演者與現(xiàn)場主持之間存在互動。
申請人的每個新修改權(quán)利要求都包含了這12篇參考文獻(xiàn)中沒有公開或者建議的特征。沒有一篇文獻(xiàn)披露了包括主持表演者的現(xiàn)場視頻圖像的虛擬現(xiàn)實環(huán)境。
權(quán)利要求
1.一種與參與者和表演者互動的系統(tǒng)，所述系統(tǒng)包括投入式虛擬現(xiàn)實環(huán)境；至少一個表演者輸入裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；至少一個參與者輸入裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；至少一個表演者輸出裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；至少一個參與者輸出裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；其中至少一個現(xiàn)場表演者與至少一個參與者和所述投入式虛擬現(xiàn)實環(huán)境互動；其中至少一個參與者與現(xiàn)場表演者和所述投入式虛擬現(xiàn)實環(huán)境互動，由此產(chǎn)生由參與者和所述參與者輸入裝置部分地控制的體驗。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述投入式虛擬現(xiàn)實環(huán)境進(jìn)一步包括至少一個處理裝置；系統(tǒng)數(shù)據(jù)；輸出數(shù)據(jù)；以及網(wǎng)絡(luò)，所述網(wǎng)絡(luò)與所述處理裝置連接，所述表演者輸入和輸出裝置以及所述參與者輸入和輸出裝置處于電子通信狀態(tài)，借此可向表演者和參與者發(fā)送所述系統(tǒng)數(shù)據(jù)和所述輸出數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述參與者輸出裝置進(jìn)一步包括至少一個座位，其向參與者提供聲音或者運(yùn)動，或者既提供聲音又提供運(yùn)動；至少一個虛擬現(xiàn)實顯示器；以及至少一個參與者音頻設(shè)備；所述參與者輸入裝置進(jìn)一步包括至少一個手持鍵盤；以及至少一個參與者麥克風(fēng)；所述表演者輸出裝置進(jìn)一步包括至少一個參與者的現(xiàn)場視頻圖像；至少一個揚(yáng)聲器，所述揚(yáng)聲器向表演者發(fā)送所述參與者的麥克風(fēng)輸入；所述表演者輸入裝置進(jìn)一步包括至少一個表演者的現(xiàn)場視頻圖像；以及至少一個表演者麥克風(fēng)；其中參與者通過所述虛擬現(xiàn)實顯示器看到來自所述虛擬現(xiàn)實環(huán)境的所述輸出數(shù)據(jù)和表演者的所述現(xiàn)場視頻圖像，并通過所述手持鍵盤和所述參與者麥克風(fēng)向所述投入式虛擬現(xiàn)實環(huán)境提供反饋，所述輸出數(shù)據(jù)進(jìn)一步包括圖形圖像；以及音頻數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其中所述處理裝置進(jìn)一步包括至少一個控制計算機(jī)；至少一個音頻處理器；至少一個音頻轉(zhuǎn)換開關(guān)；至少一個視頻處理器；以及至少一個視頻轉(zhuǎn)換開關(guān)；其中所述控制計算機(jī)處理并分配來自所述表演者輸入和輸出裝置以及所述參與者輸入和輸出裝置的數(shù)據(jù)；所述音頻處理器根據(jù)所述控制計算機(jī)的所述系統(tǒng)數(shù)據(jù)處理所述參與者的麥克風(fēng)輸入、所述表演者的麥克風(fēng)輸入、以及所述音頻數(shù)據(jù)；所述音頻轉(zhuǎn)換開關(guān)依照所述控制計算機(jī)的所述系統(tǒng)數(shù)據(jù)切換所述參與者的麥克風(fēng)輸入、所述表演者的麥克風(fēng)輸入、以及所述音頻數(shù)據(jù)；所述視頻處理器依照所述控制計算機(jī)的所述系統(tǒng)數(shù)據(jù)處理所述參與者的現(xiàn)場視頻圖像、所述表演者的現(xiàn)場視頻圖像、以及所述圖形圖像；以及所述視頻轉(zhuǎn)換開關(guān)依照所述控制計算機(jī)的所述系統(tǒng)數(shù)據(jù)的所述圖形圖像切換所述表演者的現(xiàn)場視頻圖像；借此選擇性地向所述虛擬現(xiàn)實顯示器提供所述圖形圖像、所述音頻數(shù)據(jù)、以及所述表演者的現(xiàn)場視頻圖像，并向所述參與者音頻輸出裝置選擇性地提供所述參與者的麥克風(fēng)輸入、所述表演者的麥克風(fēng)輸入、以及所述音頻數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，所述投入式虛擬現(xiàn)實環(huán)境進(jìn)一步包括控制站，所述控制計算機(jī)進(jìn)一步包括注冊計算機(jī)，所述系統(tǒng)數(shù)據(jù)進(jìn)一步包括參與者信息，其中參與者將參與者的信息注冊到所述注冊計算機(jī)中，以便在所述投入式虛擬現(xiàn)實環(huán)境中實現(xiàn)交互使用。
6.一種與參與者和表演者互動的系統(tǒng)，所述系統(tǒng)包括投入式虛擬現(xiàn)實環(huán)境，所述投入式虛擬現(xiàn)實環(huán)境進(jìn)一步包括至少一個處理裝置；系統(tǒng)數(shù)據(jù)；輸出數(shù)據(jù)；以及網(wǎng)絡(luò)；至少一個表演者輸入裝置，其與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；至少一個參與者輸入裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；至少一個表演者輸出裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；至少一個參與者輸出裝置，它與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)；其中至少一個現(xiàn)場表演者與至少一個參與者和所述投入式虛擬現(xiàn)實環(huán)境互動；其中至少一個參與者與現(xiàn)場表演者和所述投入式虛擬現(xiàn)實環(huán)境互動，由此產(chǎn)生由參與者和所述參與者輸入裝置部分控制的體驗；所述網(wǎng)絡(luò)與所述處理裝置連接，所述表演者輸入和輸出裝置以及所述參與者輸入和輸出裝置處于電子通信狀態(tài)，借此向表演者和參與者發(fā)送所述系統(tǒng)數(shù)據(jù)和所述輸出數(shù)據(jù)，以及所述網(wǎng)絡(luò)通過因特網(wǎng)與所述投入式虛擬現(xiàn)實環(huán)境以及所述參與者的輸入和輸出裝置相連。
7.一種為參與者與表演者間提供互動通信的方法，其包括以下步驟(a)提供投入式虛擬現(xiàn)實環(huán)境；(b)提供至少一個與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)的表演者輸入裝置；(c)提供至少一個與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)的參與者輸入裝置；(d)提供至少一個與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)的表演者輸出裝置；(e)提供至少一個與所述投入式虛擬現(xiàn)實環(huán)境處于電子通信狀態(tài)的參與者輸出裝置；(f)使至少一個表演者與至少一個參與者和所述投入式虛擬現(xiàn)實環(huán)境互動；(g)使至少一個參與者與至少一個現(xiàn)場表演者以及所述投入式虛擬現(xiàn)實環(huán)境互動，借此產(chǎn)生由參與者和所述參與者輸入裝置部分控制的體驗。
全文摘要
一種互動式虛擬現(xiàn)實(VR)表演劇場和環(huán)境系統(tǒng)(100)，其中多個參與者享受到娛樂和/或教育體驗。參與者通過諸如頭盔式顯示器(HMD)之類的VR顯示裝置觀看表演，其中既可看到投入式圖形環(huán)境，游客看到現(xiàn)場和/或預(yù)先錄制的表演者。參與者通過具有多個按鍵(80)的手持輸入裝置(16)和/或語音通信對表演內(nèi)容和效果進(jìn)行有限控制，同時觀看到混合到投入式VR環(huán)境中的表演者。使用內(nèi)部連接的計算機(jī)(102)和視頻、音頻處理裝置(106、108)。網(wǎng)絡(luò)(104)將計算機(jī)、參與者和現(xiàn)場/預(yù)先錄制的表演者互相連接起來，用以進(jìn)行視頻、音頻和圖形傳輸。
文檔編號A63J99/00GK1443086SQ01812864
公開日2003年9月17日 申請日期2001年7月17日 優(yōu)先權(quán)日2000年7月17日
發(fā)明者蘭迪·T·斯普勞特, 蘇珊·M·斯普勞特 申請人:蘭迪·T·斯普勞特, 蘇珊·M·斯普勞特