專利名稱：一種虛擬三維場景中實(shí)現(xiàn)遙控互動的系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明主要涉及三維虛擬仿真技術(shù)和交互控制技術(shù)，是一種涉及電視臺互動虛擬演播室播報(bào)，及其他領(lǐng)域高端互動多媒體展示領(lǐng)域應(yīng)用的人機(jī)互動虛擬演示系統(tǒng)。
背景技術(shù)：
本發(fā)明是一種3D虛擬實(shí)時(shí)渲染引擎技術(shù)和各種交互控制技術(shù)相結(jié)合的高端演示系統(tǒng)，其中3D實(shí)時(shí)渲染引擎技術(shù)是一種目前廣泛應(yīng)用于電視臺虛擬演播室的技術(shù)，它通過硬件將預(yù)先制作好的3D動畫、虛擬場景在播出時(shí)實(shí)時(shí)地渲染出來并通過扣像合成技術(shù)與主持人、嘉賓的畫面相結(jié)合，從而實(shí)現(xiàn)一種3D虛擬場景下的播報(bào)應(yīng)用。其特點(diǎn)是利用3D技術(shù)能實(shí)現(xiàn)各種絢目的3D效果和虛擬三維物體的引入，并在同一節(jié)目中實(shí)現(xiàn)不同場景的切換，而完成很多實(shí)景演播室中不能達(dá)到的效果。
該類3D虛擬演播室的應(yīng)用在廣電有如下特點(diǎn)
1、 可渲染用通用的三維軟件制作的場景
3D虛擬演播室系統(tǒng)。除兼容二維外，可用通用的三維軟件如3d Studio Max及Maya制作出來的帶有材質(zhì)、虛擬燈光與攝像機(jī)、動畫等三維場景。通過異常強(qiáng)大的硬件渲染器功能，可實(shí)時(shí)把三維物件或動畫渲染成全D1分辨率，32位彩色的視頻。
2、 可直通實(shí)況或預(yù)錄視頻
當(dāng)把視頻與3D圖像相混時(shí)，3D虛擬演播室系列可使使用者把直通視頻粘貼到虛擬場景中的物件表面?？芍С侄嗦穼?shí)況直通視頻及多路AVI/MPEG視頻，全D1分辨率或低一些。并能做出諸如玻璃或水波紋等效果。
3、 可實(shí)現(xiàn)虛擬模塊積木式組合
虛擬場景、虛擬大屏幕、虛擬物體、虛擬特效、外來視頻、動畫文件相互獨(dú)立，可以隨時(shí)積木式組合，并且均可以采用所見即所得的方式進(jìn)行任意的運(yùn)動軌跡編輯，均可
6和縮放，并保證正確的透視關(guān)系。
4、 可虛擬多個(gè)視頻窗口
虛擬場景中可以添加多個(gè)虛擬大屏幕窗用于播放不同的視頻，其中可播放兩路外視頻，并且不論虛擬大屏幕的位置如何，都能確保大屏幕中視頻畫面的廣播級質(zhì)量。虛擬大屏幕中的視頻信號可接受分量視頻、數(shù)字視頻信號。
5、 獨(dú)特的虛擬攝像機(jī)讓你可以從任何角度展示場景
虛擬攝像機(jī)可以用來拍攝遠(yuǎn)超出演播室范圍的場景部分，即無限藍(lán)箱功能。虛擬攝像機(jī)所拍片段可以和真實(shí)攝像機(jī)所拍的無縫結(jié)合在一起。
6、 系統(tǒng)具有前景深度鍵功能
通過該功能可以方便的實(shí)現(xiàn)操作者在三維虛擬場景中的穿越和遮擋；并且無需任何操作就可以實(shí)現(xiàn)虛擬物體、虛擬視頻板和虛擬特效環(huán)繞操作者運(yùn)動，實(shí)現(xiàn)自動遮擋。節(jié)目操作者在虛擬背景層間可進(jìn)行穿越，使得合成的畫面更加真實(shí)?？蓪?shí)現(xiàn)刮風(fēng)、下雨、下雪、太空遨游、火山爆發(fā)等虛擬效果，使節(jié)目制作更加真實(shí)和奇特。
7、 系列系統(tǒng)具有多機(jī)位雙通道功能
使得不同機(jī)位的輸出可以方便的進(jìn)行特技切換，實(shí)現(xiàn)淡入、淡出、劃像、DVE等效果，也方便的實(shí)現(xiàn)了預(yù)監(jiān)功能。
8、 系列靈活性大、使用簡便
當(dāng)場景更換、機(jī)位變動時(shí)，重新進(jìn)行攝像機(jī)與虛擬背景的定位非常簡便，所有參數(shù)由計(jì)算機(jī)自動測定，操作人員僅需點(diǎn)擊鼠標(biāo)進(jìn)行確認(rèn)，前后僅需數(shù)分鐘即可完成；一旦定位完成，只需簡單地按傳統(tǒng)的攝像方法對攝像機(jī)作推拉、平搖和俯仰操作，即可實(shí)現(xiàn)虛擬節(jié)目制作。即使作多機(jī)位間切換，所需動作僅僅是用鼠標(biāo)點(diǎn)擊攝像機(jī)的視窗而已，且前景、背景、大屏幕窗口播出等多種視頻成份均可在同幀場逆程內(nèi)完成，保證了多機(jī)位切換無閃爍、無跳動、無黑場的無縫切換。
一個(gè)操作人員，即使是他接觸時(shí)間不長，也會方便地操作本系統(tǒng)。操作人員用鍵盤、鼠標(biāo)和手柄既可執(zhí)行預(yù)設(shè)的節(jié)目單，也可進(jìn)行修改。
9、 系列可與其它A/V錄制/編輯設(shè)備集成
任何的模擬或數(shù)字視音頻輸出都可與不同檔次的A/V錄制/編輯設(shè)備、特效、字幕、制作切換臺集成，甚至連實(shí)時(shí)MPEG編碼器進(jìn)行壓縮數(shù)字視音頻的網(wǎng)絡(luò)傳輸(含因特網(wǎng))。
73D渲染引擎的常規(guī)控制技術(shù)是通過各家公司獨(dú)自編寫的控制軟件來實(shí)現(xiàn)3D場景的編排、控制與參數(shù)設(shè)定。安裝在后臺的控制機(jī)上，控制人員通過軟件與演播室中的操作者配合完成場景的切換和各種3D效果的控制。
因?yàn)槭苤朴诤笈_控制人員與前端操作者之間的協(xié)調(diào)同步問題使該類虛擬演播室節(jié)目在操作者的現(xiàn)場發(fā)揮和整體節(jié)目的連貫性上都大受影響，操作者不得不隨時(shí)注意聽耳脈中后臺導(dǎo)播的指令，而且還得時(shí)刻記住自己所處的位置，操作者僅僅是讀稿，節(jié)目表現(xiàn)形式單一，僅僅是將背景和操作者合成在一起。
本發(fā)明的為操作者提供了各種交互控制手段，將節(jié)目場景的控制權(quán)從導(dǎo)播移交到了操作者手中，從而大大提高了操作者的能動性，使節(jié)目場景的切換更為自然流暢，而且支持人和虛擬場景中的物體也可實(shí)現(xiàn)交互，大大豐富了節(jié)目的表現(xiàn)力。
本發(fā)明涉及的主要交互技術(shù)包括
1. 語音識別技術(shù)語音信號通過采集后輸入到主機(jī)中，通過語音分析軟件將已定義的語音命令相比對，符合率超過一定的數(shù)值即被認(rèn)為是發(fā)出某個(gè)指令。該指令可被輸出用于控制其他設(shè)備或系統(tǒng)。語音命令經(jīng)過訓(xùn)練后可提供識別率。
2. 影像識別技術(shù)其基本原理是通過攝像頭捕捉人體的某個(gè)部位(例如手)的形狀和運(yùn)動的信息，并將該信息傳送給主機(jī)，主機(jī)將該信息以數(shù)據(jù)的形式存儲起來，通過軟件系統(tǒng)對存儲的數(shù)據(jù)進(jìn)行分析，并將分析后的結(jié)果輸出給被控制的設(shè)備，以達(dá)到一種互動的效果。該技術(shù)應(yīng)用領(lǐng)域比較廣泛，可用于廣告媒體、教育、娛樂等等，從而達(dá)到人體與多媒體內(nèi)容的深度交互。
3. 動作捕捉及位置跟蹤技術(shù)通過無線定位或紅外跟蹤技術(shù)可以實(shí)現(xiàn)對人體運(yùn)動的軌跡捕捉。人體在特定的位置設(shè)定一個(gè)跟蹤終端設(shè)備，主機(jī)可以實(shí)時(shí)跟蹤該終端的位置信息，該信息經(jīng)過采樣后，可與已預(yù)先設(shè)定的軌跡定義信息相比對，符合率超過一定的數(shù)值即被認(rèn)為是發(fā)出某個(gè)指令。該指令以及位置信息可輸出用于交互控制。軌跡定義可以通過訓(xùn)練以提供識別率。
4. Media poster高速多媒體瀏覽技術(shù)這是為在觸摸屏上實(shí)現(xiàn)圖形化控制界面而開發(fā)的一種高速圖文交互技術(shù)，該技術(shù)可以實(shí)現(xiàn)對海量數(shù)字內(nèi)容的高速瀏覽。通過此技術(shù)可以輕松瀏覽衛(wèi)星照片級別的高分辨率圖片，并兼容多種多媒體格式文件，如聲音、視頻、文本文件、flash、 html等，將大數(shù)據(jù)量的多媒體內(nèi)容整合到一個(gè)用戶界面上，隨意拖動、放大、縮小、切換，給人全新的使用感受。
該技術(shù)結(jié)合應(yīng)用了多點(diǎn)觸摸技術(shù)，可以實(shí)現(xiàn)對多個(gè)手指的同步跟蹤和軌跡分析，從而實(shí)現(xiàn)用手指實(shí)現(xiàn)較為復(fù)雜和生動的控制方式，如用兩個(gè)手的手指可以隨意縮放圖像，用單手若干手指的轉(zhuǎn)動可實(shí)現(xiàn)圖像的立體翻轉(zhuǎn)等效果。
該技術(shù)已實(shí)現(xiàn)對虛擬實(shí)時(shí)三維渲染引擎的控制，并可采集虛擬實(shí)時(shí)三維渲染引擎輸出的圖像，顯示在觸摸屏中，以提供操作者一個(gè)可監(jiān)控的控制畫面。通過該畫面，操作者還可以控制虛擬場景中的物體，如移動、縮放等。

發(fā)明內(nèi)容
一種虛擬三維場景中實(shí)現(xiàn)遙控互動的方法，其特征在于，包括步驟-
1) 三維場景制作步驟，利用三維制作軟件制作三維場景文件并導(dǎo)出場景中每個(gè)物體(Object)的屬性參數(shù)(如軌跡，位置，尺寸，角度等)，并利用播出控制模塊提取場景文件信息及物體屬性參數(shù)，生成場景播放列表；
2) 關(guān)聯(lián)步驟，利用播出控制模塊將交互控制設(shè)備的控制信號與指定場景關(guān)聯(lián)，以控制場景調(diào)用和播放；將交互控制設(shè)備的控制信號與指定物體的屬性參數(shù)關(guān)聯(lián)，以控制虛擬物體運(yùn)動；
3) 操作步驟，操作者通過各種交互控制設(shè)備可隨機(jī)或按序列控制各個(gè)場景的調(diào)用，并可通過交互控制設(shè)備對三維場景中的物體屬性參數(shù)進(jìn)行實(shí)時(shí)賦值，以實(shí)現(xiàn)對虛擬場景中的虛擬物體的實(shí)時(shí)調(diào)用控制，如選中并移動某一物體；
4) 渲染播出步驟，利用實(shí)時(shí)三維渲染引擎技術(shù)實(shí)現(xiàn)對操作者控制下的三維場景(其中包含被控制的物體對象)的實(shí)時(shí)渲染播出。
所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的方法進(jìn)一步包括，所述的交互控制設(shè)備可以是以下設(shè)備中的一種或多種組合
1) M電子遙控設(shè)備，如無線遙控器、遙控開關(guān)、紅外觸發(fā)開關(guān)；
2) 觸摸屏設(shè)備；
3) 語音識別設(shè)備；
94) 位置跟蹤設(shè)備，如電磁式和紅外式位置跟蹤設(shè)備；
5) 影像識別和跟蹤設(shè)備，如手勢識別和跟蹤系統(tǒng)；
所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的方法進(jìn)一步包括，其中所述的關(guān)聯(lián)步驟還包括以下的一種或幾種組合
1) 將無線電子遙控設(shè)備和某個(gè)場景的調(diào)用相關(guān)聯(lián)；
2) 將觸摸屏中的預(yù)設(shè)操作區(qū)域和某個(gè)場景的調(diào)用相關(guān)聯(lián)；
3) 將觸摸屏中觸摸筆或手指的位置移動和某個(gè)虛擬物體的位置屬性參數(shù)相關(guān)聯(lián)；
4) 將觸摸屏中通過多點(diǎn)觸摸技術(shù)識別不同的多個(gè)手指操作命令，并和場景的切換或虛擬物體的屬性參數(shù)相關(guān)聯(lián)；
5) 將i^識別設(shè)備的識別命令和場景的切換相關(guān)聯(lián)；
6) 將位置跟蹤設(shè)備的位置信息和某個(gè)虛擬物體的位置屬性參數(shù)相關(guān)聯(lián)；
7) 通過動作識別技術(shù)識別位置跟蹤設(shè)備的不同運(yùn)動軌跡所代表的不同命令，并和場景的切換相關(guān)聯(lián)；
8) iS3l影像識別和S跟享設(shè)備，i鄉(xiāng)認(rèn)^同動作(如手勢)所ft^的不同命令，并S跟宗某指定部位(如對旨尖)的位置信息，和場景的切換或虛擬物體的屬性參數(shù)相關(guān)聯(lián)。
所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的方法進(jìn)一步包括，其中所述的渲染播出步驟可通過接口指令調(diào)用獨(dú)立的第三方實(shí)時(shí)三維圖像渲染引擎，例如以色列0rad公司提供的實(shí)時(shí)渲染工作站DVG。
一種虛擬三維場景中實(shí)現(xiàn)遙控互動的系統(tǒng)，其特征在于，系統(tǒng)包括-
1) 三維場景制作模塊該模塊可以導(dǎo)入通用三維制作軟件例如3DMAX等制作完成的三維場景文件和/或自行創(chuàng)建三維場景模版，并導(dǎo)出物體的屬性參數(shù)；
2) 播出控制模塊用于提供場景動畫播放列表、場景動畫預(yù)覽、虛擬互動控制設(shè)置、場景動畫播放的后臺控制、渲染引擎控制的功能；
3) 交互控制信號處理模塊該模塊主要完成對多種交互控制設(shè)備的控制信號的分析處理，并形成歸一的控制信號以對虛擬場景以及虛擬物體進(jìn)行控制；
4) 應(yīng)用系統(tǒng)模塊根據(jù)應(yīng)用邏輯和流程設(shè)計(jì)并存儲相應(yīng)的應(yīng)用方式， 配合通用播出控制模塊使用，應(yīng)用例如是游戲類節(jié)目，問答類節(jié)目；
5) 渲染輸出模塊該模塊主要包含三維實(shí)時(shí)渲染引擎，播出控制模塊 根據(jù)接口協(xié)議驅(qū)動渲染輸出模塊，即驅(qū)動三維渲染引擎對場景進(jìn)行 實(shí)時(shí)渲染，并輸出視頻。
所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的系統(tǒng)進(jìn)一步包括，所述的應(yīng)用系統(tǒng) 模塊例如競猜模塊該模塊主要負(fù)責(zé)選手的基礎(chǔ)設(shè)定、每輪競猜結(jié)果與場景動 畫的關(guān)聯(lián)設(shè)置，并在每輪競猜結(jié)束后將結(jié)果傳遞給渲染輸出控制模塊，該模塊 提供與外部程序的接口，支持競猜結(jié)果的自動產(chǎn)生或結(jié)果的手工錄入。
所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的系統(tǒng)進(jìn)一步包括，所述的交互控制 設(shè)備可以是以下設(shè)備中的一種或多種組合
1) 無線電子遙控設(shè)備，如無線遙控器、遙控開關(guān)、紅外觸發(fā)開關(guān)；
2) 觸摸屏設(shè)備；
3) 語音識別設(shè)備；
4) 位置跟蹤設(shè)備，如電磁式和紅外式位置跟蹤設(shè)備；
5) 影像識別和跟蹤設(shè)備，如手勢識別和跟蹤系統(tǒng)；
所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的系統(tǒng)進(jìn)一步包括，所述的觸摸屏設(shè) 備可以提供一個(gè)可視化的圖像操作界面，該界面由多媒體演示軟件(如高速多 媒體演示軟件Media Poster)進(jìn)行編輯產(chǎn)生，可以在屏幕上任意設(shè)定操作對象 或區(qū)域，切換屏幕內(nèi)的不同界面，并通過接口同步控制實(shí)時(shí)渲染引擎，該引擎 渲染的畫面也可通過觸摸屏工作站被同步采集到觸摸屏畫面中。
所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的系統(tǒng)進(jìn)一步包括，所述的渲染輸出 控制模塊的互動控制效果包括包括下述效果中的一種或多種
1、 下一個(gè)動畫控制場景中下一個(gè)動畫的播放；
2、 上一個(gè)動畫控制回到場景的上一個(gè)動畫，同時(shí)當(dāng)前動畫回到第一幀；
3、 動畫播放暫?？刂撇シ胖械膱鼍皠赢嫷臅和＃缪h(huán)動畫，可通過循環(huán) 動畫的停止達(dá)到隨機(jī)選擇的效果；
4、 動畫播放控制暫停后的場景動畫繼續(xù)播放；5、 動畫停止場景動畫播放的停止，回到動畫最前面；
6、 視頻播放控制插入的視頻文件的播放，可支持的視頻文件格式 有.avi、 . mov 、 .mpeg、 . rmvb、 . wmv ;
7、 視頻播放暫?？刂撇迦氲囊曨l文件的播放暫停；
8、 任意動畫控制場景中任意動畫的播放；
9、 回到場景動畫頂端 一鍵回到當(dāng)前場景的最頂端動畫，主要針對于節(jié)目錄制 中NG情況；
10、 動畫的跳過播放時(shí)可跳過某個(gè)動畫，直接播放下一個(gè)動畫；
11、 場景內(nèi)部物體的選擇、移動，旋轉(zhuǎn)，放大，縮小。
社會效益和經(jīng)濟(jì)效益
1. 虛擬互動系統(tǒng)可改善目前虛擬節(jié)目形式單一，節(jié)目操作者與場景及播出內(nèi)容 無法實(shí)現(xiàn)交互的問題，可大大提高虛擬節(jié)目表現(xiàn)形式的豐富性。
2. 虛擬互動系統(tǒng)將控制權(quán)移交給操作者或節(jié)目參與者，在電視演播領(lǐng)域是一個(gè) 革命性的突破，人與虛擬場景的互動依賴不再僅僅于后臺技術(shù)人員的配合控制，這將 大大節(jié)約節(jié)目錄制的人力成本，提供錄制效率。
3. 虛擬互動系統(tǒng)中各種控制手段的引入帶來了虛擬節(jié)目設(shè)計(jì)理念的創(chuàng)新，可實(shí) 現(xiàn)以往在虛擬演播室內(nèi)無法實(shí)現(xiàn)的節(jié)目類型，有利于虛擬演播室在價(jià)值的提升。
4. 虛擬互動系統(tǒng)除應(yīng)用于電視臺演播領(lǐng)域外，還可利用于其他的高端展示場合， 如各類展覽會、三維仿真實(shí)驗(yàn)室、軍事指揮中心等，各種控制手段的引入將對三維虛 擬技術(shù)的應(yīng)用和推廣起很大的推動作用。


附圖1所示的是整個(gè)系統(tǒng)的模塊配置附圖2所示的是整個(gè)系統(tǒng)的配置圖，著重于虛擬互動的技術(shù)實(shí)現(xiàn)的描述； 附圖3所示的是整個(gè)系統(tǒng)工作的流程附圖4所示的是觸摸屏和Media Poster結(jié)合的子系統(tǒng)的畫面，人員可以通過觸摸屏 切換虛擬背景并同時(shí)操作(放大/縮小/拖動/切換)Media Poster系統(tǒng)中的多媒體內(nèi)容，并通過視頻釆集輸入到虛擬的大屏幕中；
附圖5所示的是語音識別子系統(tǒng)的實(shí)現(xiàn)原理附圖6所示的是影像識別子系統(tǒng)的實(shí)現(xiàn)原理附圖7所示的以雙工作站同步方式解決藍(lán)屏扣像問題的示意圖。
具體實(shí)施方式
1.系統(tǒng)架構(gòu)
1.1虛擬互動系統(tǒng)技術(shù)架構(gòu)
1. 1. 1虛擬互動系統(tǒng)模塊組成
虛擬互動系統(tǒng)主要為五大模塊， 一是三維場景制作模塊，播出控制模塊，交互控 制信號處理模塊，應(yīng)用系統(tǒng)模塊，渲染輸出模塊。如圖1所示。 各模塊的功能如下
1) 三維場景制作模塊該模塊可以導(dǎo)入通用三維制作軟件例如3D MAX
等制作完成的三維場景文件，也可自行創(chuàng)建三維場景模版，并需要
導(dǎo)出物體的屬性參數(shù)；
2) 播出控制模塊用于提供場景動畫播放列表、場景動畫預(yù)覽、虛擬 互動控制設(shè)置、場景動畫播放的后臺控制、渲染引擎控制的功能；
3) 交互控制信號處理模塊該模塊主要完成對多種交互控制設(shè)備的控 制信號的分析處理，并形成歸一的控制信號以對虛擬場景以及虛擬 物體進(jìn)行控制；
4) 應(yīng)用系統(tǒng)模塊如游戲類節(jié)目，問答類節(jié)目等涉及定向應(yīng)用邏輯和 流程的應(yīng)用系統(tǒng)模塊，配合通用播出控制模塊使用。例如多人競 猜類游戲主要通過虛擬互動控制系統(tǒng)中的游戲控制模塊(設(shè)置分?jǐn)?shù)、 對、錯(cuò)等的關(guān)聯(lián)動畫)，根據(jù)每輪結(jié)果播放預(yù)先設(shè)置好的關(guān)聯(lián)動畫
.來實(shí)現(xiàn)。游戲控制模塊不涉及游戲的規(guī)則，僅僅在獲得結(jié)果后播放 相應(yīng)的動畫u在有獨(dú)立的游戲自動判斷系統(tǒng)的支持下，則可通過程 序接口與虛擬互動控制系統(tǒng)相連接，可實(shí)現(xiàn)全流程的自動化播出；如無自動判斷系統(tǒng)則后臺手動輸入結(jié)果控制對應(yīng)動畫的播出； 5)渲染輸出模塊該模塊主要包含三維實(shí)時(shí)渲染引擎，播出控制模塊 根據(jù)接口協(xié)議驅(qū)動渲染輸出模塊，即驅(qū)動三維渲染引擎對場景進(jìn)行 實(shí)時(shí)渲染，并輸出視頻。 系統(tǒng)的工作流程是
三維場景制作模塊將虛擬物體和場景創(chuàng)建完畢后，將場景及物體的參數(shù)導(dǎo)入到播
出控制模塊，播出控制?！姥雽鼍昂臀矬w與交互控制信號處理模塊中的不同交互方式直接 創(chuàng)建關(guān)聯(lián)(見圖2步驟A)，并接受交互控制信號處理模塊發(fā)出的信息，即時(shí)調(diào)用相關(guān)場景
間及物體，并驅(qū)動渲染輸出模塊的三維渲染引擎實(shí)時(shí)進(jìn)行渲染并輸出圖像；或者交互控制 信號處理模i央先與應(yīng)用系統(tǒng)模塊創(chuàng)建關(guān)聯(lián)(見圖2步驟B)，應(yīng)用系統(tǒng)模塊再與播出控制模 塊建立關(guān)聯(lián)，應(yīng)用系統(tǒng)模塊接收到交互控制信號處理模塊發(fā)出的信息后作出邏輯判斷，按 結(jié)果對播出控制模塊發(fā)送對應(yīng)信息，播出控制模塊即時(shí)調(diào)用相關(guān)場景間及物體，并驅(qū)動渲 染輸出模塊的三維渲染弓l擎實(shí)時(shí)進(jìn)行渲染并輸出圖像；應(yīng)用系統(tǒng)模塊可以根據(jù)不同的節(jié)目 需求和流程設(shè)計(jì)(如游戲節(jié)目等)，最終可以制播流程的全自動化。
其中，交互控制信號處理模塊是實(shí)現(xiàn)虛擬交互的重點(diǎn)，它包含了無線遙控、語音識別、 影像識別、位置跟蹤(動作識別)和觸摸屏(提供了一個(gè)可視化的多媒體播控界面及多點(diǎn) 觸摸控制手段)等子系統(tǒng)。
交互控制信號處理模塊的系統(tǒng)實(shí)現(xiàn)如圖3所示。
交互模塊(無線遙控器、語音識別、影像識別、位置跟蹤/動作捕捉、紅外觸摸 屏等)在操作者的控制、觸發(fā)通過內(nèi)部局域網(wǎng)絡(luò)向播出控制模塊發(fā)送信息，播出控制 模塊接收到指令后按預(yù)先設(shè)定的協(xié)議向渲染模塊(渲染引擎)發(fā)出指令，渲染引擎按 指令將播放特定的場景、動畫并同時(shí)輸出兩路SDI視頻信號。 一路SDI視頻信號直接 接入導(dǎo)控臺系統(tǒng)，另一路SDI視頻信號通過視頻采集卡輸入到觸摸屏控制工作站，操 作者可在觸摸屏上通過軟件在輸入的場景上做各種互動操作(如放大場景畫面、在 視頻上畫線批注，參見圖4)在將整合的信號輸入到導(dǎo)控臺中。
1. 1. 2交互控制信號處理模塊各子系統(tǒng)介紹
無線控制子系統(tǒng)，開關(guān)電子控制器、手持電子控制終端通過手指的物理擠壓產(chǎn)生 控制信號，紅外對管通過阻隔紅外線產(chǎn)生控制信號，無線控制器通過無線網(wǎng)絡(luò)接收下
14控制信號并傳輸給播出控制工作站。在播出工作站中我們預(yù)先定義了不同控制信號所 對應(yīng)的控制功能。在播出時(shí)控制工作站收到無線終端的控制信號后按預(yù)先設(shè)定控制功 能向渲染引擎發(fā)送指令播放場景動畫。
如我們預(yù)先設(shè)置一個(gè)過門的場景動畫，并在虛擬演播室中對應(yīng)的位置安置一對紅 外對管。當(dāng)操作者在演播室中穿過紅外對管時(shí)，觸發(fā)控制信號，無線控制器接收到信 號后將他發(fā)送給播出控制平臺，平臺會發(fā)送給渲染引擎播放開門動畫的指令，因此在 合成的場景中，門會打開，操作者會從門中通過。完成從門中走出的效果。
該控制子系統(tǒng)的優(yōu)點(diǎn)在于無線功能，通過無線接收器的接收而代替有線的方式， 從而可根據(jù)節(jié)目內(nèi)容形式的不同，輕松的改變無線控制終端的位置，并且無須考慮如 何將傳輸線進(jìn)行隱藏，大大增加操作者的運(yùn)動區(qū)域。
語音識別子系統(tǒng)，通過麥克風(fēng)采集操作者的聲音將其數(shù)字編碼傳遞給播出控制工 作站，通過與語音庫的對照，識別出操作者話語中所包含的數(shù)字信息，如在控制播出 機(jī)內(nèi)我們預(yù)先定義了 "下一個(gè)"的語音信息對應(yīng)的是播放下一個(gè)動畫的控制指令，操 作者說"現(xiàn)在讓我們來看下一個(gè)動畫"，其中"下一個(gè)"的語音信息被收集到后控制 機(jī)識別出其對應(yīng)的指令，并向渲染引擎發(fā)出播放下一個(gè)動畫的指令，渲染引擎播出下 一個(gè)場景的動畫。參見圖5.
該系統(tǒng)的重點(diǎn)在于語音識別的容錯(cuò)率，
影像識別子系統(tǒng)，通過攝像頭捕捉識別出人體局部部位的圖象信息(如手指)及 其運(yùn)動軌跡，并將信息傳送給播出控制主機(jī)，主機(jī)將該信息以數(shù)據(jù)的形式存儲起來， 通過軟件系統(tǒng)對存儲的數(shù)據(jù)進(jìn)行分析和重新組合，并將分析后的數(shù)據(jù)與控制指令進(jìn)行 關(guān)聯(lián)，播出控制機(jī)在收到操作者的局部影像信號后實(shí)時(shí)的對渲染引擎發(fā)送對應(yīng)的控制 指令，播放場景動畫。
其主要特點(diǎn)是無須在操作者身上佩帶任何設(shè)備，完全通過圖象的捕捉與識別技 術(shù)，識別出身體的局部位置，并跟蹤其運(yùn)動軌跡，將存儲下的運(yùn)動軌跡數(shù)字話并匹配 到對應(yīng)的控制指令，當(dāng)在節(jié)目播出時(shí)捕捉到同樣的運(yùn)動軌跡后播出控制平臺自動發(fā)送 控制指令渲染輸出模塊，播放指定的場景動畫。該子系統(tǒng)還擁有多點(diǎn)功能，攝像頭可 同時(shí)捕捉兩個(gè)手指的動作信息并把其同步傳給主機(jī)，控制主機(jī)識別出兩個(gè)手指的移動 位置將其轉(zhuǎn)化為控制指令傳輸給渲染引擎，控制虛擬場景中物體object的旋轉(zhuǎn)、拉 伸與縮小。
15參見圖6。
位置跟蹤(動作識別)子系統(tǒng)，通過在操作者身上安裝無線或紅外位置跟蹤設(shè)備 例如手部，該跟蹤設(shè)備在節(jié)目錄制時(shí)會將操作者的手部動作軌跡記錄下來，并通過無 線接收設(shè)備將該信息傳送給主機(jī)，主機(jī)接收下信息后可對一些特定的局部動作如手部 動作(手上下?lián)]動一下)進(jìn)行識別，確認(rèn)動作匹配后將會按預(yù)先定義的對應(yīng)功能向虛 擬引擎發(fā)送指令，虛擬引擎播放相關(guān)的場景動畫。同時(shí)動作捕捉技術(shù)可以識別也可以 實(shí)時(shí)的與渲染引擎的物體控制對應(yīng)，如在手上拿著跟蹤裝置，操作者移動手上的跟蹤 裝置時(shí)主機(jī)會將識別出的移動軌跡實(shí)時(shí)發(fā)送給渲染引擎，渲染引擎實(shí)時(shí)的將預(yù)先設(shè)定 的object (例如虛擬的雨傘)在合成的畫面中置于跟蹤裝置之上跟隨其的移動而移動。
觸摸屏子系統(tǒng)，將紅外觸摸屏設(shè)置為藍(lán)色，在屏內(nèi)畫置淺藍(lán)色按鈕，在觸摸屏控
制工作站中通過MP軟件定義其觸發(fā)功能(上一條/下一條/任意一條動畫/視頻播放/ 停止等)。由于色鍵器會把紅外觸摸屏整個(gè)扣掉，如將淺藍(lán)色按鈕與虛擬場景中的按 鈕或其它虛擬物體對齊后，錄影棚中點(diǎn)擊淺藍(lán)色按鈕控制虛擬場景物體動畫對應(yīng)的節(jié) 目效果將是操作者直接點(diǎn)擊虛擬場景中的按鈕或者虛擬物體控制虛擬場景中的動畫。 該方式可配合動作達(dá)到點(diǎn)擊觸發(fā)動畫以外的節(jié)目效果，比如拉動視頻窗的效果。
MP (Mediaposter)圖文控制軟件，在兩臺完全同步的控制主機(jī)上分別安裝 Mediaposter圖文控制互動媒體軟件。兩臺機(jī)器的內(nèi)容完全一致，并都與同一觸摸屏 通信(通過usb或rs232),其中一臺主機(jī)的DVI視頻輸出輸入到觸摸屏并通過MP在 畫面上疊加藍(lán)色遮照，另一臺同步的主機(jī)將DVI視頻信號傳輸給渲染引擎，作為一路 視頻輸入展現(xiàn)在虛擬場景中，在播出時(shí)演播室內(nèi)的攝像機(jī)拍攝的觸摸屏內(nèi)容為藍(lán)色， 合成在虛擬場景中會被扣去，但操作者可看見觸摸屏里藍(lán)色的內(nèi)容從而進(jìn)行交互，同 時(shí)另一臺與渲染引擎相連的同步主機(jī)將未加遮照的視頻信息傳輸給渲染引擎，在虛擬 場景中觸摸屏被扣去的部分導(dǎo)入未加藍(lán)色遮照的視頻，從而解決了觸摸屏中的內(nèi)容與 虛擬場景結(jié)合時(shí)藍(lán)色內(nèi)容會被扣去的問題。系統(tǒng)結(jié)構(gòu)圖參見圖7。
MP軟件同時(shí)提供觸摸屏內(nèi)部的二維多媒體內(nèi)容，主持在觸摸屏中操縱二維內(nèi)容 如放大圖片、視頻，拖動圖片，點(diǎn)擊屏幕內(nèi)下一頁的按鈕，在觸發(fā)屏幕內(nèi)二維內(nèi)容放 到下一張圖片的動作時(shí)，發(fā)送控制信息給控制播出工作站，工作站按預(yù)先定義的指令 使渲染引擎播放場景變換的動畫從而達(dá)到3D與3D內(nèi)容的結(jié)合。參見圖4。1.1. 3場景動畫控制效果
虛擬互動系統(tǒng)提供的場景動畫控制效果包括下述效果中的一種或多種
1、 下一個(gè)動畫控制場景中下一個(gè)動畫的播放；
2、 上一個(gè)動畫控制回到場景的上一個(gè)動畫，同時(shí)當(dāng)前動畫回到第一幀；
3、 動畫播放暫停控制播放中的場景動畫的暫停，例如循環(huán)動畫，可通過循環(huán) 動畫的停止達(dá)到隨機(jī)選擇的效果；
4、 動畫播放控制暫停后的場景動畫繼續(xù)播放；
5、 動畫停止場景動畫播放的停止，回到動畫最前面；
6、 視頻播放控制插入的視頻文件的播放，可支持的視頻文件格式 有.avi、 . mov 、 . mpeg、 . rmvb、 .wmv;
7、 視頻播放暫?？刂撇迦氲囊曨l文件的播放暫停；
8、 任意動畫控制場景中任意動畫的播放；
9、 回到場景動畫頂端 一鍵回到當(dāng)前場景的最頂端動畫，主要針對于節(jié)目錄制 中NG情況；
10、 動畫的跳過播放時(shí)可跳過某個(gè)動畫，直接播放下一個(gè)動畫；
11、 場景內(nèi)部物體的選擇、移動，旋轉(zhuǎn)，放大，縮小。 這些控制功能可完全與交互模塊的控制信號相關(guān)聯(lián)，從而實(shí)現(xiàn)外部控制。在
實(shí)際播出中控制平臺同時(shí)作為交互模塊的備份方案，尤其是直播節(jié)目當(dāng)交互模塊 中的設(shè)備出現(xiàn)問題或操作者操作不當(dāng)時(shí)，后臺導(dǎo)控人員可以通過控制機(jī)上的控制 平臺界面同步完成操作者的對應(yīng)動作，而確保節(jié)目的正常播出。
權(quán)利要求
1、一種虛擬三維場景中實(shí)現(xiàn)遙控互動的方法，其特征在于，包括步驟1)三維場景制作步驟，利用三維制作軟件制作三維場景文件并導(dǎo)出場景中每個(gè)物體(Object)的屬性參數(shù)(如軌跡，位置，尺寸，角度等)，并利用播出控制模塊提取場景文件信息及物體屬性參數(shù)，生成場景播放列表；2)關(guān)聯(lián)步驟，利用播出控制模塊將交互控制設(shè)備的控制信號與指定場景關(guān)聯(lián)，以控制場景調(diào)用和播放；將交互控制設(shè)備的控制信號與指定物體的屬性參數(shù)關(guān)聯(lián)，以控制虛擬物體運(yùn)動；3)操作步驟，操作者通過各種交互控制設(shè)備可隨機(jī)或按序列控制各個(gè)場景的調(diào)用，并可通過交互控制設(shè)備對三維場景中的物體屬性參數(shù)進(jìn)行實(shí)時(shí)賦值，以實(shí)現(xiàn)對虛擬場景中的虛擬物體的實(shí)時(shí)調(diào)用控制，如選中并移動某一物體；4)渲染播出步驟，利用實(shí)時(shí)三維渲染引擎技術(shù)實(shí)現(xiàn)對操作者控制下的三維場景(其中包含被控制的物體對象)的實(shí)時(shí)渲染播出。
2、 如權(quán)利要求1所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的方法，所述的交互 控制設(shè)備可以是以下設(shè)備中的一種或多種組合1) 無線電子遙控設(shè)備，如無線遙控器、遙控開關(guān)、紅外觸發(fā)開關(guān)；2) 觸摸屏設(shè)備；3) 語音識別設(shè)備；4) 位置跟蹤設(shè)備，如電磁式和紅外式位置跟蹤設(shè)備；5) 影像識別和跟蹤設(shè)備，如手勢識別和跟蹤系統(tǒng)。
3、 如權(quán)利要求1中所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的方法，其中所述 的關(guān)聯(lián)步驟還包括以下的一種或幾種組合1) 將無線電子遙控設(shè)備和某個(gè)場景的調(diào)用相關(guān)聯(lián)；2) 將觸摸屏中的預(yù)設(shè)操作區(qū)域和某個(gè)場景的調(diào)用相關(guān)聯(lián)；3) 將觸摸屏中觸摸筆或手指的位置移動和某個(gè)虛擬物體的位置屬性參數(shù)相關(guān)聯(lián)；4) 將觸摸屏中通過多點(diǎn)觸摸技術(shù)識別不同的多個(gè)手指操作命令，并和場景的切換或虛擬物體的屬性參數(shù)相關(guān)聯(lián)；5) 將i^識別設(shè)備的i賜喻令和場景的切換相關(guān)聯(lián)；6) 將位置跟蹤設(shè)備的位置信息和某個(gè)虛擬物體的位置屬性參數(shù)相關(guān)聯(lián)；7) 通過動作識別技術(shù)識別位置跟蹤設(shè)備的不同運(yùn)動軌跡所代表的不同命令，并和場景的切換相關(guān)聯(lián)；8) ffiil影像識別和卿宗設(shè)備，識別人體不同動作(如手勢)所f^的不同命令，并S跟宗對旨定部位(如科旨尖)的位置信息，和場景的切換或虛擬物體的屬性參數(shù)相關(guān)聯(lián)。
4、 如權(quán)利要求1中所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的方法，其中所述的渲染播出步驟可通過接口指令調(diào)用獨(dú)立的第三方實(shí)時(shí)三維圖像渲染引擎，例如以色列0rad公司提供的實(shí)時(shí)渲染工作站DVG。
5、 一種虛擬三維場景中實(shí)現(xiàn)遙控互動的系統(tǒng)，其特征在于，系統(tǒng)包括1) 三維場景制作模塊該模塊可以導(dǎo)入通用三維制作軟件例如3DMAX等制作完成的三維場景文件和/或自行創(chuàng)建三維場景模版，并導(dǎo)出物體的屬性參數(shù)；2) 播出控制模塊用于提供場景動畫播放列表、場景動畫預(yù)覽、虛擬互動控制設(shè)置、場景動畫播放的后臺控制、渲染引擎控制的功能；3) 交互控制信號處理模塊該模塊主要完成對多種交互控制設(shè)備的控制信號的分析處理，并形成歸一的控制信號以對虛擬場景以及虛擬物體進(jìn)行控制；4) 應(yīng)用系統(tǒng)模塊根據(jù)應(yīng)用邏輯和流程設(shè)計(jì)并存儲相應(yīng)的應(yīng)用方式，配合通用播出控制模塊使用，應(yīng)用例如是游戲類節(jié)目，問答類節(jié)目；5) 渲染輸出模塊該模塊主要包含三維實(shí)時(shí)渲染引擎，播出控制模塊根據(jù)接口協(xié)議驅(qū)動渲染輸出模塊，即驅(qū)動三維渲染引擎對場景進(jìn)行實(shí)時(shí)渲染，并輸出視頻。
6、 如權(quán)利要求5所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的系統(tǒng)，所述的應(yīng)用系統(tǒng)模塊例如競猜模塊該模塊主要負(fù)責(zé)選手的基礎(chǔ)設(shè)定、每輪競猜結(jié)果與場景動畫的關(guān)聯(lián)設(shè)置，并在每輪競猜結(jié)束后將結(jié)果傳遞給渲染輸出控制模塊，該模塊提供與外部程序的接口，支持競猜結(jié)果的自動產(chǎn)生或結(jié)果的手工錄入。
7、 如權(quán)利要求5所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的系統(tǒng)，所述的交互控制設(shè)備可以是以下設(shè)備中的一種或多種組合-[1) 無線電子遙控設(shè)備，如無線遙控器、遙控開關(guān)、紅外觸發(fā)開關(guān)；[2) 觸摸屏設(shè)備；[3) 語音識別設(shè)備；[4) 位置跟蹤設(shè)備，如電磁式和紅外式位置跟蹤設(shè)備；[5) 影像識別和跟蹤設(shè)備，如手勢識別和跟蹤系統(tǒng)。
8、 如權(quán)利要求5所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的系統(tǒng)，所述的觸摸屏設(shè)備可以提供一個(gè)可視化的圖像操作界面，該界面由多媒體演示軟件(如高速多媒體演示軟件Media Poster)進(jìn)行編輯產(chǎn)生，可以在屏幕上任意設(shè)定操作對象或區(qū)域，切換屏幕內(nèi)的不同界面，并通過接口同步控制實(shí)時(shí)渲染引擎，該引擎渲染的畫面也可通過觸摸屏工作站被同步采集到觸摸屏畫面中。
9、 如權(quán)利要求5所述的虛擬三維場景中實(shí)現(xiàn)遙控互動的系統(tǒng)，所述的渲染輸出控制模塊的互動控制效果包括下述效果中的一種或多種[1、 下一個(gè)動畫控制場景中下一個(gè)動畫的播放；[2、 上一個(gè)動畫控制回到場景的上一個(gè)動畫，同時(shí)當(dāng)前動畫回到第一幀;[3、 動畫播放暫?？刂撇シ胖械膱鼍皠赢嫷臅和＃缪h(huán)動畫，可通過循環(huán)動畫的停止達(dá)到隨機(jī)選擇的效果；[4、 動畫播放控制暫停后的場景動畫繼續(xù)播放；[5、 動畫停止場景動畫播放的停止，回到動畫最前面；[6、 視頻播放控制插入的視頻文件的播放，可支持的視頻文件格式有.avi、 .mov 、 .mpeg、 .rmvb、 .wmv ;[7、 視頻播放暫?？刂撇迦氲囊曨l文件的播放暫停；8、 任意動畫控制場景中任意動畫的播放；9、 回到場景動畫頂端 一鍵回到當(dāng)前場景的最頂端動畫，主要針對于節(jié)目錄制中NG情況；
10、 動畫的跳過播放時(shí)可跳過某個(gè)動畫，直接播放下一個(gè)動畫；
11、 場景內(nèi)部物體的選擇、移動，旋轉(zhuǎn)，放大，縮小。
全文摘要
本發(fā)明涉及一種虛擬三維場景中實(shí)現(xiàn)遙控互動的系統(tǒng)和控制方法，該交互控制系統(tǒng)解決了如何由操作者來進(jìn)行與虛擬演播室場景、動畫及場景內(nèi)的物體(object)的交互與控制。該系統(tǒng)主要包含三大模塊，一是三維制作和實(shí)時(shí)渲染模塊，二是播出和控制模塊，三是交互模塊。交互模塊中包含了無線遙控、語音識別、影像識別、位置跟蹤(動作識別)和觸摸屏(提供了一個(gè)可視化的多媒體播控界面及多點(diǎn)觸摸控制手段)等子系統(tǒng)。操作者可以各種交互手段通過播出和控制模塊去驅(qū)動三維實(shí)時(shí)渲染引擎，實(shí)現(xiàn)對虛擬場景的即時(shí)選播和對虛擬物體的控制。系統(tǒng)可應(yīng)用于電視臺虛擬演播室以及其他虛擬交互演示場合。
文檔編號H04N5/222GK101465957SQ200810205010
公開日2009年6月24日 申請日期2008年12月30日 優(yōu)先權(quán)日2008年12月30日
發(fā)明者劉建宏, 吳曉東, 周憶垚, 峰 尚, 李輝石, 范金慧, 杰 陳, 顧禮華, 高笑峰 申請人:應(yīng)旭峰;上海文廣新聞傳媒集團(tuán)