專利名稱：一種沉浸式虛擬現(xiàn)實(shí)系統(tǒng)及其實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及本發(fā)明涉及一種虛擬現(xiàn)實(shí)系統(tǒng)和方法，更詳細(xì)地，本發(fā)明涉及一種沉浸式虛擬現(xiàn)實(shí)系統(tǒng)和方法。
背景技術(shù)：
虛擬現(xiàn)實(shí)(Virtual Reality,VR)技術(shù)是一種先進(jìn)的、數(shù)字化的人機(jī)接口技術(shù),，其特點(diǎn)在于計(jì)算機(jī)產(chǎn)生一種人為虛擬的環(huán)境，生成一個(gè)以視覺(jué)感受為主，包括聽(tīng)覺(jué)、觸覺(jué)的綜合感知的人工環(huán)境，人們可以通過(guò)視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)和加速度感等多種感覺(jué)通道感知計(jì)算機(jī)模擬的虛擬世界，也可以通過(guò)移動(dòng)、語(yǔ)音、表情、手勢(shì)及視線等最自然的方式和虛擬世界交互，從而產(chǎn)生身臨其境的體驗(yàn)。虛擬現(xiàn)實(shí)技術(shù)是計(jì)算機(jī)技術(shù)、傳感器技術(shù)、人機(jī)交互技術(shù)、人工智能技術(shù)等多種技術(shù)的綜合發(fā)展，目前已經(jīng)在軍事、醫(yī)學(xué)、教育、娛樂(lè)、制造業(yè)、工程訓(xùn)練等各個(gè)方面得到應(yīng)用，它被認(rèn)為是當(dāng)前及將來(lái)影響人們生活的重要技術(shù)之一。虛擬現(xiàn)實(shí)系統(tǒng)按照沉浸性的程度不同分為沉浸式系統(tǒng)與非沉浸式系統(tǒng)。沉浸式虛擬現(xiàn)實(shí)系統(tǒng)是通過(guò)一些特殊的外部設(shè)備、高性能計(jì)算機(jī)以及相應(yīng)的軟件來(lái)實(shí)現(xiàn)的，它使人完全沉浸到計(jì)算機(jī)創(chuàng)造的圖形世界里，猶如感受真實(shí)世界。沉浸式虛擬現(xiàn)實(shí)系統(tǒng)是一種高級(jí)的虛擬現(xiàn)實(shí)系統(tǒng)，它提供一個(gè)完全沉浸的體驗(yàn)，讓使用者有一種置身于虛擬境界之中的感覺(jué)。它利用頭盔式顯示器或其它設(shè)備，把參與者的視覺(jué)、聽(tīng)覺(jué)和其它感覺(jué)封閉起來(lái)，并提供一個(gè)新的、虛擬的感覺(jué)空間，并利用位置跟蹤器、數(shù)據(jù)手套、其它手控輸入設(shè)備、聲音等使得參與者產(chǎn)生一種身臨其境、全心投入和沉浸其中的感覺(jué)。沉浸式虛擬現(xiàn)實(shí)系統(tǒng)包括洞穴(CAVE)沉浸式虛擬現(xiàn)實(shí)系統(tǒng)、大屏幕三維立體沉浸式虛擬現(xiàn)實(shí)系統(tǒng)、柱面環(huán)幕投影沉浸式虛擬現(xiàn)實(shí)系統(tǒng)等，這些沉浸式虛擬現(xiàn)實(shí)系統(tǒng)以大幅面甚至是超大幅面的虛擬現(xiàn)實(shí)立體投影為顯示方式，為參與者提供具有高度臨場(chǎng)感的投入型虛擬空間環(huán)境，讓所要交互的虛擬三維世界高度逼真地浮現(xiàn)于參與者的眼前。然而，這些沉浸式虛擬系統(tǒng)需要固定場(chǎng)所安裝大型顯示設(shè)備才能使用，限制了其使用范圍。可佩帶顯示器的出現(xiàn)解決了顯示設(shè)備龐大的問(wèn)題，這種顯示方式體積小，便于攜帶和運(yùn)輸，最有可能得到廣泛的普及。然而，人體部位的跟蹤和數(shù)據(jù)傳輸?shù)难訒r(shí)是采用可佩帶式顯示器的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)所面臨的技術(shù)難題。例如CN97198214.7的空間跟蹤系統(tǒng)(Spatial tracking system)提供了人體部位跟蹤的解決方案，例如3DSuit動(dòng)作捕捉產(chǎn)品和Xsens Technologies生產(chǎn)的MVN慣性動(dòng)作捕捉產(chǎn)品，采用慣性傳感器等手段，對(duì)人體主要骨骼部位的運(yùn)動(dòng)進(jìn)行實(shí)時(shí)測(cè)量。這類設(shè)備的的優(yōu)點(diǎn)是使使用者全身心地沉浸到虛擬世界中去，缺點(diǎn)是系統(tǒng)設(shè)備復(fù)雜，價(jià)格昂貴，難以普及推廣。

發(fā)明內(nèi)容
由于本發(fā)明人廣泛而深入的研究，本發(fā)明人提出了根據(jù)本發(fā)明的技術(shù)方案，使得上述問(wèn)題能夠被解決。
本發(fā)明提供了一種沉浸式虛擬現(xiàn)實(shí)系統(tǒng)，所述系統(tǒng)至少包括:至少一個(gè)可佩帶在使用者身體上的顯示器，至少一個(gè)動(dòng)作捕捉裝置，以及至少一個(gè)數(shù)據(jù)處理裝置；其中，所述顯示器用于向使用者顯示圖像和聲音，并用于捕捉使用者的頭部轉(zhuǎn)動(dòng)動(dòng)作，并將頭部轉(zhuǎn)動(dòng)動(dòng)作數(shù)據(jù)發(fā)送至至少一個(gè)所述數(shù)據(jù)處理裝置，以及接收至少一個(gè)所述數(shù)據(jù)處理裝置發(fā)送的數(shù)據(jù)，并向使用者傳遞虛擬環(huán)境的視頻和/或音頻；所述動(dòng)作捕捉裝置捕捉使用者主要節(jié)點(diǎn)部位的運(yùn)動(dòng)軌跡，并將運(yùn)動(dòng)軌跡數(shù)據(jù)發(fā)送至至少一個(gè)所述數(shù)據(jù)處理裝置；所述數(shù)據(jù)處理裝置用于處理從至少一個(gè)所述顯示器和至少一個(gè)所述動(dòng)作捕捉裝置獲取并傳輸至所述數(shù)據(jù)處理裝置的數(shù)據(jù)，并將處理后的結(jié)果發(fā)送至至少一個(gè)顯示器。根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)，優(yōu)選所述顯示器包括至少一個(gè)角度感應(yīng)裝置。所述角度感應(yīng)裝置至少能捕獲圍繞z軸的旋轉(zhuǎn)動(dòng)作，優(yōu)選所述角度感應(yīng)裝置是電子指南針。還優(yōu)選所述角度感應(yīng)裝置能感應(yīng)圍繞X、y和Z三個(gè)軸的旋轉(zhuǎn)動(dòng)作,更優(yōu)選所述角度感應(yīng)裝置是三軸陀螺儀。根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)，優(yōu)選所述動(dòng)作捕獲裝置包括至少一個(gè)紅外線發(fā)射器和至少一個(gè)紅外線攝像頭。更優(yōu)選所述動(dòng)作捕獲裝置是體感攝影機(jī)，最優(yōu)選所述動(dòng)作捕獲裝置是Kinect體感攝影機(jī)和/或WAVI Xtion體感攝影機(jī)。根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)，優(yōu)選所述數(shù)據(jù)處理裝置是電腦，例如PC機(jī)、筆記本電腦；個(gè)人數(shù)字助理(Personal Digital Assistant, PDA),例如戴爾公司生產(chǎn)的Dell Axim X51V掌上電腦；平板電腦，例如蘋果公司生產(chǎn)的iPad和iTouch、惠普公司生產(chǎn)的TouchPad ;移動(dòng)電話，例如蘋果公司生產(chǎn)的iPhone，諾基亞公司生產(chǎn)的Nokia N85 ;音頻處理終端，例如MP3和iPod ;視頻處理終端，例如MP4 ;和/或游戲機(jī)，例如PS2、PS3、PSP、NGC、NDSL、XBOX、Wi 1、GBA、3DS 和 NDS。根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)，至少一個(gè)顯示器(C0M1)、至少一個(gè)動(dòng)作捕獲裝置(COM2)和至少一個(gè)數(shù)據(jù)處理裝置(COM3)組成一個(gè)VRS。根據(jù)本發(fā)明的虛擬現(xiàn)實(shí)系統(tǒng)也可以由多個(gè)VRS構(gòu)成。根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)，其還包括至少一個(gè)數(shù)據(jù)交換裝置，用于處理多個(gè)VRS之間的數(shù)據(jù)傳輸。優(yōu)選所述數(shù)據(jù)交換裝置是電腦、個(gè)人數(shù)字助理、平板電腦、移動(dòng)電話、音頻處理終端、視頻處理終端和/或游戲機(jī)。根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)，所述顯示器與所述動(dòng)作捕捉裝置、所述顯示器與所述數(shù)據(jù)處理裝置和/或所述動(dòng)作捕捉裝置與所述數(shù)據(jù)處理裝置之間的傳輸速度優(yōu)選不小于18432000bps (bit per second,比特每秒),更優(yōu)選不小于55296000bps,更優(yōu)選不小于55296000bps，還更優(yōu)選不小于147456000bps。優(yōu)選數(shù)據(jù)傳輸裝置采用WHDI傳輸方式。本發(fā)明還提供了一種實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，所述方法至少包括以下部分:通過(guò)至少一個(gè)動(dòng)作捕獲裝置捕獲使用者主要節(jié)點(diǎn)部位的運(yùn)動(dòng)軌跡，并將運(yùn)動(dòng)軌跡數(shù)據(jù)發(fā)送至至少一個(gè)數(shù)據(jù)處理裝置，通過(guò)至少一個(gè)顯示器捕獲使用者的頭部轉(zhuǎn)動(dòng)動(dòng)作，并將頭部轉(zhuǎn)動(dòng)動(dòng)作數(shù)據(jù)發(fā)送至至少一個(gè)所述數(shù)據(jù)處理裝置，通過(guò)至少一個(gè)所述數(shù)據(jù)處理裝置處理來(lái)自所述動(dòng)作捕獲裝置和所述顯示器的數(shù)據(jù)，并將處理后的數(shù)據(jù)發(fā)送至至少一個(gè)所述顯示器；通過(guò)至少一個(gè)所述顯示器將從至少一個(gè)所述數(shù)據(jù)處理裝置接收到的處理后的數(shù)據(jù)轉(zhuǎn)換為視頻和/或音頻，使使用者能感受到跟隨自己動(dòng)作變化的虛擬現(xiàn)實(shí)環(huán)境。根據(jù)本發(fā)明的實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，優(yōu)選所述顯示器包括至少一個(gè)角度感應(yīng)裝置。所述角度感應(yīng)裝置至少能捕獲圍繞z軸的旋轉(zhuǎn)動(dòng)作，優(yōu)選所述角度感應(yīng)裝置是電子指南針。還優(yōu)選所述角度感應(yīng)裝置能感應(yīng)圍繞X、y和Z三個(gè)軸的旋轉(zhuǎn)動(dòng)作,更優(yōu)選所述角度感應(yīng)裝置是三軸陀螺儀。根據(jù)本發(fā)明的實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，優(yōu)選所述動(dòng)作捕獲裝置包括至少一個(gè)紅外線發(fā)射器和至少一個(gè)紅外線攝像頭。更優(yōu)選所述動(dòng)作捕獲裝置是體感攝影機(jī)，最優(yōu)選所述動(dòng)作捕獲裝置是Kinect攝像頭和/或WAVI Xtion攝像頭。根據(jù)本發(fā)明的實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，優(yōu)選所述數(shù)據(jù)處理裝置是電腦，例如PC機(jī)、筆記本電腦；個(gè)人數(shù)字助理(Personal Digital Assistant, PDA),例如戴爾生產(chǎn)的Dell Axim X51V掌上電腦；平板電腦，例如蘋果公司生產(chǎn)的iPad和iTouch、惠普公司生產(chǎn)的TouchPad ;移動(dòng)電話，例如蘋果公司生產(chǎn)的iPhone，諾基亞公司生產(chǎn)的Nokia N85 ;音頻處理終端，例如MP3和iPod ;視頻處理終端，例如MP4 ;和/或游戲機(jī)，例如PS2、PS3、PSP、NGC、NDSL、XBOX、Wi 1、GBA、3DS 和 NDS。根據(jù)本發(fā)明的實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，至少一個(gè)顯示器(C0M1)、至少一個(gè)動(dòng)作捕獲裝置(COM2)和至少一個(gè)數(shù)據(jù)處理裝置(COM3)組成一個(gè)VRS。根據(jù)本發(fā)明的虛擬現(xiàn)實(shí)系統(tǒng)也可以由多個(gè)VRS構(gòu)成。根據(jù)本發(fā)明的實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，其還包括通過(guò)至少一個(gè)數(shù)據(jù)交換裝置處理多個(gè)VRS之間的數(shù)據(jù)傳輸。優(yōu)選所述數(shù)據(jù)交換裝置是電腦、個(gè)人數(shù)字助理、平板電腦、移動(dòng)電話、音頻處理終端、視頻處理終端和/或游戲機(jī)。根據(jù)本發(fā)明的實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，所述顯示器與所述動(dòng)作捕捉裝置、所述顯示器與所述數(shù)據(jù)處理裝置和/或所述動(dòng)作捕捉裝置與所述數(shù)據(jù)處理裝置之間的傳輸速度優(yōu)選不小于18432000bps (bit per second,比特每秒)，更優(yōu)選不小于55296000bps,更優(yōu)選不小于36864000bps，還更優(yōu)選不小于147456000bps。優(yōu)選數(shù)據(jù)傳輸裝置采用WHDI傳
輸方式。。


附圖1是根據(jù)本發(fā)明的顯示器的結(jié)構(gòu)圖；附圖2a_2d是根據(jù)本發(fā)明的x、y和z軸的示意圖；附圖3是根據(jù)本發(fā)明的顯示器的工作原理圖；附圖4是根據(jù)本發(fā)明的動(dòng)作捕獲裝置的結(jié)構(gòu)圖；附圖5是根據(jù)本發(fā)明的動(dòng)作捕獲裝置能夠捕獲的人體主要節(jié)點(diǎn)部位示意圖；附圖6是根據(jù)本發(fā)明的數(shù)據(jù)處理裝置的結(jié)構(gòu)圖；附圖7是根據(jù)本發(fā)明的數(shù)據(jù)處理裝置的工作原理圖；附圖8是根據(jù)本發(fā)明的數(shù)據(jù)交換裝置的工作原理附圖9是根據(jù)本發(fā)明的實(shí)施例1的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)圖；附圖10是根據(jù)本發(fā)明的實(shí)施例2的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)圖；附圖11是根據(jù)本發(fā)明的實(shí)施例3的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)圖；附圖12是根據(jù)本發(fā)明的實(shí)施例4的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)圖；附圖13是根據(jù)本發(fā)明的實(shí)施例5的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)圖；附圖14是根據(jù)本發(fā)明的實(shí)施例6的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)圖。
具體實(shí)施例方式下面，將結(jié)合附圖更為詳細(xì)地闡述本發(fā)明。說(shuō)明書中出現(xiàn)的實(shí)例僅用于解釋、闡述和說(shuō)明本發(fā)明，具有包括但不限于的含義，而不意味著對(duì)本發(fā)明的內(nèi)容有任何形式的限制。顯示器(COMl)用于向使用者傳遞虛擬環(huán)境的視頻和/或音頻，使使用者產(chǎn)生身臨其境的感受；并且包括至少一個(gè)角度感應(yīng)裝置，所述角度感應(yīng)裝置用于捕獲頭部轉(zhuǎn)動(dòng)動(dòng)作，所述頭部轉(zhuǎn)動(dòng)動(dòng)作包括頭部的旋轉(zhuǎn)動(dòng)作和小幅度偏轉(zhuǎn)動(dòng)作。顯示器(COMl)還可以用于實(shí)現(xiàn)使用者與其它使用者之間的語(yǔ)音溝通。參照附圖1，顯示器(COMl)具有顯示裝置(101)，話筒(102)，耳機(jī)(103)，角度感應(yīng)裝置(104)，信號(hào)處理裝置(106)，以及數(shù)據(jù)傳輸裝置(105)。顯示裝置(101)是用于顯示圖像的部分，為了便于使用者感受到更為逼真的視覺(jué)效果，顯示裝置(101)的位置通常在人的眼部附近，該顯示裝置可以是CRT、IXD等任何顯示設(shè)備。話筒(102)是用于捕獲聲音，并將聲音信號(hào)轉(zhuǎn)換為模擬信號(hào)的裝置，一般安置在人的口部附近。耳機(jī)(103)是將模擬信號(hào)轉(zhuǎn)換為聲音信號(hào)，并將聲音播出的裝置，一般安置在人的耳部附近。角度感應(yīng)裝置(104)能感應(yīng)圍繞z軸的旋轉(zhuǎn)動(dòng)作，更好地，角度感應(yīng)裝置(104)能夠感應(yīng)圍繞X、y和z三個(gè)軸的旋轉(zhuǎn)動(dòng)作。如圖2所示，所述圍繞z軸的旋轉(zhuǎn)動(dòng)作是指使用者頭部以豎直方向?yàn)檩S的旋轉(zhuǎn)動(dòng)作，即，產(chǎn)生轉(zhuǎn)動(dòng)(yaw)(a)角變化的動(dòng)作，例如使用者運(yùn)動(dòng)或基本靜止?fàn)顟B(tài)下頭部左右轉(zhuǎn)動(dòng)動(dòng)作，也包括例如使用者直立站立或坐立狀態(tài)下頭部和身體幾乎無(wú)位移或位移很小的情況下的頭部左右轉(zhuǎn)動(dòng)動(dòng)作。所述圍繞X、y和z三個(gè)軸的旋轉(zhuǎn)動(dòng)作是指除了圍繞z軸的旋轉(zhuǎn)動(dòng)作以外,還包括使用者頭部沿豎直方向的軸向運(yùn)動(dòng)動(dòng)作，即，產(chǎn)生轉(zhuǎn)動(dòng)(yaw)角(α)、偏轉(zhuǎn)(pitch)角(β)和俯仰(roll)角(Y),例如使用者的任何頭部轉(zhuǎn)動(dòng)動(dòng)作，包括頭部轉(zhuǎn)動(dòng)動(dòng)作、點(diǎn)頭動(dòng)作、后仰動(dòng)作、擺頭動(dòng)作等，當(dāng)然也包括例如使用者直立站立或坐立狀態(tài)下頭部和身體幾乎無(wú)位移或位移很小的情況下的頭部轉(zhuǎn)動(dòng)動(dòng)作、點(diǎn)頭動(dòng)作、后仰動(dòng)作、擺頭動(dòng)作。在前一種情況下，角度感應(yīng)裝置(104)可以是電子指南針；在后一種情況下，角度感應(yīng)裝置(104)可以是三軸陀螺儀。角度感應(yīng)裝置(104)使得頭部的旋轉(zhuǎn)動(dòng)作和小幅度的偏轉(zhuǎn)動(dòng)作能夠被根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)所識(shí)別，彌補(bǔ)了動(dòng)作捕獲裝置(COM2)難以識(shí)別頭部的旋轉(zhuǎn)動(dòng)作和小幅度偏轉(zhuǎn)動(dòng)作的缺陷，能夠輔助數(shù)據(jù)處理裝置(COM3)渲染對(duì)應(yīng)的視頻圖形，使得根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)能夠?yàn)槭褂谜邘?lái)更為逼真的模擬現(xiàn)實(shí)效果。信號(hào)處理裝置(106)是顯示器(COMl)的中央控制部分，用于處理顯示器(COMl)接收和/或捕獲到的數(shù)據(jù)。例如，如附圖3所示，信號(hào)處理裝置(106)具有圖像處理裝置(1061)、聲音處理裝置(1062)、控制裝置(1063)和存儲(chǔ)裝置(1064)。其中，圖像處理裝置(1061)將接收到的文字、圖形的數(shù)字信號(hào)轉(zhuǎn)換成模擬信號(hào)，并將模擬信號(hào)傳輸至顯示裝置
(101)顯示；例如，圖像處理裝置(1061)可以是顯卡。聲音處理裝置(1062)將從話筒(102)接收到的聲音的模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，并傳輸給數(shù)據(jù)處理裝置(COM3);也將來(lái)自數(shù)據(jù)處理裝置(COM3)的聲音數(shù)字信號(hào)轉(zhuǎn)換成模擬信號(hào)，并發(fā)送給耳機(jī)(103)播放；例如聲音處理裝置(1062)可以是聲卡?？刂蒲b置(1063)用于控制顯示器(COMl)的所有程序執(zhí)行，協(xié)調(diào)外部設(shè)備操作；控制裝置(1063)可以是中央處理器(CPU)。存儲(chǔ)裝置(1064)用于存儲(chǔ)顯示器(COMl)的程序和數(shù)據(jù)；存儲(chǔ)裝置(1064)可以是內(nèi)存和/或硬盤。數(shù)據(jù)傳輸裝置
(105)是用于顯示器(COMl)與其他裝置(例如數(shù)據(jù)處理裝置(COM3))之間數(shù)據(jù)傳輸，可采用 WHD1、WiF1、Ethernet Net、RF、USB 等方式。動(dòng)作捕獲裝置(COM2)用于捕獲使用者主要節(jié)點(diǎn)部位的運(yùn)動(dòng)軌跡，其至少包括至少一個(gè)紅外線發(fā)射器(201)和至少一個(gè)紅外線攝像頭(202)。如附圖4所示，動(dòng)作捕獲裝置(COM2)還可以包括控制器(203)，輸出接口(205)，以及追焦馬達(dá)(204)。使用時(shí)，動(dòng)作捕獲裝置(COM2)面向使用者，使得使用者的活動(dòng)范圍落入動(dòng)作捕獲裝置(COM2)的測(cè)量空間中。動(dòng)作捕獲裝置(COM2)還可以包括彩色攝像頭用于拍攝彩色圖像。紅外線發(fā)射器(201)用于在在動(dòng)作捕獲裝置(COM2)的測(cè)量空間中均勻投射紅外光，所述測(cè)量空間是紅外線發(fā)射器(201)所能覆蓋的范圍。紅外線攝像頭(202)(又稱單色CMOS傳感器或紅外CMOS傳感器)用于記錄測(cè)量空間中的散斑數(shù)據(jù)，并將所得數(shù)據(jù)傳輸給控制器(203)?？刂破?202)用于處理來(lái)自紅外線攝像頭(202)的數(shù)據(jù)，完成對(duì)人體主要節(jié)點(diǎn)部位的動(dòng)作捕獲，處理后的數(shù)據(jù)通過(guò)輸出接口(205)傳遞給相連的其他裝置(例如數(shù)據(jù)處理裝置(COM3))。追焦馬達(dá)(204)用于調(diào)整攝像設(shè)備的上下左右角度，以確保測(cè)量空間能更好得覆蓋人體對(duì)象。紅外線發(fā)射器(201)向空間連續(xù)發(fā)射的均勻紅外光照射到粗糙物體(如人體表面或衣物表面)上時(shí)，形成隨機(jī)的反射斑點(diǎn)，即散斑。散斑具有高度隨機(jī)性，也會(huì)隨著距離而變換圖案，空間中任何兩處的散斑都會(huì)是不同的圖案，相當(dāng)于將整個(gè)空間加上了標(biāo)記，所以任何物體進(jìn)入該空間、以及移動(dòng)時(shí)，都可以確切記錄到該物體的位置。紅外線攝像頭(202)可以記錄空間中出現(xiàn)的散斑，從而獲取散斑信息，并傳輸給控制器(203)?？刂破?203)根據(jù)來(lái)自紅外線攝像頭(202)的數(shù)據(jù)形成具有3D深度的圖像數(shù)據(jù)，并進(jìn)行例如人體結(jié)構(gòu)識(shí)別、人體骨骼模型建立等處理。人體結(jié)構(gòu)識(shí)別采用機(jī)器學(xué)習(xí)技術(shù)(machine learning),建立大量的圖像資料庫(kù)。將3D深度人體圖像的每個(gè)像素傳輸至圖像資料庫(kù)中，以辨別像素分別屬于哪個(gè)身體部位的可能性，從而確定人體部位。為了減輕計(jì)算量，可以采取分割遮罩技術(shù)，即將背景物體剔除，在處理流程中僅傳送分割遮罩的部分，同時(shí)可以通過(guò)組合人體的基本面部數(shù)據(jù)和骨架數(shù)據(jù)來(lái)識(shí)別測(cè)量空間中每個(gè)人的身份。骨骼模型處理，是通過(guò)評(píng)估輸出的像素來(lái)確定活動(dòng)關(guān)節(jié)點(diǎn)，然后根據(jù)活動(dòng)關(guān)節(jié)點(diǎn)生成骨骼系統(tǒng)，并準(zhǔn)確地評(píng)估人體實(shí)際所處位置。同時(shí)在控制器(203)中預(yù)存多個(gè)常見(jiàn)的人體姿勢(shì)，以便在接收到的圖像數(shù)據(jù)采集信息不全面時(shí)能夠猜測(cè)并匹配出玩家的動(dòng)作。如附圖5所示，動(dòng)作捕獲裝置(COM2)捕獲的人體動(dòng)作軌跡，一般來(lái)說(shuō)包括人體主要節(jié)點(diǎn)部位的運(yùn)動(dòng)軌跡，人體主要節(jié)點(diǎn)部位的運(yùn)動(dòng)軌跡一般是指人體主要節(jié)點(diǎn)部位在空間的位移軌跡，所述主要節(jié)點(diǎn)部位至少包括頭部、手部、肘部、肩部、腰部、膝部和/或腳部，還可以包括髖部、腕部和/或踝部。動(dòng)作捕獲裝置(COM2)可以是體感攝影機(jī)，其可以通過(guò)商業(yè)方式獲取，例如微軟公司的Kinect體感攝影機(jī)，或者華碩公司的WAVI Xtion體感攝影機(jī)。然而，雖然動(dòng)作捕獲裝置(COM2)能夠捕獲使用者主要節(jié)點(diǎn)部位的運(yùn)動(dòng)軌跡，但是其難以或不能識(shí)別頭部轉(zhuǎn)動(dòng)動(dòng)作。所述頭部轉(zhuǎn)動(dòng)動(dòng)作包括頭部的旋轉(zhuǎn)動(dòng)作和/或小幅度偏轉(zhuǎn)動(dòng)作；頭部的旋轉(zhuǎn)動(dòng)作是指頭部相對(duì)于軀體幾乎不產(chǎn)生位移或產(chǎn)生很小位移的以頸椎為軸的旋轉(zhuǎn)動(dòng)作，例如扭頭動(dòng)作，當(dāng)然也包括使用者直立站立或坐立狀態(tài)下頭部和身體幾乎無(wú)位移或位移很小的情況下的扭頭動(dòng)作、搖頭動(dòng)作；頭部的小幅度偏轉(zhuǎn)動(dòng)作是指頭部相對(duì)于軀體產(chǎn)生很小位移的擺動(dòng)動(dòng)作，例如幅度較小的擺頭動(dòng)作，當(dāng)然也包括使用者直立站立或坐立狀態(tài)下頭部和身體幾乎無(wú)位移或位移很小的情況下的點(diǎn)頭動(dòng)作、頭部后仰動(dòng)作或擺頭動(dòng)作。然而這些頭部轉(zhuǎn)動(dòng)動(dòng)作會(huì)使使用者的視角發(fā)生很大的變化，因而虛擬現(xiàn)實(shí)系統(tǒng)必須要能夠識(shí)別這些動(dòng)作，并使系統(tǒng)模擬的虛擬環(huán)境對(duì)上述動(dòng)作有所反應(yīng)和變化。經(jīng)過(guò)本發(fā)明人廣泛而深入的研究，根據(jù)本發(fā)明，在顯示器(COMl)上安裝角度感應(yīng)裝置(104)能夠解決這個(gè)問(wèn)題，角度感應(yīng)裝置(104)至少能夠感應(yīng)圍繞z軸的旋轉(zhuǎn)動(dòng)作，當(dāng)使用者頭部作出旋轉(zhuǎn)動(dòng)作，例如扭頭或搖頭時(shí)，角度感應(yīng)裝置(104)能夠感應(yīng)到使用者的動(dòng)作并發(fā)送相關(guān)數(shù)據(jù)，數(shù)據(jù)處理裝置(COM3)接收到相關(guān)數(shù)據(jù)并進(jìn)行處理，將處理后的數(shù)據(jù)發(fā)送回顯示器(COMl)，使使用者能從顯示器(COMl)感受到(例如看見(jiàn)和/或聽(tīng)見(jiàn))隨著扭頭動(dòng)作進(jìn)行而產(chǎn)生的虛擬環(huán)境變化，使使用者有更好的身臨其境的感受。更好地，角度感應(yīng)裝置(104)能夠感應(yīng)圍繞X、y和z三個(gè)軸的旋轉(zhuǎn)動(dòng)作，即能夠感應(yīng)使用者的任何頭部轉(zhuǎn)動(dòng)動(dòng)作。當(dāng)使用者頭部作出旋轉(zhuǎn)動(dòng)作和/或小幅度偏轉(zhuǎn)動(dòng)作，例如即使是扭頭和/或幅度較小的擺頭、點(diǎn)頭動(dòng)作時(shí)，角度感應(yīng)裝置(104)也能夠感應(yīng)到使用者的動(dòng)作并發(fā)送相關(guān)數(shù)據(jù)，數(shù)據(jù)處理裝置(COM3)接收到相關(guān)數(shù)據(jù)并進(jìn)行處理，將處理后的數(shù)據(jù)發(fā)送回顯示器(COMl)，使使用者能從顯示器(COMl)感受到(例如看見(jiàn)和/或聽(tīng)見(jiàn))隨著動(dòng)作進(jìn)行而產(chǎn)生的虛擬環(huán)境變化，使使用者有更好的身臨其境的感受。數(shù)據(jù)處理裝置(COM3)用于處理從顯示器(COMl)和動(dòng)作捕獲裝置(COM2)獲取的數(shù)據(jù)，并將處理后的結(jié)果發(fā)送至顯示器(COMl)。如附圖6所示，數(shù)據(jù)處理裝置(COM3)通常包括控制器(301)，運(yùn)算器(302)，存儲(chǔ)器(303)，輸入裝置(304)，以及輸出裝置(305)?？刂破?301)用于控制程序執(zhí)行，其根據(jù)存儲(chǔ)器中的指令序列(程序)工作，并控制執(zhí)行指令，根據(jù)指令控制機(jī)器的各部件協(xié)調(diào)操作。運(yùn)算器(302)用于進(jìn)行數(shù)據(jù)加工處理，例如各種算術(shù)、邏輯運(yùn)算等。存儲(chǔ)器(303)用于記憶程序和數(shù)據(jù)，例如以二進(jìn)制代碼形式存放程序和數(shù)據(jù)。輸入裝置(304)用于將外接裝置發(fā)送的數(shù)據(jù)輸入運(yùn)算器(302)。輸出裝置(305)用于將運(yùn)算器(302)處理完的數(shù)據(jù)輸出至外接裝置。所述外接裝置例如顯示器(COMl)、動(dòng)作捕獲裝置(COM2)、數(shù)據(jù)交換裝置(COM4)、鼠標(biāo)、鍵盤和/或觸摸式顯示屏(例如電容屏或電阻屏)。輸入設(shè)備(304)把需要的程序和數(shù)據(jù)傳輸至運(yùn)算器(302)，再通過(guò)運(yùn)算器(302)存于存儲(chǔ)器(303)。在運(yùn)算處理過(guò)程中，數(shù)據(jù)從存儲(chǔ)器(303)讀入運(yùn)算器(302)進(jìn)行運(yùn)算，運(yùn)算結(jié)果存入存儲(chǔ)器(303)，或由運(yùn)算器(302)經(jīng)輸出設(shè)備(305)輸出。指令也以數(shù)據(jù)形式存于存儲(chǔ)器(303)中，運(yùn)算時(shí)指令由存儲(chǔ)器(303)送入控制器(301)，由控制器(301)產(chǎn)生控制流以控制數(shù)據(jù)流的流向以及控制各部件的工作，對(duì)數(shù)據(jù)流進(jìn)行加工處理。數(shù)據(jù)處理裝置(COM3)可以是例如電腦，例如PC機(jī)、筆記本電腦；個(gè)人數(shù)字助理(Personal Digital Assistant, PDA),例如戴爾公司生產(chǎn)的 Dell AximX51V 掌上電腦；平板電腦，例如蘋果公司生產(chǎn)的iPad和iTouch、惠普公司生產(chǎn)的TouchPad ;移動(dòng)電話，例如蘋果公司生產(chǎn)的iPhone，諾基亞公司生產(chǎn)的Nokia N85音頻處理終端，例如MP3和iPod ;視頻處理終端，例如 MP4 ;和 / 或游戲機(jī)，例如 PS2、PS3、PSP、NGC、NDSL, XBOX, Wi1、GBA、3DS 和NDS。數(shù)據(jù)處理裝置(COM3)的工作原理如附圖7所示。數(shù)據(jù)處理裝置(COM3)負(fù)責(zé)對(duì)接收到的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理(701)。接收到的數(shù)據(jù)是本地使用者輸入數(shù)據(jù)(702)和/或遠(yuǎn)程使用者輸入數(shù)據(jù)(703)。本地使用者輸入數(shù)據(jù)(702)是指從本地使用者處獲取的數(shù)據(jù)，包括例如通過(guò)本地顯示器(COMl)的話筒(102)捕獲的音頻數(shù)據(jù)、通過(guò)本地顯示器(COMl)的角度感應(yīng)裝置(104)獲取的頭部轉(zhuǎn)動(dòng)動(dòng)作數(shù)據(jù)、通過(guò)本地動(dòng)作捕獲裝置(COM2)獲取的本地使用者人體動(dòng)作軌跡數(shù)據(jù)等。遠(yuǎn)程使用者輸入數(shù)據(jù)(703)是指從遠(yuǎn)程使用者處獲取并被發(fā)送到本地的數(shù)據(jù)，包括例如通過(guò)遠(yuǎn)程顯示器(C0M1’)的話筒(102’)捕獲的音頻數(shù)據(jù)、通過(guò)遠(yuǎn)程顯示器(C0M1’ )的角度感應(yīng)裝置(104’ )獲取的頭部轉(zhuǎn)動(dòng)動(dòng)作數(shù)據(jù)、通過(guò)遠(yuǎn)程動(dòng)作捕獲裝置(COM2’ )獲取的遠(yuǎn)程使用者人體動(dòng)作軌跡數(shù)據(jù)等。數(shù)據(jù)處理(701)通常包括數(shù)據(jù)獲取模塊(7011)、輸入數(shù)據(jù)整理模塊(7012)、數(shù)據(jù)處理模塊(7014)、3D渲染模塊(7016)、音頻渲染模塊(7015)和輸出數(shù)據(jù)整理模塊(7017)，并且還包括本地?cái)?shù)據(jù)輸出模塊(7018)和/或遠(yuǎn)程數(shù)據(jù)輸出模塊(7013)。數(shù)據(jù)獲取模塊(7011)獲取本地使用者輸入數(shù)據(jù)(702)和/或遠(yuǎn)程使用者輸入數(shù)據(jù)(703)，并將數(shù)據(jù)傳輸至輸入數(shù)據(jù)整理模塊(7012)。輸入數(shù)據(jù)整理模塊(7012)將接收到的數(shù)據(jù)分門別類并整理為數(shù)據(jù)處理模塊所能使用的數(shù)據(jù)格式，例如圖像數(shù)據(jù)BITMAP、音頻數(shù)據(jù)MP3、視頻數(shù)據(jù)MPEG4等，并將整理后的數(shù)據(jù)傳輸給數(shù)據(jù)處理模塊(7014)和/或遠(yuǎn)程數(shù)據(jù)輸出模塊(7013)。在有遠(yuǎn)程使用者的情況下遠(yuǎn)程數(shù)據(jù)輸出模塊(7013)將所有本地使用者輸入數(shù)據(jù)，發(fā)送給各個(gè)遠(yuǎn)程使用者所在的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的數(shù)據(jù)處理裝置(COM3’)。遠(yuǎn)程使用者輸出數(shù)據(jù)(705)是本地虛擬現(xiàn)實(shí)系統(tǒng)發(fā)送給其他虛擬現(xiàn)實(shí)系統(tǒng)數(shù)據(jù)處理裝置(COM3’，即遠(yuǎn)程使用者所在的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的數(shù)據(jù)處理裝置)的數(shù)據(jù)，其包括本地虛擬現(xiàn)實(shí)系統(tǒng)顯示器(COMl)的話筒(102)捕獲的音頻數(shù)據(jù)、顯示器(COMl)的角度感應(yīng)裝置(104)獲取的頭部轉(zhuǎn)動(dòng)動(dòng)作數(shù)據(jù)、通過(guò)本地動(dòng)作捕獲裝置(COM2)獲取的本地使用者人體動(dòng)作軌跡數(shù)據(jù)等。數(shù)據(jù)處理模塊(7014)處理所接收到的整理后的數(shù)據(jù)，布置虛擬三維環(huán)境，將遠(yuǎn)程使用者與本地使用者放在虛擬現(xiàn)實(shí)環(huán)境中的各自位置上，并且設(shè)置遠(yuǎn)程使用者及本地使用者的肢體姿勢(shì)與頭部角度，依照本地使用者的頭部角度，將3D攝像機(jī)(所述3D攝像機(jī)是由電腦系統(tǒng)運(yùn)算而構(gòu)建的虛擬三維空間內(nèi)的一個(gè)組成概念，其作用是定義一個(gè)指定位置方向及視野等信息的虛擬攝像機(jī)概念，以便根據(jù)該虛擬攝像機(jī)來(lái)渲染出一副三維空間內(nèi)的畫面。通常使用者所觀察到的3D場(chǎng)景內(nèi)的畫面即為該3D場(chǎng)景內(nèi)的3D攝像機(jī)所拍攝的畫面。3D攝像機(jī)不負(fù)責(zé)渲染畫面，只是決定了所要拍攝的內(nèi)容。)的位置設(shè)置在本地使用者的眼部。數(shù)據(jù)處理模塊(7014)將處理后的數(shù)據(jù)發(fā)送3D渲染模塊(7016)和/或音頻渲染模塊(7015)。音頻渲染模塊(7015)依照每個(gè)本地使用者所在虛擬現(xiàn)實(shí)環(huán)境中的位置，渲染該使用者所聽(tīng)到的環(huán)境音頻及其他使用者所發(fā)出的音頻；優(yōu)選音頻音量根據(jù)音源與該使用者在虛擬現(xiàn)實(shí)環(huán)境中的距離進(jìn)行調(diào)整，例如距離較近則音頻音量較大，距離較遠(yuǎn)則音頻音量較小。3D渲染模塊(7016)依照設(shè)置好的攝像機(jī)分別渲染各個(gè)本地使用者所看到的視頻畫面。3D渲染模塊(7016)和音頻渲染模塊(7015)將渲染后的數(shù)據(jù)發(fā)送至輸出數(shù)據(jù)整理模塊(7017)。輸出數(shù)據(jù)整理模塊(7017)將已經(jīng)渲染好的畫面與音頻數(shù)據(jù)分門別類整理好以待發(fā)送給本地使用者佩帶的顯示器(COMl);在有多個(gè)本地使用者的情況下，輸出數(shù)據(jù)整理模塊(7017)將已經(jīng)渲染好的畫面與音頻數(shù)據(jù)分門別類整理好以待發(fā)送給各個(gè)對(duì)應(yīng)的本地使用者佩帶的顯示器(COMl)。輸出數(shù)據(jù)整理模塊(7017)將整理好的數(shù)據(jù)發(fā)送給本地?cái)?shù)據(jù)輸出模塊(7018)。本地?cái)?shù)據(jù)輸出模塊(7018)將整理后的數(shù)據(jù)，即本地使用者輸出數(shù)據(jù)(704)發(fā)送至對(duì)應(yīng)的本地使用者佩帶的顯示器(COMl)。本地使用者輸出數(shù)據(jù)(704)是經(jīng)過(guò)數(shù)據(jù)處(701)處理后傳輸至本地使用者的數(shù)據(jù)，其包括處理后的遠(yuǎn)程使用者話筒(102’)捕獲的音頻數(shù)據(jù)、虛擬環(huán)境中的其他音頻數(shù)據(jù)、虛擬環(huán)境中的視頻數(shù)據(jù)等。至少一個(gè)顯示器(COMl)、至少一個(gè)動(dòng)作捕獲裝置(COM2)和至少一個(gè)數(shù)據(jù)處理裝置(COM3)組成一個(gè)VRS。具有一個(gè)顯示器(COMl)、一個(gè)動(dòng)作捕獲裝置(COM2)和一個(gè)數(shù)據(jù)處理裝置(COM3)的根據(jù)本發(fā)明的虛擬現(xiàn)實(shí)系統(tǒng)稱為VRS-SM，具有兩個(gè)以上顯示器(C0M1)、一個(gè)動(dòng)作捕獲裝置(COM2)和一個(gè)數(shù)據(jù)處理裝置(COM3)的根據(jù)本發(fā)明的虛擬現(xiàn)實(shí)系統(tǒng)稱為VRS-MM。根據(jù)本發(fā)明的虛擬現(xiàn)實(shí)系統(tǒng)也可以由多個(gè)VRS構(gòu)成。數(shù)據(jù)交換裝置(COM4)用于處理多個(gè)VRS(例如兩個(gè)以上VRS-SM，或者兩個(gè)以上VRS-MM，或者一個(gè)以上VRS-SM和一個(gè)以上VRS-MM)之間的數(shù)據(jù)傳輸(多個(gè)使用者遠(yuǎn)程交互的數(shù)據(jù)交換)，并且還可用于實(shí)現(xiàn)與之相連接的多個(gè)VRS所需要的共有虛擬環(huán)境。數(shù)據(jù)交換裝置(COM4)將不同VRS之間交互的數(shù)據(jù)進(jìn)行轉(zhuǎn)發(fā)，使這些使用者即使在遠(yuǎn)程也可以獲得身處同一場(chǎng)景的感受，進(jìn)行交互交流。這些交互的數(shù)據(jù)主要包括使用者的肢體動(dòng)作、語(yǔ)音等基本必要數(shù)據(jù)。數(shù)據(jù)交換裝置(COM4)擁有場(chǎng)景數(shù)據(jù)和所有使用者的數(shù)據(jù)，才能處理所有參與者在場(chǎng)景內(nèi)所做的任意事件。在多個(gè)使用者遠(yuǎn)程交互的處理上數(shù)據(jù)交換裝置(COM4)是一個(gè)必不可少的關(guān)鍵部件。即，例如數(shù)據(jù)交換裝置(COM4)接收數(shù)據(jù)處理裝置(COM3)傳出的數(shù)據(jù)，如有需要在對(duì)所接收數(shù)據(jù)(使用者數(shù)據(jù))進(jìn)行處理和/或增加數(shù)據(jù)信息(例如場(chǎng)景信息)后，傳輸給另一個(gè)數(shù)據(jù)處理裝置(COM3’ );同時(shí)也將數(shù)據(jù)處理裝置(COM3’ )傳出的數(shù)據(jù)，如有需要在對(duì)所接收數(shù)據(jù)進(jìn)行處理和/或增加數(shù)據(jù)信息后，傳輸給數(shù)據(jù)處理裝置(COM3)。而數(shù)據(jù)處理裝置(COM3)將來(lái)自數(shù)據(jù)交換裝置(COM4)的數(shù)據(jù)轉(zhuǎn)發(fā)給本地VRS內(nèi)的所有使用者，并根據(jù)來(lái)自數(shù)據(jù)交換裝置(COM4)的數(shù)據(jù)，渲染出圖像，使之能看到數(shù)據(jù)交換裝置(COM4)所連接的其他VRS上使用者和聽(tīng)到他們的聲音。在多個(gè)VRS的系統(tǒng)中，數(shù)據(jù)處理裝置(COM3)為數(shù)據(jù)交換裝置(COM4)提供數(shù)據(jù)轉(zhuǎn)發(fā)并負(fù)責(zé)渲染圖像。在單個(gè)VRS的系統(tǒng)中，數(shù)據(jù)處理裝置(COM3)為數(shù)據(jù)交換裝置(COM4)的工作可以在同一個(gè)裝置上完成。如圖8所示，數(shù)據(jù)交換裝置(COM4)通常包括控制器(401)，運(yùn)算器(402)，存儲(chǔ)器(403)，輸入裝置(404)，以及輸出裝置(405)?？刂破?401)用于控制程序執(zhí)行，其根據(jù)存儲(chǔ)器中的指令序列(程序)工作，并控制執(zhí)行指令，根據(jù)指令控制機(jī)器的各部件協(xié)調(diào)操作。運(yùn)算器(402)用于進(jìn)行數(shù)據(jù)加工處理，例如各種算術(shù)、邏輯運(yùn)算等。存儲(chǔ)器(403)用于記憶程序和數(shù)據(jù)，例如以二進(jìn)制代碼形式存放程序和數(shù)據(jù)。輸入裝置(404)用于將外接裝置發(fā)送的數(shù)據(jù)輸入運(yùn)算器(402)。輸出裝置(405)用于將運(yùn)算器(402)處理完的數(shù)據(jù)輸出至外接裝置。所述外接裝置例如數(shù)據(jù)處理裝置(COM3)、鼠標(biāo)、鍵盤和/或觸摸式顯示屏(例如電容屏或電阻屏)。輸入設(shè)備(404)把需要的程序和數(shù)據(jù)傳輸至運(yùn)算器(402)，再通過(guò)運(yùn)算器(402)存于存儲(chǔ)器(403)。在運(yùn)算處理過(guò)程中，數(shù)據(jù)從存儲(chǔ)器(403)讀入運(yùn)算器(402)進(jìn)行運(yùn)算，運(yùn)算結(jié)果存入存儲(chǔ)器(403)，或由運(yùn)算器(402)經(jīng)輸出設(shè)備(405)輸出。指令也以數(shù)據(jù)形式存于存儲(chǔ)器(403)中，運(yùn)算時(shí)指令由存儲(chǔ)器(403)送入控制器(401)，由控制器(401)產(chǎn)生控制流以控制數(shù)據(jù)流的流向以及控制各部件的工作，對(duì)數(shù)據(jù)流進(jìn)行加工處理。數(shù)據(jù)交換裝置(COM4)可以是例如電腦，例如PC機(jī)、筆記本電腦；個(gè)人數(shù)字助理(Personal Digital Assistant,PDA),例如戴爾公司生產(chǎn)的Dell AximX51V掌上電腦；平板電腦，例如蘋果公司生產(chǎn)的iPad和iTouch、惠普公司生產(chǎn)的TouchPad ;移動(dòng)電話，例如蘋果公司生產(chǎn)的iPhone，諾基亞公司生產(chǎn)的Nokia N85 ;音頻處理終端，例如MP3和iPod ;視頻處理終端，例如 MP4 ;和 / 或游戲機(jī)，例如 PS2、PS3、PSP、NGC、NDSL, XBOX, Wi1、GBA、3DS 和NDS。在一個(gè)根據(jù)本發(fā)明的虛擬現(xiàn)實(shí)系統(tǒng)中，數(shù)據(jù)處理裝置(COM3)和數(shù)據(jù)交換裝置(COM4)可以是同一個(gè)裝置。優(yōu)選在一個(gè)根據(jù)本發(fā)明的虛擬現(xiàn)實(shí)系統(tǒng)中，數(shù)據(jù)處理裝置(COM3)和數(shù)據(jù)交換裝置(COM4)不是同一個(gè)裝置。根據(jù)本發(fā)明的虛擬現(xiàn)實(shí)系統(tǒng)，顯示器(C0M1)、動(dòng)作捕獲裝置(COM2)、數(shù)據(jù)處理裝置(COM3)和數(shù)據(jù)交換裝置(COM4)之間的數(shù)據(jù)傳輸通過(guò)數(shù)據(jù)傳輸裝置(例如數(shù)據(jù)傳輸裝置(105)、輸出接口(205)、輸入裝置(304)、輸出裝置(305)、輸入裝置(404)和/或輸出裝置(405))進(jìn)行，所述數(shù)據(jù)傳輸裝置采取的數(shù)據(jù)傳輸方式可以是有線傳輸，也可以是無(wú)線傳輸。然而采用有線傳輸方式時(shí)，數(shù)據(jù)傳輸裝置上的連接線有可能會(huì)干擾使用者的活動(dòng)，影響使用者的體驗(yàn)，因而，根據(jù)本發(fā)明，數(shù)據(jù)傳輸裝置優(yōu)選采用無(wú)線傳輸方式，例如藍(lán)牙、紅外、Wif1、WHDI等。采用無(wú)線傳輸時(shí)，最主要的問(wèn)題在于傳輸速度，系統(tǒng)捕獲到使用者在三維空間的運(yùn)動(dòng)，然后將使用者在虛擬現(xiàn)實(shí)環(huán)境中“應(yīng)該”體驗(yàn)到的視覺(jué)和/或聽(tīng)覺(jué)感受傳送給使用者，如果由于傳輸速度產(chǎn)生延時(shí)，使用者感受到的可能是數(shù)秒以前的體驗(yàn)，這樣會(huì)大大削弱虛擬現(xiàn)實(shí)系統(tǒng)的功能。使用者所感覺(jué)到的延時(shí)主要來(lái)自于本地?cái)?shù)據(jù)傳輸?shù)膫鬏斞訒r(shí)，即在虛擬現(xiàn)實(shí)系統(tǒng)的每一個(gè)VRS內(nèi)各裝置之間傳輸(顯示器與動(dòng)作捕捉裝置、顯示器與數(shù)據(jù)處理裝置和/或動(dòng)作捕捉裝置與所述數(shù)據(jù)處理裝置之間的傳輸)而引起的延時(shí)。傳輸延時(shí)分為輸入延時(shí)(例如顯示器(C0M1)和/或動(dòng)作捕獲裝置(COM2)向數(shù)據(jù)處理裝置(COM3)傳輸信息產(chǎn)生的延時(shí))和輸出延時(shí)(例如數(shù)據(jù)處理裝置(COM3)向動(dòng)作捕獲裝置(C0M1)傳輸信息產(chǎn)生的延時(shí))。輸入延遲，由于輸入內(nèi)容主要是由人體動(dòng)作產(chǎn)生的數(shù)據(jù)及語(yǔ)音數(shù)據(jù)，數(shù)據(jù)量相對(duì)較小，對(duì)傳輸媒介帶寬要求相對(duì)較低。而輸出延遲，由于傳輸?shù)氖沁B續(xù)圖形序列及音頻，所以數(shù)據(jù)量相對(duì)較大，對(duì)傳輸媒介帶寬相對(duì)較高。因而，根據(jù)本發(fā)明，還優(yōu)選數(shù)據(jù)傳輸裝置的傳輸速度不小于18432000bps (bit per second,比特每秒)，更優(yōu)選不小于55296000bps，更優(yōu)選不小于55296000bps，還更優(yōu)選不小于147456000bps。更優(yōu)選數(shù)據(jù)傳輸裝置米用WHDI (Wireless Home Digital Interface,即無(wú)線家庭數(shù)字接口)傳輸方式。WHDI能夠?qū)崿F(xiàn)高達(dá)3Gbps的數(shù)據(jù)傳輸速度，工作范圍可達(dá)30米，可穿透墻壁，發(fā)送數(shù)據(jù)延遲能夠小于I毫秒。采用該技術(shù)的數(shù)據(jù)傳輸裝置能夠在市場(chǎng)上獲得，例如AMMON公司的MIPS-Based 芯片或 AMN2120/AMN2220 芯片。根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)可以用于游戲、科研、多媒體、娛樂(lè)、仿真、遠(yuǎn)程會(huì)議等多個(gè)方面。現(xiàn)在將結(jié)合實(shí)施例更為詳盡地闡述本發(fā)明，實(shí)施例所列舉的方式僅僅是根據(jù)本發(fā)明典型的實(shí)例，僅用于說(shuō)明本發(fā)明，而不意味著對(duì)本發(fā)明進(jìn)行任何限制。
實(shí)施例實(shí)施例1一個(gè)根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)(VRS 1，如附圖9所示)，包括一個(gè)顯示器(COMl)，一個(gè)動(dòng)作捕獲裝置(COM2)，一個(gè)數(shù)據(jù)處理裝置(COM3)。顯示器(COMl)是雙眼式頭戴視頻顯示器，具有一個(gè)顯示裝置(Myvu公司SolidOptex 透射式微型液晶顯示屏)、一個(gè)話筒(鐵三角PRO 51Q)、一個(gè)耳機(jī)(森海塞爾PX80)、一個(gè)角度感應(yīng)裝置(電子指南針，日本旭化成株式會(huì)社AK8973數(shù)字羅盤芯片)、一個(gè)信號(hào)處理裝置和一個(gè)數(shù)據(jù)傳輸裝置(意法半導(dǎo)體公司生產(chǎn)的STLC4420型WiFi芯片)，其中，所述信號(hào)處理裝置包括圖像處理裝置(Kopin 生產(chǎn)的 Microdisplay Controller (Custom) KCD-A210-BA,集成在 Myvu 公司
SolidOptex 透射式微型液晶顯示屏上)、聲音處理裝置(基于I2S總線的UDA1341解碼
芯片)、控制裝置(帶有I2C總線接口的Samsung S3C2440芯片)和存儲(chǔ)裝置(兩片并接的K4S511632B-CL75、512M bytes 的 SDRAM 芯片)。顯示器(C0M1)電源部分采用 MCP1700 低壓差穩(wěn)壓芯片供電。根據(jù)上述芯片的電器特性，設(shè)計(jì)本實(shí)施例顯示器(C0M1)的電路圖，按照電路圖完成印刷電路板(Printed circuit board, PCB)的設(shè)計(jì)和制作,組裝形成顯示器(C0M1)。動(dòng)作捕獲裝置(COM2)是一個(gè)體感攝影機(jī)(微軟公司Kinet攝像頭)，數(shù)據(jù)處理裝置(COM3)是一臺(tái)電腦(外接TP-LINK公司生產(chǎn)的TL-WN321G型無(wú)線上網(wǎng)卡的聯(lián)想家悅E2565臺(tái)式電腦)。顯示器(C0M1)開機(jī)后，初始化Samsung S3C2440芯片、UDA1341解碼芯片、AK8973數(shù)字羅盤芯片和STLC4420芯片，然后在控制裝置SamsungS3C2440芯片中執(zhí)行主程序循環(huán)。在主程序循環(huán)中，控制裝置獲得來(lái)自角度傳感器和話筒的數(shù)據(jù)、通過(guò)數(shù)據(jù)傳輸裝置來(lái)自數(shù)據(jù)處理裝置(COM3)的數(shù)據(jù)并存儲(chǔ)在存儲(chǔ)裝置中，并通過(guò)數(shù)據(jù)傳輸裝置將來(lái)自角度傳感器和話筒的數(shù)據(jù)發(fā)送給數(shù)據(jù)處理裝置(COM3)，將需要輸出的影音數(shù)據(jù)輸出到顯示裝置和耳機(jī)。動(dòng)作捕獲裝置(COM2)將用戶的動(dòng)作捕獲后，生成深度圖數(shù)據(jù)，然后由深度圖數(shù)據(jù)轉(zhuǎn)換為骨骼動(dòng)作數(shù)據(jù)，并將骨骼動(dòng)作數(shù)據(jù)發(fā)送給數(shù)據(jù)處理裝置(COM3)。數(shù)據(jù)處理裝置(COM3)根據(jù)事先寫入其中的實(shí)現(xiàn)虛擬現(xiàn)實(shí)的模擬程序處理來(lái)自顯示器(C0M1)和動(dòng)作捕獲裝置(COM2)的數(shù)據(jù)，得到虛擬場(chǎng)景信息，包括例如使用者在場(chǎng)景中的位置、肢體及頭部動(dòng)作、聲音等信息，并轉(zhuǎn)化為音視頻信息發(fā)送給顯示器(C0M1)。顯示器(C0M1)收到來(lái)自數(shù)據(jù)處理裝置(COM3)生成的音視頻信息后，將該數(shù)據(jù)儲(chǔ)存在起存儲(chǔ)裝置內(nèi)，并將需要輸出的音頻數(shù)據(jù)輸出至耳機(jī)，將需要輸出的視頻數(shù)據(jù)輸出至顯示裝置。顯示器(C0M1)與數(shù)據(jù)處理裝置(COM3)之間采用WiFi實(shí)現(xiàn)數(shù)據(jù)傳輸，動(dòng)作捕獲裝置(COM2)與數(shù)據(jù)處理裝置(COM3)按說(shuō)明書進(jìn)行有線連接。運(yùn)行結(jié)果表明根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)(VRSl)能夠正常地執(zhí)行虛擬現(xiàn)實(shí)模擬程序，無(wú)明顯延遲。實(shí)施例2一個(gè)根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)(VRS2，如附圖10所示)，包括三個(gè)顯示器(C0M1)，一個(gè)動(dòng)作捕獲裝置(COM2)，一個(gè)數(shù)據(jù)處理裝置(COM3)。顯示器(C0M1)除了角度感應(yīng)裝置采用三軸陀螺儀(霍尼韋爾公司HMC5883L三軸磁阻傳感器)，信號(hào)傳輸裝置采用CAT6023芯片外，與實(shí)施例1中的顯示器(COMl)相同。動(dòng)作捕獲裝置(COM2)是一個(gè)體感攝影機(jī)(微軟公司Kinet攝像頭)，數(shù)據(jù)處理裝置(COM3)是一臺(tái)游戲機(jī)(外接SEAMON公司生產(chǎn)的SEM-ST1011型WHDI STICK的索尼PlayStation 2)。顯示器(COMl)開機(jī)后，初始化Samsung S3C2440芯片、UDA1341解碼芯片、HMC5883L三軸磁阻傳感器和CAT6023芯片，然后在控制裝置SamsungS3C2440芯片中執(zhí)行主程序循環(huán)。在主程序循環(huán)中，每個(gè)控制裝置獲得來(lái)自各自角度傳感器和話筒的數(shù)據(jù)、通過(guò)各自數(shù)據(jù)傳輸裝置來(lái)自數(shù)據(jù)處理裝置(COM3)的數(shù)據(jù)并存儲(chǔ)在各自的存儲(chǔ)裝置中，并通過(guò)各自的數(shù)據(jù)傳輸裝置將來(lái)自各自角度傳感器和話筒的數(shù)據(jù)發(fā)送給數(shù)據(jù)處理裝置(COM3)，將需要輸出的影音數(shù)據(jù)輸出到各自的顯示裝置和耳機(jī)。動(dòng)作捕獲裝置(COM2)將用戶的動(dòng)作捕獲后，生成深度圖數(shù)據(jù)，然后由深度圖數(shù)據(jù)轉(zhuǎn)換為骨骼動(dòng)作數(shù)據(jù)，并將骨骼動(dòng)作數(shù)據(jù)發(fā)送給數(shù)據(jù)處理裝置(COM3)。數(shù)據(jù)處理裝置(COM3)根據(jù)事先寫入其中的實(shí)現(xiàn)虛擬現(xiàn)實(shí)的模擬程序處理來(lái)自顯示器(COMl)和動(dòng)作捕獲裝置(COM2)的數(shù)據(jù)，處理所有使用者的的交互關(guān)系，得到虛擬場(chǎng)景信息，包括例如各個(gè)使用者在場(chǎng)景中的位置、肢體及頭部動(dòng)作、聲音、交互的場(chǎng)景信息等信息，并轉(zhuǎn)化為音視頻信息發(fā)送給對(duì)應(yīng)的顯示器(COMl)。顯示器(COMl)收到來(lái)自數(shù)據(jù)處理裝置(COM3)生成的音視頻信息后，將該數(shù)據(jù)儲(chǔ)存在起各自的存儲(chǔ)裝置內(nèi)，并將需要輸出的音頻數(shù)據(jù)輸出至各自的耳機(jī)，將需要輸出的視頻數(shù)據(jù)輸出至各自的顯示裝置。顯示器(COMl)與數(shù)據(jù)處理裝置(COM3)之間采用WHDI實(shí)現(xiàn)數(shù)據(jù)傳輸，動(dòng)作捕獲裝置(COM2)與數(shù)據(jù)處理裝置(COM3)按說(shuō)明書進(jìn)行有線連接。運(yùn)行結(jié)果表明根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)(VRS2)能夠正常地執(zhí)行虛擬現(xiàn)實(shí)模擬程序，無(wú)明顯延遲。實(shí)施例3一個(gè)根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)(如附圖11所示)，由兩個(gè)相同的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)(VRS3和VRS3’ )組成，VRS3除了顯示器(COMl)中的角度感應(yīng)裝置采用三軸陀螺儀(霍尼韋爾公司HMC5883L三軸磁阻傳感器)，信號(hào)傳輸裝置采用CAT6023芯片，數(shù)據(jù)處理裝置(COM3)是外接SEAMON公司生產(chǎn)的SEM-ST1011型WHDI STICK的聯(lián)想家悅E2565臺(tái)式電腦外，與實(shí)施例1中的VRSl相同。兩個(gè)VRS3之間經(jīng)由數(shù)據(jù)處理裝置(COM3和COM3’ )通過(guò)路由器(TP-Link公司生產(chǎn)的TL-R478+型路由器)相連接進(jìn)行數(shù)據(jù)傳輸。顯示器(C0M1，C0M1’)開機(jī)后，初始化Samsung S3C2440芯片、UDA1341解碼芯片、HMC5883L三軸磁阻傳感器和CAT6023芯片，然后在控制裝置Samsung S3C2440芯片中執(zhí)行主程序循環(huán)。在主程序循環(huán)中，顯示器(COMl)的控制裝置獲得來(lái)自其角度傳感器和話筒的數(shù)據(jù)、其數(shù)據(jù)傳輸裝置接收的來(lái)自數(shù)據(jù)處理裝置(COM3)的數(shù)據(jù)并存儲(chǔ)在其存儲(chǔ)裝置中，并通過(guò)其數(shù)據(jù)傳輸裝置將來(lái)自其角度傳感器和話筒的數(shù)據(jù)發(fā)送給數(shù)據(jù)處理裝置(COM3)，將需要輸出的影音數(shù)據(jù)輸出到其顯示裝置和耳機(jī)。顯示器(C0M1’)運(yùn)行與顯示器(COMl)相同。在VRS3中，動(dòng)作捕獲裝置(COM2)將用戶的動(dòng)作捕獲后，生成深度圖數(shù)據(jù)，然后由深度圖數(shù)據(jù)轉(zhuǎn)換為骨骼動(dòng)作數(shù)據(jù)，并將骨骼動(dòng)作數(shù)據(jù)發(fā)送給數(shù)據(jù)處理裝置(COM3)。數(shù)據(jù)處理裝置(COM3)根據(jù)事先寫入其中的實(shí)現(xiàn)虛擬現(xiàn)實(shí)的模擬程序處理來(lái)自顯示器(COMl)、動(dòng)作捕獲裝置(COM2)和數(shù)據(jù)處理裝置(COM3’ )的數(shù)據(jù)，處理所有使用者的的交互關(guān)系，得到虛擬場(chǎng)景信息，包括例如各個(gè)使用者在場(chǎng)景中的位置、肢體及頭部動(dòng)作、聲音、交互的場(chǎng)景信息等信息，將對(duì)應(yīng)VRS3’使用者的虛擬場(chǎng)景信息發(fā)送給數(shù)據(jù)處理裝置(COM3’)，將對(duì)應(yīng)VRS3使用者的虛擬場(chǎng)景信息轉(zhuǎn)化為音視頻信息發(fā)送給顯示器(COMl)。在VRS3’中，動(dòng)作捕獲裝置(COM2’ )將用戶的動(dòng)作捕獲后，生成深度圖數(shù)據(jù)，然后由深度圖數(shù)據(jù)轉(zhuǎn)換為骨骼動(dòng)作數(shù)據(jù)，并將骨骼動(dòng)作數(shù)據(jù)發(fā)送給數(shù)據(jù)處理裝置(COM3’)。數(shù)據(jù)處理裝置(COM3’ )根據(jù)事先寫入其中的實(shí)現(xiàn)虛擬現(xiàn)實(shí)的模擬程序處理來(lái)自顯示器(C0M1’)、動(dòng)作捕獲裝置(COM2’ )的數(shù)據(jù)，發(fā)送給數(shù)據(jù)處理裝置(COM3)，同時(shí)也接收來(lái)自數(shù)據(jù)處理裝置(COM3)虛擬場(chǎng)景信息，并轉(zhuǎn)化為音視頻信息發(fā)送給顯示器(C0M1’)。顯示器(C0M1和C0M1’ )收到來(lái)自各自VRS的數(shù)據(jù)處理裝置(COM3和COM3’ )生成的音視頻信息后，將該數(shù)據(jù)儲(chǔ)存在起各自的存儲(chǔ)裝置內(nèi)，并將需要輸出的音頻數(shù)據(jù)輸出至各自的耳機(jī)，將需要輸出的視頻數(shù)據(jù)輸出至各自的顯示裝置。分別同時(shí)運(yùn)行模擬程序，運(yùn)行結(jié)果表明根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)能夠正常地執(zhí)行虛擬現(xiàn)實(shí)模擬程序，無(wú)明顯延遲。實(shí)施例4—個(gè)根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)(如附圖12所示)，由兩個(gè)沉浸式虛擬現(xiàn)實(shí)系統(tǒng)(VRS3和VRS4)組成。VRS3與實(shí)施例3相同；VRS4除具有三個(gè)顯示器(C0M1’)外，與VRS3相同。兩個(gè)VRS之間經(jīng)由數(shù)據(jù)處理裝置(COM3和COM3’)通過(guò)數(shù)據(jù)交換裝置(COM4)相連接，數(shù)據(jù)處理裝置(COM3和COM3’)與數(shù)據(jù)交換裝置(COM4)通過(guò)路由器(TP-Link公司生產(chǎn)的TL-R478+型路由器)相連接。數(shù)據(jù)交換裝置(COM4)是聯(lián)想公司生產(chǎn)的揚(yáng)天A8800t臺(tái)式電腦。如實(shí)施例3，顯示器(C0M1和C0M1’)開機(jī)初始化并執(zhí)行主程序循環(huán)。在VRS3中，動(dòng)作捕獲裝置(COM2)將用戶的動(dòng)作捕獲后，生成深度圖數(shù)據(jù)，然后由深度圖數(shù)據(jù)轉(zhuǎn)換為骨骼動(dòng)作數(shù)據(jù)，并將骨骼動(dòng)作數(shù)據(jù)發(fā)送給數(shù)據(jù)處理裝置(COM3)。數(shù)據(jù)處理裝置(COM3)根據(jù)事先寫入其中的實(shí)現(xiàn)虛擬現(xiàn)實(shí)的模擬程序處理來(lái)自顯示器(COMl)、動(dòng)作捕獲裝置(COM2)的數(shù)據(jù)，并發(fā)送給數(shù)據(jù)交換裝置(COM4)。數(shù)據(jù)交換裝置(COM4)接收到來(lái)自各個(gè)VRS的數(shù)據(jù)處理裝置(COM3和COM3’ )的數(shù)據(jù)后，處理所有使用者的交互關(guān)系，得到虛擬場(chǎng)景信息，包括例如各個(gè)使用者在場(chǎng)景中的位置、肢體及頭部動(dòng)作、聲音、交互的場(chǎng)景信息等信息，將對(duì)應(yīng)VRS3使用者的虛擬場(chǎng)景信息發(fā)送給數(shù)據(jù)處理裝置(COM3)，將對(duì)應(yīng)VRS4使用者的虛擬場(chǎng)景信息發(fā)送給數(shù)據(jù)處理裝置(COM3，)。數(shù)據(jù)處理裝置(COM3)接收來(lái)自數(shù)據(jù)交換裝置(COM4)的虛擬場(chǎng)景信息，并轉(zhuǎn)化為音視頻信息發(fā)送給顯示器(COMl)。顯示器(COMl)收到來(lái)自數(shù)據(jù)處理裝置(COM3)生成的音視頻信息后，將該數(shù)據(jù)儲(chǔ)存在起各自的存儲(chǔ)裝置內(nèi)，并將需要輸出的音頻數(shù)據(jù)輸出至各自的耳機(jī)，將需要輸出的視頻數(shù)據(jù)輸出至各自的顯示裝置。VRS4的顯示器(C0M1’ )、動(dòng)作捕獲裝置(COM2’ )、數(shù)據(jù)處理裝置(COM3’ )執(zhí)行與VRS3的顯示器(COMl)、動(dòng)作捕獲裝置(COM2)、數(shù)據(jù)處理裝置(COM3)基本相同的動(dòng)作。分別同時(shí)運(yùn)行模擬程序，運(yùn)行結(jié)果表明根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)能夠正常地執(zhí)行虛擬現(xiàn)實(shí)模擬程序，無(wú)明顯延遲。實(shí)施例5
一個(gè)根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)(如附圖13所示)，由五個(gè)與實(shí)施例3的VRS3相同的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)(VRS1、VRS1’、VRSl ”、VRSl ”’和VRS1””)組成，五個(gè)VRS之間經(jīng)由數(shù)據(jù)處理裝置(COM3、COM3’、COM3”、COM3”’和COM3””)通過(guò)數(shù)據(jù)交換裝置(COM4)相連接進(jìn)行數(shù)據(jù)傳輸，數(shù)據(jù)處理裝置(COM3、COM3’、COM3”、COM3”’和COM3”” )與數(shù)據(jù)交換裝置(COM4)通過(guò)路由器(TP-Link公司生產(chǎn)的TL-R478+型路由器)相連接。數(shù)據(jù)交換裝置(COM4)是聯(lián)想公司生產(chǎn)的揚(yáng)天A8800t臺(tái)式電腦。如實(shí)施例3，顯示器(C0MUC0M1’等)開機(jī)初始化并執(zhí)行主程序循環(huán)。在VRS3中，動(dòng)作捕獲裝置(COM2)將用戶的動(dòng)作捕獲后，生成深度圖數(shù)據(jù)，然后由深度圖數(shù)據(jù)轉(zhuǎn)換為骨骼動(dòng)作數(shù)據(jù)，并將骨骼動(dòng)作數(shù)據(jù)發(fā)送給數(shù)據(jù)處理裝置(COM3)。數(shù)據(jù)處理裝置(COM3)根據(jù)事先寫入其中的實(shí)現(xiàn)虛擬現(xiàn)實(shí)的模擬程序處理來(lái)自顯示器(COMl)、動(dòng)作捕獲裝置(COM2)的數(shù)據(jù)，并發(fā)送給數(shù)據(jù)交換裝置(COM4)。數(shù)據(jù)交換裝置(COM4)接收到來(lái)自各個(gè)VRS的數(shù)據(jù)處理裝置(COM3、COM3’等)的數(shù)據(jù)后，處理所有使用者的交互關(guān)系，得到虛擬場(chǎng)景信息，包括例如各個(gè)使用者在場(chǎng)景中的位置、肢體及頭部動(dòng)作、聲音、交互的場(chǎng)景信息等信息，將對(duì)應(yīng)各個(gè)VRS使用者的虛擬場(chǎng)景信息發(fā)送給對(duì)應(yīng)的數(shù)據(jù)處理裝置，例如將對(duì)應(yīng)VRS3使用者的虛擬場(chǎng)景信息發(fā)送給數(shù)據(jù)處理裝置(COM3)，將對(duì)應(yīng)VRS3’使用者的虛擬場(chǎng)景信息發(fā)送給數(shù)據(jù)處理裝置(COM3’)。數(shù)據(jù)處理裝置(COM3)接收來(lái)自數(shù)據(jù)交換裝置(COM4)的虛擬場(chǎng)景信息，并轉(zhuǎn)化為音視頻信息發(fā)送給顯示器(COMl)。顯示器(COMl)收到來(lái)自數(shù)據(jù)處理裝置(COM3)生成的音視頻信息后，將該數(shù)據(jù)儲(chǔ)存在起各自的存儲(chǔ)裝置內(nèi)，并將需要輸出的音頻數(shù)據(jù)輸出至各自的耳機(jī)，將需要輸出的視頻數(shù)據(jù)輸出至各自的顯示裝置。本實(shí)施例其他VRS的顯示器(C0M1’、C0M1”等)、動(dòng)作捕獲裝置(COM2’、COM2 ”等)、數(shù)據(jù)處理裝置(COM3’、COM3”等)執(zhí)行與VRS3的顯示器(COMl)、動(dòng)作捕獲裝置(COM2)、數(shù)據(jù)處理裝置(COM3)基本相同的動(dòng)作。分別同時(shí)運(yùn)行模擬程序，運(yùn)行結(jié)果表明根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)能夠正常地執(zhí)行虛擬現(xiàn)實(shí)模擬程序，無(wú)明顯延遲。實(shí)施例6一個(gè)根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)(如附圖14所示)，由三個(gè)與實(shí)施例3的VRS3相同的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)(VRS3、VRS3’和VRS3”)和兩個(gè)與實(shí)施例4的VRS4相同的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)(VRS4和VRS4’)組成，五個(gè)VRS之間經(jīng)由數(shù)據(jù)處理裝置(C0M3、C0M3’、COM3”、COM3”’和COM3””)通過(guò)數(shù)據(jù)交換裝置(COM4)相連接進(jìn)行數(shù)據(jù)傳輸，數(shù)據(jù)處理裝置(COM3、COM3’、COM3”、COM3”’和COM3””)與數(shù)據(jù)交換裝置(COM4)通過(guò)路由器(TP-Link公司生產(chǎn)的TL-R478+型路由器)相連接。數(shù)據(jù)交換裝置(COM4)是聯(lián)想公司生產(chǎn)的揚(yáng)天A8800t臺(tái)式電腦。顯示器(C0M1、COMr等)開機(jī)初始化并執(zhí)行主程序循環(huán)。在VRS3中，動(dòng)作捕獲裝置(COM2)將用戶的動(dòng)作捕獲后，生成深度圖數(shù)據(jù)，然后由深度圖數(shù)據(jù)轉(zhuǎn)換為骨骼動(dòng)作數(shù)據(jù)，并將骨骼動(dòng)作數(shù)據(jù)發(fā)送給數(shù)據(jù)處理裝置(COM3)。數(shù)據(jù)處理裝置(COM3)根據(jù)事先寫入其中的實(shí)現(xiàn)虛擬現(xiàn)實(shí)的模擬程序處理來(lái)自顯示器(C0M1)、動(dòng)作捕獲裝置(COM2)的數(shù)據(jù)，并發(fā)送給數(shù)據(jù)交換裝置(COM4)。數(shù)據(jù)交換裝置(COM4)接收到來(lái)自各個(gè)VRS的數(shù)據(jù)處理裝置(COM3、COM3’等)的數(shù)據(jù)后，處理所有使用者的交互關(guān)系，得到虛擬場(chǎng)景信息，包括例如各個(gè)使用者在場(chǎng)景中的位置、肢體及頭部動(dòng)作、聲音、交互的場(chǎng)景信息等信息，將對(duì)應(yīng)各個(gè)VRS的各個(gè)使用者的虛擬場(chǎng)景信息發(fā)送給對(duì)應(yīng)的數(shù)據(jù)處理裝置，例如將對(duì)應(yīng)VRS3使用者的虛擬場(chǎng)景信息發(fā)送給數(shù)據(jù)處理裝置(COM3)，將對(duì)應(yīng)VRS4使用者的虛擬場(chǎng)景信息發(fā)送給數(shù)據(jù)處理裝置(COM3”’)。數(shù)據(jù)處理裝置(COM3)接收來(lái)自數(shù)據(jù)交換裝置(COM4)的虛擬場(chǎng)景信息，并轉(zhuǎn)化為音視頻信息發(fā)送給顯示器(COMl)。顯示器(COMl)收到來(lái)自數(shù)據(jù)處理裝置(COM3)生成的音視頻信息后，將該數(shù)據(jù)儲(chǔ)存在起各自的存儲(chǔ)裝置內(nèi)，并將需要輸出的音頻數(shù)據(jù)輸出至各自的耳機(jī)，將需要輸出的視頻數(shù)據(jù)輸出至各自的顯示裝置。本實(shí)施例其他VRS的顯示器(C0M1’、C0M1”等)、動(dòng)作捕獲裝置(COM2’、COM2 ”等)、數(shù)據(jù)處理裝置(COM3’、COM3”等)執(zhí)行與VRS3的顯示器(COMl)、動(dòng)作捕獲裝置(COM2)、數(shù)據(jù)處理裝置(COM3)基本相同的動(dòng)作。分別同時(shí)運(yùn)行模擬程序，運(yùn)行結(jié)果表明根據(jù)本發(fā)明的沉浸式虛擬現(xiàn)實(shí)系統(tǒng)能夠正常地執(zhí)行虛擬現(xiàn)實(shí)模擬程序，無(wú)明顯延遲。
權(quán)利要求
1.一種沉浸式虛擬現(xiàn)實(shí)系統(tǒng)，所述系統(tǒng)至少包括: 至少一個(gè)可佩帶在使用者身體上的顯示器，至少一個(gè)動(dòng)作捕捉裝置，以及 至少一個(gè)數(shù)據(jù)處理裝置； 其中， 所述顯示器用于向使用者顯示圖像，并用于捕捉使用者的頭部轉(zhuǎn)動(dòng)動(dòng)作，并將頭部轉(zhuǎn)動(dòng)動(dòng)作數(shù)據(jù)發(fā)送至至少一個(gè)所述數(shù)據(jù)處理裝置，以及接收至少一個(gè)所述數(shù)據(jù)處理裝置發(fā)送的數(shù)據(jù)，并向使用者傳遞虛擬環(huán)境的視頻和/或音頻； 所述動(dòng)作捕捉裝置捕捉使用者主要節(jié)點(diǎn)部位的運(yùn)動(dòng)軌跡，并將運(yùn)動(dòng)軌跡數(shù)據(jù)發(fā)送至至少一個(gè)所述數(shù)據(jù)處理裝置； 所述數(shù)據(jù)處理裝置用于處理從至少一個(gè)所述顯示器和至少一個(gè)所述動(dòng)作捕捉裝置獲取并傳輸至所述數(shù)據(jù)處理裝置的數(shù)據(jù)，并將處理后的結(jié)果發(fā)送至至少一個(gè)顯示器。
2.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)系統(tǒng)，其特征在于所述顯示器包括至少一個(gè)角度感應(yīng)裝置，所述角度感應(yīng)裝置至少能感應(yīng)圍繞z軸的旋轉(zhuǎn)動(dòng)作。
3.根據(jù)權(quán)利要求2所述的虛擬現(xiàn)實(shí)系統(tǒng)，其特征在于所述角度感應(yīng)裝置是電子指南 針。
4.根據(jù)權(quán)利要求3所述的虛擬現(xiàn)實(shí)系統(tǒng)，其特征在于所述角度感應(yīng)裝置能感應(yīng)圍繞X、y和z三個(gè)軸的旋轉(zhuǎn)動(dòng)作。
5.根據(jù)權(quán)利要求4所述的虛擬現(xiàn)實(shí)系統(tǒng)，其特征在于所述角度感應(yīng)裝置是三軸陀螺儀。
6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的虛擬現(xiàn)實(shí)系統(tǒng)，其特征在于所述動(dòng)作捕捉裝置包括至少一個(gè)紅外線發(fā)射器和至少一個(gè)紅外線攝像頭。
7.根據(jù)權(quán)利要求6所述的虛擬現(xiàn)實(shí)系統(tǒng)，其特征在于所述動(dòng)作捕捉裝置是體感攝影機(jī)。
8.根據(jù)權(quán)利要求1-7任一項(xiàng)所述的虛擬現(xiàn)實(shí)系統(tǒng)，所述數(shù)據(jù)處理裝置是電腦、個(gè)人數(shù)字助理、平板電腦、移動(dòng)電話、音頻處理終端、視頻處理終端和/或游戲機(jī)。
9.根據(jù)權(quán)利要求1-8任一項(xiàng)所述的虛擬現(xiàn)實(shí)系統(tǒng)，還包括至少一個(gè)數(shù)據(jù)交換裝置，用于處理多個(gè)VRS之間的數(shù)據(jù)傳輸。
10.根據(jù)權(quán)利要求9所述的虛擬現(xiàn)實(shí)系統(tǒng)，所述數(shù)據(jù)交換裝置是電腦、個(gè)人數(shù)字助理、平板電腦、移動(dòng)電話、音頻處理終端、視頻處理終端和/或游戲機(jī)。
11.根據(jù)權(quán)利要求1-10任一項(xiàng)所述的虛擬現(xiàn)實(shí)系統(tǒng)，所述顯示器與所述動(dòng)作捕捉裝置、所述顯示器與所述數(shù)據(jù)處理裝置和/或所述動(dòng)作捕捉裝置與所述數(shù)據(jù)處理裝置之間的傳輸速度不小于18432000bps。
12.根據(jù)權(quán)利要求11所述的虛擬現(xiàn)實(shí)系統(tǒng)，所述顯示器與所述動(dòng)作捕捉裝置、所述顯示器與所述數(shù)據(jù)處理裝置和/或所述動(dòng)作捕捉裝置與所述數(shù)據(jù)處理裝置之間的傳輸采用WHDI傳輸方式。
13.一種實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，所述方法至少包括以下部分: 通過(guò)至少一個(gè)動(dòng)作 捕捉裝置捕捉使用者主要節(jié)點(diǎn)部位的運(yùn)動(dòng)軌跡，并將運(yùn)動(dòng)軌跡數(shù)據(jù)發(fā)送至至少一個(gè)數(shù)據(jù)處理裝置， 通過(guò)至少一個(gè)顯示器捕捉使用者的頭部轉(zhuǎn)動(dòng)動(dòng)作，并將頭部轉(zhuǎn)動(dòng)動(dòng)作數(shù)據(jù)發(fā)送至至少一個(gè)所述數(shù)據(jù)處理裝置， 通過(guò)至少一個(gè)所述數(shù)據(jù)處理裝置處理來(lái)自所述動(dòng)作捕捉裝置和所述顯示器的數(shù)據(jù)，并將處理后的數(shù)據(jù)發(fā)送至至少一個(gè)所述顯示器； 通過(guò)至少一個(gè)所述顯示器將從至少一個(gè)所述數(shù)據(jù)處理裝置接收到的處理后的數(shù)據(jù)轉(zhuǎn)換為視頻和/或音頻，使使用者能感受到跟隨自己動(dòng)作變化的虛擬現(xiàn)實(shí)環(huán)境。
14.根據(jù)權(quán)利要求13所述的實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，其特征在于所述顯示器包括至少一個(gè)角度感應(yīng)裝置，所述角度感應(yīng)裝置至少能感應(yīng)圍繞z軸的旋轉(zhuǎn)動(dòng)作。
15.根據(jù)權(quán)利要求14所述的實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，其特征在于所述角度感應(yīng)裝置是電子指南針。
16.根據(jù)權(quán)利要求14所述的實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，其特征在于所述角度感應(yīng)裝置能感應(yīng)圍繞X、y和z三個(gè)軸的旋轉(zhuǎn)動(dòng)作。
17.根據(jù)權(quán)利要求16所述的實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，其特征在于所述角度感應(yīng)裝置是三軸陀螺儀。
18.根據(jù)權(quán)利要求13-17任一項(xiàng)所述的實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，其特征在于所述動(dòng)作捕捉裝置包括至少一個(gè)紅外線發(fā)射器和至少一個(gè)紅外線攝像頭。
19.根據(jù)權(quán)利要求18所述的實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，其特征在于所述動(dòng)作捕捉裝置是體感攝影機(jī)。
20.根據(jù)權(quán)利要求13-19任一 項(xiàng)所述的實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法，所述數(shù)據(jù)處理裝置是電腦、個(gè)人數(shù)字助理、平板電腦、移動(dòng)電話、音頻處理終端、視頻處理終端和/或游戲機(jī)。
21.根據(jù)權(quán)利要求13-20任一項(xiàng)所述的虛擬現(xiàn)實(shí)系統(tǒng)，還包括通過(guò)至少一個(gè)數(shù)據(jù)交換裝置處理多個(gè)VRS之間的數(shù)據(jù)傳輸。
22.根據(jù)權(quán)利要求21所述的虛擬現(xiàn)實(shí)系統(tǒng)，所述數(shù)據(jù)交換裝置是電腦、個(gè)人數(shù)字助理、平板電腦、移動(dòng)電話、音頻處理終端、視頻處理終端和/或游戲機(jī)。
23.根據(jù)權(quán)利要求13-22任一項(xiàng)所述的虛擬現(xiàn)實(shí)系統(tǒng)，所述顯示器與所述動(dòng)作捕捉裝置、所述顯示器與所述數(shù)據(jù)處理裝置和/或所述動(dòng)作捕捉裝置與所述數(shù)據(jù)處理裝置之間的傳輸速度不小于18432000bps。
24.根據(jù)權(quán)利要求23所述的虛擬現(xiàn)實(shí)系統(tǒng)，所述顯示器與所述動(dòng)作捕捉裝置、所述顯示器與所述數(shù)據(jù)處理裝置和/或所述動(dòng)作捕捉裝置與所述數(shù)據(jù)處理裝置之間的傳輸采用WHDI傳輸方式。
全文摘要
本發(fā)明提供了一種沉浸式虛擬現(xiàn)實(shí)系統(tǒng)，所述系統(tǒng)至少包括至少一個(gè)可佩帶在使用者身體上的顯示器，至少一個(gè)動(dòng)作捕捉裝置，以及至少一個(gè)數(shù)據(jù)處理裝置；其中，所述顯示器用于捕捉使用者的頭部轉(zhuǎn)動(dòng)動(dòng)作，并將頭部轉(zhuǎn)動(dòng)動(dòng)作數(shù)據(jù)發(fā)送至至少一個(gè)所述數(shù)據(jù)處理裝置，以及接收至少一個(gè)所述數(shù)據(jù)處理裝置發(fā)送的數(shù)據(jù)，并向使用者傳遞虛擬環(huán)境的視頻和/或音頻；所述動(dòng)作捕捉裝置捕捉使用者主要節(jié)點(diǎn)部位的運(yùn)動(dòng)軌跡，并將運(yùn)動(dòng)軌跡數(shù)據(jù)發(fā)送至至少一個(gè)所述數(shù)據(jù)處理裝置；所述數(shù)據(jù)處理裝置用于處理從至少一個(gè)所述顯示器和至少一個(gè)所述動(dòng)作捕捉裝置獲取并傳輸至所述數(shù)據(jù)處理裝置的數(shù)據(jù)，并將處理后的結(jié)果發(fā)送至至少一個(gè)顯示器。本發(fā)明還提供了一種實(shí)現(xiàn)沉浸式虛擬現(xiàn)實(shí)的方法。
文檔編號(hào)G06F3/0346GK103197757SQ201210006338
公開日2013年7月10日 申請(qǐng)日期2012年1月9日 優(yōu)先權(quán)日2012年1月9日
發(fā)明者魏斌 申請(qǐng)人:癸水動(dòng)力(北京)網(wǎng)絡(luò)科技有限公司, 魏斌