本發(fā)明涉及虛擬現(xiàn)實(shí)領(lǐng)域,具體涉及一種虛擬現(xiàn)實(shí)裝置。
背景技術(shù):
虛擬現(xiàn)實(shí)技術(shù)(Virtual Reality,VR)是近年來出現(xiàn)的高新技術(shù),它利用計(jì)算機(jī)模擬產(chǎn)生一個(gè)虛擬世界,使用戶沉浸在虛擬環(huán)境中,身臨其境地觀看虛擬環(huán)境中的景象。目前,現(xiàn)有的虛擬現(xiàn)實(shí)裝置通常需要手動(dòng)進(jìn)行各種操作(例如,暫停畫面等),操作不方便,影響用戶的體驗(yàn)。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一,提出了一種虛擬現(xiàn)實(shí)裝置,以改善用戶體驗(yàn)。
為了解決上述技術(shù)問題之一,本發(fā)明提供一種虛擬現(xiàn)實(shí)裝置,包括:
動(dòng)作獲取模塊,用于獲取用戶的動(dòng)作信息;
語音獲取模塊,用于獲取用戶的語音信息;
處理模塊,與所述動(dòng)作獲取模塊和語音獲取模塊相連,用于根據(jù)所述用戶的動(dòng)作信息和語音信息對(duì)預(yù)定的虛擬場(chǎng)景進(jìn)行虛擬現(xiàn)實(shí)處理,以生成相應(yīng)的虛擬現(xiàn)實(shí)場(chǎng)景信息;并根據(jù)所述虛擬現(xiàn)實(shí)場(chǎng)景信息生成相應(yīng)的顯示驅(qū)動(dòng)信號(hào)和音頻驅(qū)動(dòng)信號(hào);
頭戴式顯示模塊,與所述處理模塊相連,用于根據(jù)所述顯示驅(qū)動(dòng)信號(hào)顯示相應(yīng)的圖像;
音頻播放模塊,與所述處理模塊相連,用于根據(jù)所述音頻驅(qū)動(dòng)信號(hào)播放相應(yīng)的音頻。
優(yōu)選地,所述語音獲取模塊包括:
語音采集單元,用于采集用戶發(fā)出的語音,并將其轉(zhuǎn)換為模擬語音信號(hào);
放大單元,與所述語音采集單元相連,用于對(duì)所述模擬語音信號(hào)進(jìn)行放大;
模數(shù)轉(zhuǎn)換單元,連接在所述放大單元與所述處理模塊之間,用于將放大后的模擬語音信號(hào)轉(zhuǎn)換為數(shù)字語音信號(hào)。
優(yōu)選地,所述語音獲取模塊還包括:
語音調(diào)節(jié)單元,連接在所述模數(shù)轉(zhuǎn)換單元和所述處理模塊之間,用于調(diào)節(jié)所述模數(shù)轉(zhuǎn)換單元輸出的數(shù)字語音信號(hào)的大小和/或頻率范圍。
優(yōu)選地,所述處理模塊包括:
語音識(shí)別單元,與所述語音獲取模塊相連,用于對(duì)所述用戶的語音信息進(jìn)行語音識(shí)別,并生成相應(yīng)的語音控制指令;
處理單元,與所述語音識(shí)別單元和所述動(dòng)作獲取模塊相連,用于根據(jù)所述語音控制指令和用戶的動(dòng)作信息對(duì)所述預(yù)定的虛擬場(chǎng)景進(jìn)行虛擬現(xiàn)實(shí)處理,以生成所述顯示驅(qū)動(dòng)信號(hào)和所述音頻驅(qū)動(dòng)信號(hào)。
優(yōu)選地,所述虛擬現(xiàn)實(shí)裝置還包括存儲(chǔ)模塊,所述存儲(chǔ)模塊內(nèi)存儲(chǔ)有預(yù)設(shè)的語音特征樣本與相應(yīng)的語音控制指令樣本之間的對(duì)應(yīng)關(guān)系;
所述語音識(shí)別單元包括:
特征提取子單元,與所述語音獲取模塊相連,用于提取所述語音獲取模塊輸出的數(shù)字語音信號(hào)的語音特征;
特征匹配子單元,與所述特征提取子單元和所述存儲(chǔ)模塊相連,用于根據(jù)所述特征提取子單元獲取的語音特征和所述存儲(chǔ)模塊內(nèi)存儲(chǔ)的預(yù)設(shè)語音特征樣本和相應(yīng)的語音控制指令樣本之間的對(duì)應(yīng)關(guān)系,獲取與所述特征提取子單元獲取的語音特征相對(duì)應(yīng)的目標(biāo)控制指令,并將該目標(biāo)控制指令作為所述語音控制指令。
優(yōu)選地,所述虛擬現(xiàn)實(shí)裝置還包括音頻信號(hào)轉(zhuǎn)換模塊,所述音頻信號(hào)轉(zhuǎn)換模塊包括:
數(shù)字濾波單元,與所述處理模塊相連,用于對(duì)所述音頻驅(qū)動(dòng)信號(hào)進(jìn)行超取樣;
數(shù)模轉(zhuǎn)換單元,與所述數(shù)字濾波單元相連,用于將所述數(shù)字濾波單元輸出的信號(hào)轉(zhuǎn)換為模擬信號(hào);
模擬低通濾波單元,與所述數(shù)模轉(zhuǎn)換單元相連,用于將所述數(shù)模轉(zhuǎn)換子單元輸出的模擬信號(hào)中高于預(yù)定頻率的部分濾除;
所述音頻播放模塊與所述模擬低通濾波器相連,用于將所述模擬低通濾波單元輸出的模擬信號(hào)轉(zhuǎn)換為音頻后輸出。
優(yōu)選地,所述音頻信號(hào)轉(zhuǎn)換模塊還包括:
音頻調(diào)節(jié)單元,連接在所述處理模塊與所述數(shù)字濾波單元之間,用于調(diào)節(jié)所述處理模塊輸出的音頻驅(qū)動(dòng)信號(hào)的大小和/或頻率范圍。
優(yōu)選地,所述虛擬現(xiàn)實(shí)裝置還包括連接在所述處理模塊與所述頭戴式顯示模塊之間的顯示信號(hào)轉(zhuǎn)換模塊,用于對(duì)所述顯示驅(qū)動(dòng)信號(hào)進(jìn)行格式轉(zhuǎn)換;
所述顯示信號(hào)轉(zhuǎn)換模塊和所述音頻信號(hào)轉(zhuǎn)換模塊集成在同一芯片上;或者,所述顯示信號(hào)轉(zhuǎn)換模塊和所述音頻信號(hào)轉(zhuǎn)換模塊分別集成在兩個(gè)相互獨(dú)立的芯片上。
優(yōu)選地,所述語音采集單元包括麥克風(fēng)。
優(yōu)選地,所述虛擬現(xiàn)實(shí)裝置還包括佩戴殼體,所述頭戴式顯示模塊設(shè)置在所述佩戴殼體上;
所述動(dòng)作獲取模塊包括設(shè)置在所述佩戴殼體上的慣性傳感器,所述慣性傳感器用于檢測(cè)所述佩戴殼體的運(yùn)動(dòng)速度和/或運(yùn)動(dòng)方向。
由于本發(fā)明的虛擬現(xiàn)實(shí)裝置中,處理模塊不僅能夠根據(jù)用戶的動(dòng)作信息進(jìn)行虛擬現(xiàn)實(shí)處理,還可以根據(jù)用戶的語音信息進(jìn)行虛擬現(xiàn)實(shí)處理,因此,用戶在使用虛擬現(xiàn)實(shí)裝置時(shí),通過語音就可以對(duì)顯示場(chǎng)景進(jìn)行控制,改善了用于與虛擬場(chǎng)景之間的互動(dòng)效果,提高了用戶體驗(yàn)。
附圖說明
附圖是用來提供對(duì)本發(fā)明的進(jìn)一步理解,并且構(gòu)成說明書的一部分,與下面的具體實(shí)施方式一起用于解釋本發(fā)明,但并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中:
圖1是本發(fā)明實(shí)施例中提供的虛擬現(xiàn)實(shí)裝置的整體結(jié)構(gòu)示意圖;
圖2是本發(fā)明實(shí)施例中提供的語音獲取模塊的結(jié)構(gòu)示意圖;
圖3是本發(fā)明實(shí)施例中提供的音頻轉(zhuǎn)換模塊的結(jié)構(gòu)示意圖。
其中,附圖標(biāo)記為:
10、動(dòng)作獲取模塊;20、語音獲取模塊;21、語音采集單元;22、放大單元;23、模數(shù)轉(zhuǎn)換單元;24、語音調(diào)節(jié)單元;30、處理模塊;31、語音識(shí)別單元;311、特征提取子單元;312、特征匹配子單元;32、處理單元;40、頭戴式顯示模塊;50、音頻播放模塊;60、存儲(chǔ)模塊;70、音頻信號(hào)轉(zhuǎn)換模塊;71、數(shù)字濾波單元;72、數(shù)模轉(zhuǎn)換單元;73、模擬低通濾波單元;74、音頻調(diào)節(jié)單元;75、采樣率轉(zhuǎn)換單元;80、顯示信號(hào)轉(zhuǎn)換模塊。
具體實(shí)施方式
以下結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行詳細(xì)說明。應(yīng)當(dāng)理解的是,此處所描述的具體實(shí)施方式僅用于說明和解釋本發(fā)明,并不用于限制本發(fā)明。
作為本發(fā)明的一方面,提供一種虛擬現(xiàn)實(shí)裝置,如圖1所示,包括動(dòng)作獲取模塊10、語音獲取模塊20、處理模塊30、頭戴式顯示模塊40和音頻播放模塊50。
動(dòng)作獲取模塊10用于獲取用戶的動(dòng)作信息,所述用戶的動(dòng)作信息具體可以為用戶身體多個(gè)部位的運(yùn)動(dòng)方向、運(yùn)動(dòng)速度等信息;也可以僅僅為用戶頭部的運(yùn)動(dòng)方向、運(yùn)動(dòng)速度等信息。
語音獲取模塊20用于獲取用戶的語音信息。所述語音信息為用戶發(fā)出的實(shí)際語音的內(nèi)容。
處理模塊30與動(dòng)作獲取模塊10和語音獲取模塊20相連,用于根據(jù)所述用戶的動(dòng)作信息和語音信息對(duì)預(yù)定的虛擬場(chǎng)景進(jìn)行虛擬現(xiàn)實(shí)處理,以生成相應(yīng)的虛擬現(xiàn)實(shí)場(chǎng)景信息(該虛擬現(xiàn)實(shí)場(chǎng)景信息包括圖像信息和音頻信息),并根據(jù)虛擬現(xiàn)實(shí)場(chǎng)景信息中的圖像信息生成相應(yīng)的顯示驅(qū)動(dòng)信號(hào)、根據(jù)虛擬現(xiàn)實(shí)場(chǎng)景信息中的音頻信息生成相應(yīng)的音頻驅(qū)動(dòng)信號(hào)。處理模塊30的虛擬現(xiàn)實(shí)處理可以是實(shí)時(shí)進(jìn)行的,以使得所述虛擬現(xiàn)實(shí)場(chǎng)景與用戶的動(dòng)作相結(jié)合,使得用戶感覺到自己是處于虛擬的環(huán)境中的;且能夠在用戶語音的控制下進(jìn)行相應(yīng)的虛擬現(xiàn)實(shí)處理。可以理解,當(dāng)用戶沒有發(fā)出語音時(shí),處理模塊30維持原有的顯示即可。
頭戴式顯示模塊40與處理模塊30相連,用于根據(jù)所述顯示驅(qū)動(dòng)信號(hào)顯示相應(yīng)的圖像。音頻播放模塊50與處理模塊30相連,用于根據(jù)所音頻驅(qū)動(dòng)信號(hào)播放相應(yīng)的音頻。
由于本發(fā)明的虛擬現(xiàn)實(shí)裝置中,處理模塊30不僅能夠根據(jù)用戶的動(dòng)作信息進(jìn)行虛擬現(xiàn)實(shí)處理,還可以根據(jù)用戶的語音信息進(jìn)行虛擬現(xiàn)實(shí)處理,因此,用戶在使用虛擬現(xiàn)實(shí)裝置時(shí),通過語音就可以對(duì)顯示場(chǎng)景進(jìn)行控制,改善了用于與虛擬場(chǎng)景之間的互動(dòng)效果,提高了用戶體驗(yàn)。
下面結(jié)合圖1至圖3對(duì)本發(fā)明的虛擬現(xiàn)實(shí)裝置進(jìn)行詳細(xì)介紹。
如圖2所示,語音獲取模塊20包括語音采集單元21、放大單元22和模數(shù)轉(zhuǎn)換單元23。語音采集單元21用于采集用戶發(fā)出的語音,并將其轉(zhuǎn)換為模擬語音信號(hào)。語音采集單元21具體可以包括麥克風(fēng)。放大單元22與語音采集單元21相連,用于對(duì)所述模擬音頻信號(hào)進(jìn)行放大,以便于后續(xù)處理模塊對(duì)用戶語音進(jìn)行識(shí)別。放大單元22具體可以包括升壓電路。模數(shù)轉(zhuǎn)換單元23連接在放大單元22與處理模塊30之間,用于將放大后的模擬語音信號(hào)轉(zhuǎn)換為數(shù)字語音信號(hào)。
語音獲取模塊20還可以包括語音調(diào)節(jié)單元24,語音調(diào)節(jié)單元24連接在所述模數(shù)轉(zhuǎn)換單元23和所述處理模塊30之間,用于調(diào)節(jié)所述模數(shù)轉(zhuǎn)換單元輸出的數(shù)字語音信號(hào)的大小和/或頻率范圍。通過調(diào)節(jié)數(shù)字語音信號(hào)的大小可以調(diào)節(jié)處理模塊接收到的信號(hào)大??;數(shù)字語音信號(hào)的頻率可以通過數(shù)字濾波器進(jìn)行濾波,以濾除噪聲;從而便于之后處理模塊進(jìn)行語音識(shí)別。其中,語音調(diào)節(jié)單元24可以包括自動(dòng)電平控制電路(ALC)、音量控制電路等,以調(diào)節(jié)信號(hào)大??;還可以包括均衡器、高通濾波器等,以對(duì)信號(hào)進(jìn)行濾波,減少碼間干擾和噪聲干擾。
如圖1所示,處理模塊30包括語音識(shí)別單元31和處理單元32。
語音識(shí)別單元31與語音獲取模塊20相連,用于對(duì)所述用戶的語音信息進(jìn)行語音識(shí)別,并生成相應(yīng)的語音控制指令。例如,當(dāng)用戶要對(duì)當(dāng)前影像暫停而發(fā)出“暫?!钡恼Z音時(shí),語音識(shí)別單元31對(duì)該語音進(jìn)行識(shí)別后,生成與“暫停”相對(duì)應(yīng)的語音控制指令,以使處理單元32對(duì)顯示影像進(jìn)行暫停處理。
語音識(shí)別單元31可以通過模式匹配法進(jìn)行語音識(shí)別。具體地,如圖1所示,所述虛擬現(xiàn)實(shí)裝置還包括存儲(chǔ)模塊60,存儲(chǔ)模塊60內(nèi)存儲(chǔ)有預(yù)設(shè)的語音特征樣本與相應(yīng)的語音控制指令樣本之間的對(duì)應(yīng)關(guān)系。語音識(shí)別單元31包括特征提取子單元311和特征匹配子單元312。特征提取子單元311與語音獲取模塊20相連,用于提取語音獲取模塊20輸出的數(shù)字語音信號(hào)的語音特征。當(dāng)語音獲取模塊20不包括語音調(diào)節(jié)單元24時(shí),特征提取子單元311與模數(shù)轉(zhuǎn)換單元23相連;當(dāng)語音獲取模塊20包括語音調(diào)節(jié)單元24時(shí),特征提取子單元311與語音調(diào)節(jié)單元24相連。特征匹配子單元312與特征提取子單元311和存儲(chǔ)模塊60相連,用于根據(jù)特征提取子單元312獲取的語音特征和存儲(chǔ)模塊60內(nèi)存儲(chǔ)的預(yù)設(shè)語音特征樣本和相應(yīng)的語音控制指令樣本之間的對(duì)應(yīng)關(guān)系,獲取與所述特征提取子單元311獲取的語音特征相對(duì)應(yīng)的目標(biāo)控制指令,并將該目標(biāo)控制指令作為所述語音控制指令。存儲(chǔ)模塊60中所存儲(chǔ)的語音控制指令樣本包括但不限于:與“開始”、“播放下一畫面”、“播放上一畫面”、“快進(jìn)”、“后退”、“暫停”、“結(jié)束”等對(duì)應(yīng)的指令。
其中,存儲(chǔ)模塊60存儲(chǔ)的語音特征樣本的數(shù)量有很多,語音特征樣本與相應(yīng)的語音控制指令樣本之間的對(duì)應(yīng)關(guān)系可以包括每個(gè)語音特征樣本與各個(gè)語音控制指令樣本之間的匹配率。進(jìn)行語音識(shí)別時(shí),特征匹配子單元312根據(jù)特征提取子單元311提取到的特征與各語音特征樣本之間的匹配率、以及每個(gè)語音特征樣本與各個(gè)語音控制指令樣本之間的匹配率,從多個(gè)語音控制指令樣本中獲取與特征提取子單元311提取的特征最匹配、或匹配率大于預(yù)設(shè)閾值的語音控制指令樣本,以作為目標(biāo)控制指令。
處理單元32與語音識(shí)別單元31和動(dòng)作獲取模塊10相連,用于根據(jù)所述語音控制指令和用戶的動(dòng)作信息對(duì)所述預(yù)定的虛擬場(chǎng)景進(jìn)行虛擬現(xiàn)實(shí)處理,以生成所述虛擬現(xiàn)實(shí)場(chǎng)景信息,從而根據(jù)所述虛擬現(xiàn)實(shí)場(chǎng)景信息生成所述顯示驅(qū)動(dòng)信號(hào)和所述音頻驅(qū)動(dòng)信號(hào)。
進(jìn)一步地,如圖1和圖3所示,所述虛擬現(xiàn)實(shí)裝置還包括音頻信號(hào)轉(zhuǎn)換模塊70,音頻信號(hào)轉(zhuǎn)換模塊70包括數(shù)字濾波單元71、數(shù)模轉(zhuǎn)換單元72、模擬低通濾波單元73。數(shù)字濾波單元71與處理模塊30相連,用于對(duì)音頻處理模塊30輸出的音頻驅(qū)動(dòng)信號(hào)進(jìn)行超取樣(Oversampling),即,在兩個(gè)數(shù)據(jù)中添加多個(gè)數(shù)據(jù)以填補(bǔ)間隔空白,從而使得后續(xù)轉(zhuǎn)換成的模擬信號(hào)更加平滑。數(shù)模轉(zhuǎn)換單元72與數(shù)字濾波單元71相連,用于將數(shù)字濾波單元71輸出的信號(hào)由數(shù)字信號(hào)轉(zhuǎn)換為模擬信號(hào);模擬低通濾波單元73(也即,抗混疊濾波器)與數(shù)模轉(zhuǎn)換單元72相連,用于將所述數(shù)模轉(zhuǎn)換子單元輸出的模擬信號(hào)中高于預(yù)定頻率的部分濾除,從而去除噪聲。音頻播放模塊50與模擬低通濾波單元73相連,用于將模擬低通濾波單元73輸出的模擬信號(hào)轉(zhuǎn)換為音頻后輸出。
音頻信號(hào)轉(zhuǎn)換模塊70還可以包括音頻調(diào)節(jié)單元74、采樣率轉(zhuǎn)換單元(Sample Rate Converter)75,音頻調(diào)節(jié)單元74與處理模塊30相連,用于調(diào)節(jié)處理模塊30輸出的音頻驅(qū)動(dòng)信號(hào)的大小和/或頻率范圍。具體地,音頻調(diào)節(jié)單元74可以包括限壓器(Digital Limiter)、低音增強(qiáng)器(Bass Boost)、數(shù)字音量控制器(Digital Volume Control)、數(shù)字去重濾波器(Digital De-emphasis Filter)、均衡器(EQ)等。采樣率轉(zhuǎn)換單元75連接在音頻調(diào)節(jié)單元74和數(shù)字濾波單元71之間,將信號(hào)重新轉(zhuǎn)換成一個(gè)統(tǒng)一的48KHz采樣率輸出,防止出現(xiàn)較大的噪聲或諧波。
在本發(fā)明中,所述虛擬現(xiàn)實(shí)裝置還可以包括連接在處理模塊30與頭戴式顯示模塊40之間的顯示信號(hào)轉(zhuǎn)換模塊80,顯示信號(hào)轉(zhuǎn)換模塊80用于對(duì)所述顯示驅(qū)動(dòng)信號(hào)進(jìn)行格式轉(zhuǎn)換。處理模塊30輸出的顯示驅(qū)動(dòng)信號(hào)具體可以為HDMI或DP的格式,頭戴式顯示模塊的數(shù)據(jù)接口可以具體為MIPI接口,這時(shí),顯示信號(hào)轉(zhuǎn)換模塊用于將HDMI或DP格式的信號(hào)轉(zhuǎn)換為MIPI格式的信號(hào)后提供給頭戴式顯示模塊。
其中,可以將顯示信號(hào)轉(zhuǎn)換模塊80和音頻信號(hào)轉(zhuǎn)換模塊70集成在同一芯片上?;蛘撸@示信號(hào)轉(zhuǎn)換模塊80和音頻信號(hào)轉(zhuǎn)換模塊70分別集成在兩個(gè)相互獨(dú)立的芯片上。
在本發(fā)明中,所述虛擬現(xiàn)實(shí)裝置還包括佩戴殼體,例如頭盔。頭戴式顯示模塊40設(shè)置在佩戴殼體上。動(dòng)作獲取模塊10包括設(shè)置在所述佩戴殼體上的慣性傳感器(如,陀螺儀等),所述慣性傳感器用于檢測(cè)所述佩戴殼體的運(yùn)動(dòng)速度和/或運(yùn)動(dòng)方向。為了便于用戶使用虛擬現(xiàn)實(shí)裝置,可以將動(dòng)作獲取模塊10、語音獲取模塊20、音頻播放模塊50均設(shè)置在所述佩戴殼體上。處理模塊30可以設(shè)置在佩戴殼體上,也可以設(shè)置在另外的計(jì)算機(jī)(PC)端,這時(shí),動(dòng)作獲取模塊10、語音獲取模塊20、頭戴式顯示模塊40、音頻播放模塊50與處理模塊30之間通過無線連接。
通過上述對(duì)本發(fā)明提供的虛擬現(xiàn)實(shí)裝置的描述可以看出,當(dāng)動(dòng)作獲取模塊獲取用戶的動(dòng)作信息、語音獲取模塊獲取用戶的語音信息后,處理模塊根據(jù)動(dòng)作信息和語音信息產(chǎn)生相應(yīng)的虛擬現(xiàn)實(shí)場(chǎng)景信息,也就是說,虛擬現(xiàn)實(shí)場(chǎng)景不但與用戶動(dòng)作相結(jié)合,使用戶感覺到自己是處于虛擬的環(huán)境中;并且,還能夠在用戶的語音的控制下進(jìn)行相應(yīng)的虛擬現(xiàn)實(shí)處理。因此,用戶在使用虛擬現(xiàn)實(shí)裝置時(shí),通過語音就可以對(duì)顯示場(chǎng)景進(jìn)行控制,改善了用于與虛擬場(chǎng)景之間的互動(dòng)效果,提高了用戶體驗(yàn)。
可以理解的是,以上實(shí)施方式僅僅是為了說明本發(fā)明的原理而采用的示例性實(shí)施方式,然而本發(fā)明并不局限于此。對(duì)于本領(lǐng)域內(nèi)的普通技術(shù)人員而言,在不脫離本發(fā)明的精神和實(shí)質(zhì)的情況下,可以做出各種變型和改進(jìn),這些變型和改進(jìn)也視為本發(fā)明的保護(hù)范圍。