本發(fā)明涉及頭戴顯示器技術(shù)領(lǐng)域,更具體地,涉及一種用于頭戴顯示器的同步方法、裝置及頭戴顯示器。
背景技術(shù):
虛擬現(xiàn)實(shí)(virtualreality,簡(jiǎn)稱vr)是近年來(lái)出現(xiàn)的高新技術(shù)。虛擬現(xiàn)實(shí)技術(shù)將是支撐一個(gè)定性和定量相結(jié)合,感性認(rèn)識(shí)和理性認(rèn)識(shí)相結(jié)合的綜合集成多維信息空間的關(guān)鍵技術(shù)。隨著網(wǎng)絡(luò)的速度的提升,基于虛擬現(xiàn)實(shí)技術(shù)的一個(gè)互聯(lián)網(wǎng)時(shí)代正悄然走來(lái),它將極大地改變?nèi)藗兊纳a(chǎn)和生活方式。
頭戴顯示器能夠顯示出預(yù)先存儲(chǔ)的虛擬現(xiàn)實(shí)圖像,為用戶構(gòu)建虛擬現(xiàn)實(shí)環(huán)境,但是對(duì)于虛擬現(xiàn)實(shí)環(huán)境的聲音,基本還延續(xù)著傳統(tǒng)的方式,通過(guò)揚(yáng)聲器或者耳機(jī)來(lái)播放簡(jiǎn)單的聲音。為了能夠在虛擬現(xiàn)實(shí)環(huán)境內(nèi)更好的提供模擬現(xiàn)實(shí)的效果,需要真實(shí)模擬現(xiàn)實(shí)環(huán)境內(nèi)的音效。當(dāng)頭戴顯示器的位置或者姿態(tài)發(fā)生改變時(shí),用戶無(wú)法通過(guò)頭戴顯示器播放的聲音感受到這種變化,這就導(dǎo)致了虛擬現(xiàn)實(shí)的聲音與現(xiàn)實(shí)環(huán)境不統(tǒng)一的問(wèn)題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的一個(gè)目的是提供一種能夠解決上述問(wèn)題之一的新技術(shù)方案。
根據(jù)本發(fā)明的第一方面,提供了一種用于頭戴顯示器的同步方法,包括:
獲取虛擬現(xiàn)實(shí)圖像、及與所述虛擬現(xiàn)實(shí)圖像對(duì)應(yīng)的原始聲音信號(hào);
確定所述虛擬現(xiàn)實(shí)圖像中與每一所述原始聲音信號(hào)相對(duì)應(yīng)的音源;
檢測(cè)所述頭戴顯示器的姿態(tài)、及所述頭戴顯示器相對(duì)于每一所述音源的位置信息;
根據(jù)所述姿態(tài)和所有所述位置信息對(duì)每一所述原始聲音信號(hào)的參數(shù)進(jìn)行調(diào)整得到當(dāng)前聲音信號(hào);
控制發(fā)聲裝置播放所述當(dāng)前聲音信號(hào)。
可選的是,所述參數(shù)包括強(qiáng)度、頻率、音調(diào)和音色中的至少一種。
可選的是,所述檢測(cè)所述頭戴顯示器的姿態(tài)、及所述頭戴顯示器相對(duì)于每一所述音源的位置信息之后還包括:
根據(jù)所述姿態(tài)和所述位置信息對(duì)所述虛擬現(xiàn)實(shí)圖像進(jìn)行移動(dòng)處理,得到當(dāng)前虛擬現(xiàn)實(shí)圖像;
控制顯示裝置顯示所述當(dāng)前虛擬現(xiàn)實(shí)圖像。
可選的是,所述確定所述虛擬現(xiàn)實(shí)圖像中與每一所述原始聲音信號(hào)相對(duì)應(yīng)的音源包括:
對(duì)至少包括兩個(gè)聲道的原始聲音信號(hào)進(jìn)行分解,得到對(duì)應(yīng)聲道數(shù)量的原始聲道信號(hào);
確定與每一所述原始聲道信號(hào)一一對(duì)應(yīng)的音源。
可選的是,所述根據(jù)所述姿態(tài)和所有所述位置信息對(duì)每一所述原始聲音信號(hào)的參數(shù)進(jìn)行調(diào)整得到當(dāng)前聲音信號(hào)包括:
根據(jù)所述姿態(tài)和每一所述位置信息對(duì)每一所述原始聲道信號(hào)的參數(shù)分別進(jìn)行調(diào)整得到對(duì)應(yīng)的當(dāng)前聲道信號(hào);
對(duì)所有所述當(dāng)前聲道信號(hào)進(jìn)行合并處理,得到所述當(dāng)前聲音信號(hào)。
根據(jù)本發(fā)明的第二方面,提供了一種用于頭戴顯示器的同步裝置,包括:
獲取模塊,用于獲取虛擬現(xiàn)實(shí)圖像、及與所述虛擬現(xiàn)實(shí)圖像對(duì)應(yīng)的原始聲音信號(hào);
音源確定模塊,用于確定所述虛擬現(xiàn)實(shí)圖像中與每一所述原始聲音信號(hào)相對(duì)應(yīng)的音源;
檢測(cè)模塊,用于檢測(cè)所述頭戴顯示器的姿態(tài)、及所述頭戴顯示器相對(duì)于每一所述音源的位置信息;
調(diào)整模塊,用于根據(jù)所述姿態(tài)和所有所述位置信息對(duì)每一所述原始聲音信號(hào)的參數(shù)進(jìn)行調(diào)整得到當(dāng)前聲音信號(hào);
發(fā)聲控制模塊,用于控制發(fā)聲裝置播放所述當(dāng)前聲音信號(hào)。
可選的是,所述參數(shù)包括強(qiáng)度、頻率、音調(diào)和音色中的至少一種。
可選的是,所述裝置還包括:
移動(dòng)模塊,用于根據(jù)所述姿態(tài)和所述位置信息對(duì)所述虛擬現(xiàn)實(shí)圖像進(jìn)行移動(dòng)處理,得到當(dāng)前虛擬現(xiàn)實(shí)圖像;
顯示控制模塊,用于控制顯示裝置顯示所述當(dāng)前虛擬現(xiàn)實(shí)圖像。
可選的是,所述音源確定模塊包括:
分解單元,用于對(duì)至少包括兩個(gè)聲道的原始聲音信號(hào)進(jìn)行分解,得到對(duì)應(yīng)聲道數(shù)量的原始聲道信號(hào);
確定單元,用于確定與每一所述原始聲道信號(hào)一一對(duì)應(yīng)的音源。
可選的是,所述調(diào)整模塊包括:
調(diào)整單元,用于根據(jù)所述姿態(tài)和每一所述位置信息對(duì)每一所述原始聲道信號(hào)的參數(shù)分別進(jìn)行調(diào)整得到對(duì)應(yīng)的當(dāng)前聲道信號(hào);
合并單元,用于對(duì)所有所述當(dāng)前聲道信號(hào)進(jìn)行合并處理,得到所述當(dāng)前聲音信號(hào)。
根據(jù)本發(fā)明的第三方面,提供了一種頭戴顯示器,包括根據(jù)本發(fā)明第二方面所述的同步裝置。
根據(jù)本發(fā)明的第四方面,提供了一種頭戴顯示器,包括存儲(chǔ)器和處理器,所述存儲(chǔ)器用于存儲(chǔ)指令,所述指令用于控制所述處理器進(jìn)行操作以執(zhí)行根據(jù)本發(fā)明第一方面所述的同步方法。
本發(fā)明的一個(gè)有益效果在于,通過(guò)本發(fā)明的實(shí)施例,能夠?qū)⒄鎸?shí)音效在虛擬現(xiàn)實(shí)環(huán)境中還原,并且可以根據(jù)用戶的位置、姿態(tài)等信息來(lái)動(dòng)態(tài)調(diào)整原始聲音信號(hào),實(shí)現(xiàn)虛擬現(xiàn)實(shí)系統(tǒng)內(nèi)的聲音與現(xiàn)實(shí)環(huán)境的同步,從而達(dá)到模擬真實(shí)環(huán)境音效的目的,提升用戶體驗(yàn)。
通過(guò)以下參照附圖對(duì)本發(fā)明的示例性實(shí)施例的詳細(xì)描述,本發(fā)明的其它特征及其優(yōu)點(diǎn)將會(huì)變得清楚。
附圖說(shuō)明
被結(jié)合在說(shuō)明書中并構(gòu)成說(shuō)明書的一部分的附圖示出了本發(fā)明的實(shí)施例,并且連同其說(shuō)明一起用于解釋本發(fā)明的原理。
圖1為根據(jù)本發(fā)明用于頭戴顯示器的同步方法的一種實(shí)施方式的流程圖;
圖2為根據(jù)本發(fā)明用于頭戴顯示器的同步方法的另一種實(shí)施方式的流程圖;
圖3為根據(jù)本發(fā)明用于頭戴顯示器的同步裝置的一種實(shí)施結(jié)構(gòu)的方框原理圖;
圖4為根據(jù)本發(fā)明用于頭戴顯示器的同步裝置的另一種實(shí)施結(jié)構(gòu)的方框原理圖;
圖5為根據(jù)本發(fā)明頭戴顯示器的一種實(shí)施結(jié)構(gòu)的方框原理圖。
具體實(shí)施方式
現(xiàn)在將參照附圖來(lái)詳細(xì)描述本發(fā)明的各種示例性實(shí)施例。應(yīng)注意到:除非另外具體說(shuō)明,否則在這些實(shí)施例中闡述的部件和步驟的相對(duì)布置、數(shù)字表達(dá)式和數(shù)值不限制本發(fā)明的范圍。
以下對(duì)至少一個(gè)示例性實(shí)施例的描述實(shí)際上僅僅是說(shuō)明性的,決不作為對(duì)本發(fā)明及其應(yīng)用或使用的任何限制。
對(duì)于相關(guān)領(lǐng)域普通技術(shù)人員已知的技術(shù)、方法和設(shè)備可能不作詳細(xì)討論,但在適當(dāng)情況下,所述技術(shù)、方法和設(shè)備應(yīng)當(dāng)被視為說(shuō)明書的一部分。
在這里示出和討論的所有例子中,任何具體值應(yīng)被解釋為僅僅是示例性的,而不是作為限制。因此,示例性實(shí)施例的其它例子可以具有不同的值。
應(yīng)注意到:相似的標(biāo)號(hào)和字母在下面的附圖中表示類似項(xiàng),因此,一旦某一項(xiàng)在一個(gè)附圖中被定義,則在隨后的附圖中不需要對(duì)其進(jìn)行進(jìn)一步討論。
為了解決現(xiàn)有技術(shù)中存在的當(dāng)頭戴顯示器的位置或者姿態(tài)發(fā)生改變時(shí),用戶無(wú)法通過(guò)頭戴顯示器播放的聲音感受到這種變化的問(wèn)題,提供了一種用于頭戴顯示器的同步方法。其中,該頭戴顯示器可以是一體機(jī),也可以是分體機(jī)。
圖1為根據(jù)本發(fā)明用于頭戴顯示器的同步方法的一種實(shí)施方法的流程圖。
根據(jù)圖1所示,該同步方法包括以下步驟:
步驟s110,獲取虛擬現(xiàn)實(shí)圖像、及與該虛擬現(xiàn)實(shí)圖像對(duì)應(yīng)的原始聲音信號(hào)。
虛擬現(xiàn)實(shí)圖像可以是頭戴顯示器的攝像頭預(yù)先采集的,也可以是頭戴顯示器從網(wǎng)絡(luò)上下載的;原始聲音信號(hào)可以是頭戴顯示器的麥克風(fēng)預(yù)先采集的,也可以是從網(wǎng)絡(luò)上下載的,還可以是通過(guò)麥克風(fēng)實(shí)時(shí)采集的。且虛擬現(xiàn)實(shí)圖像和原始聲音信號(hào)之間具有一一對(duì)應(yīng)的關(guān)系,任一虛擬現(xiàn)實(shí)圖像至少具有一個(gè)與之對(duì)應(yīng)的原始聲音信號(hào)。
虛擬現(xiàn)實(shí)圖像和原始聲音信號(hào)的獲取不分先后順序,也可以是獲取原始聲音信號(hào)、及與該原始聲音信號(hào)對(duì)應(yīng)的虛擬現(xiàn)實(shí)圖像。例如可以是預(yù)先存儲(chǔ)有反映虛擬現(xiàn)實(shí)圖像與原始聲音信號(hào)之間對(duì)應(yīng)關(guān)系的對(duì)照表。通過(guò)獲取的虛擬現(xiàn)實(shí)圖像,查找對(duì)照表以確定與該虛擬現(xiàn)實(shí)圖像對(duì)應(yīng)的原始聲音信號(hào);也可以是通過(guò)獲取的原始聲音信號(hào),查找對(duì)照表以確定與該原始聲音信號(hào)對(duì)應(yīng)的虛擬現(xiàn)實(shí)圖像。
進(jìn)一步地,在執(zhí)行完步驟s110之后,還可以控制顯示裝置顯示該虛擬現(xiàn)實(shí)圖像。以向用戶提供虛擬現(xiàn)實(shí)環(huán)境,提升用戶體驗(yàn)。
步驟s120,確定與虛擬現(xiàn)實(shí)圖像中與每一原始聲音信號(hào)相對(duì)應(yīng)的音源。
具體的,可以是預(yù)先存儲(chǔ)好對(duì)應(yīng)虛擬現(xiàn)實(shí)圖像中每一音源的原始聲音信號(hào),并將對(duì)應(yīng)的原始聲音信號(hào)和音源進(jìn)行標(biāo)記,以便于在執(zhí)行步驟s120時(shí)進(jìn)行原始聲音信號(hào)和音源的匹配。
如果原始聲音信號(hào)為單聲道信號(hào),那么,虛擬現(xiàn)實(shí)圖像中與該原始聲音信號(hào)對(duì)應(yīng)的音源則為一個(gè)。這樣,可以在空間中模擬出一個(gè)與該單聲道的原始聲音信號(hào)對(duì)應(yīng)的音源,這個(gè)模擬出的音源與虛擬現(xiàn)實(shí)圖像中的音源的位置相對(duì)應(yīng)。
如果原始聲音信號(hào)為多聲道信號(hào),即原始聲音信號(hào)包括至少兩個(gè)聲道,與該原始聲音信號(hào)對(duì)應(yīng)的音源數(shù)量則與該原始聲音信號(hào)的聲道數(shù)量相同,在此情況下,該步驟s120可以包括以下步驟s121-s122:
步驟s121,對(duì)包括至少兩個(gè)聲道的原始聲音信號(hào)進(jìn)行分解,得到對(duì)應(yīng)聲道數(shù)量的原始聲道信號(hào)。
進(jìn)一步地,對(duì)于包括雙聲道或者多聲道的原始聲音信號(hào),根據(jù)聲道的數(shù)量與定義,可以將原始聲音信號(hào)分解為多個(gè)原始聲道信號(hào),且聲道的數(shù)量與原始聲道信號(hào)的數(shù)量相等。
步驟s122,確定與每一原始聲道信號(hào)一一對(duì)應(yīng)的音源。
例如可以將每個(gè)原始聲道信號(hào)均可以在空間中模擬出一個(gè)音源,這些模擬出的音源與虛擬現(xiàn)實(shí)圖像中的音源位置一一對(duì)應(yīng)。
步驟s130,檢測(cè)頭戴顯示器的姿態(tài)、及頭戴顯示器相對(duì)于每一音源的位置信息。
該位置信息包括:頭戴顯示器相對(duì)于虛擬現(xiàn)實(shí)圖像中每一個(gè)音源的距離、角度、方向等。
具體的,在本發(fā)明的實(shí)施例中,用于檢測(cè)頭戴顯示器姿態(tài)的姿態(tài)傳感器包括但不限于:慣性測(cè)量單元、可穿戴的位置捕捉傳感器或者是頭部識(shí)別傳感器等,其中慣性測(cè)量單元至少包括加速度傳感器和陀螺儀,也可以包括地磁傳感器。用于檢測(cè)頭戴顯示器相對(duì)于每一音源的位置信息的空間傳感器包括但不限于慣性測(cè)量單元或者是攝像頭等。
步驟s140,根據(jù)該姿態(tài)和所有的位置信息對(duì)每一原始聲音信號(hào)的參數(shù)進(jìn)行調(diào)整得到當(dāng)前聲音信號(hào)。
該參數(shù)包括強(qiáng)度、頻率、音調(diào)和音色中的至少一種。
具體的,該步驟s140包括接受原始聲音信號(hào)、頭戴顯示器的姿態(tài)及頭戴顯示器相對(duì)于所有音源的位置信息、以及對(duì)原始聲音信號(hào)的參數(shù)進(jìn)行調(diào)整并且輸出當(dāng)前聲音信號(hào)等過(guò)程,這些過(guò)程都可以是在頭戴顯示器系統(tǒng)的音效合成器內(nèi)完成的。
進(jìn)一步地,還可以根據(jù)用戶需求自定義接收頭戴顯示器的姿態(tài)及頭戴顯示器相對(duì)于所有音源的位置信息的頻率,例如可以但不局限于是每一秒接收一次,這樣,只要用戶的位置或者姿態(tài)發(fā)生變化,這些數(shù)據(jù)就會(huì)發(fā)生變化,最后佩戴該頭戴顯示器的用戶聽(tīng)到的聲音音效也將隨之發(fā)生變化,由此可以提高音效變化的實(shí)時(shí)性。
對(duì)應(yīng)上述實(shí)施例中原始聲音信號(hào)為多聲道信號(hào)的情況下,該步驟s140包括以下步驟s141和步驟s142。
步驟s141,根據(jù)姿態(tài)和所有的位置信息對(duì)每一原始聲道信號(hào)的參數(shù)進(jìn)行調(diào)整得到當(dāng)前聲道信號(hào)。
步驟s142,對(duì)所有當(dāng)前聲道信號(hào)進(jìn)行合并處理,得到當(dāng)前聲音信號(hào)。
在本發(fā)明的一個(gè)具體實(shí)施例中,用于播放聲音信號(hào)的發(fā)聲裝置可以是揚(yáng)聲器,也可以是耳機(jī)。在發(fā)聲裝置為揚(yáng)聲器的情況下,可以將所有當(dāng)前聲道信號(hào)合并為一個(gè)當(dāng)前聲音信號(hào)。在發(fā)聲裝置為耳機(jī)的情況下,可以對(duì)所有當(dāng)前聲道進(jìn)行合并處理,得到左聲道的當(dāng)前聲音信號(hào)和右聲道的當(dāng)前聲音信號(hào),并將左聲道的當(dāng)前聲音信號(hào)輸出至左耳耳機(jī),將右聲道的當(dāng)前聲音信號(hào)輸出至右耳耳機(jī)。這樣,用戶左耳和右耳聽(tīng)到的聲音就是整個(gè)環(huán)境中多個(gè)聲音的混合,且?guī)в协h(huán)繞聲效果的立體聲音。
根據(jù)用戶的位置信息、各個(gè)音源之間位置信息的變化,部分原始聲道信號(hào)的強(qiáng)度會(huì)減弱,部分原始聲道信號(hào)的強(qiáng)度會(huì)加強(qiáng),部分原始聲道信號(hào)會(huì)由于其他原始聲道信號(hào)的干擾而產(chǎn)生變化。這可能會(huì)導(dǎo)致左聲道的當(dāng)前聲音信號(hào)強(qiáng)度增大,而右聲道的當(dāng)前聲音信號(hào)強(qiáng)度減小。
在此基礎(chǔ)上,本發(fā)明的實(shí)施例還可以根據(jù)虛擬現(xiàn)實(shí)圖像的環(huán)境類型(如小房間,或者空曠場(chǎng)景)來(lái)模擬相同聲音的回響、傳播的感覺(jué),通過(guò)音源和聽(tīng)覺(jué)方的位置關(guān)系來(lái)自動(dòng)調(diào)整聲音的效果,通過(guò)在某些環(huán)境(如電影院)來(lái)動(dòng)態(tài)調(diào)整某些聲音(如人聲的調(diào)整)。本發(fā)明的實(shí)施例還可以根據(jù)聲音擴(kuò)散、遞減、回聲等特性,及聲音傳播過(guò)程中發(fā)生了物體碰撞(如墻壁)、合并(如幾個(gè)聲音會(huì)互相影響)等特性對(duì)聲音信號(hào)進(jìn)行處理。本發(fā)明的實(shí)施例還可以通過(guò)區(qū)分左右聲道來(lái)對(duì)聲音信號(hào)進(jìn)行不同的加權(quán)增益或衰減,以使用戶真實(shí)感受到與音源之間位置的變化情況。
如果是符合預(yù)先定義的原始聲音信號(hào),甚至可以給其定義更多屬性,以達(dá)到更真實(shí)的模擬效果。例如一個(gè)聲音內(nèi)有兩個(gè)人的對(duì)話,可以給兩個(gè)對(duì)話除了聲音本身的屬性外,賦予定義的屬性(如情緒),之后可以根據(jù)需要對(duì)于自己定義的屬性對(duì)聲音進(jìn)行處理。例如還可以將人聲頻率段的聲音進(jìn)行單獨(dú)的處理,在哭泣時(shí)進(jìn)行模糊,在憤怒時(shí)拉高部分頻率等達(dá)到更加逼真的效果。
步驟s150,控制發(fā)聲裝置播放該當(dāng)前聲音信號(hào)。
該發(fā)聲裝置例如可以但不限于是頭戴顯示器的揚(yáng)聲器、耳機(jī)或者是音響等電子設(shè)備。
這樣,通過(guò)本發(fā)明的實(shí)施例,能夠?qū)⒄鎸?shí)音效在虛擬現(xiàn)實(shí)環(huán)境中還原,并且可以根據(jù)用戶的位置、姿態(tài)等信息來(lái)動(dòng)態(tài)調(diào)整原始聲音信號(hào),從而達(dá)到模擬真實(shí)環(huán)境音效的目的,提升用戶體驗(yàn)。
進(jìn)一步地,本發(fā)明的實(shí)施例還可以根據(jù)使用環(huán)境的不同,自由傳輸不同的聲音,以及從不同設(shè)備傳入想要的參數(shù),即可實(shí)現(xiàn)想要得到的效果,這樣,可以擴(kuò)展本發(fā)明的實(shí)施例的使用范圍。
圖2為根據(jù)本發(fā)明用于頭戴顯示器的同步方法的另一種實(shí)施方式的流程圖。
本發(fā)明的同步方法在執(zhí)行完步驟s130之后,還包括根據(jù)圖2所示的步驟:
步驟s210,根據(jù)姿態(tài)和位置信息對(duì)虛擬現(xiàn)實(shí)圖像進(jìn)行移動(dòng)處理,得到當(dāng)前虛擬現(xiàn)實(shí)圖像。
例如,當(dāng)用戶向左移動(dòng)時(shí),可以同時(shí)對(duì)虛擬現(xiàn)實(shí)圖像進(jìn)行向右移動(dòng)的處理,以實(shí)現(xiàn)當(dāng)前虛擬現(xiàn)實(shí)環(huán)境與現(xiàn)實(shí)環(huán)境的同步。
步驟s220,控制顯示裝置顯示當(dāng)前虛擬現(xiàn)實(shí)圖像。
這樣,就實(shí)現(xiàn)了虛擬現(xiàn)實(shí)環(huán)境中聲音與圖像的同步,給用戶更加真實(shí)的效果,進(jìn)一步提升了用戶體驗(yàn)。
與上述方法相對(duì)應(yīng)的,本發(fā)明還提供了一種用于頭戴顯示器的同步裝置。圖3為根據(jù)本發(fā)明用于頭戴顯示器的同步裝置的一種實(shí)施結(jié)構(gòu)的方框原理圖。
根據(jù)圖3所示,該同步裝置300包括獲取模塊310、音源確定模塊320、檢測(cè)模塊330、調(diào)整模塊340和發(fā)聲控制模塊350。
上述獲取模塊310用于獲取虛擬現(xiàn)實(shí)圖像、及與虛擬現(xiàn)實(shí)圖像對(duì)應(yīng)的原始聲音信號(hào)。
上述音源確定模塊320用于確定虛擬現(xiàn)實(shí)圖像中與每一原始聲音信號(hào)相對(duì)應(yīng)的音源。
上述檢測(cè)模塊330用于檢測(cè)頭戴顯示器的姿態(tài)、及頭戴顯示器相對(duì)于每一音源的位置信息。
上述調(diào)整模塊340用于根據(jù)姿態(tài)和所有位置信息對(duì)每一原始聲音信號(hào)的參數(shù)進(jìn)行調(diào)整得到當(dāng)前聲音信號(hào)。其中該參數(shù)包括強(qiáng)度、頻率、音調(diào)和音色中的至少一種。
上述發(fā)聲控制模塊350用于控制發(fā)聲裝置播放當(dāng)前聲音信號(hào)。
圖4為根據(jù)本發(fā)明用于頭戴顯示器的同步裝置的另一種實(shí)施結(jié)構(gòu)的方框原理圖。
根據(jù)圖4所示,該裝置300還包括移動(dòng)模塊410和顯示控制模塊420。該移動(dòng)模塊410用于根據(jù)姿態(tài)和位置信息對(duì)虛擬現(xiàn)實(shí)圖像進(jìn)行移動(dòng)處理,得到當(dāng)前虛擬現(xiàn)實(shí)圖像;該顯示控制模塊420用于控制顯示裝置顯示當(dāng)前虛擬現(xiàn)實(shí)圖像。
進(jìn)一步地,該音源確定模塊320包括分解單元321和確定單元322,該分解單元321用于對(duì)至少包括兩個(gè)聲道的原始聲音信號(hào)進(jìn)行分解,得到對(duì)應(yīng)聲道數(shù)量的原始聲道信號(hào);該確定單元322用于確定與每一原始聲道信號(hào)一一對(duì)應(yīng)的音源。
在此基礎(chǔ)上,該調(diào)整模塊340包括調(diào)整單元341和合并單元342,該調(diào)整單元341用于根據(jù)姿態(tài)和每一位置信息對(duì)每一原始聲道信號(hào)的參數(shù)分別進(jìn)行調(diào)整得到對(duì)應(yīng)的當(dāng)前聲道信號(hào);該合并單元342用于對(duì)所有當(dāng)前聲道信號(hào)進(jìn)行合并處理,得到當(dāng)前聲音信號(hào)。
本發(fā)明還提供了一種頭戴顯示器,在一方面,該頭戴顯示器包括前述的用于頭戴顯示器的同步裝置300。
圖5為根據(jù)本發(fā)明另一方面的該頭戴顯示器的實(shí)施結(jié)構(gòu)的方框原理圖。
根據(jù)圖5所示,該頭戴顯示器500包括存儲(chǔ)器501和處理器502,該存儲(chǔ)器501用于存儲(chǔ)指令,該指令用于控制處理器502進(jìn)行操作以執(zhí)行上述用于頭戴顯示器的同步方法。
該處理器502例如可以是中央處理器cpu、微處理器mcu等。該存儲(chǔ)器501例如包括rom(只讀存儲(chǔ)器)、ram(隨機(jī)存取存儲(chǔ)器)、諸如硬盤的非易失性存儲(chǔ)器等。
除此之外,根據(jù)圖5所示,該頭戴顯示器500還包括接口裝置503、輸入裝置504、顯示裝置505、通信裝置506、揚(yáng)聲器507、麥克風(fēng)508等等。盡管在圖5中示出了多個(gè)裝置,但是,本發(fā)明頭戴顯示器可以僅涉及其中的部分裝置,例如,處理器501、存儲(chǔ)器502、揚(yáng)聲器507等。
上述通信裝置506例如能夠進(jìn)行有有線或無(wú)線通信。
上述接口裝置503例如包括耳機(jī)插孔、usb接口等。
上述輸入裝置504例如可以包括觸摸屏、按鍵等。
上述顯示裝置505例如是液晶顯示屏、觸摸顯示屏等。
上述各實(shí)施例主要重點(diǎn)描述與其他實(shí)施例的不同之處,但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚的是,上述各實(shí)施例可以根據(jù)需要單獨(dú)使用或者相互結(jié)合使用。
本說(shuō)明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述,各個(gè)實(shí)施例之間相同相似的部分相互參見(jiàn)即可,每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處,但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚的是,上述各實(shí)施例可以根據(jù)需要單獨(dú)使用或者相互結(jié)合使用。另外,對(duì)于裝置實(shí)施例而言,由于其是與方法實(shí)施例相對(duì)應(yīng),所以描述得比較簡(jiǎn)單,相關(guān)之處參見(jiàn)方法實(shí)施例的對(duì)應(yīng)部分的說(shuō)明即可。以上所描述的系統(tǒng)實(shí)施例僅僅是示意性的,其中作為分離部件說(shuō)明的模塊可以是或者也可以不是物理上分開(kāi)的。
本發(fā)明可以是裝置、方法和/或計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)程序產(chǎn)品可以包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上載有用于使處理器實(shí)現(xiàn)本發(fā)明的各個(gè)方面的計(jì)算機(jī)可讀程序指令。
計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是可以保持和存儲(chǔ)由指令執(zhí)行設(shè)備使用的指令的有形設(shè)備。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以是――但不限于――電存儲(chǔ)設(shè)備、磁存儲(chǔ)設(shè)備、光存儲(chǔ)設(shè)備、電磁存儲(chǔ)設(shè)備、半導(dǎo)體存儲(chǔ)設(shè)備或者上述的任意合適的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括:便攜式計(jì)算機(jī)盤、硬盤、隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、可擦式可編程只讀存儲(chǔ)器(eprom或閃存)、靜態(tài)隨機(jī)存取存儲(chǔ)器(sram)、便攜式壓縮盤只讀存儲(chǔ)器(cd-rom)、數(shù)字多功能盤(dvd)、記憶棒、軟盤、機(jī)械編碼設(shè)備、例如其上存儲(chǔ)有指令的打孔卡或凹槽內(nèi)凸起結(jié)構(gòu)、以及上述的任意合適的組合。這里所使用的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)不被解釋為瞬時(shí)信號(hào)本身,諸如無(wú)線電波或者其他自由傳播的電磁波、通過(guò)波導(dǎo)或其他傳輸媒介傳播的電磁波(例如,通過(guò)光纖電纜的光脈沖)、或者通過(guò)電線傳輸?shù)碾娦盘?hào)。
這里所描述的計(jì)算機(jī)可讀程序指令可以從計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)下載到各個(gè)計(jì)算/處理設(shè)備,或者通過(guò)網(wǎng)絡(luò)、例如因特網(wǎng)、局域網(wǎng)、廣域網(wǎng)和/或無(wú)線網(wǎng)下載到外部計(jì)算機(jī)或外部存儲(chǔ)設(shè)備。網(wǎng)絡(luò)可以包括銅傳輸電纜、光纖傳輸、無(wú)線傳輸、路由器、防火墻、交換機(jī)、網(wǎng)關(guān)計(jì)算機(jī)和/或邊緣服務(wù)器。每個(gè)計(jì)算/處理設(shè)備中的網(wǎng)絡(luò)適配卡或者網(wǎng)絡(luò)接口從網(wǎng)絡(luò)接收計(jì)算機(jī)可讀程序指令,并轉(zhuǎn)發(fā)該計(jì)算機(jī)可讀程序指令,以供存儲(chǔ)在各個(gè)計(jì)算/處理設(shè)備中的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中。
用于執(zhí)行本發(fā)明操作的計(jì)算機(jī)程序指令可以是匯編指令、指令集架構(gòu)(isa)指令、機(jī)器指令、機(jī)器相關(guān)指令、微代碼、固件指令、狀態(tài)設(shè)置數(shù)據(jù)、或者以一種或多種編程語(yǔ)言的任意組合編寫的源代碼或目標(biāo)代碼,所述編程語(yǔ)言包括面向?qū)ο蟮木幊陶Z(yǔ)言—諸如smalltalk、c++等,以及常規(guī)的過(guò)程式編程語(yǔ)言—諸如“c”語(yǔ)言或類似的編程語(yǔ)言。計(jì)算機(jī)可讀程序指令可以完全地在用戶計(jì)算機(jī)上執(zhí)行、部分地在用戶計(jì)算機(jī)上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算機(jī)上部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算機(jī)的情形中,遠(yuǎn)程計(jì)算機(jī)可以通過(guò)任意種類的網(wǎng)絡(luò)—包括局域網(wǎng)(lan)或廣域網(wǎng)(wan)—連接到用戶計(jì)算機(jī),或者,可以連接到外部計(jì)算機(jī)(例如利用因特網(wǎng)服務(wù)提供商來(lái)通過(guò)因特網(wǎng)連接)。在一些實(shí)施例中,通過(guò)利用計(jì)算機(jī)可讀程序指令的狀態(tài)信息來(lái)個(gè)性化定制電子電路,例如可編程邏輯電路、現(xiàn)場(chǎng)可編程門陣列(fpga)或可編程邏輯陣列(pla),該電子電路可以執(zhí)行計(jì)算機(jī)可讀程序指令,從而實(shí)現(xiàn)本發(fā)明的各個(gè)方面。
這里參照根據(jù)本發(fā)明實(shí)施例的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖描述了本發(fā)明的各個(gè)方面。應(yīng)當(dāng)理解,流程圖和/或框圖的每個(gè)方框以及流程圖和/或框圖中各方框的組合,都可以由計(jì)算機(jī)可讀程序指令實(shí)現(xiàn)。
這些計(jì)算機(jī)可讀程序指令可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器,從而生產(chǎn)出一種機(jī)器,使得這些指令在通過(guò)計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時(shí),產(chǎn)生了實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的裝置。也可以把這些計(jì)算機(jī)可讀程序指令存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,這些指令使得計(jì)算機(jī)、可編程數(shù)據(jù)處理裝置和/或其他設(shè)備以特定方式工作,從而,存儲(chǔ)有指令的計(jì)算機(jī)可讀介質(zhì)則包括一個(gè)制造品,其包括實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的各個(gè)方面的指令。
也可以把計(jì)算機(jī)可讀程序指令加載到計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上,使得在計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置或其它設(shè)備上執(zhí)行一系列操作步驟,以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的過(guò)程,從而使得在計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上執(zhí)行的指令實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作。
附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個(gè)實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上,流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段或指令的一部分,所述模塊、程序段或指令的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。在有些作為替換的實(shí)現(xiàn)中,方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如,兩個(gè)連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行,它們有時(shí)也可以按相反的順序執(zhí)行,這依所涉及的功能而定。也要注意的是,框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合,可以用執(zhí)行規(guī)定的功能或動(dòng)作的專用的基于硬件的系統(tǒng)來(lái)實(shí)現(xiàn),或者可以用專用硬件與計(jì)算機(jī)指令的組合來(lái)實(shí)現(xiàn)。對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)公知的是,通過(guò)硬件方式實(shí)現(xiàn)、通過(guò)軟件方式實(shí)現(xiàn)以及通過(guò)軟件和硬件結(jié)合的方式實(shí)現(xiàn)都是等價(jià)的。
以上已經(jīng)描述了本發(fā)明的各實(shí)施例,上述說(shuō)明是示例性的,并非窮盡性的,并且也不限于所披露的各實(shí)施例。在不偏離所說(shuō)明的各實(shí)施例的范圍和精神的情況下,對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)許多修改和變更都是顯而易見(jiàn)的。本文中所用術(shù)語(yǔ)的選擇,旨在最好地解釋各實(shí)施例的原理、實(shí)際應(yīng)用或?qū)κ袌?chǎng)中的技術(shù)的技術(shù)改進(jìn),或者使本技術(shù)領(lǐng)域的其它普通技術(shù)人員能理解本文披露的各實(shí)施例。本發(fā)明的范圍由所附權(quán)利要求來(lái)限定。