本發(fā)明涉及音視頻，具體涉及一種三維數(shù)據(jù)空間的多端融合系統(tǒng)和方法。

背景技術(shù)：

1、現(xiàn)有的視頻會(huì)議系統(tǒng)主要采用二維網(wǎng)格布局，參會(huì)者被劃分在不同的小窗口中，缺乏身處同一空間的真實(shí)感。這種“屏幕分割感”削弱了參會(huì)者之間的在場(chǎng)感和邊界感。同時(shí)，受限于單通道數(shù)據(jù)傳輸模式，不同媒體內(nèi)容(如語(yǔ)音、視頻、文檔等)難以實(shí)現(xiàn)無(wú)縫整合與同步呈現(xiàn)，影響信息的有效傳達(dá)和理解。

2、此外，傳統(tǒng)平面化的呈現(xiàn)方式未能充分利用人的空間感知能力。缺乏沉浸式的體驗(yàn)，用戶難以獲得身臨其境之感。再加上不同終端設(shè)備之間的割裂感，無(wú)法實(shí)現(xiàn)跨平臺(tái)的無(wú)縫銜接和實(shí)時(shí)互動(dòng)，進(jìn)一步限制了虛擬會(huì)議的效果。

3、綜上，目前亟需一種突破二維限制、支持多通道數(shù)據(jù)融合、提供沉浸式體驗(yàn)的創(chuàng)新解決方案。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述技術(shù)問(wèn)題，本發(fā)明提供一種多通道、多維度的三維數(shù)據(jù)空間的多端融合系統(tǒng)和方法，突破了單通道數(shù)據(jù)傳輸和平面化呈現(xiàn)的限制，實(shí)現(xiàn)語(yǔ)音、視頻、圖像等多媒體數(shù)據(jù)在同一空間中的整合與同步展示。

2、本發(fā)明的第一實(shí)施例提供一種三維數(shù)據(jù)空間的多端融合系統(tǒng)，所述系統(tǒng)包括：應(yīng)用層，通過(guò)檢測(cè)服務(wù)端渲染的視屏畫面為用戶提供系統(tǒng)的前端的效果展示；接口層，提供各種支撐業(yè)務(wù)功能和數(shù)據(jù)處理的服務(wù)模塊；服務(wù)層，負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)、管理、查詢和分析，至少包括空間渲染服務(wù)、調(diào)度服務(wù)、用戶認(rèn)證、會(huì)話服務(wù)、指令控制、安全服務(wù)、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)存儲(chǔ)，用于為系統(tǒng)提供數(shù)據(jù)支撐；數(shù)據(jù)存儲(chǔ)層，系統(tǒng)產(chǎn)生的各類型數(shù)據(jù)用于支撐系統(tǒng)的運(yùn)行，所述數(shù)據(jù)存儲(chǔ)層至少包括業(yè)務(wù)數(shù)據(jù)庫(kù)、會(huì)議數(shù)據(jù)庫(kù)、指令信息庫(kù)、消息事件。

3、可選地，所述系統(tǒng)還包括：基礎(chǔ)設(shè)施層，為系統(tǒng)提供底層的技術(shù)和硬件支撐，底層的基礎(chǔ)設(shè)施包括服務(wù)器、網(wǎng)絡(luò)和集群管理，為了所述系統(tǒng)提供硬件和網(wǎng)絡(luò)支持，以及動(dòng)態(tài)擴(kuò)容。

4、可選地，所述應(yīng)用層至少包括手機(jī)、頭顯、電腦、網(wǎng)頁(yè)以及其他sdk。

5、可選地，所述接口層至少包括音頻流接收/推送、指令觸發(fā)、狀態(tài)控制/開啟/關(guān)閉、數(shù)據(jù)交互接口。

6、可選地，所述頭顯包括第一頭顯，第二頭顯，電腦和移動(dòng)端，所述移動(dòng)端包括手機(jī)。

7、可選地，所述第一頭顯和第二頭顯分別與rtc服務(wù)連接，用于傳輸訂閱音視頻數(shù)據(jù)流，實(shí)現(xiàn)實(shí)時(shí)音視頻通信；所述第一頭顯和第二頭顯分別與空間渲染服務(wù)連接，用于同步業(yè)務(wù)數(shù)據(jù)和操作指令，空間渲染服務(wù)在處理來(lái)自第一頭顯和第二頭顯的操作指令或業(yè)務(wù)數(shù)據(jù)后將結(jié)果推送給第一頭顯或第二頭顯訂閱的數(shù)據(jù)管道中。

8、可選地，所述移動(dòng)端和電腦共用一個(gè)頻道向rtc服務(wù)發(fā)送訂閱信息，并向空間渲染服務(wù)發(fā)送操作指令、狀態(tài)消息和事件。

9、本發(fā)明的第二實(shí)施例還提供一種面向三維數(shù)據(jù)空間的多端融合方法，所述方法應(yīng)用于上述任一項(xiàng)所述的面向三維數(shù)據(jù)空間的多端融合系統(tǒng)，所述方法包括：空間渲染服務(wù)接收啟動(dòng)指令后，根據(jù)發(fā)起指令的微端的微端標(biāo)識(shí)創(chuàng)建對(duì)應(yīng)的虛擬相機(jī)，并與之建立一對(duì)一的邏輯連接；空間渲染服務(wù)為虛擬相機(jī)開啟rtc訂閱通道，用于向?qū)?yīng)微端持續(xù)推送相機(jī)畫面。

10、可選地，所述方法還包括：微端在本地相機(jī)的位置或朝向發(fā)生變化時(shí)，向空間渲染服務(wù)發(fā)送同步指令；空間渲染服務(wù)接受到同步指令后立即更新本地相機(jī)對(duì)應(yīng)的虛擬相機(jī)的空間參數(shù)，并調(diào)整觀察位置和角度，使得與微端調(diào)整后的視角對(duì)齊；調(diào)整后的畫面通過(guò)rtc通道實(shí)時(shí)回傳給微端，實(shí)現(xiàn)云端到微端的畫面同步。

11、可選地，所述方法還包括：空間渲染服務(wù)接收啟動(dòng)指令后默認(rèn)創(chuàng)建第一相機(jī)位，并訂閱一個(gè)固定的rtc通道，所述第一相機(jī)位支持通過(guò)指令改變采集位置，以獲得不同角度的全景畫面。

12、本發(fā)明實(shí)施例提供的技術(shù)方案中，微端與系統(tǒng)的耦合度較低，只需要關(guān)注自身的數(shù)據(jù)采集和指令發(fā)送，以及訂閱管道內(nèi)的數(shù)據(jù)，而無(wú)需關(guān)心數(shù)據(jù)的具體處理邏輯；由空間渲染服務(wù)負(fù)責(zé)數(shù)據(jù)的統(tǒng)一處理，可以實(shí)現(xiàn)業(yè)務(wù)邏輯的集中管理和調(diào)度，提供了系統(tǒng)的可維護(hù)性和業(yè)務(wù)可維護(hù)性；能夠?qū)㈧o態(tài)資源的存儲(chǔ)和分發(fā)交給專門的服務(wù)來(lái)完成，減輕了微端的負(fù)擔(dān)和不同微端依托硬件的兼容性，提高了啟動(dòng)速度和運(yùn)行效率。

技術(shù)特征：

1.一種面向三維數(shù)據(jù)空間的多端融合系統(tǒng)，其特征在于，所述系統(tǒng)包括：

2.根據(jù)權(quán)利要求1所述的面向三維數(shù)據(jù)空間的多端融合系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

3.根據(jù)權(quán)利要求1所述的面向三維數(shù)據(jù)空間的多端融合系統(tǒng)，其特征在于，所述應(yīng)用層至少包括手機(jī)、頭顯、電腦、網(wǎng)頁(yè)以及其他sdk。

4.根據(jù)權(quán)利要求1所述的面向三維數(shù)據(jù)空間的多端融合系統(tǒng)，其特征在于，所述接口層至少包括音頻流接收/推送、指令觸發(fā)、狀態(tài)控制/開啟/關(guān)閉、數(shù)據(jù)交互接口。

5.根據(jù)權(quán)利要求3所述的面向三維數(shù)據(jù)空間的多端融合系統(tǒng)，其特征在于，所述頭顯包括第一頭顯，第二頭顯，電腦和移動(dòng)端，所述移動(dòng)端包括手機(jī)。

6.根據(jù)權(quán)利要求5所述的面向三維數(shù)據(jù)空間的多端融合系統(tǒng)，其特征在于，所述第一頭顯和第二頭顯分別與rtc服務(wù)連接，用于傳輸訂閱音視頻數(shù)據(jù)流，實(shí)現(xiàn)實(shí)時(shí)音視頻通信；所述第一頭顯和第二頭顯分別與空間渲染服務(wù)連接，用于同步業(yè)務(wù)數(shù)據(jù)和操作指令，空間渲染服務(wù)在處理來(lái)自第一頭顯和第二頭顯的操作指令或業(yè)務(wù)數(shù)據(jù)后將結(jié)果推送給第一頭顯或第二頭顯訂閱的數(shù)據(jù)管道中。

7.根據(jù)權(quán)利要求6所述的面向三維數(shù)據(jù)空間的多端融合系統(tǒng)，其特征在于，所述移動(dòng)端和電腦共用一個(gè)頻道向rtc服務(wù)發(fā)送訂閱信息，并向空間渲染服務(wù)發(fā)送操作指令、狀態(tài)消息和事件。

8.一種面向三維數(shù)據(jù)空間的多端融合方法，其特征在于，所述方法應(yīng)用于權(quán)利要求1-7任一項(xiàng)所述的面向三維數(shù)據(jù)空間的多端融合系統(tǒng)，所述方法包括：

9.根據(jù)權(quán)利要求8所述的面向三維數(shù)據(jù)空間的多端融合方法，其特征在于，所述方法還包括：

10.根據(jù)權(quán)利要求8所述的面向三維數(shù)據(jù)空間的多端融合方法，其特征在于，所述方法還包括：

技術(shù)總結(jié)
本申請(qǐng)公開一種面向三維數(shù)據(jù)空間的多端融合系統(tǒng)和方法，所述系統(tǒng)包括：應(yīng)用層，通過(guò)檢測(cè)服務(wù)端渲染的視屏畫面為用戶提供系統(tǒng)的前端的效果展示；接口層，提供各種支撐業(yè)務(wù)功能和數(shù)據(jù)處理的服務(wù)模塊；服務(wù)層，負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)、管理、查詢和分析，至少包括空間渲染服務(wù)、調(diào)度服務(wù)、用戶認(rèn)證、會(huì)話服務(wù)、指令控制、安全服務(wù)、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)存儲(chǔ)，用于為系統(tǒng)提供數(shù)據(jù)支撐；數(shù)據(jù)存儲(chǔ)層，系統(tǒng)產(chǎn)生的各類型數(shù)據(jù)用于支撐系統(tǒng)的運(yùn)行，所述數(shù)據(jù)存儲(chǔ)層至少包括業(yè)務(wù)數(shù)據(jù)庫(kù)、會(huì)議數(shù)據(jù)庫(kù)、指令信息庫(kù)、消息事件。本申請(qǐng)突破單通道數(shù)據(jù)傳輸和平面化呈現(xiàn)的限制，實(shí)現(xiàn)語(yǔ)音、視頻、圖像等多媒體數(shù)據(jù)在同一空間中的整合與同步展示。

技術(shù)研發(fā)人員：董鑫鑫,聶德超,張邦禹,范小林
受保護(hù)的技術(shù)使用者：深圳元想視界科技集團(tuán)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19