本公開(kāi)屬于計(jì)算機(jī)視覺(jué)，具體涉及一種全息通訊設(shè)備、系統(tǒng)、方法和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、全息通訊是一種利用光學(xué)和計(jì)算機(jī)圖像處理技術(shù)，遠(yuǎn)程捕捉目標(biāo)對(duì)象及其周?chē)h(huán)境圖像，并通過(guò)網(wǎng)絡(luò)傳輸至終端側(cè)實(shí)現(xiàn)實(shí)時(shí)立體顯示的技術(shù)。相較于傳統(tǒng)的二維圖像通訊方式，全息通訊能夠提供更加真實(shí)、逼真的交流體驗(yàn)，在遠(yuǎn)程視頻、影音娛樂(lè)、在線(xiàn)教育、醫(yī)療衛(wèi)生等領(lǐng)域都有廣泛的應(yīng)用前景。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問(wèn)題之一，提供一種全息通訊設(shè)備、系統(tǒng)、方法和存儲(chǔ)介質(zhì)。

2、第一方面，解決本公開(kāi)技術(shù)問(wèn)題所采用的技術(shù)方案是一種全息通訊設(shè)備，其中，包括全息顯示器、處理器和存儲(chǔ)器；所述存儲(chǔ)器存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令，所述機(jī)器可讀指令被所述處理器執(zhí)行時(shí)使所述處理器執(zhí)行操作，所述操作包括：

3、基于接收到的多張第一圖像，實(shí)時(shí)確定使用者的人眼三維坐標(biāo)；所述多張第一圖像分別為多個(gè)第一相機(jī)分別從不同視角拍攝到的所述使用者的圖像；

4、接收視頻流，并將所述視頻流解碼為多張第二圖像；所述多張第二圖像分別為不同第二相機(jī)分別從不同視角拍攝到的、目標(biāo)對(duì)象的圖像；其中，所述目標(biāo)對(duì)象為處于其他設(shè)備運(yùn)行環(huán)境中的實(shí)體對(duì)象；所述其他設(shè)備為與所述全息通訊設(shè)備通信的通訊設(shè)備；所述第二相機(jī)與所述其他設(shè)備通信；

5、基于每張所述第二圖像的序列信息，分別對(duì)相鄰兩張所述第二圖像計(jì)算視角間視差，得到多張視差圖，并將每張所述視差圖轉(zhuǎn)換為點(diǎn)云數(shù)據(jù)；

6、對(duì)于任一所述視差圖，基于各個(gè)所述點(diǎn)云數(shù)據(jù)，將所述第二圖像的圖像特征轉(zhuǎn)換至所述人眼三維坐標(biāo)，得到視點(diǎn)特征圖；

7、利用預(yù)先訓(xùn)練好的渲染神經(jīng)網(wǎng)絡(luò)模型對(duì)所述視點(diǎn)特征圖進(jìn)行渲染，得到所述使用者雙目分別對(duì)應(yīng)的新視點(diǎn)圖；

8、所述全息顯示器，被配置為基于各個(gè)所述新視點(diǎn)圖進(jìn)行全息顯示。

9、在一些實(shí)施例中，所述操作中基于每張所述第二圖像的序列信息，分別對(duì)相鄰兩張所述第二圖像計(jì)算視角間視差，得到多張視差圖，包括：

10、基于每張所述第二圖像的序列信息，利用預(yù)先訓(xùn)練好的視差估計(jì)模型，分別對(duì)相鄰兩張所述第二圖像計(jì)算視角間視差，得到多張視差圖。

11、在一些實(shí)施例中，所述操作中將每張所述視差圖轉(zhuǎn)換為點(diǎn)云數(shù)據(jù)，包括：

12、對(duì)于任一所述視差圖，基于所述視差圖對(duì)應(yīng)的所述第二相機(jī)的參數(shù)信息，將所述視差圖轉(zhuǎn)換為深度圖；

13、基于所述第二相機(jī)的參數(shù)信息、以及所述深度圖對(duì)應(yīng)的第二圖像中前景點(diǎn)的位置信息，將所述深度圖從圖像二維坐標(biāo)系轉(zhuǎn)換至人眼三維坐標(biāo)系，得到點(diǎn)云集合；所述點(diǎn)云集合包括基于一張所述深度圖轉(zhuǎn)換得到的點(diǎn)云數(shù)據(jù)。

14、在一些實(shí)施例中，利用下述公式一，確定深度圖；

15、公式一：其中，fx表示用于拍攝所選擇的第二圖像的第二相機(jī)，在所述圖像二維坐標(biāo)系下x軸方向上的第一相機(jī)焦距；b表示用于拍攝所選擇的第二圖像的第二相機(jī)的基線(xiàn)；d表示所述視差圖中的某一像素點(diǎn)的灰階值；d表示所述視差圖中對(duì)應(yīng)像素點(diǎn)的深度值。

16、在一些實(shí)施例中，利用下述表達(dá)式二，確定所述點(diǎn)云集合中的一個(gè)點(diǎn)云數(shù)據(jù)；

17、公式二：其中，p表示一個(gè)點(diǎn)云數(shù)據(jù)；x,y,z分別表示前景點(diǎn)的點(diǎn)云在所述人眼三維坐標(biāo)系下的坐標(biāo)；x′,y′分別表示前景點(diǎn)在所述圖像二維坐標(biāo)系下的坐標(biāo)；fx,fy分別表示用于拍攝所選擇的第二圖像的第二相機(jī)，在所述圖像二維坐標(biāo)系下x軸方向上的第一相機(jī)焦距和y軸方向上的第二相機(jī)焦距。

18、在一些實(shí)施例中，所述操作中基于各個(gè)所述點(diǎn)云數(shù)據(jù)，將所述第二圖像的圖像特征轉(zhuǎn)換至所述人眼三維坐標(biāo)，得到視點(diǎn)特征圖，包括：

19、對(duì)于每個(gè)所述點(diǎn)云數(shù)據(jù)，基于所述第二圖像的圖像特征，利用卷積神經(jīng)網(wǎng)絡(luò)，回歸所述點(diǎn)云數(shù)據(jù)對(duì)應(yīng)高斯分布的張量；

20、基于所述點(diǎn)云數(shù)據(jù)對(duì)應(yīng)高斯分布的張量，得到所述點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的高斯點(diǎn)云數(shù)據(jù)；

21、利用高斯?jié)姙R算法，將各個(gè)所述高斯點(diǎn)云數(shù)據(jù)光柵化至所述人眼三維坐標(biāo)，得到視點(diǎn)特征圖。

22、在一些實(shí)施例中，利用下述公式三，確定述點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的高斯點(diǎn)云數(shù)據(jù)；

23、公式三：其中，σ＝rsstrt表示矩陣運(yùn)算的中間結(jié)果，r表示張量中的旋轉(zhuǎn)參量的四元數(shù)，s表示張量中的尺度，()t表示矩陣轉(zhuǎn)置運(yùn)算；g(p)表示點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的高斯點(diǎn)云數(shù)據(jù)；p表示該點(diǎn)云數(shù)據(jù)。

24、在一些實(shí)施例中，所述渲染神經(jīng)網(wǎng)絡(luò)模型包括帶有殘差網(wǎng)絡(luò)結(jié)構(gòu)的unet卷積神經(jīng)網(wǎng)絡(luò)。

25、在一些實(shí)施例中，所述操作還包括訓(xùn)練所述視差估計(jì)模型，具體包括：

26、基于訓(xùn)練數(shù)據(jù)集中每張樣本圖像的序列信息，以及每張所述樣本圖像所屬的虛擬對(duì)象，從所述訓(xùn)練數(shù)據(jù)集中選取一個(gè)所述虛擬對(duì)象在一組相鄰視角下的目標(biāo)樣本圖像；所述訓(xùn)練數(shù)據(jù)集中包括虛擬相機(jī)在不同視角下所拍攝到的不同虛擬對(duì)象的樣本圖像；

27、將一組所述目標(biāo)樣本圖像輸入至所述視差估計(jì)模型中計(jì)算視角間視差，輸出理論視差圖；

28、基于所述理論視差圖與預(yù)先設(shè)置的真實(shí)視差圖構(gòu)造損失函數(shù)，并利用所述損失函數(shù)進(jìn)行反向傳播以持續(xù)訓(xùn)練所述視差估計(jì)模型；繼續(xù)從所述訓(xùn)練數(shù)據(jù)集中選取所述虛擬對(duì)象在另一組相鄰視角下的目標(biāo)樣本圖像或從所述訓(xùn)練數(shù)據(jù)集中選取其他所述虛擬對(duì)象在一組相鄰視角下的目標(biāo)樣本圖像，返回執(zhí)行將一組所述目標(biāo)樣本圖像輸入至所述視差估計(jì)模型中計(jì)算視角間視差，輸出理論視差圖的過(guò)程，直至損失函數(shù)收斂，得到訓(xùn)練完成的視差估計(jì)模型。

29、在一些實(shí)施例中，所述操作還包括訓(xùn)練所述渲染神經(jīng)網(wǎng)絡(luò)模型，具體包括：

30、獲取預(yù)先渲染得到的樣本深度圖；

31、基于所述虛擬相機(jī)的參數(shù)信息，將所述理論深度圖從樣本圖像二維坐標(biāo)系轉(zhuǎn)換至虛擬三維坐標(biāo)系，得到訓(xùn)練點(diǎn)云集合；所述訓(xùn)練點(diǎn)云集合包括基于所述理論深度圖轉(zhuǎn)換得到的理論點(diǎn)云數(shù)據(jù)；

32、對(duì)于每個(gè)所述理論點(diǎn)云數(shù)據(jù)，基于所述目標(biāo)樣本圖像的圖像特征，利用卷積神經(jīng)網(wǎng)絡(luò)，回歸所述理論點(diǎn)云數(shù)據(jù)對(duì)應(yīng)高斯分布的張量；

33、基于所述理論點(diǎn)云數(shù)據(jù)對(duì)應(yīng)高斯分布的張量，得到所述理論點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的理論高斯點(diǎn)云數(shù)據(jù)；

34、利用高斯?jié)姙R算法，將各個(gè)所述理論高斯點(diǎn)云數(shù)據(jù)光柵化至所述虛擬對(duì)象的目標(biāo)視角，得到理論視點(diǎn)特征圖；

35、利用待訓(xùn)練的渲染神經(jīng)網(wǎng)絡(luò)模型對(duì)所述理論視點(diǎn)特征圖進(jìn)行渲染，得到所述虛擬對(duì)象雙目分別對(duì)應(yīng)的理論視點(diǎn)圖；

36、基于所述理論視點(diǎn)圖與預(yù)先設(shè)置的真實(shí)視點(diǎn)圖構(gòu)造損失函數(shù)，并利用所述損失函數(shù)進(jìn)行反向傳播以持續(xù)訓(xùn)練所述渲染神經(jīng)網(wǎng)絡(luò)模型；以及，返回獲取預(yù)先渲染得到的樣本深度圖的步驟并順序執(zhí)行，直至損失函數(shù)收斂，得到訓(xùn)練完成的渲染神經(jīng)網(wǎng)絡(luò)模型。

37、第二方面，本公開(kāi)實(shí)施例還提供了一種全息通訊系統(tǒng)，包括多個(gè)第一相機(jī)和全息通訊設(shè)備；所述全息通訊設(shè)備包括全息顯示器、處理器和存儲(chǔ)器；

38、多個(gè)所述第一相機(jī)，被配置為分別從不同視角拍攝使用者的第一圖像，并發(fā)送至所述處理器；

39、所述存儲(chǔ)器存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令，所述機(jī)器可讀指令被所述處理器執(zhí)行時(shí)使所述處理器執(zhí)行操作，所述操作包括：

40、基于接收到的多張第一圖像，實(shí)時(shí)確定使用者的人眼三維坐標(biāo)；所述多張第一圖像分別為多個(gè)第一相機(jī)分別從不同視角拍攝到的所述使用者的圖像；

41、接收視頻流，并將所述視頻流解碼為多張第二圖像；所述多張第二圖像分別為不同第二相機(jī)分別從不同視角拍攝到的、目標(biāo)對(duì)象的圖像；其中，所述目標(biāo)對(duì)象為處于其他設(shè)備運(yùn)行環(huán)境中的實(shí)體對(duì)象；所述其他設(shè)備為與所述全息通訊設(shè)備通信的通訊設(shè)備；所述第二相機(jī)與所述其他設(shè)備通信；

42、基于每張所述第二圖像的序列信息，分別對(duì)相鄰兩張所述第二圖像計(jì)算視角間視差，得到多張視差圖，并將每張所述視差圖轉(zhuǎn)換為點(diǎn)云數(shù)據(jù)；

43、對(duì)于任一所述視差圖，基于各個(gè)所述點(diǎn)云數(shù)據(jù)，將所述第二圖像的圖像特征轉(zhuǎn)換至所述人眼三維坐標(biāo)對(duì)應(yīng)的所述使用者的視角，得到視點(diǎn)特征圖；

44、利用預(yù)先訓(xùn)練好的渲染神經(jīng)網(wǎng)絡(luò)模型對(duì)所述視點(diǎn)特征圖進(jìn)行渲染，得到所述使用者雙目分別對(duì)應(yīng)的新視點(diǎn)圖；

45、所述全息顯示器，被配置為基于各個(gè)所述新視點(diǎn)圖進(jìn)行全息顯示。

46、在一些實(shí)施例中，所述第一相機(jī)為彩色相機(jī)。

47、在一些實(shí)施例中，多個(gè)所述第一相機(jī)包括四個(gè)所述第一相機(jī)。

48、第三方面，本公開(kāi)實(shí)施例還提供了一種全息通訊方法，其應(yīng)用于如第一方面中所述的全息通訊設(shè)備；其中，所述全息通訊方法包括：

49、基于接收到的多張第一圖像，實(shí)時(shí)確定所述使用者的人眼三維坐標(biāo)；所述多張第一圖像分別為多個(gè)第一相機(jī)分別從不同視角拍攝到的所述使用者的圖像；

50、接收視頻流，并將所述視頻流解碼為多張第二圖像；所述多張第二圖像分別為不同第二相機(jī)分別從不同視角拍攝到的、目標(biāo)對(duì)象的圖像；其中，所述目標(biāo)對(duì)象為處于其他設(shè)備運(yùn)行環(huán)境中的實(shí)體對(duì)象；所述其他設(shè)備為與所述全息通訊設(shè)備通信的通訊設(shè)備；所述第二相機(jī)與所述其他設(shè)備通信；

51、基于每張所述第二圖像的序列信息，分別對(duì)相鄰兩張所述第二圖像計(jì)算視角間視差，得到多張視差圖，并將每張所述視差圖轉(zhuǎn)換為點(diǎn)云數(shù)據(jù)；

52、對(duì)于任一所述視差圖，基于各個(gè)所述點(diǎn)云數(shù)據(jù)，將所述第二圖像的圖像特征轉(zhuǎn)換至所述人眼三維坐標(biāo)對(duì)應(yīng)的所述使用者的視角，得到視點(diǎn)特征圖；

53、利用預(yù)先訓(xùn)練好的渲染神經(jīng)網(wǎng)絡(luò)模型對(duì)所述視點(diǎn)特征圖進(jìn)行渲染，得到所述使用者雙目分別對(duì)應(yīng)的新視點(diǎn)圖，并進(jìn)行全息顯示。

54、第四方面，本公開(kāi)實(shí)施例還提供了一種計(jì)算機(jī)非瞬態(tài)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)非瞬態(tài)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如第三方面所述的全息通訊方法的步驟。