本公開(kāi)整體涉及使用傳感器在通信會(huì)話(huà)期間提供視圖的電子設(shè)備，這些視圖包括包含參與會(huì)話(huà)的電子設(shè)備的環(huán)境中的一者或多者的表示的視圖。

背景技術(shù)：

1、使用各種技術(shù)來(lái)呈現(xiàn)通信會(huì)話(huà)，諸如視頻會(huì)議、交互式游戲會(huì)話(huà)以及其他交互式社交體驗(yàn)。例如，參與者可以看到參與會(huì)話(huà)的用戶(hù)的逼真或不逼真表示(例如，頭像)。然而，需要提供發(fā)送者環(huán)境(例如，背景)的至少一部分的表示，以給出發(fā)送者從何處進(jìn)行呼叫的一些上下文。

技術(shù)實(shí)現(xiàn)思路

1、本文所公開(kāi)的各種具體實(shí)施包括提供三維(3d)環(huán)境(例如，觀看者房間)的視圖的設(shè)備、系統(tǒng)和方法，該3d環(huán)境具有提供另一用戶(hù)環(huán)境(例如，發(fā)送者房間)的表示和該用戶(hù)的表示(例如，頭像)的視圖的門(mén)戶(hù)。該表示并不提供完全沉浸式視圖，而是可顯示在較大3d環(huán)境(例如，門(mén)戶(hù))內(nèi)的固定位置處的相對(duì)較小觀看門(mén)戶(hù)處。在門(mén)戶(hù)內(nèi)提供發(fā)送者背景的表示的至少一部分可旨在給出發(fā)送者從何處進(jìn)行呼叫的一些上下文。然而，頭戴式設(shè)備(hmd)可能在更新用戶(hù)和用戶(hù)背景的視圖方面受到限制，因?yàn)閺牡湫偷囊曨l聊天會(huì)話(huà)的角度來(lái)看(例如，使相機(jī)定位在用戶(hù)前方1米至2米處以捕獲用戶(hù)和實(shí)況背景數(shù)據(jù)兩者)，面向外部的相機(jī)可能不能在通信會(huì)話(huà)期間捕獲背景環(huán)境。因此，當(dāng)兩個(gè)用戶(hù)在通信會(huì)話(huà)期間佩戴hmd時(shí)，如果希望在會(huì)話(huà)期間提供實(shí)際(“實(shí)況”)背景或至少背景的表示，則系統(tǒng)可利用環(huán)境或通信會(huì)話(huà)之前的環(huán)境的至少一部分的先前捕獲的圖像，或系統(tǒng)可虛構(gòu)任何缺口。然后，基于發(fā)送者相對(duì)于背景的位置和/或觀看者視點(diǎn)位置，可相應(yīng)地顯示和更新背景。

2、在一些具體實(shí)施中，背景數(shù)據(jù)可由發(fā)送者設(shè)備提供，該設(shè)備捕獲其環(huán)境的傳感器數(shù)據(jù)，潛在地填充數(shù)據(jù)缺口(例如，虛構(gòu)內(nèi)容)，并且可使用參數(shù)(例如，模糊、不描繪其他人、提供有限視圖(例如，180℉ov)、使用基于改變/新內(nèi)容的更新標(biāo)準(zhǔn)等)提供給觀看者設(shè)備。可在發(fā)送者設(shè)備、觀看者設(shè)備或其組合處執(zhí)行用以確定門(mén)戶(hù)內(nèi)容的背景數(shù)據(jù)的處理(例如，模糊、不描繪其他人、提供有限視圖(例如，180℉ov)、使用基于改變/新內(nèi)容的更新標(biāo)準(zhǔn)等)。例如，發(fā)送者設(shè)備可限制發(fā)送到觀看者設(shè)備的門(mén)戶(hù)內(nèi)容的量，使得內(nèi)容可被模糊或可提供背景的有限視圖。

3、在一些具體實(shí)施中，門(mén)戶(hù)可提供隨著觀看者相對(duì)于門(mén)戶(hù)移動(dòng)而改變的其他環(huán)境的多方向視圖(例如，取決于視點(diǎn))。門(mén)戶(hù)可在3d空間(例如，vr或mr)中顯示的平面/表面上呈現(xiàn)接收到的180°立體圖像/視頻背景內(nèi)容的門(mén)戶(hù)視圖。在一些具體實(shí)施中，在捕獲發(fā)送者背景期間，發(fā)送者設(shè)備可更新低頻屏幕截圖(rgb圖像)，提供當(dāng)前深度圖，并且任選地包括諸如頭部取向/姿勢(shì)等附加元數(shù)據(jù)。發(fā)送者設(shè)備和/或觀看者設(shè)備能夠填充背景中的缺口/空洞(例如，房間掃描期間的遮擋、房間的未被掃描的部分等)，并且周期性地向觀看者提供更新。例如，隨著發(fā)送者在其環(huán)境中四處走動(dòng)并為發(fā)送者電子設(shè)備提供附加視圖以捕獲附加傳感器數(shù)據(jù)，可針對(duì)門(mén)戶(hù)內(nèi)容更新背景數(shù)據(jù)。

4、在一些具體實(shí)施中，門(mén)戶(hù)內(nèi)容的特定特征可限制在所提供的數(shù)據(jù)量中，例如提供視點(diǎn)相關(guān)視圖、使背景的部分模糊的隱私特征、屏蔽掉背景中的人或其他運(yùn)動(dòng)對(duì)象等。因此，可通過(guò)僅提供用戶(hù)背景信息中的一些(例如，使背景環(huán)境的部分或全部模糊、不描繪背景中的其他人或其他對(duì)象、提供有限視圖(例如，180℉ov)、使用基于背景環(huán)境中的改變和/或新內(nèi)容的更新標(biāo)準(zhǔn)等)來(lái)保留用戶(hù)隱私。

5、一般來(lái)講，本說(shuō)明書(shū)中描述的主題的一個(gè)創(chuàng)新方面可體現(xiàn)在使用包括一個(gè)或多個(gè)處理器的第一電子設(shè)備的方法中，該方法包括以下動(dòng)作：呈現(xiàn)第一3d環(huán)境的視圖；獲得表示第二3d環(huán)境的數(shù)據(jù)，該數(shù)據(jù)至少部分地基于在第二電子設(shè)備的物理環(huán)境中捕獲的傳感器數(shù)據(jù)來(lái)表示第二3d環(huán)境；基于表示第二3d環(huán)境的數(shù)據(jù)和第一3d環(huán)境內(nèi)的視點(diǎn)來(lái)確定門(mén)戶(hù)內(nèi)容；以及在第一3d環(huán)境的視圖中顯示具有門(mén)戶(hù)內(nèi)容的門(mén)戶(hù)，其中門(mén)戶(hù)內(nèi)容描繪從視點(diǎn)通過(guò)門(mén)戶(hù)觀看的第二3d環(huán)境的一部分。

6、這些實(shí)施方案和其他實(shí)施方案均可任選地包括以下特征中的一個(gè)或多個(gè)特征。

7、在一些方面，門(mén)戶(hù)內(nèi)容基于合成表示第二3d環(huán)境的未在第二電子設(shè)備的物理環(huán)境中捕獲的傳感器數(shù)據(jù)中表示的部分的數(shù)據(jù)。

8、在一些方面，基于檢測(cè)到第二3d環(huán)境中或第二電子設(shè)備的物理環(huán)境中的改變來(lái)更新門(mén)戶(hù)內(nèi)容。

9、在一些方面，獲得表示第二3d環(huán)境的數(shù)據(jù)包括獲得與表示第二3d環(huán)境的數(shù)據(jù)相關(guān)聯(lián)的參數(shù)。

10、在一些方面，該參數(shù)識(shí)別第二3d環(huán)境的視場(chǎng)或取向，并且其中確定門(mén)戶(hù)內(nèi)容進(jìn)一步基于該參數(shù)。

11、在一些方面，確定門(mén)戶(hù)內(nèi)容包括基于第二3d環(huán)境的所識(shí)別視場(chǎng)或取向來(lái)模糊第二3d環(huán)境的一些部分。

12、在一些方面，該方法還包括獲得表示第二電子設(shè)備的用戶(hù)的數(shù)據(jù)的動(dòng)作，其中確定門(mén)戶(hù)內(nèi)容進(jìn)一步基于表示第二電子設(shè)備的用戶(hù)的數(shù)據(jù)，并且其中門(mén)戶(hù)內(nèi)容在第二3d環(huán)境的部分前方描繪第二電子設(shè)備的用戶(hù)的表示。在一些方面，確定門(mén)戶(hù)內(nèi)容包括模糊第二3d環(huán)境的在第二電子設(shè)備的用戶(hù)的表示后方的部分。在一些方面，表示第二3d環(huán)境的數(shù)據(jù)描繪第二3d環(huán)境的小于360度視圖。在一些方面，表示第二3d環(huán)境的數(shù)據(jù)描繪第二3d環(huán)境的360度視圖。

13、在一些方面，該方法還包括基于視點(diǎn)來(lái)確定在第一3d環(huán)境的視圖內(nèi)顯示門(mén)戶(hù)的位置的動(dòng)作。在一些方面，該方法還包括基于第一3d環(huán)境內(nèi)的視點(diǎn)的改變來(lái)改變門(mén)戶(hù)內(nèi)容的動(dòng)作。

14、在一些方面，在第一3d環(huán)境的視圖中顯示具有門(mén)戶(hù)內(nèi)容的門(mén)戶(hù)是基于確定視點(diǎn)相對(duì)于門(mén)戶(hù)的位置關(guān)系。在一些方面，門(mén)戶(hù)在第一3d環(huán)境內(nèi)的位置隨著視點(diǎn)在第一3d環(huán)境內(nèi)改變是恒定的。在一些方面，門(mén)戶(hù)在第一3d環(huán)境內(nèi)的位置基于視點(diǎn)在第一3d環(huán)境內(nèi)的改變而改變。

15、在一些方面，表示第二3d環(huán)境的數(shù)據(jù)包括立體圖像對(duì)，該立體圖像對(duì)包括對(duì)應(yīng)于左眼視點(diǎn)的左眼內(nèi)容和對(duì)應(yīng)于右眼視點(diǎn)的右眼內(nèi)容。在一些方面，表示第二3d環(huán)境的數(shù)據(jù)包括180度立體圖像。在一些方面，表示第二3d環(huán)境的數(shù)據(jù)包括二維(2d)圖像數(shù)據(jù)和深度數(shù)據(jù)。

16、在一些方面，確定門(mén)戶(hù)內(nèi)容包括在球體的至少一部分上渲染表示第二3d環(huán)境的數(shù)據(jù)的至少一部分。在一些方面，表示第二3d環(huán)境的數(shù)據(jù)包括三維(3d)模型。在一些方面，在第一電子設(shè)備與第二電子設(shè)備之間的通信會(huì)話(huà)期間獲得表示第二3d環(huán)境的數(shù)據(jù)。

17、在一些方面，在第二電子設(shè)備的物理環(huán)境中捕獲的傳感器數(shù)據(jù)被第二電子設(shè)備的一個(gè)或多個(gè)傳感器獲得。在一些方面，第一3d環(huán)境是擴(kuò)展現(xiàn)實(shí)(xr)環(huán)境。在一些方面，第一電子設(shè)備或第二電子設(shè)備包括頭戴式設(shè)備(hmd)。

18、一般來(lái)講，本說(shuō)明書(shū)描述的主題的一個(gè)創(chuàng)新方面可體現(xiàn)在使用包括一個(gè)或多個(gè)處理器和一個(gè)或多個(gè)傳感器的第一電子設(shè)備的方法中，該方法包括以下動(dòng)作：獲得經(jīng)由與第一電子設(shè)備相關(guān)聯(lián)的物理環(huán)境中的一個(gè)或多個(gè)傳感器捕獲的傳感器數(shù)據(jù)；確定表示第一三維(3d)環(huán)境的數(shù)據(jù)，其中表示第一3d環(huán)境的數(shù)據(jù)至少部分地基于傳感器數(shù)據(jù)和識(shí)別第一電子設(shè)備的取向或視場(chǎng)的參數(shù)而生成；以及將表示第一3d環(huán)境的數(shù)據(jù)提供給第二電子設(shè)備。

19、這些實(shí)施方案和其他實(shí)施方案均可任選地包括以下特征中的一個(gè)或多個(gè)特征。

20、在一些方面，確定表示第一3d環(huán)境的數(shù)據(jù)包括合成表示第一3d環(huán)境的未在第一電子設(shè)備的物理環(huán)境中捕獲的傳感器數(shù)據(jù)中表示的部分的數(shù)據(jù)。

21、在一些方面，基于檢測(cè)第一電子設(shè)備在第一3d環(huán)境內(nèi)的位置的改變來(lái)執(zhí)行數(shù)據(jù)合成。在一些方面，基于識(shí)別第一3d環(huán)境的未在傳感器數(shù)據(jù)中表示的另一部分來(lái)執(zhí)行數(shù)據(jù)合成。

22、在一些方面，基于檢測(cè)到第一3d環(huán)境中的改變來(lái)更新表示第一3d環(huán)境的數(shù)據(jù)。在一些方面，基于檢測(cè)到第二電子設(shè)備的物理環(huán)境中的改變來(lái)更新表示第一3d環(huán)境的數(shù)據(jù)。在一些方面，基于檢測(cè)到第一電子設(shè)備的位置的改變超過(guò)閾值來(lái)更新表示第一3d環(huán)境的數(shù)據(jù)。

23、在一些方面，該方法還包括以下動(dòng)作：基于表示第一3d環(huán)境的數(shù)據(jù)來(lái)確定與第一3d環(huán)境的區(qū)域相關(guān)聯(lián)的第一照明條件；以及針對(duì)與第一3d環(huán)境中的第一照明條件相關(guān)聯(lián)的區(qū)域來(lái)更新表示第一3d環(huán)境的數(shù)據(jù)。

24、在一些方面，確定表示第一3d環(huán)境的數(shù)據(jù)包括基于傳感器數(shù)據(jù)確定與第一電子設(shè)備的物理環(huán)境相關(guān)聯(lián)的背景的覆蓋范圍，并且響應(yīng)于確定物理環(huán)境的所捕獲背景的覆蓋范圍低于閾值量，提供合成數(shù)據(jù)作為表示第一3d環(huán)境的數(shù)據(jù)。

25、在一些方面，模糊效果由第一電子設(shè)備應(yīng)用于提供給第二電子設(shè)備的表示第一3d環(huán)境的數(shù)據(jù)的至少一部分。在一些方面，識(shí)別第一電子設(shè)備的取向或視場(chǎng)的參數(shù)基于確定第一電子設(shè)備的姿勢(shì)。在一些方面，方法還包括將表示第一電子設(shè)備的用戶(hù)的數(shù)據(jù)提供給第二電子設(shè)備的動(dòng)作。在一些方面，以比表示第一3d環(huán)境的數(shù)據(jù)更高的頻率提供表示第一電子設(shè)備的用戶(hù)的數(shù)據(jù)。

26、在一些方面，第二電子設(shè)備被配置為在第二3d環(huán)境的視圖內(nèi)的門(mén)戶(hù)內(nèi)顯示表示第一3d環(huán)境的數(shù)據(jù)的一部分的視圖。在一些方面，第一電子設(shè)備和第二電子設(shè)備在通信會(huì)話(huà)期間操作性地通信。在一些方面，第一電子設(shè)備或第二電子設(shè)備包括hmd。

27、根據(jù)一些具體實(shí)施，一種設(shè)備包括一個(gè)或多個(gè)處理器、非暫態(tài)存儲(chǔ)器以及一個(gè)或多個(gè)程序；該一個(gè)或多個(gè)程序被存儲(chǔ)在非暫態(tài)存儲(chǔ)器中并且被配置為由一個(gè)或多個(gè)處理器執(zhí)行，并且該一個(gè)或多個(gè)程序包括用于執(zhí)行或使得執(zhí)行本文所述的方法中的任一種方法的指令。根據(jù)一些具體實(shí)施，一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，這些指令當(dāng)由設(shè)備的一個(gè)或多個(gè)處理器執(zhí)行時(shí)使該設(shè)備執(zhí)行或使執(zhí)行本文所述方法中的任一者。根據(jù)一些具體實(shí)施，一種設(shè)備包括：一個(gè)或多個(gè)處理器、非暫態(tài)存儲(chǔ)器以及用于執(zhí)行或使執(zhí)行本文所述方法中的任一者的裝置。