背景技術(shù)：

1、在線會(huì)議應(yīng)用中使用元宇宙(meta-verse)環(huán)境正變得無(wú)處不在。在線會(huì)議的參與者現(xiàn)在在三維虛擬環(huán)境中會(huì)面，并且在那些虛擬環(huán)境內(nèi)共享內(nèi)容。盡管與其他形式的協(xié)作相比有許多好處，但使用3d環(huán)境來(lái)共享內(nèi)容可能會(huì)帶來(lái)許多缺點(diǎn)。

2、使用用于在線會(huì)議應(yīng)用的元宇宙環(huán)境的主要問(wèn)題之一在于，可能存在會(huì)議的參與者可能難以識(shí)別相關(guān)用戶(hù)活動(dòng)的場(chǎng)景。支持3d環(huán)境的一些系統(tǒng)可以允許許多用戶(hù)參與。一些環(huán)境允許數(shù)百個(gè)用戶(hù)。對(duì)于某些類(lèi)型的事件，例如會(huì)議，用戶(hù)可能難以識(shí)別特定對(duì)話和參與感興趣的活動(dòng)的特定人。這可能導(dǎo)致許多低效，因?yàn)樗赡苄枰脩?hù)搜索相關(guān)活動(dòng)?？紤]到傳統(tǒng)搜索方法在實(shí)時(shí)對(duì)話中不可用，這可能是困難的任務(wù)。當(dāng)涉及三維環(huán)境時(shí)，導(dǎo)航工具并不總是被優(yōu)化用于搜索相關(guān)活動(dòng)，并且可能難以瀏覽大群人以搜索到相關(guān)活動(dòng)。

3、這些缺點(diǎn)可能導(dǎo)致計(jì)算設(shè)備與用戶(hù)之間的低效交互，特別是在通信會(huì)話期間。另外，現(xiàn)有系統(tǒng)的上述缺點(diǎn)可能導(dǎo)致用戶(hù)參與的損失。不促進(jìn)用戶(hù)參與或更糟地導(dǎo)致用戶(hù)參與的損失和次佳交互的計(jì)算設(shè)備可能導(dǎo)致關(guān)于多個(gè)計(jì)算資源的生產(chǎn)損失和低效。例如，當(dāng)用戶(hù)變得疲勞或脫離時(shí)，當(dāng)共享內(nèi)容被錯(cuò)過(guò)或忽略時(shí)，該用戶(hù)可能需要參考其他資源，例如文檔，或者使用其他形式的通信。當(dāng)觀看者在實(shí)時(shí)會(huì)議期間錯(cuò)過(guò)重要點(diǎn)或線索時(shí)，可能需要重新發(fā)送錯(cuò)過(guò)的內(nèi)容。這樣的活動(dòng)可能導(dǎo)致網(wǎng)絡(luò)、處理器、存儲(chǔ)器或其他計(jì)算資源的低效或重復(fù)使用。因此，持續(xù)需要開(kāi)發(fā)改進(jìn)以幫助使通信系統(tǒng)的用戶(hù)體驗(yàn)比面對(duì)面會(huì)議更具吸引力和更像或更好。

技術(shù)實(shí)現(xiàn)思路

1、本文公開(kāi)的技術(shù)使得系統(tǒng)能夠?qū)⒂脩?hù)的注意力引導(dǎo)到3d環(huán)境中顯示的通信會(huì)話的相關(guān)活動(dòng)。系統(tǒng)可以控制觀看視角以聚焦于與觀看活動(dòng)的用戶(hù)相關(guān)的特定化身。系統(tǒng)還可以控制來(lái)自通信會(huì)話的遠(yuǎn)程用戶(hù)的音頻信號(hào)，以使得觀看者能夠聚焦于相關(guān)討論和其他音頻內(nèi)容。例如，當(dāng)遠(yuǎn)程用戶(hù)組控制他們的化身以執(zhí)行標(biāo)識(shí)選定用戶(hù)的手勢(shì)，例如該遠(yuǎn)程用戶(hù)組在對(duì)話中提及選定用戶(hù)的名字，或者控制他們的化身以查看選定用戶(hù)的化身時(shí)，系統(tǒng)可以遮掩其他化身的視圖以聚焦到該遠(yuǎn)程用戶(hù)組的化身。系統(tǒng)還可以增加來(lái)自該遠(yuǎn)程用戶(hù)組的音頻信號(hào)的音量并放大該遠(yuǎn)程用戶(hù)組的化身。該聚焦視圖使得選定用戶(hù)能夠容易地看到和聽(tīng)到特定遠(yuǎn)程用戶(hù)組的相關(guān)活動(dòng)。系統(tǒng)可以響應(yīng)于遠(yuǎn)程用戶(hù)的識(shí)別該用戶(hù)的任何類(lèi)型的活動(dòng)(例如文件共享)而聚焦到特定遠(yuǎn)程用戶(hù)組的一個(gè)或多個(gè)成員。通過(guò)引導(dǎo)3d環(huán)境的視覺(jué)和音頻視角，系統(tǒng)可以幫助用戶(hù)瀏覽正在使用3d環(huán)境的3d代表進(jìn)行協(xié)作的大群參與者的活動(dòng)。

2、在一個(gè)說(shuō)明性示例中，系統(tǒng)可以最初在指向用戶(hù)(例如觀看者)的顯示設(shè)備上顯示第一用戶(hù)界面布置。第一用戶(hù)界面布置可以包括參與與用戶(hù)的通信會(huì)話的遠(yuǎn)程用戶(hù)的3d表示的個(gè)體渲染。每個(gè)3d表示可以是遠(yuǎn)程用戶(hù)的化身，每個(gè)化身在3d環(huán)境內(nèi)具有可控的位置和取向。然后，系統(tǒng)可以監(jiān)視通信會(huì)話的用戶(hù)活動(dòng)，以識(shí)別來(lái)自控制所顯示的化身之一的遠(yuǎn)程用戶(hù)的至少一個(gè)輸入。例如，輸入可以指示遠(yuǎn)程用戶(hù)正在控制他們的化身以將手勢(shì)引導(dǎo)向該用戶(hù)。例如，遠(yuǎn)程用戶(hù)可以引導(dǎo)他們的化身以查看該用戶(hù)的化身或朝向該用戶(hù)的化身移動(dòng)。遠(yuǎn)程用戶(hù)的識(shí)別該用戶(hù)的任何其他活動(dòng)可以用于觸發(fā)本文描述的用戶(hù)界面和音頻轉(zhuǎn)換。例如，當(dāng)遠(yuǎn)程用戶(hù)組識(shí)別對(duì)話中的該用戶(hù)時(shí)或當(dāng)該遠(yuǎn)程用戶(hù)組開(kāi)始與該用戶(hù)共享內(nèi)容時(shí)，這樣的活動(dòng)可以使系統(tǒng)觸發(fā)本文描述的用戶(hù)界面和音頻轉(zhuǎn)換。系統(tǒng)還可以跟蹤進(jìn)行觸發(fā)活動(dòng)的遠(yuǎn)程用戶(hù)的身份。出于說(shuō)明性目的，進(jìn)行觸發(fā)活動(dòng)的遠(yuǎn)程用戶(hù)在本文中被稱(chēng)為參與通信會(huì)話的用戶(hù)子集。

3、當(dāng)系統(tǒng)檢測(cè)到標(biāo)識(shí)特定用戶(hù)和觸發(fā)用戶(hù)界面或音頻信號(hào)的轉(zhuǎn)換的特定活動(dòng)的輸入時(shí)，系統(tǒng)將包括參與通信會(huì)話的用戶(hù)的3d表示的個(gè)體渲染的第一用戶(hù)界面布置轉(zhuǎn)換到聚焦于這些3d表示中的與遠(yuǎn)程用戶(hù)子集相關(guān)聯(lián)的一個(gè)或多個(gè)3d表示的子集的第二用戶(hù)界面布置。系統(tǒng)可以通過(guò)遮掩或模糊其他用戶(hù)的表示來(lái)聚焦于用戶(hù)子集。系統(tǒng)還可以通過(guò)增加用戶(hù)子集的化身的清晰度級(jí)別或縮放聚焦于與用戶(hù)子集相關(guān)聯(lián)的化身的透視圖來(lái)聚焦于用戶(hù)子集。系統(tǒng)還可以通過(guò)增加從用戶(hù)子集的計(jì)算設(shè)備接收的音頻信號(hào)的音量來(lái)聚焦于用戶(hù)子集。系統(tǒng)還可以通過(guò)減小除了用戶(hù)子集之外的其他遠(yuǎn)程用戶(hù)的音量來(lái)聚焦于用戶(hù)子集。系統(tǒng)可以以允許該用戶(hù)聽(tīng)到作為用戶(hù)子集的一部分的用戶(hù)與不是通信會(huì)話的用戶(hù)子集的一部分的其他用戶(hù)之間的差異的任何方式來(lái)控制遠(yuǎn)程用戶(hù)的音頻。

4、本技術(shù)公開(kāi)提供了許多技術(shù)優(yōu)勢(shì)。例如，通過(guò)促進(jìn)用戶(hù)參與并幫助用戶(hù)找到相關(guān)活動(dòng)和相關(guān)信息，特別是在通信系統(tǒng)中，用戶(hù)可以更有效地交換信息。這有助于減輕丟失或忽略共享內(nèi)容的發(fā)生。這可以減少用戶(hù)需要重新發(fā)送信息的發(fā)生。共享內(nèi)容的更有效通信還可以幫助避免對(duì)外部系統(tǒng)(例如用于發(fā)短信的移動(dòng)電話和其他消息平臺(tái))的需要。這可以幫助減少網(wǎng)絡(luò)、處理器、存儲(chǔ)器或其他計(jì)算資源的重復(fù)使用，尤其是當(dāng)可以避免延長(zhǎng)的會(huì)議或附加會(huì)議時(shí)。

5、通過(guò)閱讀以下具體實(shí)施方式和查看相關(guān)聯(lián)的附圖，除了上文明確描述的特征和技術(shù)優(yōu)勢(shì)之外的特征和技術(shù)優(yōu)勢(shì)將顯而易見(jiàn)。本
技術(shù)實(shí)現(xiàn)要素：
旨在以簡(jiǎn)化形式介紹一組構(gòu)思，這組構(gòu)思將在下文的具體實(shí)施方式中進(jìn)一步描述。本發(fā)明內(nèi)容并非旨在標(biāo)識(shí)要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定要求保護(hù)的主題的范圍。例如，如由上述上下文和整個(gè)文檔中允許的，術(shù)語(yǔ)“技術(shù)”可以指系統(tǒng)、方法、計(jì)算機(jī)可讀指令、模塊、算法、硬件邏輯和/或操作。

技術(shù)特征：

1.一種用于控制環(huán)境的觀看視角以選擇性地聚焦到參與通信會(huì)話的用戶(hù)的相關(guān)活動(dòng)的方法，所述方法被配置為在系統(tǒng)上執(zhí)行，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述第二用戶(hù)界面布置通過(guò)放大到包括所述表示中的所述一個(gè)或多個(gè)表示的子集的放大渲染并且排除所述多個(gè)用戶(hù)中的其他用戶(hù)的其他表示的觀看視角來(lái)聚焦于所述表示中的所述一個(gè)或多個(gè)表示的子集，其中，所述用戶(hù)子集各自與所述表示中的一個(gè)或多個(gè)表示的子集相關(guān)聯(lián)。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述第二用戶(hù)界面布置通過(guò)遮掩在所述第一用戶(hù)界面布置中顯示的其他表示的渲染而聚焦于所述表示中的所述一個(gè)或多個(gè)表示的子集，其中，所述其他表示排除所述表示中的所述一個(gè)或多個(gè)表示的子集。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述輸入數(shù)據(jù)將所述表示中的、所述用戶(hù)子集的所述一個(gè)或多個(gè)表示的位置或取向引導(dǎo)向所述用戶(hù)的表示。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述輸入數(shù)據(jù)包括至少一個(gè)音頻信號(hào)，所述音頻信號(hào)包括標(biāo)識(shí)所述用戶(hù)的語(yǔ)音對(duì)話，其中，將所述第一用戶(hù)界面布置轉(zhuǎn)換到所述第二用戶(hù)界面布置是響應(yīng)于接收到包括標(biāo)識(shí)所述用戶(hù)的語(yǔ)音對(duì)話的所述音頻信號(hào)而調(diào)用的。

6.根據(jù)權(quán)利要求1所述的方法，其中，用于促使所述轉(zhuǎn)換的所述輸入包括將所述多個(gè)用戶(hù)的閾值數(shù)量的表示的位置或取向引導(dǎo)向所述用戶(hù)的表示的輸入數(shù)據(jù)，其中，所述轉(zhuǎn)換是響應(yīng)于確定所述輸入將所述多個(gè)用戶(hù)的所述閾值數(shù)量的表示的位置或取向引導(dǎo)向所述用戶(hù)的表示而調(diào)用的，其中，所述表示的所述子集是當(dāng)所述表示的所述子集彼此在預(yù)定距離內(nèi)時(shí)而選擇的。

7.根據(jù)權(quán)利要求1所述的方法，其中，用于促使所述轉(zhuǎn)換的所述輸入包括標(biāo)識(shí)所述用戶(hù)的音頻信號(hào)，其中，所述轉(zhuǎn)換是響應(yīng)于確定所述輸入包括標(biāo)識(shí)所述用戶(hù)的所述音頻信號(hào)而調(diào)用的，其中，所述表示的所述子集是當(dāng)所述表示的所述子集彼此在預(yù)定距離內(nèi)時(shí)而選擇的。

8.一種用于控制環(huán)境的觀看視角以將用戶(hù)界面顯示聚焦于參與通信會(huì)話的用戶(hù)的相關(guān)活動(dòng)的系統(tǒng)，所述系統(tǒng)包括：

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述第二用戶(hù)界面布置通過(guò)放大到包括所述表示中的所述一個(gè)或多個(gè)表示的子集的放大渲染并且排除所述多個(gè)用戶(hù)中的其他用戶(hù)的其他表示的觀看視角來(lái)聚焦于所述表示中的所述一個(gè)或多個(gè)表示的子集。

10.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述第二用戶(hù)界面布置通過(guò)遮掩在所述第一用戶(hù)界面布置中顯示的其他表示的渲染而聚焦于所述表示中的所述一個(gè)或多個(gè)表示的子集，其中，所述其他表示排除所述表示中的所述一個(gè)或多個(gè)表示的子集。

11.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述輸入數(shù)據(jù)將所述表示中的、所述用戶(hù)子集的所述一個(gè)或多個(gè)表示的位置或取向引導(dǎo)向所述用戶(hù)的表示。

12.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述輸入數(shù)據(jù)包括至少一個(gè)音頻信號(hào)，所述音頻信號(hào)包括標(biāo)識(shí)所述用戶(hù)的語(yǔ)音對(duì)話，其中，將所述第一用戶(hù)界面布置轉(zhuǎn)換到所述第二用戶(hù)界面布置是響應(yīng)于接收到包括標(biāo)識(shí)所述用戶(hù)的語(yǔ)音對(duì)話的所述音頻信號(hào)而調(diào)用的。

13.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，用于促使所述轉(zhuǎn)換的所述輸入包括將所述多個(gè)用戶(hù)的閾值數(shù)量的表示的位置或取向引導(dǎo)向所述用戶(hù)的表示的輸入數(shù)據(jù)，其中，所述轉(zhuǎn)換是響應(yīng)于確定所述輸入將所述多個(gè)用戶(hù)的所述閾值數(shù)量的表示的位置或取向引導(dǎo)向所述用戶(hù)的表示而調(diào)用的，其中，所述表示的所述子集是當(dāng)所述表示的所述子集彼此在預(yù)定距離內(nèi)時(shí)而選擇的。

14.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，用于促使所述轉(zhuǎn)換的所述輸入包括標(biāo)識(shí)所述用戶(hù)的音頻信號(hào)，其中，所述轉(zhuǎn)換是響應(yīng)于確定所述輸入包括標(biāo)識(shí)所述用戶(hù)的所述音頻信號(hào)而調(diào)用的，其中，所述表示的所述子集是當(dāng)所述表示的所述子集彼此在預(yù)定距離內(nèi)時(shí)而選擇的。

技術(shù)總結(jié)
本文公開(kāi)的技術(shù)使得系統(tǒng)能夠?qū)⒂脩?hù)的注意力引導(dǎo)到3D環(huán)境中顯示的通信會(huì)話的相關(guān)活動(dòng)。系統(tǒng)可以控制3D環(huán)境的觀看視角以聚焦于與查看活動(dòng)的用戶(hù)相關(guān)的特定化身。系統(tǒng)還可以控制來(lái)自通信會(huì)話的遠(yuǎn)程用戶(hù)的音頻信號(hào)，以使得觀看者能夠聚焦于相關(guān)討論和其他音頻內(nèi)容。例如，當(dāng)特定遠(yuǎn)程用戶(hù)組控制他們的化身以查看該用戶(hù)的化身或者在會(huì)話中提及該用戶(hù)的名字時(shí)，系統(tǒng)可以遮掩其他化身的視圖以聚焦到該特定遠(yuǎn)程用戶(hù)組上。通過(guò)引導(dǎo)視覺(jué)和音頻視角，系統(tǒng)可以幫助該用戶(hù)瀏覽使用3D環(huán)境的3D代表來(lái)進(jìn)行通信的大群參與者的活動(dòng)。

技術(shù)研發(fā)人員：J·T·福爾克納
受保護(hù)的技術(shù)使用者：微軟技術(shù)許可有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19