本公開整體涉及提供計算機(jī)生成的體驗(yàn)的計算機(jī)系統(tǒng)，包括但不限于經(jīng)由顯示器提供虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)體驗(yàn)的電子設(shè)備。

背景技術(shù)：

1、近年來，用于增強(qiáng)現(xiàn)實(shí)的計算機(jī)系統(tǒng)的發(fā)展顯著增加。示例增強(qiáng)現(xiàn)實(shí)環(huán)境包括至少一些替換或增強(qiáng)物理世界的虛擬元素。用于計算機(jī)系統(tǒng)和其他電子計算設(shè)備的輸入設(shè)備(諸如相機(jī)、控制器、操縱桿、觸敏表面和觸摸屏顯示器)用于與虛擬/增強(qiáng)現(xiàn)實(shí)環(huán)境進(jìn)行交互。示例虛擬元素包括諸如數(shù)字圖像、視頻、文本、圖標(biāo)和控制元素(諸如按鈕和其他圖形)的虛擬對象。

技術(shù)實(shí)現(xiàn)思路

1、用于與包括至少一些虛擬元素的環(huán)境(例如，應(yīng)用、增強(qiáng)現(xiàn)實(shí)環(huán)境、混合現(xiàn)實(shí)環(huán)境和虛擬現(xiàn)實(shí)環(huán)境)進(jìn)行交互的一些方法和界面是麻煩、低效并且受限的。例如，提供用于執(zhí)行與虛擬對象相關(guān)聯(lián)的動作的不足反饋的系統(tǒng)、需要一系列輸入來在增強(qiáng)現(xiàn)實(shí)環(huán)境中實(shí)現(xiàn)期望結(jié)果的系統(tǒng)，以及虛擬對象操縱復(fù)雜、繁瑣且容易出錯的系統(tǒng)，會給用戶造成巨大的認(rèn)知負(fù)擔(dān)，并且減損虛擬/增強(qiáng)現(xiàn)實(shí)環(huán)境的體驗(yàn)感。此外，這些方法花費(fèi)的時間比必要的要長，從而浪費(fèi)了計算機(jī)系統(tǒng)的能量。這后一考慮在電池驅(qū)動的設(shè)備中是特別重要的。

2、因此，需要具有改進(jìn)的方法和界面的計算機(jī)系統(tǒng)來向用戶提供計算機(jī)生成的體驗(yàn)，從而使得用戶與計算機(jī)系統(tǒng)的交互對用戶來說更有效且更直觀。此類方法和界面任選地補(bǔ)充或替換用于向用戶提供擴(kuò)展現(xiàn)實(shí)體驗(yàn)的常規(guī)方法。此類方法和界面通過幫助用戶理解所提供的輸入與設(shè)備對這些輸入的響應(yīng)之間的聯(lián)系，減少了來自用戶的輸入的數(shù)量、程度和/或性質(zhì)，從而形成了更有效的人機(jī)界面。

3、通過所公開的系統(tǒng)減少或消除了與計算機(jī)系統(tǒng)的用戶界面相關(guān)聯(lián)的上述缺陷和其他問題。在一些實(shí)施方案中，計算機(jī)系統(tǒng)是具有相關(guān)聯(lián)顯示器的臺式計算機(jī)。在一些實(shí)施方案中，計算機(jī)系統(tǒng)是便攜式設(shè)備(例如，筆記本計算機(jī)、平板計算機(jī)或手持式設(shè)備)。在一些實(shí)施方案中，計算機(jī)系統(tǒng)是個人電子設(shè)備(例如，可穿戴電子設(shè)備，諸如手表或頭戴式設(shè)備)。在一些實(shí)施方案中，計算機(jī)系統(tǒng)具有觸摸板。在一些實(shí)施方案中，計算機(jī)系統(tǒng)具有一個或多個相機(jī)。在一些實(shí)施方案中，計算機(jī)系統(tǒng)具有觸敏顯示器(也稱為“觸摸屏”或“觸摸屏顯示器”)。在一些實(shí)施方案中，計算機(jī)系統(tǒng)具有一個或多個眼睛跟蹤部件。在一些實(shí)施方案中，計算機(jī)系統(tǒng)具有一個或多個手部跟蹤部件。在一些實(shí)施方案中，除顯示生成部件之外，計算機(jī)系統(tǒng)還具有一個或多個輸出設(shè)備，這些輸出設(shè)備包括一個或多個觸覺輸出發(fā)生器和/或一個或多個音頻輸出設(shè)備。在一些實(shí)施方案中，計算機(jī)系統(tǒng)具有圖形用戶界面(gui)、一個或多個處理器、存儲器和一個或多個模塊、存儲在存儲器中用于執(zhí)行多個功能的程序或指令集。在一些實(shí)施方案中，用戶通過觸控筆和/或手指在觸敏表面上的接觸和手勢、用戶的眼睛和手部在相對于gui(和/或計算機(jī)系統(tǒng))或用戶身體的空間中的移動(如由相機(jī)和其他移動傳感器捕獲的)和/或語音輸入(如由一個或多個音頻輸入設(shè)備捕獲的)與gui進(jìn)行交互。在一些實(shí)施方案中，通過交互執(zhí)行的功能任選地包括圖像編輯、繪圖、演示、文字處理、電子表格制作、玩游戲、接打電話、視頻會議、收發(fā)電子郵件、即時通訊、測試支持、數(shù)字?jǐn)z影、數(shù)字視頻錄制、網(wǎng)頁瀏覽、數(shù)字音樂播放、記筆記和/或數(shù)字視頻播放。用于執(zhí)行這些功能的可執(zhí)行指令任選地被包括在被配置用于由一個或多個處理器執(zhí)行的暫態(tài)和/或非暫態(tài)計算機(jī)可讀存儲介質(zhì)或其他計算機(jī)程序產(chǎn)品中。

4、需要具有用于與三維環(huán)境中的內(nèi)容進(jìn)行交互的改進(jìn)方法和界面的電子設(shè)備。此類方法和界面可補(bǔ)充或替換用于與三維環(huán)境中的內(nèi)容交互的常規(guī)方法。此類方法和界面減少了來自用戶的輸入的數(shù)量、程度和/或性質(zhì)，并且產(chǎn)生更高效的人機(jī)界面。對于電池驅(qū)動的計算設(shè)備，此類方法和界面節(jié)省功率，并且增大電池充電之間的時間間隔。

5、在一些實(shí)施方案中，計算機(jī)系統(tǒng)執(zhí)行不同的對象選擇相關(guān)操作。在一些實(shí)施方案中，計算機(jī)系統(tǒng)基于用戶的注意力來將對象放置在顯示區(qū)中的位置處。在一些實(shí)施方案中，計算機(jī)系統(tǒng)在三維環(huán)境中顯示具有曲率的容器虛擬對象。

6、需注意，上述各種實(shí)施方案可與本文所述任何其他實(shí)施方案相結(jié)合。本說明書中描述的特征和優(yōu)點(diǎn)并不全面，具體來說，根據(jù)附圖、說明書和權(quán)利要求書，許多另外的特征和優(yōu)點(diǎn)對本領(lǐng)域的普通技術(shù)人員將是顯而易見的。此外，應(yīng)當(dāng)指出，出于可讀性和指導(dǎo)性目的，在原則上選擇了本說明書中使用的語言，并且可以不這樣選擇以描繪或界定本發(fā)明的主題。

技術(shù)特征：

1.一種方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，所述方法還包括：

3.根據(jù)權(quán)利要求1至2中任一項(xiàng)所述的方法，所述方法還包括：

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，所述方法還包括：

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，所述方法還包括：

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其中顯示處于所述選定狀態(tài)的所述第二用戶界面對象包括：經(jīng)由所述顯示生成部件顯示所述第二用戶界面對象處于所述選定狀態(tài)的視覺指示。

7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的方法，所述方法還包括：

8.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的方法，所述方法還包括：

9.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法，所述方法還包括：

10.根據(jù)權(quán)利要求9所述的方法，所述方法還包括：

11.根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的方法，所述方法還包括：

12.根據(jù)權(quán)利要求1至11中任一項(xiàng)所述的方法，所述方法還包括：

13.根據(jù)權(quán)利要求1至12中任一項(xiàng)所述的方法，其中當(dāng)所述計算機(jī)系統(tǒng)正在第一操作模式下操作時檢測所述第一輸入，在所述第一操作模式下，用戶界面對象以一種或多種第一方式被置于所述選定狀態(tài)或所述未選定狀態(tài)，所述方法還包括：

14.根據(jù)權(quán)利要求13所述的方法，所述方法還包括：

15.根據(jù)權(quán)利要求13至14中任一項(xiàng)所述的方法，其中在容器用戶界面對象內(nèi)顯示一個或多個用戶界面對象，所述方法還包括：

16.一種非暫態(tài)計算機(jī)可讀存儲介質(zhì)，所述非暫態(tài)計算機(jī)可讀存儲介質(zhì)存儲被配置為由與顯示生成部件和一個或多個輸入設(shè)備通信的計算機(jī)系統(tǒng)的一個或多個處理器執(zhí)行的一個或多個程序，所述一個或多個程序包括用于執(zhí)行根據(jù)權(quán)利要求1至15中任一項(xiàng)所述的方法的指令。

17.一種計算機(jī)系統(tǒng)，所述計算機(jī)系統(tǒng)與顯示生成部件和一個或多個輸入設(shè)備通信，所述計算機(jī)系統(tǒng)包括：

18.一種計算機(jī)系統(tǒng)，所述計算機(jī)系統(tǒng)與顯示生成部件和一個或多個輸入設(shè)備通信，所述計算機(jī)系統(tǒng)包括：

19.一種非暫態(tài)計算機(jī)可讀存儲介質(zhì)，所述非暫態(tài)計算機(jī)可讀存儲介質(zhì)存儲被配置為由與顯示生成部件和一個或多個輸入設(shè)備通信的計算機(jī)系統(tǒng)的一個或多個處理器執(zhí)行的一個或多個程序，所述一個或多個程序包括用于以下操作的指令：

20.一種計算機(jī)系統(tǒng)，所述計算機(jī)系統(tǒng)與顯示生成部件和一個或多個輸入設(shè)備通信，所述計算機(jī)系統(tǒng)包括：

21.一種計算機(jī)系統(tǒng)，所述計算機(jī)系統(tǒng)與顯示生成部件和一個或多個輸入設(shè)備通信，所述計算機(jī)系統(tǒng)包括：

22.一種方法，所述方法包括：

23.根據(jù)權(quán)利要求22所述的方法，所述方法還包括：

24.根據(jù)權(quán)利要求23所述的方法，其中所述上下文菜單包括能夠被選擇以將虛擬對象粘貼到所述組成區(qū)中的可選擇選項(xiàng)。

25.根據(jù)權(quán)利要求23至24中任一項(xiàng)所述的方法，其中所述上下文菜單包括除能夠被選擇以將虛擬對象粘貼到所述組成區(qū)中的可選擇選項(xiàng)之外的一個或多個可選擇選項(xiàng)。

26.根據(jù)權(quán)利要求22至25中任一項(xiàng)所述的方法，所述方法還包括：

27.根據(jù)權(quán)利要求26所述的方法，所述方法還包括：

28.根據(jù)權(quán)利要求27所述的方法，其中顯示與所述第二虛擬對象相關(guān)聯(lián)的所述菜單包括：

29.根據(jù)權(quán)利要求22至28中任一項(xiàng)所述的方法，所述方法還包括：

30.根據(jù)權(quán)利要求22至29中任一項(xiàng)所述的方法，所述方法還包括：

31.根據(jù)權(quán)利要求30所述的方法，所述方法還包括：

32.根據(jù)權(quán)利要求22至31中任一項(xiàng)所述的方法，所述方法還包括：

33.根據(jù)權(quán)利要求22至32中任一項(xiàng)所述的方法，其中在所述組成區(qū)中的所述第一位置處顯示所述第一虛擬對象包括：

34.根據(jù)權(quán)利要求22至33中任一項(xiàng)所述的方法，所述方法還包括：

35.根據(jù)權(quán)利要求34所述的方法，所述方法還包括：

36.根據(jù)權(quán)利要求22至35中任一項(xiàng)所述的方法，所述方法還包括：

37.根據(jù)權(quán)利要求22至36中任一項(xiàng)所述的方法，其中所述第一輸入是復(fù)制被包括在所述組成區(qū)中的第二虛擬對象的輸入。

38.根據(jù)權(quán)利要求22至36中任一項(xiàng)所述的方法，其中所述第一輸入是將先前拷貝的虛擬對象粘貼到所述組成區(qū)中的輸入，所述方法還包括：

39.一種非暫態(tài)計算機(jī)可讀存儲介質(zhì)，所述非暫態(tài)計算機(jī)可讀存儲介質(zhì)存儲被配置為由與顯示生成部件和一個或多個輸入設(shè)備通信的計算機(jī)系統(tǒng)的一個或多個處理器執(zhí)行的一個或多個程序，所述一個或多個程序包括用于執(zhí)行根據(jù)權(quán)利要求22至38中任一項(xiàng)所述的方法的指令。

40.一種計算機(jī)系統(tǒng)，所述計算機(jī)系統(tǒng)與顯示生成部件和一個或多個輸入設(shè)備通信，所述計算機(jī)系統(tǒng)包括：

41.一種計算機(jī)系統(tǒng)，所述計算機(jī)系統(tǒng)與顯示生成部件和一個或多個輸入設(shè)備通信，所述計算機(jī)系統(tǒng)包括：

42.一種非暫態(tài)計算機(jī)可讀存儲介質(zhì)，所述非暫態(tài)計算機(jī)可讀存儲介質(zhì)存儲被配置為由與顯示生成部件和一個或多個輸入設(shè)備通信的計算機(jī)系統(tǒng)的一個或多個處理器執(zhí)行的一個或多個程序，所述一個或多個程序包括用于以下操作的指令：

43.一種計算機(jī)系統(tǒng)，所述計算機(jī)系統(tǒng)與顯示生成部件和一個或多個輸入設(shè)備通信，所述計算機(jī)系統(tǒng)包括：

44.一種計算機(jī)系統(tǒng)，所述計算機(jī)系統(tǒng)與顯示生成部件和一個或多個輸入設(shè)備通信，所述計算機(jī)系統(tǒng)包括：

45.一種方法，所述方法包括：

46.根據(jù)權(quán)利要求45所述的方法，其中所述第一位置與所述三維環(huán)境中的第三對象對應(yīng)，并且當(dāng)檢測到所述第一輸入時，在所述第一位置處以所述第一曲率量顯示所述第一虛擬對象。

47.根據(jù)權(quán)利要求46所述的方法，其中當(dāng)接收到所述第一輸入時并且當(dāng)在除所述第一位置和所述第二位置之外的第三位置處顯示所述第一虛擬對象時，以所述第二曲率量顯示所述第一虛擬對象。

48.根據(jù)權(quán)利要求45所述的方法，其中所述第一位置不與所述三維環(huán)境中的對象對應(yīng)，并且當(dāng)檢測到所述第一輸入時，在所述第一位置處以所述第二曲率量顯示所述第一虛擬對象。

49.根據(jù)權(quán)利要求45至48中任一項(xiàng)所述的方法，其中所述第一位置與能夠從中看見所述三維環(huán)境的用戶的視點(diǎn)相距第一距離，并且所述第二位置與所述用戶的所述視點(diǎn)相距所述第一距離。

50.根據(jù)權(quán)利要求45至49中任一項(xiàng)所述的方法，其中當(dāng)所述第一虛擬對象處于所述三維環(huán)境中的相應(yīng)位置處時，在所述相應(yīng)位置處顯示所述第一虛擬對象包括：

51.根據(jù)權(quán)利要求45至50中任一項(xiàng)所述的方法，其中當(dāng)所述第一虛擬對象處于所述三維環(huán)境中的相應(yīng)位置處時，在所述相應(yīng)位置處顯示所述第一虛擬對象包括：

52.根據(jù)權(quán)利要求45至51中任一項(xiàng)所述的方法，其中當(dāng)所述第一虛擬對象處于所述三維環(huán)境中的相應(yīng)位置處時，在所述相應(yīng)位置處顯示所述第一虛擬對象包括：

53.根據(jù)權(quán)利要求45至52中任一項(xiàng)所述的方法，其中所述第二對象是所述計算機(jī)系統(tǒng)的物理環(huán)境中的物理對象。

54.根據(jù)權(quán)利要求45至53中任一項(xiàng)所述的方法，其中所述第一虛擬對象包括作為二維對象的第二虛擬對象，并且當(dāng)所述第一虛擬對象具有第一曲率時，所述第二虛擬對象具有與所述第一曲率對應(yīng)的第三曲率。

55.根據(jù)權(quán)利要求54所述的方法，其中當(dāng)所述第一虛擬對象具有第二曲率時，所述第二虛擬對象具有與所述第三曲率不同的第四曲率，其中所述第四曲率與所述第二曲率對應(yīng)。

56.根據(jù)權(quán)利要求45至55中任一項(xiàng)所述的方法，其中所述第一虛擬對象包括作為三維對象的第二虛擬對象，并且不以基于所述第一虛擬對象的曲率的曲率來顯示所述第二虛擬對象。

57.根據(jù)權(quán)利要求45至56中任一項(xiàng)所述的方法，所述方法還包括：

58.根據(jù)權(quán)利要求45至56中任一項(xiàng)所述的方法，所述方法還包括：

59.根據(jù)權(quán)利要求57至58中任一項(xiàng)所述的方法，其中所述用戶界面元素不包含在所述第一虛擬對象中。

60.根據(jù)權(quán)利要求45至59中任一項(xiàng)所述的方法，其中所述第一虛擬對象與可選擇選項(xiàng)相關(guān)聯(lián)地顯示，所述可選擇選項(xiàng)能夠被選擇以發(fā)起改變所述第一虛擬對象的大小的過程，所述方法還包括：

61.根據(jù)權(quán)利要求60所述的方法，其中具有所述第一大小的所述第一虛擬對象具有沿著第一方向的第一尺寸和沿著第二方向的第二尺寸，并且響應(yīng)于檢測到所述第二輸入：

62.根據(jù)權(quán)利要求61所述的方法，其中響應(yīng)于檢測到所述第二輸入：

63.根據(jù)權(quán)利要求45至62中任一項(xiàng)所述的方法，其中所述第一虛擬對象包括第二虛擬對象，并且：

64.根據(jù)權(quán)利要求45至63中任一項(xiàng)所述的方法，所述方法還包括：

65.根據(jù)權(quán)利要求45至64中任一項(xiàng)所述的方法，所述方法還包括：

66.根據(jù)權(quán)利要求45至65中任一項(xiàng)所述的方法，所述方法還包括：

67.根據(jù)權(quán)利要求66所述的方法，其中以具有與所述第一值不同的所述相應(yīng)值的所述第一視覺特性顯示所述第二虛擬對象包括：

68.根據(jù)權(quán)利要求66至67中任一項(xiàng)所述的方法，其中在所述第一虛擬對象的背景元素前面顯示所述第二虛擬對象，并且：

69.根據(jù)權(quán)利要求68所述的方法，其中具有所述第三值的所述第二視覺特性與以至少某種半透明度顯示的所述背景元素對應(yīng)。

70.根據(jù)權(quán)利要求66至69中任一項(xiàng)所述的方法，所述方法還包括：

71.根據(jù)權(quán)利要求70所述的方法，所述方法還包括：

72.根據(jù)權(quán)利要求71所述的方法，其中所述第三輸入包括處于與在所述第二呈現(xiàn)模式下顯示所述滾動指示符相關(guān)聯(lián)的相應(yīng)狀態(tài)的所述計算機(jī)系統(tǒng)的用戶的相應(yīng)部分。

73.根據(jù)權(quán)利要求70至72中任一項(xiàng)所述的方法，其中顯示所述滾動指示符包括：

74.根據(jù)權(quán)利要求70至73中任一項(xiàng)所述的方法，所述方法還包括：

75.根據(jù)權(quán)利要求70至74中任一項(xiàng)所述的方法，所述方法還包括：

76.一種非暫態(tài)計算機(jī)可讀存儲介質(zhì)，所述非暫態(tài)計算機(jī)可讀存儲介質(zhì)存儲被配置為由與顯示生成部件和一個或多個輸入設(shè)備通信的計算機(jī)系統(tǒng)的一個或多個處理器執(zhí)行的一個或多個程序，所述一個或多個程序包括用于執(zhí)行根據(jù)權(quán)利要求45至75中任一項(xiàng)所述的方法的指令。

77.一種計算機(jī)系統(tǒng)，所述計算機(jī)系統(tǒng)與顯示生成部件和一個或多個輸入設(shè)備通信，所述計算機(jī)系統(tǒng)包括：

78.一種計算機(jī)系統(tǒng)，所述計算機(jī)系統(tǒng)與顯示生成部件和一個或多個輸入設(shè)備通信，所述計算機(jī)系統(tǒng)包括：

79.一種非暫態(tài)計算機(jī)可讀存儲介質(zhì)，所述非暫態(tài)計算機(jī)可讀存儲介質(zhì)存儲被配置為由與顯示生成部件和一個或多個輸入設(shè)備通信的計算機(jī)系統(tǒng)的一個或多個處理器執(zhí)行的一個或多個程序，所述一個或多個程序包括用于以下操作的指令：

80.一種計算機(jī)系統(tǒng)，所述計算機(jī)系統(tǒng)與顯示生成部件和一個或多個輸入設(shè)備通信，所述計算機(jī)系統(tǒng)包括：

81.一種計算機(jī)系統(tǒng)，所述計算機(jī)系統(tǒng)與顯示生成部件和一個或多個輸入設(shè)備通信，所述計算機(jī)系統(tǒng)包括：

技術(shù)總結(jié)
在一些實(shí)施方案中，計算機(jī)系統(tǒng)執(zhí)行不同的對象選擇相關(guān)操作。在一些實(shí)施方案中，計算機(jī)系統(tǒng)基于用戶的注意力來將一個或多個對象放置在顯示區(qū)中的位置處。在一些實(shí)施方案中，計算機(jī)系統(tǒng)在三維環(huán)境中顯示具有曲率的容器虛擬對象。

技術(shù)研發(fā)人員：M·J·森德斯特龍,M·斯陶貝爾,E·克日沃盧奇科,Z·C·泰勒
受保護(hù)的技術(shù)使用者：蘋果公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/31