本技術(shù)實(shí)施例涉及人機(jī)交互領(lǐng)域，特別涉及一種虛擬環(huán)境中的實(shí)體確定方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、在游戲設(shè)計(jì)與開發(fā)領(lǐng)域，ai(artificial?intelligence，人工智能)控制npc(non-player?character，非玩家角色)已成為提升游戲沉浸感與互動(dòng)性的關(guān)鍵技術(shù)。

2、相關(guān)技術(shù)中，玩家可以通過下達(dá)簡單指令控制npc的行動(dòng)。例如，“進(jìn)攻”、“跟隨”等指令。ai可以根據(jù)用戶下達(dá)的簡單指令控制非玩家角色活動(dòng)。

3、然而簡單指令無法準(zhǔn)確指揮非玩家角色執(zhí)行復(fù)雜活動(dòng)。例如，當(dāng)用戶想要指揮非玩家角色移動(dòng)至指定位置時(shí)，用戶只能通過多次下達(dá)“向前”、“向后”、“向左”、“向右”這種簡單指令來指揮非玩家角色一點(diǎn)一點(diǎn)挪動(dòng)，以接近指定位置，并不能準(zhǔn)確控制非玩家角色到達(dá)指定位置。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種虛擬環(huán)境中的實(shí)體確定方法、裝置、設(shè)備及介質(zhì)。所述技術(shù)方案如下：

2、一方面，提供了一種虛擬環(huán)境中的實(shí)體確定方法，所述方法包括：

3、顯示位于虛擬環(huán)境中的主控虛擬角色和非玩家角色中的至少之一；

4、接收自然語言命令，所述自然語言命令用于控制所述非玩家角色；

5、根據(jù)所述自然語言命令所指示的目標(biāo)實(shí)體，控制所述非玩家角色在所述虛擬環(huán)境中活動(dòng)；

6、其中，所述目標(biāo)實(shí)體是結(jié)合環(huán)境感知信息從所述虛擬環(huán)境中確定出的，所述環(huán)境感知信息包括所述主控虛擬角色、所述非玩家角色中的至少一個(gè)角色從所述虛擬環(huán)境中感知到的信息。

7、另一方面，提供了一種虛擬環(huán)境中的實(shí)體確定方法，所述方法包括：

8、獲取實(shí)體集合，所述實(shí)體集合包括虛擬環(huán)境中的至少一個(gè)實(shí)體的實(shí)體信息；

9、獲取環(huán)境感知信息，所述環(huán)境感知信息主控虛擬角色、非玩家角色中的至少一個(gè)角色從所述虛擬環(huán)境中感知到的信息；

10、根據(jù)目標(biāo)實(shí)體的目標(biāo)實(shí)體信息和所述環(huán)境感知信息，從所述實(shí)體集合中確定出所述目標(biāo)實(shí)體。

11、另一方面，提供了一種虛擬環(huán)境中的實(shí)體確定裝置，所述裝置包括：

12、顯示模塊，用于顯示位于虛擬環(huán)境中的主控虛擬角色和非玩家角色中的至少之一；

13、接收模塊，用于接收自然語言命令，所述自然語言命令用于控制所述非玩家角色；

14、控制模塊，用于根據(jù)所述自然語言命令所指示的目標(biāo)實(shí)體，控制所述非玩家角色在所述虛擬環(huán)境中活動(dòng)；

15、其中，所述目標(biāo)實(shí)體是結(jié)合環(huán)境感知信息從所述虛擬環(huán)境中確定出的，所述環(huán)境感知信息包括所述主控虛擬角色、所述非玩家角色中的至少一個(gè)角色從所述虛擬環(huán)境中感知到的信息。

16、所述環(huán)境感知信息包括如下至少之一：

17、所述主控虛擬角色的視野范圍內(nèi)感知的視覺信息；

18、所述主控虛擬角色的聽覺范圍內(nèi)感知的聽覺信息；

19、所述主控虛擬角色擁有的感知技能或感知虛擬道具所感知到的信息；

20、所述非玩家控制角色的視野范圍內(nèi)感知的視覺信息；

21、所述非玩家控制角色的聽覺范圍內(nèi)感知的聽覺信息；

22、所述非玩家控制角色擁有的感知技能或感知虛擬道具所感知到的信息。

23、在一種可選的實(shí)施例中，所述虛擬環(huán)境包括與所述自然語言命令匹配的多個(gè)候選實(shí)體，所述目標(biāo)實(shí)體是基于所述主控虛擬角色或所述非玩家控制角色的環(huán)境感知信息從所述多個(gè)候選實(shí)體中篩選出的實(shí)體。

24、在一種可選的實(shí)施例中，所述裝置還包括：

25、第一查詢模塊，用于根據(jù)所述自然語言命令所指示的目標(biāo)實(shí)體信息以及所述環(huán)境感知信息，從所述虛擬環(huán)境的實(shí)體集合中查詢得到所述目標(biāo)實(shí)體；

26、所述控制模塊，用于根據(jù)所述自然語言命令的意圖，控制所述非玩家控制角色執(zhí)行與所述目標(biāo)實(shí)體關(guān)聯(lián)的活動(dòng)。

27、在一種可選的實(shí)施例中，所述第一查詢模塊，用于解析所述自然語言命令，得到所述目標(biāo)實(shí)體信息；所述目標(biāo)實(shí)體信息包括以下至少之一：實(shí)體類型、實(shí)體名稱、實(shí)體方位、實(shí)體特征；

28、所述第一查詢模塊，用于計(jì)算所述目標(biāo)實(shí)體信息與所述實(shí)體集合中每個(gè)實(shí)體信息的相似度；

29、所述第一查詢模塊，用于根據(jù)所述相似度和所述環(huán)境感知信息，從所述實(shí)體集合中確定所述目標(biāo)實(shí)體。

30、在一種可選的實(shí)施例中，所述相似度包括文本相似度；所述實(shí)體集合包括第一實(shí)體的實(shí)體信息；

31、所述第一查詢模塊，用于對所述目標(biāo)實(shí)體信息進(jìn)行分詞處理，得到至少一個(gè)目標(biāo)實(shí)體標(biāo)簽；

32、所述第一查詢模塊，用于將所述至少一個(gè)目標(biāo)實(shí)體標(biāo)簽轉(zhuǎn)換為至少一個(gè)目標(biāo)嵌入向量；

33、所述第一查詢模塊，用于獲取所述第一實(shí)體的實(shí)體信息，所述實(shí)體信息包括文本嵌入向量，所述文本嵌入向量是基于所述第一實(shí)體的文本標(biāo)簽轉(zhuǎn)換得到的嵌入向量；

34、所述第一查詢模塊，用于分別計(jì)算所述至少一個(gè)目標(biāo)嵌入向量與所述文本嵌入向量的文本父相似度，得到所述至少一個(gè)目標(biāo)嵌入向量分別對應(yīng)的至少一個(gè)文本父相似度；

35、所述第一查詢模塊，用于將所述至少一個(gè)文本父相似度之和，確定為所述目標(biāo)實(shí)體信息與所述第一實(shí)體的實(shí)體信息的文本相似度。

36、在一種可選的實(shí)施例中，所述第一實(shí)體的實(shí)體信息包括至少一個(gè)文本嵌入向量；所述至少一個(gè)目標(biāo)嵌入向量包括第一目標(biāo)嵌入向量；

37、所述第一查詢模塊，用于分別計(jì)算所述第一目標(biāo)嵌入向量與所述至少一個(gè)文本嵌入向量的文本子相似度，得到至少一個(gè)文本子相似度；

38、所述第一查詢模塊，用于將所述至少一個(gè)文本子相似度中的最高值，確定為所述第一目標(biāo)嵌入向量對應(yīng)的所述文本父相似度。

39、在一種可選的實(shí)施例中，所述相似度包括圖像相似度；所述實(shí)體集合包括第一實(shí)體的實(shí)體信息；

40、所述第一查詢模塊，用于對所述目標(biāo)實(shí)體信息進(jìn)行分詞處理，得到至少一個(gè)目標(biāo)實(shí)體標(biāo)簽；

41、所述第一查詢模塊，用于將所述至少一個(gè)目標(biāo)實(shí)體標(biāo)簽轉(zhuǎn)換為至少一個(gè)目標(biāo)嵌入向量；

42、所述第一查詢模塊，用于獲取所述第一實(shí)體的實(shí)體信息，所述實(shí)體信息包括圖像嵌入向量，所述圖像嵌入向量是基于所述第一實(shí)體的圖像提取得到的嵌入向量；

43、所述第一查詢模塊，用于分別計(jì)算所述至少一個(gè)目標(biāo)嵌入向量與所述文本嵌入向量的圖像父相似度，得到所述至少一個(gè)目標(biāo)嵌入向量分別對應(yīng)的至少一個(gè)圖像父相似度；

44、所述第一查詢模塊，用于將所述至少一個(gè)圖像父相似度之和，確定為所述目標(biāo)實(shí)體信息與所述第一實(shí)體的實(shí)體信息的圖像相似度。

45、在一種可選的實(shí)施例中，所述第一實(shí)體的實(shí)體信息包括至少一個(gè)圖像嵌入向量；所述至少一個(gè)目標(biāo)嵌入向量包括第一目標(biāo)嵌入向量；

46、所述第一查詢模塊，用于分別計(jì)算所述第一目標(biāo)嵌入向量與所述至少一個(gè)圖像嵌入向量的圖像子相似度，得到至少一個(gè)圖像子相似度；

47、所述第一查詢模塊，用于將所述至少一個(gè)圖像子相似度中的最高值，確定為所述第一目標(biāo)嵌入向量對應(yīng)的所述圖像父相似度。

48、在一種可選的實(shí)施例中，所述裝置還包括：

49、第一預(yù)處理模塊，用于獲取所述第一實(shí)體的至少一個(gè)視角圖像；

50、第一預(yù)處理模塊，用于獲取所述第一實(shí)體的至少一個(gè)文本標(biāo)簽；

51、第一預(yù)處理模塊，用于調(diào)用多模態(tài)模型，基于所述第一實(shí)體的所述至少一個(gè)視角圖像和所述至少一個(gè)文本標(biāo)簽提取所述第一實(shí)體的視覺特征，得到所述第一實(shí)體的所述圖像嵌入向量。

52、在一種可選的實(shí)施例中，所述實(shí)體集合包括第一實(shí)體，所述裝置還包括：

53、所述第一查詢模塊，用于在所述第一實(shí)體與所述目標(biāo)實(shí)體對應(yīng)有文本相似度和圖像相似度的情況下，將所述文本相似度和圖像相似度的平均值確定為所述第一實(shí)體與所述目標(biāo)實(shí)體的相似度。

54、在一種可選的實(shí)施例中，所述第一查詢模塊，用于根據(jù)所述目標(biāo)實(shí)體信息和所述環(huán)境感知信息確定查找范圍；

55、所述第一查詢模塊，用于根據(jù)所述相似度從所述查找范圍內(nèi)感知到的實(shí)體中篩選得到所述目標(biāo)實(shí)體。

56、在一種可選的實(shí)施例中，所述第一查詢模塊，用于將位于所述查找范圍中所述相似度最高的實(shí)體確定為所述目標(biāo)實(shí)體；

57、所述第一查詢模塊，用于在所述查找范圍中所述相似度最高的實(shí)體數(shù)量為至少兩個(gè)的情況下，將位于所述查找范圍中所述相似度最高，且與所述主控虛擬角色距離最近的實(shí)體確定為所述目標(biāo)實(shí)體。

58、另一方面，提供了一種虛擬環(huán)境中的實(shí)體確定裝置，所述裝置包括：

59、獲取模塊，用于獲取實(shí)體集合，所述實(shí)體集合包括虛擬環(huán)境中的至少一個(gè)實(shí)體的實(shí)體信息；

60、所述獲取模塊，用于獲取環(huán)境感知信息，所述環(huán)境感知信息主控虛擬角色、非玩家角色中的至少一個(gè)角色從所述虛擬環(huán)境中感知到的信息；

61、第二查詢模塊，用于根據(jù)目標(biāo)實(shí)體的目標(biāo)實(shí)體信息和所述環(huán)境感知信息，從所述實(shí)體集合中確定出所述目標(biāo)實(shí)體。

62、所述環(huán)境感知信息包括如下至少之一：

63、所述主控虛擬角色的視野范圍內(nèi)感知的視覺信息；

64、所述主控虛擬角色的聽覺范圍內(nèi)感知的聽覺信息；

65、所述主控虛擬角色擁有的感知技能或感知虛擬道具所感知到的信息；

66、所述非玩家控制角色的視野范圍內(nèi)感知的視覺信息；

67、所述非玩家控制角色的聽覺范圍內(nèi)感知的聽覺信息；

68、所述非玩家控制角色擁有的感知技能或感知虛擬道具所感知到的信息。

69、在一種可選的實(shí)施例中，所述虛擬環(huán)境包括與所述自然語言命令匹配的多個(gè)候選實(shí)體，所述目標(biāo)實(shí)體是基于所述主控虛擬角色或所述非玩家控制角色的環(huán)境感知信息從所述多個(gè)候選實(shí)體中篩選出的實(shí)體。

70、在一種可選的實(shí)施例中，所述第二查詢模塊，用于計(jì)算目標(biāo)實(shí)體的目標(biāo)實(shí)體信息與所述實(shí)體集合中每個(gè)實(shí)體信息的相似度；

71、所述第二查詢模塊，用于根據(jù)所述相似度和所述環(huán)境感知信息，從所述實(shí)體集合中確定出所述目標(biāo)實(shí)體。

72、在一種可選的實(shí)施例中，所述相似度包括文本相似度；所述實(shí)體集合包括第一實(shí)體的實(shí)體信息；

73、所述第二查詢模塊，用于對所述目標(biāo)實(shí)體信息進(jìn)行分詞處理，得到至少一個(gè)目標(biāo)實(shí)體標(biāo)簽；

74、所述第二查詢模塊，用于將所述至少一個(gè)目標(biāo)實(shí)體標(biāo)簽轉(zhuǎn)換為至少一個(gè)目標(biāo)嵌入向量；

75、所述第二查詢模塊，用于獲取所述第一實(shí)體的實(shí)體信息，所述實(shí)體信息包括文本嵌入向量，所述文本嵌入向量是基于所述第一實(shí)體的文本標(biāo)簽轉(zhuǎn)換得到的嵌入向量；

76、所述第二查詢模塊，用于分別計(jì)算所述至少一個(gè)目標(biāo)嵌入向量與所述文本嵌入向量的文本父相似度，得到所述至少一個(gè)目標(biāo)嵌入向量分別對應(yīng)的至少一個(gè)文本父相似度；

77、所述第二查詢模塊，用于將所述至少一個(gè)文本父相似度之和，確定為所述目標(biāo)實(shí)體信息與所述第一實(shí)體的實(shí)體信息的文本相似度。

78、在一種可選的實(shí)施例中，所述第一實(shí)體的實(shí)體信息包括至少一個(gè)文本嵌入向量；所述至少一個(gè)目標(biāo)嵌入向量包括第一目標(biāo)嵌入向量；

79、所述第二查詢模塊，用于分別計(jì)算所述第一目標(biāo)嵌入向量與所述至少一個(gè)文本嵌入向量的文本子相似度，得到至少一個(gè)文本子相似度；

80、所述第二查詢模塊，用于將所述至少一個(gè)文本子相似度中的最高值，確定為所述第一目標(biāo)嵌入向量對應(yīng)的所述文本父相似度。

81、在一種可選的實(shí)施例中，所述相似度包括圖像相似度；所述實(shí)體集合包括第一實(shí)體的實(shí)體信息；

82、所述第二查詢模塊，用于對所述目標(biāo)實(shí)體信息進(jìn)行分詞處理，得到至少一個(gè)目標(biāo)實(shí)體標(biāo)簽；

83、所述第二查詢模塊，用于將所述至少一個(gè)目標(biāo)實(shí)體標(biāo)簽轉(zhuǎn)換為至少一個(gè)目標(biāo)嵌入向量；

84、所述第二查詢模塊，用于獲取所述第一實(shí)體的實(shí)體信息，所述實(shí)體信息包括圖像嵌入向量，所述圖像嵌入向量是基于所述第一實(shí)體的圖像提取得到的嵌入向量；

85、所述第二查詢模塊，用于分別計(jì)算所述至少一個(gè)目標(biāo)嵌入向量與所述文本嵌入向量的圖像父相似度，得到所述至少一個(gè)目標(biāo)嵌入向量分別對應(yīng)的至少一個(gè)圖像父相似度；

86、所述第二查詢模塊，用于將所述至少一個(gè)圖像父相似度之和，確定為所述目標(biāo)實(shí)體信息與所述第一實(shí)體的實(shí)體信息的圖像相似度。

87、在一種可選的實(shí)施例中，所述第一實(shí)體的實(shí)體信息包括至少一個(gè)圖像嵌入向量；所述至少一個(gè)目標(biāo)嵌入向量包括第一目標(biāo)嵌入向量；

88、所述第二查詢模塊，用于分別計(jì)算所述第一目標(biāo)嵌入向量與所述至少一個(gè)圖像嵌入向量的圖像子相似度，得到至少一個(gè)圖像子相似度；

89、所述第二查詢模塊，用于將所述至少一個(gè)圖像子相似度中的最高值，確定為所述第一目標(biāo)嵌入向量對應(yīng)的所述圖像父相似度。

90、在一種可選的實(shí)施例中，所述裝置還包括：

91、第二預(yù)處理模塊，用于獲取所述第一實(shí)體的至少一個(gè)視角圖像；

92、所述第二預(yù)處理模塊，用于獲取所述第一實(shí)體的至少一個(gè)文本標(biāo)簽；

93、所述第二預(yù)處理模塊，用于調(diào)用多模態(tài)模型，基于所述第一實(shí)體的所述至少一個(gè)視角圖像和所述至少一個(gè)文本標(biāo)簽提取所述第一實(shí)體的視覺特征，得到所述第一實(shí)體的所述圖像嵌入向量。

94、在一種可選的實(shí)施例中，所述實(shí)體集合包括第一實(shí)體；

95、所述第二查詢模塊，用于在所述第一實(shí)體與所述目標(biāo)實(shí)體對應(yīng)有文本相似度和圖像相似度的情況下，將所述文本相似度和圖像相似度的平均值確定為所述第一實(shí)體與所述目標(biāo)實(shí)體的相似度。

96、在一種可選的實(shí)施例中，所述第二查詢模塊，用于根據(jù)所述目標(biāo)實(shí)體信息和所述環(huán)境感知信息確定查找范圍；

97、所述第二查詢模塊，用于根據(jù)所述相似度從所述查找范圍內(nèi)感知到的實(shí)體中篩選得到所述目標(biāo)實(shí)體。

98、在一種可選的實(shí)施例中，所述第二查詢模塊，用于將位于所述查找范圍中所述相似度最高的實(shí)體確定為所述目標(biāo)實(shí)體；

99、所述第二查詢模塊，用于在所述查找范圍中所述相似度最高的實(shí)體數(shù)量為至少兩個(gè)的情況下，將位于所述查找范圍中所述相似度最高，且與所述主控虛擬角色距離最近的實(shí)體確定為所述目標(biāo)實(shí)體。

100、另一方面，提供了一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括處理器和存儲器，所述存儲器中存儲有至少一條指令、至少一段程序、代碼集或指令集，所述至少一條指令、所述至少一段程序、所述代碼集或指令集由所述處理器加載并執(zhí)行以實(shí)現(xiàn)如上方面所述的虛擬環(huán)境中的實(shí)體確定方法。

101、另一方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)中存儲有至少一條指令、至少一段程序、代碼集或指令集，所述至少一條指令、所述至少一段程序、所述代碼集或指令集由處理器加載并執(zhí)行以實(shí)現(xiàn)如上方面所述的虛擬環(huán)境中的實(shí)體確定方法。

102、另一方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序，該計(jì)算機(jī)程序產(chǎn)品或計(jì)算機(jī)程序包括計(jì)算機(jī)指令，該計(jì)算機(jī)指令存儲在計(jì)算機(jī)可讀存儲介質(zhì)中。計(jì)算機(jī)設(shè)備的處理器從計(jì)算機(jī)可讀存儲介質(zhì)讀取該計(jì)算機(jī)指令，處理器執(zhí)行該計(jì)算機(jī)指令，使得該計(jì)算機(jī)設(shè)備執(zhí)行上述可選實(shí)現(xiàn)方式中提供的虛擬環(huán)境中的實(shí)體確定方法。

103、本技術(shù)實(shí)施例提供的技術(shù)方案帶來的有益效果至少包括：

104、基于主控虛擬角色和/或非玩家角色從虛擬環(huán)境中感知得到的信息，來識別自然語言命令中所指示的目標(biāo)實(shí)體。例如，自然語言命令是“移動(dòng)到卡車后方”，則根據(jù)主控虛擬角色在下達(dá)自然語言命令時(shí)的視野范圍，將視野范圍內(nèi)主控虛擬角色能夠看到的卡車，確定為自然語言命令中所指的“卡車”，進(jìn)而控制非玩家角色精準(zhǔn)移動(dòng)到該卡車的后方?；蛘撸匀徽Z言命令是“附近有小溪嗎”，則根據(jù)非玩家角色從虛擬環(huán)境中聽到的溪水音效，控制非玩家角色向溪水音效的來源方向探索，并基于非玩家角色的視覺畫面，識別非玩家角色是否發(fā)現(xiàn)小溪，基于探索結(jié)果生成自然語言命令的反饋。采用該方法，可以根據(jù)環(huán)境感知信息準(zhǔn)確地從虛擬環(huán)境中的諸多實(shí)體中，精準(zhǔn)確定自然語言命令中所指示的目標(biāo)實(shí)體，對于接收到的描述較為模糊的自然語言命令，可以結(jié)合命令下達(dá)時(shí)主控虛擬角色從虛擬環(huán)境中感知到的信息，推理得到自然語言命令所指示的目標(biāo)實(shí)體，控制非玩家虛擬角色執(zhí)行自然語言命令中所指示的與目標(biāo)實(shí)體相關(guān)的行為活動(dòng)，實(shí)現(xiàn)使用自然語言對非玩家角色的靈活控制。