背景技術(shù)：

1、存在可能需要生成或重建符合真實(shí)世界的規(guī)則和約束的逼真的數(shù)字和/或虛擬環(huán)境的各種操作，諸如可涉及自主或半自主導(dǎo)航，以及機(jī)器人模擬。例如，地圖(諸如高清(hd)地圖、標(biāo)清(sd)地圖、導(dǎo)航地圖等)被廣泛地依賴以用于半自主和自主操作。自主或半自主車輛和機(jī)器可能依賴這些地圖以及實(shí)時(shí)傳感器數(shù)據(jù)以進(jìn)行導(dǎo)航、定位、路徑或路線規(guī)劃和/或其他操作。例如，對(duì)于諸如負(fù)責(zé)自主車輛操作的那些系統(tǒng)之類的系統(tǒng)，感知模塊可以與地圖(mapping)模塊一起工作，以允許這樣的地圖與感知模型能夠?qū)崟r(shí)地從傳感器數(shù)據(jù)推理出的內(nèi)容對(duì)齊。這種對(duì)齊首先需要通過諸如全球定位系統(tǒng)(gps)之類的機(jī)制來獲得精確的自我車輛位置，以確定相關(guān)的局部地圖數(shù)據(jù)，然后將局部地圖數(shù)據(jù)與感知數(shù)據(jù)相關(guān)聯(lián)。這種方法通常對(duì)位置數(shù)據(jù)的準(zhǔn)確性和可用性非常敏感，并對(duì)地圖質(zhì)量和新鮮度提出了嚴(yán)格的要求。感知模塊和地圖模塊的分離還阻止了整體解決方案被用于解決感知結(jié)果與地圖數(shù)據(jù)之間的不一致。此外，當(dāng)沒有可用的地圖時(shí)，感知模塊必須負(fù)責(zé)實(shí)時(shí)地、高準(zhǔn)確度地檢測(cè)自我汽車周圍的所有駕駛相關(guān)對(duì)象，即使許多駕駛相關(guān)對(duì)象(諸如車道、標(biāo)志或路緣)是靜態(tài)的并且可以離線繪制并按需檢索。這對(duì)感知模塊在計(jì)算資源和性能兩方面(包括諸如準(zhǔn)確性和延時(shí)之類的方面)提出了更高的要求。

技術(shù)實(shí)現(xiàn)思路

技術(shù)特征：

1.一種方法，包括：

2.如權(quán)利要求1所述的方法，進(jìn)一步包括：

3.如權(quán)利要求2所述的方法，其中所述觀測(cè)結(jié)果集合和所述局部地圖數(shù)據(jù)是與所述機(jī)器在所述物理環(huán)境中的當(dāng)前位置有關(guān)來確定的，并且其中所述一個(gè)或更多個(gè)操作對(duì)應(yīng)于規(guī)劃、控制或?qū)Ш街械闹辽僖徽摺?/p>

4.如權(quán)利要求1所述的方法，進(jìn)一步包括：

5.如權(quán)利要求4所述的方法，進(jìn)一步包括：

6.如權(quán)利要求1所述的方法，其中所述經(jīng)訓(xùn)練的語(yǔ)言模型將所述觀測(cè)結(jié)果集合的一部分與所述局部地圖數(shù)據(jù)進(jìn)行融合以生成所述環(huán)境的所述一部分的單個(gè)一致表示，并且其中所述標(biāo)記化描述是部分地基于所述單個(gè)一致表示而生成的。

7.如權(quán)利要求1所述的方法，其中所述一個(gè)或更多個(gè)操作是特定于領(lǐng)域的，并且其中所述標(biāo)記化描述是用對(duì)應(yīng)于所述領(lǐng)域的領(lǐng)域特定語(yǔ)言生成的。

8.如權(quán)利要求1所述的方法，其中所述標(biāo)記化描述包括用于所述物理環(huán)境中的靜態(tài)對(duì)象和動(dòng)態(tài)對(duì)象的標(biāo)記。

9.如權(quán)利要求1所述的方法，其中所述語(yǔ)言模型使用所述環(huán)境的所述一部分的不完整的局部地圖數(shù)據(jù)或不完整的觀測(cè)結(jié)果集合生成所述標(biāo)記化描述。

10.如權(quán)利要求1所述的方法，其中所述標(biāo)記化描述是用道路拓?fù)湔Z(yǔ)言rtl或其他領(lǐng)域特定語(yǔ)言dsl編寫的。

11.如權(quán)利要求1所述的方法，其中所述標(biāo)記化描述是基于所述觀測(cè)結(jié)果集合中的特征的語(yǔ)義、拓?fù)?、幾何結(jié)構(gòu)、運(yùn)動(dòng)學(xué)或關(guān)系信息中的至少一者確定的。

12.一種處理器，包括：

13.如權(quán)利要求12所述的處理器，其中所述經(jīng)訓(xùn)練的語(yǔ)言模型用于將所述觀測(cè)結(jié)果集合的一部分與所述局部地圖數(shù)據(jù)進(jìn)行融合以生成所述環(huán)境的所述一部分的單個(gè)一致表示，并且其中所述標(biāo)記化描述是部分地基于所述單個(gè)一致表示而生成的。

14.如權(quán)利要求12所述的處理器，其中所述標(biāo)記化描述將被用于執(zhí)行特定于領(lǐng)域的操作，并且其中所述標(biāo)記化描述是用對(duì)應(yīng)于所述領(lǐng)域的領(lǐng)域特定語(yǔ)言生成的。

15.如權(quán)利要求12所述的處理器，其中所述經(jīng)訓(xùn)練的語(yǔ)言模型用于使用所述環(huán)境的所述一部分的不完整的局部地圖數(shù)據(jù)或不完整的觀測(cè)結(jié)果集合生成所述標(biāo)記化描述。

16.如權(quán)利要求12所述的處理器，其中所述處理器被包括在以下中的至少一者中：

17.一種系統(tǒng)，包括：

18.如權(quán)利要求17所述的系統(tǒng)，其中所述經(jīng)訓(xùn)練的語(yǔ)言模型將所述觀測(cè)結(jié)果集合的至少一部分與所述局部地圖數(shù)據(jù)進(jìn)行融合以生成所述環(huán)境的所述一部分的單個(gè)一致表示，并且其中所述標(biāo)記化描述是至少部分地基于所述單個(gè)一致表示而生成的。

19.如權(quán)利要求17所述的系統(tǒng)，其中所述標(biāo)記化描述包括標(biāo)記序列，所述標(biāo)記序列指示在所述物理位置中識(shí)別的一個(gè)或更多個(gè)靜態(tài)對(duì)象或動(dòng)態(tài)對(duì)象的空間信息和語(yǔ)義信息。

20.如權(quán)利要求17所述的系統(tǒng)，其中所述系統(tǒng)包括以下中的至少一者：

技術(shù)總結(jié)
本發(fā)明公開了在環(huán)境重建系統(tǒng)和應(yīng)用中使用大語(yǔ)言模型增強(qiáng)感知數(shù)據(jù)，具體公開了使用語(yǔ)言模型生成物理環(huán)境的標(biāo)記化描述的方法。在至少一個(gè)實(shí)施例中，可以獲得環(huán)境的傳感器和/或觀測(cè)數(shù)據(jù)，并用于生成感知數(shù)據(jù)集合?？梢苑治龈兄獢?shù)據(jù)以及環(huán)境內(nèi)的近似位置數(shù)據(jù)，以識(shí)別對(duì)齊的地圖數(shù)據(jù)集合。對(duì)齊的地圖數(shù)據(jù)和感知數(shù)據(jù)可以作為輸入被提供給經(jīng)訓(xùn)練的語(yǔ)言模型，語(yǔ)言模型可以被訓(xùn)練為關(guān)聯(lián)和/或融合信息以生成環(huán)境的單個(gè)一致表示。語(yǔ)言模型可以輸出環(huán)境的標(biāo)記化描述，該標(biāo)記化描述可以是用特定領(lǐng)域的語(yǔ)言的，即環(huán)境的緊湊但魯棒的文本描述。

技術(shù)研發(fā)人員：吳雙,D·拉普萊斯,G·叢,M·惠勒
受保護(hù)的技術(shù)使用者：輝達(dá)公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19