本發(fā)明涉及一種用于同時(shí)定位和映射(slam)的方法。特別地，本發(fā)明涉及一種用于slam的低時(shí)延方法。

背景技術(shù)：

1、本領(lǐng)域描述了用于獲取環(huán)境和所述環(huán)境中的對(duì)象的3d信息的不同方法，用于例如創(chuàng)建所述環(huán)境的增強(qiáng)現(xiàn)實(shí)的目的。同時(shí)定位和映射(slam)允許構(gòu)建所述環(huán)境和其中的對(duì)象的地圖，并且在所述地圖內(nèi)定位傳感器或相機(jī)。

2、標(biāo)準(zhǔn)slam方法的問(wèn)題在于它在處理場(chǎng)景中對(duì)象的位置或朝向的變化時(shí)是緩慢的。例如，每次對(duì)象從一個(gè)點(diǎn)移動(dòng)到另一個(gè)點(diǎn)時(shí)，就需要掃描整個(gè)場(chǎng)景，因此需要掃描定義所述對(duì)象的所有點(diǎn)，以便找到所述對(duì)象的新地點(diǎn)和朝向。這意味著每次發(fā)生移動(dòng)時(shí)都需要掃描整個(gè)場(chǎng)景，即所述場(chǎng)景的每個(gè)點(diǎn)和每一個(gè)點(diǎn)和所述場(chǎng)景中的對(duì)象點(diǎn)。這是不利的，因?yàn)樗皇歉咝У奶幚聿⑶蚁拇罅侩娏?。這更是不利的，因?yàn)樗蔷徛奶幚?，從而?dǎo)致大量的時(shí)延。

3、另一個(gè)缺點(diǎn)在于，如果對(duì)象在場(chǎng)景中非?？焖俚匾苿?dòng)，那么標(biāo)準(zhǔn)slam方法無(wú)法迅速找到所述對(duì)象的新位置和朝向。替代地，在所述對(duì)象的實(shí)際移動(dòng)和該方法找到所述對(duì)象的新位置和朝向的時(shí)刻之間會(huì)有延遲。這在使用所述方法進(jìn)行增強(qiáng)現(xiàn)實(shí)時(shí)會(huì)導(dǎo)致用戶(hù)的困惑。此外，如果對(duì)象移動(dòng)得太快，那么這還可能導(dǎo)致暈動(dòng)癥，因?yàn)?)用戶(hù)從實(shí)際移動(dòng)中以延遲的方式感知所述對(duì)象，并且2)因?yàn)閷?duì)象看起來(lái)像在以不切實(shí)際的方式快速改變它們的位置。此外，除非對(duì)象移動(dòng)得非常緩慢，否則不可能在所述場(chǎng)景中以平滑的方式觀看對(duì)象移動(dòng)。

4、此外，對(duì)于在場(chǎng)景中非常快速移動(dòng)的對(duì)象，掃描場(chǎng)景中定義所述對(duì)象的所有點(diǎn)可能導(dǎo)致不完整的掃描，因?yàn)閷?duì)象可能在掃描完成之前移動(dòng)。這可能導(dǎo)致用戶(hù)僅看到對(duì)象的一部分，甚至更糟：看到一個(gè)對(duì)象處于所述場(chǎng)景的兩個(gè)不同位置，因?yàn)閷?duì)象在場(chǎng)景掃描完成之前已經(jīng)移動(dòng)，這再一次導(dǎo)致用戶(hù)觀看到扭曲、模糊和令人困惑的表示。

5、因此，需要快速且高效的改進(jìn)的slam方法，以及使用所述方法的系統(tǒng)。

6、本發(fā)明旨在解決上面提到的至少一些問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的實(shí)施例的目的是提供低時(shí)延、快速、準(zhǔn)確和高效的感測(cè)，例如，光學(xué)感測(cè)，優(yōu)選用于同時(shí)定位和映射(slam)。上述目的通過(guò)根據(jù)本發(fā)明的方法、傳感器、設(shè)備和系統(tǒng)來(lái)實(shí)現(xiàn)。

2、在第一方面，本發(fā)明涉及一種用于感測(cè)(例如，光學(xué)感測(cè))的方法，優(yōu)選用于同時(shí)定位和映射(slam)，該方法包括以下步驟：

3、a)識(shí)別在第二時(shí)間窗口內(nèi)在場(chǎng)景中的至少一個(gè)對(duì)象的點(diǎn)相對(duì)于第一參考點(diǎn)(諸如優(yōu)選地第一視點(diǎn))的第二地點(diǎn)集合；

4、以及

5、b)將所述第二地點(diǎn)集合轉(zhuǎn)換成第二3d位置集合，

6、其特征在于，該方法還包括以下步驟：

7、c)確定到所述第二3d位置集合的變換，使得變換后的第二3d位置集合與第一3d位置集合最佳擬合，其中所述第一3d位置集合比所述第二3d位置集合(6)更密集，并且其中所述第一3d位置集合是在所述第二時(shí)間窗口之前的第一時(shí)間窗口內(nèi)獲得的，

8、并且其中所述第二時(shí)間窗口比所述第一時(shí)間窗口短，優(yōu)選地至少短兩倍。

9、步驟(c)優(yōu)選地(但是不一定)通過(guò)計(jì)算第三3d位置集合、通過(guò)確定所述第二3d位置集合的變換來(lái)完成，使得所述第三3d位置集合與所述第一3d位置集合最佳擬合。

10、本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，獲得了用于slam的低時(shí)延且高效的方法。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，獲得了對(duì)象的平滑移動(dòng)。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，用戶(hù)以最小的延遲或沒(méi)有延遲感知到場(chǎng)景中對(duì)象的移動(dòng)。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，防止了暈動(dòng)癥。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，用戶(hù)感知到對(duì)象的真實(shí)移動(dòng)。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，防止用戶(hù)對(duì)場(chǎng)景中對(duì)象的模糊或扭曲或不完整觀看。

11、本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，僅需要對(duì)定義對(duì)象的點(diǎn)的當(dāng)前地點(diǎn)進(jìn)行部分識(shí)別。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，僅需要對(duì)對(duì)象進(jìn)行部分識(shí)別，從而允許低時(shí)延且高效地映射和定位所述對(duì)象。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，雖然僅需要對(duì)對(duì)象和定義對(duì)象的點(diǎn)的地點(diǎn)進(jìn)行部分識(shí)別，但是仍然獲得了準(zhǔn)確的識(shí)別。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，消除了對(duì)識(shí)別定義對(duì)象的所有點(diǎn)的需要。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，并非對(duì)象的所有點(diǎn)都需要在每個(gè)實(shí)例中重復(fù)識(shí)別。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，所述第二3d位置集合中的點(diǎn)比所述第一3d位置集合中的點(diǎn)少得多，優(yōu)選地少至少兩倍，更優(yōu)選地少至少五倍，甚至更優(yōu)選地少至少十倍，并且仍然更優(yōu)選地少至少二十倍，再次更優(yōu)選地少至少五十倍，并且最優(yōu)選地少至少一百倍，因此找到與所述第一3d點(diǎn)集合最佳擬合的變換后的第二3d位置集合或第三3d位置集合是快速、電力高效且低時(shí)延的步驟。該方法進(jìn)一步有利于降低功耗，因?yàn)樵诘诙r(shí)間窗口中，不需要識(shí)別定義對(duì)象的所有點(diǎn)，即，所述第二3d位置集合或第三3d位置集合足以與所述第一3d位置集合擬合。

12、本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，基于定義所述對(duì)象的點(diǎn)的先前地點(diǎn)來(lái)獲得定義對(duì)象的點(diǎn)的未知當(dāng)前地點(diǎn)。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，可以識(shí)別在非常短的時(shí)間窗口(例如，短于100微秒)內(nèi)發(fā)生的對(duì)象地點(diǎn)(即，定義所述對(duì)象的點(diǎn)的地點(diǎn))的變化。

13、本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，獲得了所述場(chǎng)景中對(duì)象的連續(xù)定位。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，獲得了所述場(chǎng)景中對(duì)象的準(zhǔn)連續(xù)映射，“準(zhǔn)”意味著地圖的更新和定位明顯比對(duì)象和/或觀察者的運(yùn)動(dòng)快。

14、本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，計(jì)算了對(duì)象和定義所述對(duì)象的點(diǎn)的旋轉(zhuǎn)。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，基于所述對(duì)象的朝向變化來(lái)調(diào)整定義所述對(duì)象的點(diǎn)。

15、本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，獲得了對(duì)象在所述第一時(shí)間窗口和第二時(shí)間窗口之間的平移和旋轉(zhuǎn)。

16、本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，使用稀疏數(shù)據(jù)集和密集數(shù)據(jù)集，可以低時(shí)延地映射用戶(hù)的環(huán)境，并在數(shù)字環(huán)境中識(shí)別所述用戶(hù)的姿勢(shì)或頭部姿勢(shì)。這種低時(shí)延在頭戴式顯示器應(yīng)用中特別有利。

17、本發(fā)明的第一方面的優(yōu)選實(shí)施例包括以下特征中的多于一個(gè)特征的合適組合。

18、該方法優(yōu)選地還包括以下步驟：

19、-識(shí)別在所述第一時(shí)間窗口內(nèi)在所述場(chǎng)景中的所述至少一個(gè)對(duì)象的點(diǎn)相對(duì)于所述第一參考點(diǎn)的第一地點(diǎn)集合，以及

20、-將所述第一地點(diǎn)集合轉(zhuǎn)換成所述第一3d位置集合。

21、該方法優(yōu)選地還包括以下步驟：

22、-用所述第一3d位置集合補(bǔ)充所述第二3d位置集合。

23、本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，所述第一3d位置集合對(duì)于補(bǔ)充所述第二3d位置集合是可靠的。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，所述第二3d位置集合可以基于所述第一3d位置集合來(lái)構(gòu)建。

24、該方法優(yōu)選地還包括以下步驟：

25、-沿著照明蹤跡優(yōu)選以利薩如(lissajous)方式照亮所述場(chǎng)景上的點(diǎn)狀物(dot)，

26、-監(jiān)視所述點(diǎn)狀物，

27、-識(shí)別相對(duì)于所述第一參考點(diǎn)沿著所述蹤跡的所述第一地點(diǎn)集合和所述第二地點(diǎn)集合，

28、-識(shí)別在所述第一時(shí)間窗口內(nèi)，相對(duì)于第二參考點(diǎn)，沿著所述蹤跡的第三地點(diǎn)集合，所述第二參考點(diǎn)優(yōu)選為第二視點(diǎn)，

29、-識(shí)別在所述第二時(shí)間窗口內(nèi)，相對(duì)于所述第二參考點(diǎn)，沿著所述蹤跡的第四地點(diǎn)集合，

30、-對(duì)所述第一地點(diǎn)集合和第三地點(diǎn)集合進(jìn)行三角測(cè)量以獲得所述第一3d位置集合，以及

31、-對(duì)所述第二地點(diǎn)集合和第四地點(diǎn)集合進(jìn)行三角測(cè)量以獲得所述第二3d位置集合。

32、本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，沿著所述蹤跡的所述第二地點(diǎn)集合(或所述第四地點(diǎn)集合)的點(diǎn)比沿著所述蹤跡的第一地點(diǎn)集合(或所述第三地點(diǎn)集合)的點(diǎn)少得多。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，僅識(shí)別沿著所述蹤跡的點(diǎn)，從而允許以準(zhǔn)確的方式低時(shí)延、快速且高效地映射和定位所述對(duì)象。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，所述蹤跡在所述第二時(shí)間窗口期間覆蓋所述場(chǎng)景的例如最多20％，優(yōu)選地最多10％，更優(yōu)選地最多5％，甚至更優(yōu)選地最多2％，最優(yōu)選地最多1％。

33、本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，消除了照亮整個(gè)場(chǎng)景并識(shí)別所述場(chǎng)景中對(duì)象的所有點(diǎn)的需要。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，通過(guò)僅部分地監(jiān)視所述場(chǎng)景，可以獲得所有所述場(chǎng)景中關(guān)于對(duì)象的信息。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，所述場(chǎng)景的不同區(qū)域受到同等或幾乎同等的監(jiān)視。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，所述場(chǎng)景的不同區(qū)域具有同等或幾乎同等的機(jī)會(huì)被所述點(diǎn)狀物掃描，尤其是以所述利薩如方式掃描。

34、優(yōu)點(diǎn)在于，僅使用一種方法(在這種情況下，僅三角測(cè)量)來(lái)獲得第一3d位置集合和第二3d位置集合，因?yàn)榕c使用兩種不同方法獲得密集和稀疏3d數(shù)據(jù)集的其他方法相比，這允許獲得更簡(jiǎn)單、快速且高效的方法。

35、該方法優(yōu)選地還包括以下步驟：

36、-通過(guò)所述第一3d位置集合的連續(xù)點(diǎn)來(lái)定義第一線段集合，

37、-通過(guò)所述第二3d位置集合的連續(xù)點(diǎn)來(lái)定義第二線段集合，以及

38、-確定到所述第二線段集合的變換，使得所述第二線段集合與所述第一線段集合最佳擬合。

39、本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，獲得了所述第二3d位置集合與所述第一3d位置集合的準(zhǔn)確擬合。

40、該方法優(yōu)選地還包括以下步驟：

41、-將所述第二時(shí)間窗口劃分為子窗口，其中每個(gè)所述子窗口包括3d位置子集，以及

42、-對(duì)于每個(gè)所述3d位置子集，計(jì)算對(duì)應(yīng)的變換后的3d位置集合，其中每個(gè)所述變換后的3d位置集合是通過(guò)在所述子窗口中變換所述第二3d位置集合而獲得的，使得每個(gè)變換后的3d位置集合與第一3d位置集合最佳擬合。

43、本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，仍然可以識(shí)別在非常短的時(shí)間窗口內(nèi)發(fā)生的定義對(duì)象的點(diǎn)的地點(diǎn)變化或所述對(duì)象的旋轉(zhuǎn)。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，仍然可以監(jiān)視在所述場(chǎng)景中非常快速移動(dòng)或旋轉(zhuǎn)的對(duì)象。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，該方法允許取決于需要以及所述對(duì)象在所述場(chǎng)景中的移動(dòng)或旋轉(zhuǎn)靈活地考慮整個(gè)所述第二時(shí)間窗口，或者考慮一個(gè)或多個(gè)子窗口。

44、該方法步驟優(yōu)選地還包括以下步驟：

45、-基于所述第二3d位置集合和所述第一3d位置集合，推斷即將到來(lái)的時(shí)間實(shí)例的預(yù)測(cè)的3d位置集合，其中所述推斷包括識(shí)別所述對(duì)象在所述第一時(shí)間窗口和所述第二時(shí)間窗口之間的軌跡，

46、-識(shí)別真實(shí)的3d位置集合，以及

47、-通過(guò)至少部分地與所述真實(shí)的集合進(jìn)行比較來(lái)驗(yàn)證所述預(yù)測(cè)的集合。

48、本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，預(yù)測(cè)了即將到來(lái)的檢測(cè)的對(duì)象的3d位置集合。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，在實(shí)際發(fā)生之前預(yù)測(cè)場(chǎng)景中對(duì)象的移動(dòng)。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，獲得了快速且低時(shí)延的映射，同時(shí)仍獲得了高準(zhǔn)確度的映射。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，過(guò)濾掉不準(zhǔn)確的點(diǎn)的識(shí)別(例如，假肯定)。

49、該方法優(yōu)選地還包括將所述第一時(shí)間窗口和第二時(shí)間窗口及其中的點(diǎn)進(jìn)行組合的步驟。本發(fā)明的實(shí)施例的優(yōu)點(diǎn)在于，獲得了包括在較長(zhǎng)時(shí)間窗口內(nèi)定義所述對(duì)象的許多點(diǎn)的更密集的數(shù)據(jù)。

50、在第二方面，本發(fā)明涉及用于同時(shí)定位和映射(slam)的光學(xué)傳感器，包括：

51、-第一多個(gè)像素傳感器，每個(gè)像素傳感器包括光電檢測(cè)器，以及

52、-處理單元，

53、其中所述第一多個(gè)像素傳感器的所述光電檢測(cè)器適于輸出在第二時(shí)間窗口內(nèi)在場(chǎng)景中的至少一個(gè)對(duì)象的點(diǎn)相對(duì)于所述第一多個(gè)像素傳感器的第二地點(diǎn)集合，

54、其中所述單元適于將所述第二地點(diǎn)集合轉(zhuǎn)換成第二3d位置集合，

55、其特征在于，所述單元包括處理器，該處理器在使用中確定到所述第二3d位置集合的變換，使得所述第二3d位置集合與第一3d位置集合最佳擬合，

56、其中所述第一3d位置集合比所述第二3d位置集合更密集，

57、并且其中所述第一3d位置集合在所述第二時(shí)間窗口之前的第一時(shí)間窗口內(nèi)，

58、并且其中所述第二時(shí)間窗口比所述第一時(shí)間窗口短，優(yōu)選地至少短兩倍，并且優(yōu)選地，其中所述第一3d位置集合是從存儲(chǔ)地點(diǎn)(諸如優(yōu)選本地或基于云的存儲(chǔ)地點(diǎn))檢索的。

59、本發(fā)明的第二方面的優(yōu)選實(shí)施例包括：

60、-所述第一多個(gè)像素傳感器的所述光電檢測(cè)器還適于輸出在所述第一時(shí)間窗口內(nèi)在所述場(chǎng)景中的所述至少一個(gè)對(duì)象的點(diǎn)的第一地點(diǎn)集合，其中所述單元還適于將所述第一地點(diǎn)集合轉(zhuǎn)換成所述第一3d位置集合，以及

61、-傳感器還包括能夠在所述第一多個(gè)像素傳感器上產(chǎn)生所述場(chǎng)景的圖像的主光學(xué)器件。

62、在第三方面，本發(fā)明涉及一種用于同時(shí)定位和映射(slam)的光學(xué)感測(cè)設(shè)備，包括根據(jù)第二方面的所述光學(xué)傳感器，其中所述設(shè)備還包括至少一個(gè)光源，其中所述光源適于沿著照明蹤跡優(yōu)選以利薩如方式照亮所述場(chǎng)景上的至少一個(gè)點(diǎn)狀物，

63、其中所述設(shè)備還包括第二多個(gè)像素傳感器，每個(gè)像素傳感器包括光電檢測(cè)器，

64、其中第一多個(gè)像素傳感器的所述光電檢測(cè)器適于監(jiān)視所述點(diǎn)狀物并輸出沿著所述蹤跡的所述第一地點(diǎn)集合和第二地點(diǎn)集合，

65、并且其中第二多個(gè)像素傳感器的所述光電檢測(cè)器適于監(jiān)視所述點(diǎn)狀物并相對(duì)于所述第二多個(gè)像素傳感器輸出所述對(duì)象的點(diǎn)在所述第一時(shí)間窗口內(nèi)沿著所述蹤跡的第三地點(diǎn)集合以及所述對(duì)象的點(diǎn)在所述第二時(shí)間窗口內(nèi)沿著所述蹤跡的第四地點(diǎn)集合，

66、其中所述單元能夠?qū)λ龅谝坏攸c(diǎn)集合和第三地點(diǎn)集合進(jìn)行三角測(cè)量以獲得所述第一3d位置集合，并且其中所述單元能夠?qū)λ龅诙攸c(diǎn)集合和第四地點(diǎn)集合進(jìn)行三角測(cè)量以獲得所述第二3d位置集合。

67、本發(fā)明的第三方面的優(yōu)選實(shí)施例包括以下特征中的多于一個(gè)特征的合適組合：

68、-所述設(shè)備還包括至少一個(gè)存儲(chǔ)器元件，其中所述元件適于至少存儲(chǔ)所述第一3d位置集合和/或所述第二3d位置集合，

69、-所述單元能夠基于所述第二3d位置集合和所述第一3d位置集合推斷即將到來(lái)的實(shí)例的預(yù)測(cè)的3d位置集合，其中所述單元能夠識(shí)別所述對(duì)象在所述第一時(shí)間窗口和第二時(shí)間窗口之間的軌跡，其中所述單元還能夠通過(guò)與真實(shí)的3d位置集合進(jìn)行比較來(lái)驗(yàn)證所述預(yù)測(cè)的集合。

70、在第四方面，本發(fā)明涉及用于同時(shí)定位和映射(slam)的光學(xué)感測(cè)系統(tǒng)，包括根據(jù)第三方面的所述光學(xué)感測(cè)設(shè)備，其中所述系統(tǒng)還包括能夠在所述第二多個(gè)像素傳感器上產(chǎn)生所述場(chǎng)景的圖像的輔助光學(xué)器件。

71、本發(fā)明的上述和其他特性、特征和優(yōu)點(diǎn)將從以下結(jié)合附圖的具體實(shí)施方式中變得顯而易見(jiàn)，附圖以示例的方式說(shuō)明了本發(fā)明的原理。該描述僅出于示例的目的而給出，并不限制本發(fā)明的范圍。