本公開涉及擴(kuò)展現(xiàn)實(shí)設(shè)備，具體涉及一種標(biāo)定方法、標(biāo)定系統(tǒng)、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、隨著科學(xué)技術(shù)的發(fā)展，對(duì)虛擬現(xiàn)實(shí)設(shè)備、增強(qiáng)現(xiàn)實(shí)設(shè)備、混合現(xiàn)實(shí)設(shè)備等擴(kuò)展現(xiàn)實(shí)設(shè)備的性能提出了更高的要求。

2、以頭戴式顯示器（head-mounted?display，hmd）為例，擴(kuò)展現(xiàn)實(shí)設(shè)備需要實(shí)時(shí)響應(yīng)用戶的頭部運(yùn)動(dòng)，盡管用戶的頭部運(yùn)動(dòng)可以通過(guò)多種傳感器進(jìn)行測(cè)量，但是受傳輸和計(jì)算等時(shí)間的限制，hmd并不能立即把相應(yīng)畫面顯示給用戶，這會(huì)產(chǎn)生畫面延時(shí)。該延時(shí)會(huì)造成視覺(jué)運(yùn)動(dòng)感知與前庭運(yùn)動(dòng)感知的差異，不僅會(huì)降低擴(kuò)展現(xiàn)實(shí)設(shè)備的臨場(chǎng)感，還會(huì)加重大腦負(fù)擔(dān)并引起眩暈與惡心。mtp（motion-to-photon）延時(shí)可包括從用戶運(yùn)動(dòng)開始到相應(yīng)畫面顯示到屏幕上所花的時(shí)間，其表征了用戶在諸如hmd等擴(kuò)展現(xiàn)實(shí)設(shè)備中看到的圖像與用戶頭部運(yùn)動(dòng)之間的延遲時(shí)間，可量化表示視覺(jué)觀測(cè)與用戶頭部運(yùn)動(dòng)的匹配程度。因而，對(duì)于用戶而言，mtp延時(shí)越小，用戶的沉浸感越好；mtp延時(shí)越大，用戶的眩暈感越強(qiáng)。

3、考慮到人體頭部運(yùn)動(dòng)多為連續(xù)的三維（三軸）復(fù)合運(yùn)動(dòng)，因而對(duì)于支持運(yùn)動(dòng)預(yù)測(cè)算法的擴(kuò)展顯示設(shè)備來(lái)說(shuō)，分析連續(xù)的三維復(fù)合運(yùn)動(dòng)中的延遲變化是評(píng)價(jià)其運(yùn)動(dòng)預(yù)測(cè)算法的關(guān)鍵指標(biāo)，而為了比較真實(shí)世界和虛擬世界的運(yùn)動(dòng)姿態(tài)變化，需要將這兩種運(yùn)動(dòng)姿態(tài)變化統(tǒng)一在相同的坐標(biāo)系下。

4、真實(shí)世界的運(yùn)動(dòng)變化以運(yùn)動(dòng)組件為參考坐標(biāo)系，虛擬世界的運(yùn)動(dòng)變化以相機(jī)組件為參考坐標(biāo)系，因此需要對(duì)相機(jī)組件和運(yùn)動(dòng)組件進(jìn)行坐標(biāo)系轉(zhuǎn)換的標(biāo)定，也就是手眼標(biāo)定。

5、因而，如何將運(yùn)動(dòng)組件和視覺(jué)組件的運(yùn)動(dòng)信息統(tǒng)一在相同的坐標(biāo)系下，為在連續(xù)的三維復(fù)合運(yùn)動(dòng)中測(cè)量擴(kuò)展現(xiàn)實(shí)設(shè)備的延遲提供坐標(biāo)系基準(zhǔn)，成為擴(kuò)展現(xiàn)實(shí)設(shè)備技術(shù)領(lǐng)域的研究熱點(diǎn)之一。

技術(shù)實(shí)現(xiàn)思路

1、本公開實(shí)施例提出了一種標(biāo)定方法、標(biāo)定系統(tǒng)、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品，為在連續(xù)的三維復(fù)合運(yùn)動(dòng)中測(cè)量擴(kuò)展現(xiàn)實(shí)設(shè)備的延遲提供坐標(biāo)系基準(zhǔn)。

2、第一方面，本公開實(shí)施方式提出了一種標(biāo)定系統(tǒng)，該系統(tǒng)包括：運(yùn)動(dòng)組件，與擴(kuò)展現(xiàn)實(shí)設(shè)備固定連接，并帶動(dòng)擴(kuò)展現(xiàn)實(shí)設(shè)備同步運(yùn)動(dòng)；相機(jī)組件，與擴(kuò)展現(xiàn)實(shí)設(shè)備固定連接，并在同步運(yùn)動(dòng)的過(guò)程中，采集經(jīng)由擴(kuò)展現(xiàn)實(shí)設(shè)備顯示的標(biāo)板的多個(gè)圖像；以及處理組件，基于多個(gè)圖像以及運(yùn)動(dòng)組件的運(yùn)動(dòng)位姿序列，標(biāo)定相機(jī)組件的外參。

3、在本公開的一些實(shí)施方式中，處理組件包括：第一轉(zhuǎn)換單元，基于多個(gè)圖像，提取標(biāo)板的特征點(diǎn)的像素坐標(biāo)；第二轉(zhuǎn)換單元，根據(jù)預(yù)設(shè)的特征點(diǎn)之間的空間幾何約束關(guān)系，將像素坐標(biāo)轉(zhuǎn)換為視覺(jué)位姿序列；以及標(biāo)定單元，基于視覺(jué)位姿序列和運(yùn)動(dòng)位姿序列，標(biāo)定相機(jī)組件的外參。

4、在本公開的一些實(shí)施方式中，標(biāo)定單元包括：線性變換子單元，通過(guò)直接線性變換方法，基于視覺(jué)位姿序列和運(yùn)動(dòng)位姿序列，獲取相機(jī)組件的外參的初始值；以及非線性變換子單元，通過(guò)非線性變換方法，基于最小化重投影誤差對(duì)相機(jī)組件的外參的初始值進(jìn)行優(yōu)化，獲取相機(jī)組件的外參。

5、在本公開的一些實(shí)施方式中，視覺(jué)位姿序列包括依照時(shí)間順序排布的多個(gè)第一時(shí)間-位姿信息，第一時(shí)間-位姿信息包括第一時(shí)間信息以及與第一時(shí)間信息對(duì)應(yīng)的第一姿態(tài)角，其中第一姿態(tài)角包括第一翻滾角、第一偏航角和第一俯仰角；以及運(yùn)動(dòng)位姿序列包括依照時(shí)間順序排布的多個(gè)第二時(shí)間-位姿信息，第二時(shí)間-位姿信息包括第二時(shí)間信息以及與第二時(shí)間信息對(duì)應(yīng)的第二姿態(tài)角，其中第二姿態(tài)角包括第二翻滾角、第二偏航角和第二俯仰角。

6、在本公開的一些實(shí)施方式中，標(biāo)定系統(tǒng)還包括：時(shí)間組件，包括時(shí)鐘源，其中時(shí)鐘源用于在同步運(yùn)動(dòng)之前以及同步運(yùn)動(dòng)的過(guò)程中，對(duì)運(yùn)動(dòng)組件和相機(jī)組件進(jìn)行時(shí)間同步。

7、在本公開的一些實(shí)施方式中，相機(jī)組件在同步運(yùn)動(dòng)的過(guò)程中，在擴(kuò)展現(xiàn)實(shí)設(shè)備經(jīng)過(guò)路點(diǎn)的時(shí)刻，采集經(jīng)由擴(kuò)展現(xiàn)實(shí)設(shè)備顯示的標(biāo)板的圖像。

8、在本公開的一些實(shí)施方式中，相機(jī)組件在同步運(yùn)動(dòng)的過(guò)程中，連續(xù)采集經(jīng)由擴(kuò)展現(xiàn)實(shí)設(shè)備顯示的標(biāo)板的圖像。

9、在本公開的一些實(shí)施方式中，處理組件還包括：時(shí)間修正單元，對(duì)視覺(jué)位姿序列進(jìn)行時(shí)間修正。

10、在本公開的一些實(shí)施方式中，時(shí)間修正單元包括：角速度計(jì)算子單元，基于運(yùn)動(dòng)位姿序列確定第一角速度，并基于視覺(jué)位姿序列確定第二角速度；互相關(guān)子單元，基于互相關(guān)方法，對(duì)齊第一角速度和第二角速度，以確定視覺(jué)位姿序列的時(shí)間偏置；以及修正子單元，基于時(shí)間偏置，對(duì)視覺(jué)位姿序列進(jìn)行時(shí)間修正。

11、在本公開的一些實(shí)施方式中，時(shí)間修正單元還包括：插值子單元，在確定第二角速度之前，對(duì)視覺(jué)位姿序列進(jìn)行插值處理，使運(yùn)動(dòng)位姿序列和視覺(jué)位姿序列的采樣頻率相同。

12、在本公開的一些實(shí)施方式中，時(shí)間修正單元還包括：濾波子單元，在對(duì)視覺(jué)位姿序列進(jìn)行插值處理之前，對(duì)視覺(jué)位姿序列進(jìn)行濾波處理。

13、在本公開的一些實(shí)施方式中，處理組件還包括：圖像處理單元，在基于多個(gè)圖像，提取標(biāo)板的特征點(diǎn)的像素坐標(biāo)之前，對(duì)多個(gè)圖像進(jìn)行處理，處理包括降采樣處理以及高斯模糊處理中的至少之一。

14、在本公開的一些實(shí)施方式中，標(biāo)板為虛擬標(biāo)板，其中虛擬標(biāo)板包括視覺(jué)基準(zhǔn)庫(kù)中的視覺(jué)標(biāo)記標(biāo)定板。

15、在本公開的一些實(shí)施方式中，處理組件還包括：調(diào)整單元，調(diào)整相機(jī)組件與擴(kuò)展現(xiàn)實(shí)設(shè)備之間的位置關(guān)系，以使標(biāo)板中指定的多個(gè)特征點(diǎn)示出在多個(gè)圖像中。

16、第二方面，本公開實(shí)施方式提出了一種標(biāo)定方法，標(biāo)定方法包括：獲取運(yùn)動(dòng)組件的運(yùn)動(dòng)位姿序列，其中運(yùn)動(dòng)組件與擴(kuò)展現(xiàn)實(shí)設(shè)備固定連接，并帶動(dòng)擴(kuò)展現(xiàn)實(shí)設(shè)備同步運(yùn)動(dòng)；利用與擴(kuò)展現(xiàn)實(shí)設(shè)備固定連接的相機(jī)組件，在同步運(yùn)動(dòng)的過(guò)程中，采集經(jīng)由擴(kuò)展現(xiàn)實(shí)設(shè)備顯示的標(biāo)板的多個(gè)圖像；以及基于多個(gè)圖像以及運(yùn)動(dòng)組件的運(yùn)動(dòng)位姿序列，標(biāo)定相機(jī)組件的外參。

17、在本公開的一些實(shí)施方式中，基于多個(gè)圖像以及運(yùn)動(dòng)組件的運(yùn)動(dòng)位姿序列，標(biāo)定相機(jī)組件的外參包括：基于多個(gè)圖像，提取標(biāo)板的特征點(diǎn)的像素坐標(biāo)；根據(jù)預(yù)設(shè)的特征點(diǎn)之間的空間幾何約束關(guān)系，將像素坐標(biāo)轉(zhuǎn)換為視覺(jué)位姿序列；以及基于視覺(jué)位姿序列和運(yùn)動(dòng)位姿序列，標(biāo)定相機(jī)組件的外參。

18、在本公開的一些實(shí)施方式中，基于視覺(jué)位姿序列和運(yùn)動(dòng)位姿序列，標(biāo)定相機(jī)組件的外參包括：通過(guò)直接線性變換方法，基于視覺(jué)位姿序列和運(yùn)動(dòng)位姿序列，獲取相機(jī)組件的外參的初始值；以及通過(guò)非線性變換方法，基于最小化重投影誤差對(duì)相機(jī)組件的外參的初始值進(jìn)行優(yōu)化，獲取相機(jī)組件的外參。

19、在本公開的一些實(shí)施方式中，視覺(jué)位姿序列包括依照時(shí)間順序排布的多個(gè)第一時(shí)間-位姿信息，第一時(shí)間-位姿信息包括第一時(shí)間信息以及與第一時(shí)間信息對(duì)應(yīng)的第一姿態(tài)角，其中第一姿態(tài)角包括第一翻滾角、第一偏航角和第一俯仰角；以及運(yùn)動(dòng)位姿序列包括依照時(shí)間順序排布的多個(gè)第二時(shí)間-位姿信息，第二時(shí)間-位姿信息包括第二時(shí)間信息以及與第二時(shí)間信息對(duì)應(yīng)的第二姿態(tài)角，其中第二姿態(tài)角包括第二翻滾角、第二偏航角和第二俯仰角。

20、在本公開的一些實(shí)施方式中，標(biāo)定方法還包括：利用時(shí)鐘源，在同步運(yùn)動(dòng)之前以及同步運(yùn)動(dòng)的過(guò)程中，對(duì)運(yùn)動(dòng)組件和相機(jī)組件進(jìn)行時(shí)間同步。

21、在本公開的一些實(shí)施方式中，在同步運(yùn)動(dòng)的過(guò)程中，采集經(jīng)由擴(kuò)展現(xiàn)實(shí)設(shè)備顯示的標(biāo)板的多個(gè)圖像包括：相機(jī)組件在同步運(yùn)動(dòng)的過(guò)程中，在擴(kuò)展現(xiàn)實(shí)設(shè)備經(jīng)過(guò)路點(diǎn)的時(shí)刻，采集經(jīng)由擴(kuò)展現(xiàn)實(shí)設(shè)備顯示的標(biāo)板的圖像。

22、在本公開的一些實(shí)施方式中，在同步運(yùn)動(dòng)的過(guò)程中，采集經(jīng)由擴(kuò)展現(xiàn)實(shí)設(shè)備顯示的標(biāo)板的多個(gè)圖像包括：相機(jī)組件在同步運(yùn)動(dòng)的過(guò)程中，連續(xù)采集經(jīng)由擴(kuò)展現(xiàn)實(shí)設(shè)備顯示的標(biāo)板的圖像。

23、在本公開的一些實(shí)施方式中，標(biāo)定方法還包括：對(duì)視覺(jué)位姿序列進(jìn)行時(shí)間修正。

24、在本公開的一些實(shí)施方式中，對(duì)視覺(jué)位姿序列進(jìn)行時(shí)間修正包括：

25、基于運(yùn)動(dòng)位姿序列確定第一角速度，并基于視覺(jué)位姿序列確定第二角速度；基于互相關(guān)方法，對(duì)齊第一角速度和第二角速度，以確定視覺(jué)位姿序列的時(shí)間偏置；以及基于時(shí)間偏置，對(duì)視覺(jué)位姿序列進(jìn)行時(shí)間修正。

26、在本公開的一些實(shí)施方式中，對(duì)視覺(jué)位姿序列進(jìn)行時(shí)間修正還包括：在確定第二角速度之前，對(duì)視覺(jué)位姿序列進(jìn)行插值處理，使運(yùn)動(dòng)位姿序列和視覺(jué)位姿序列的采樣頻率相同。

27、在本公開的一些實(shí)施方式中，對(duì)視覺(jué)位姿序列進(jìn)行時(shí)間修正還包括：在對(duì)視覺(jué)位姿序列進(jìn)行插值處理之前，對(duì)視覺(jué)位姿序列進(jìn)行濾波處理。

28、在本公開的一些實(shí)施方式中，標(biāo)定方法還包括：在基于多個(gè)圖像，提取標(biāo)板的特征點(diǎn)的像素坐標(biāo)之前，對(duì)多個(gè)圖像進(jìn)行處理，處理包括降采樣處理以及高斯模糊處理中的至少之一。

29、在本公開的一些實(shí)施方式中，標(biāo)板為虛擬標(biāo)板，其中虛擬標(biāo)板包括視覺(jué)基準(zhǔn)庫(kù)中的視覺(jué)標(biāo)記標(biāo)定板。

30、在本公開的一些實(shí)施方式中，標(biāo)定方法還包括：在采集經(jīng)由擴(kuò)展現(xiàn)實(shí)設(shè)備顯示的標(biāo)板的多個(gè)圖像之前，調(diào)整相機(jī)組件與擴(kuò)展現(xiàn)實(shí)設(shè)備之間的位置關(guān)系，以使標(biāo)板中指定的多個(gè)特征點(diǎn)示出在多個(gè)圖像中。

31、第三方面，本公開實(shí)施例提供了一種電子設(shè)備，該電子設(shè)備包括：至少一個(gè)處理器；與至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令，該指令被至少一個(gè)處理器執(zhí)行，以使至少一個(gè)處理器執(zhí)行時(shí)能夠?qū)崿F(xiàn)如第二方面中任一實(shí)現(xiàn)方式描述的標(biāo)定方法。

32、第四方面，本公開實(shí)施例提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行時(shí)能夠?qū)崿F(xiàn)如第二方面中任一實(shí)現(xiàn)方式描述的標(biāo)定方法。

33、第五方面，本公開實(shí)施例提供了一種包括計(jì)算機(jī)程序的計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)能夠?qū)崿F(xiàn)如第二方面中任一實(shí)現(xiàn)方式描述的標(biāo)定方法。

34、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本公開的實(shí)施方式的關(guān)鍵特征或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過(guò)下文中的描述而變得容易理解。