陀螺儀調(diào)節(jié)及陀螺儀相機(jī)對(duì)準(zhǔn)的制作方法
【專利說(shuō)明】
[000。 相關(guān)申請(qǐng)秦的香叉參考
[0002] 本申請(qǐng)案主張于2012年10月12日申請(qǐng)且標(biāo)題為"巧螺儀調(diào)節(jié)及巧螺儀相機(jī)對(duì)準(zhǔn) (Gyroscopeconditioningandgyro-cameraalignment)"的第 13/651, 055 號(hào)美國(guó)申請(qǐng)案 的優(yōu)先權(quán)，所述申請(qǐng)案W全文引用的方式并入本文中。
技術(shù)領(lǐng)域
[0003] 本發(fā)明設(shè)及用于產(chǎn)生用于例如擴(kuò)增實(shí)境應(yīng)用的應(yīng)用中且在一些方面用于調(diào)節(jié)巧 螺儀測(cè)量的參數(shù)的系統(tǒng)、設(shè)備及方法。
【背景技術(shù)】
[0004] 數(shù)目逐漸增加的現(xiàn)代智能電話包含一或多個(gè)相機(jī)及各種傳感器。感測(cè)運(yùn)動(dòng)的例如 巧螺儀及加速度計(jì)等慣性傳感器尤其重要（該是歸因于其測(cè)量角速度及加速度的能力）， 且處于高取樣率下。該些傳感器可用W增強(qiáng)智能電話上的擴(kuò)增實(shí)境（AR)應(yīng)用。在基于參 考的跟蹤中，跟蹤失敗的主要原因包含快速旋轉(zhuǎn)及相對(duì)于目標(biāo)的相機(jī)漂移。巧螺儀可在相 機(jī)相關(guān)跟蹤失敗的時(shí)段期間幫助維持對(duì)目標(biāo)的跟蹤。然而，常常難W調(diào)節(jié)巧螺儀W例如準(zhǔn) 確地校準(zhǔn)巧螺儀相對(duì)于相機(jī)的對(duì)準(zhǔn)，且確定巧螺儀的尺度及非正交性參數(shù)。
[0005] 因此，存在獲得及維持巧螺儀的準(zhǔn)確校準(zhǔn)的需要。巧螺儀的準(zhǔn)確及低成本校準(zhǔn)可 有益地適用于例如AR應(yīng)用等多種應(yīng)用。

【發(fā)明內(nèi)容】

[0006] 根據(jù)一些方面，揭示一種在移動(dòng)裝置中用于產(chǎn)生用于移動(dòng)裝置的應(yīng)用的參數(shù)的方 法，所述方法包括；從相機(jī)接收?qǐng)D像的序列；將計(jì)算機(jī)視覺(jué)算法應(yīng)用于圖像的序列W產(chǎn)生 姿態(tài)角信息；從巧螺儀測(cè)量的序列估計(jì)巧螺儀信息；及處理姿態(tài)角信息及巧螺儀信息W導(dǎo) 出適用于所述應(yīng)用的W下各者中的至少兩者；（1)旋轉(zhuǎn)信息、（2)尺度信息及（3)非正交性 信息。在一些方面，所述方法包括處理姿態(tài)角信息及巧螺儀信息W導(dǎo)出適用于所述應(yīng)用的 旋轉(zhuǎn)信息、尺度信息及非正交性信息。
[0007] 根據(jù)一些方面，揭示一種用于產(chǎn)生用于移動(dòng)裝置的應(yīng)用的參數(shù)的移動(dòng)裝置，所述 移動(dòng)裝置包括；經(jīng)配置W提供圖像的序列的相機(jī)；經(jīng)配置W產(chǎn)生巧螺儀測(cè)量的序列的巧螺 儀；及禪合到相機(jī)及巧螺儀的處理器，其中處理器包括；經(jīng)禪合W從相機(jī)接收?qǐng)D像的序列 的計(jì)算機(jī)視覺(jué)模塊，其中計(jì)算機(jī)視覺(jué)模炔基于圖像的序列產(chǎn)生姿態(tài)角信息；用W從巧螺儀 測(cè)量的序列產(chǎn)生巧螺儀信息的角速度模塊；及經(jīng)禪合W從計(jì)算機(jī)視覺(jué)模塊接收姿態(tài)角信息 且經(jīng)禪合W從角速度模塊接收巧螺儀信息的參數(shù)估計(jì)模塊，其中參數(shù)估計(jì)模塊導(dǎo)出適用于 移動(dòng)裝置的所述應(yīng)用的旋轉(zhuǎn)信息、尺度信息及非正交性信息中的至少兩者。
[000引根據(jù)一些方面，揭示一種用于產(chǎn)生用于移動(dòng)裝置的應(yīng)用的參數(shù)的移動(dòng)裝置，所述 移動(dòng)裝置包括：用于從相機(jī)接收?qǐng)D像的序列的裝置；用于將計(jì)算機(jī)視覺(jué)算法應(yīng)用于圖像的 序列W產(chǎn)生姿態(tài)角信息的裝置；用于從巧螺儀測(cè)量的序列估計(jì)巧螺儀信息的裝置；及用于 處理姿態(tài)角信息及巧螺儀信息w導(dǎo)出適用于移動(dòng)裝置的所述應(yīng)用的旋轉(zhuǎn)信息、尺度信息及 非正交性信息中的至少兩者的裝置。在一些方面，所述用于處理的裝置包括用于處理姿態(tài) 角信息及巧螺儀信息W導(dǎo)出適用于移動(dòng)裝置的所述應(yīng)用的旋轉(zhuǎn)信息、尺度信息及非正交性 信息的裝置。
[0009] 根據(jù)一些方面，揭示一種用于產(chǎn)生用于移動(dòng)裝置的應(yīng)用的參數(shù)的移動(dòng)裝置，所述 移動(dòng)裝置包括處理器及存儲(chǔ)器，其中存儲(chǔ)器包含用于進(jìn)行W下操作的指令；從相機(jī)接收?qǐng)D 像的序列；將計(jì)算機(jī)視覺(jué)算法應(yīng)用于圖像的序列W產(chǎn)生姿態(tài)角信息；從巧螺儀測(cè)量的序列 估計(jì)巧螺儀信息；及處理姿態(tài)角信息及巧螺儀信息W導(dǎo)出適用于移動(dòng)裝置的所述應(yīng)用的旋 轉(zhuǎn)信息、尺度信息及非正交性信息。
[0010] 根據(jù)一些方面，揭示一種包含存儲(chǔ)于其上的程序代碼的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ) 媒體，所述計(jì)算機(jī)可讀存儲(chǔ)媒體用于產(chǎn)生用于移動(dòng)裝置的應(yīng)用的參數(shù)，所述程序代碼包括 用于進(jìn)行W下操作的程序代碼；從相機(jī)接收?qǐng)D像的序列；將計(jì)算機(jī)視覺(jué)算法應(yīng)用于圖像的 序列W產(chǎn)生姿態(tài)角信息；從巧螺儀測(cè)量的序列估計(jì)巧螺儀信息；及處理姿態(tài)角信息及巧螺 儀信息W導(dǎo)出適用于移動(dòng)裝置的所述應(yīng)用的旋轉(zhuǎn)信息、尺度信息及非正交性信息中的至少 兩者。在一些方面，所述用于處理的程序代碼包括用于處理姿態(tài)角信息及巧螺儀信息W導(dǎo) 出適用于移動(dòng)裝置的所述應(yīng)用的旋轉(zhuǎn)信息、尺度信息及非正交性信息的程序代碼。
[0011] 應(yīng)理解，對(duì)于所屬領(lǐng)域的技術(shù)人員來(lái)說(shuō)，其它方面將從W下詳細(xì)描述變得容易顯 而易見(jiàn)，其中借助于說(shuō)明展示及描述各個(gè)方面。圖式和詳細(xì)描述將被視為本質(zhì)上是說(shuō)明性 的而非限制性的。
【附圖說(shuō)明】
[0012] 僅借助于實(shí)例，下文參看圖式描述各種實(shí)施例。
[0013] 圖1展示W(wǎng)與所揭示實(shí)施例一致的方式能夠產(chǎn)生旋轉(zhuǎn)矩陣巧J及尺度及非正交 性矩陣（A)及任選地巧螺儀偏移誤差的示范性移動(dòng)裝置的簡(jiǎn)化框圖。
[0014] 圖2為W與所揭示實(shí)施例一致的方式包括處理器及禪合到處理器的多種其它模 塊的示范性移動(dòng)臺(tái)的框圖。
[0015] 圖3展示詳述示范性參數(shù)估計(jì)模塊的一些功能的框圖。
[0016] 圖4展示復(fù)合矩陣做及正交旋轉(zhuǎn)矩陣（RJW及尺度及非正交性矩陣（A)之間 的關(guān)系。
[0017] 圖5展示移動(dòng)裝置中的用于產(chǎn)生用于移動(dòng)裝置的應(yīng)用的參數(shù)的方法。
[0018] 圖6展示說(shuō)明W與所揭示實(shí)施例一致的方式使用QR因式分解從圖像的序列及巧 螺儀測(cè)量的序列導(dǎo)出旋轉(zhuǎn)矩陣（RJ及尺度及非正交性矩陣（A)的示范性方法的流程圖。
[0019] 圖7展示與所揭示實(shí)施例一致的額外示范性參數(shù)估計(jì)模塊的框圖。
[0020] 圖8展示描述移動(dòng)裝置中的各種參數(shù)之間的關(guān)系的等式集合。
[0021] 圖9展示說(shuō)明W與所揭示實(shí)施例一致的方式通過(guò)使用卡爾曼濾波器從圖像的序 列及巧螺儀測(cè)量的序列導(dǎo)出旋轉(zhuǎn)矩陣（RJ及尺度及非正交性矩陣（A)及任選地巧螺儀偏 移誤差（WmJ的示范性方法的流程圖。
【具體實(shí)施方式】
[0022] W下結(jié)合附圖而陳述的詳細(xì)描述希望作為對(duì)本發(fā)明的各個(gè)方面的描述，而不希望 表示其中可實(shí)踐本發(fā)明的僅有方面。提供本發(fā)明中所描述的每一方面僅作為本發(fā)明的實(shí)例 或說(shuō)明，且其不應(yīng)必然地解釋為比其它方面優(yōu)選或有利。詳細(xì)描述包含用于提供對(duì)本發(fā)明 的徹底理解的目的的特定細(xì)節(jié)。然而，所屬領(lǐng)域的技術(shù)人員將明白，可在沒(méi)有該些特定細(xì)節(jié) 的情況下實(shí)踐本發(fā)明。在一些例子中，W框圖的形式展示眾所周知的結(jié)構(gòu)和裝置W便避免 混淆本發(fā)明的概念。首字母縮寫詞和其它描述性術(shù)語(yǔ)可僅出于便利和清楚的目的而使用， 且不希望限制本發(fā)明的范圍。
[0023] 如本文中所使用，有時(shí)被稱作移動(dòng)臺(tái)（M巧或用戶設(shè)備扣E)的移動(dòng)裝置可包括蜂 窩式電話、移動(dòng)電話或其它無(wú)線通信裝置、個(gè)人通信系統(tǒng)（PC巧裝置、個(gè)人導(dǎo)航裝置（PND)、 個(gè)人信息管理器（PIM)、個(gè)人數(shù)字助理（PDA)、平板、膝上型計(jì)算機(jī)或能夠俘獲或接收?qǐng)D像 且能夠測(cè)量或獲得巧螺儀信息的其它合適移動(dòng)裝置。在一些實(shí)施例中，移動(dòng)臺(tái)能夠接收無(wú) 線通信及/或?qū)Ш叫盘?hào)。術(shù)語(yǔ)"移動(dòng)臺(tái)"還意欲包含例如通過(guò)短程無(wú)線、紅外、有線連接或其 它連接與個(gè)人導(dǎo)航裝置（PND)通信（而不管在裝置處或在PND處是否發(fā)生衛(wèi)星信號(hào)接收、 輔助數(shù)據(jù)接收及/或位置相關(guān)處理）的裝置。而且，"移動(dòng)臺(tái)"意欲包含能夠例如經(jīng)由因特 網(wǎng)、WiFi或其它網(wǎng)絡(luò)與服務(wù)器通信的所有裝置，包含無(wú)線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī) 等，且不管在裝置處、在服務(wù)器處或在與網(wǎng)絡(luò)相關(guān)聯(lián)的另一裝置處是否發(fā)生衛(wèi)星信號(hào)接收、 輔助數(shù)據(jù)接收及/或位置相關(guān)處理。因此，移動(dòng)裝置可例如使用蜂窩式或WiFi技術(shù)與一或 多個(gè)其它裝置無(wú)線地通信，但在其它實(shí)施例中可省略此功能性。W上的任何可操作組合還 被視為"移動(dòng)裝置"。
[0024] 本文中的教示使通過(guò)處理來(lái)自相機(jī)的相機(jī)圖像的序列及來(lái)自巧螺儀的巧螺儀測(cè) 量的序列而產(chǎn)生旋轉(zhuǎn)、尺度及/或非正交性參數(shù)成為可能。旋轉(zhuǎn)、尺度及非正交性參數(shù)可用 于擴(kuò)增實(shí)境應(yīng)用（其被稱作AR應(yīng)用或ARapp)。該些產(chǎn)生的參數(shù)也可用于調(diào)節(jié)來(lái)自在智能 電話或平板或其它移動(dòng)裝置中發(fā)現(xiàn)的巧螺儀的內(nèi)部巧螺儀測(cè)量，而不需要工廠校準(zhǔn)或外部 設(shè)備。校準(zhǔn)或調(diào)節(jié)可僅使用來(lái)自相機(jī)的圖像的序列中的跟蹤特征的姿態(tài)測(cè)量W及巧螺儀測(cè) 量。
[0025] AR應(yīng)用通常提供用戶互動(dòng)式體驗(yàn)，其是對(duì)現(xiàn)實(shí)世界情境的補(bǔ)充，而非創(chuàng)建類似人 工環(huán)境的虛擬現(xiàn)實(shí)。在AR中，用戶的周圍環(huán)境可形成用于由計(jì)算機(jī)產(chǎn)生的圖形及其它類型 的注解及動(dòng)畫(huà)擴(kuò)增的背景幕。
[0026] 在一些實(shí)施例中，姿態(tài)（從通過(guò)計(jì)算機(jī)視覺(jué)算法的圖像的序列產(chǎn)生）及巧螺儀向 量的序列（從原始巧螺儀測(cè)量產(chǎn)生）可用W解決移動(dòng)裝置未對(duì)準(zhǔn)W及調(diào)節(jié)原始巧螺儀測(cè) 量，從而考慮關(guān)于原始巧螺儀測(cè)量的尺度及非正交性誤差。通過(guò)復(fù)合矩陣炬）使計(jì)算機(jī)視 覺(jué)姿態(tài)（即，姿態(tài)角向量與巧螺儀測(cè)量相關(guān)，所述復(fù)合矩陣做為線性系統(tǒng)的解。
[0027] 可通過(guò)包含QR因式分解（也被稱作QR分解）的若干方法執(zhí)行復(fù)合矩陣炬）的分 解。在QR因式分解中，分解將復(fù)合矩陣炬）分成正交旋轉(zhuǎn)矩陣（RJ及上S角矩陣（A)(也 被稱作尺度及非正交性矩陣（A))。上=角矩陣（A)包含可用W校準(zhǔn)后續(xù)巧螺儀測(cè)量的尺度 及非正交性調(diào)整兩者。
[002引在一些實(shí)施例中，可應(yīng)用卡爾曼濾波W導(dǎo)出尺度及非正交性參數(shù)。在卡爾曼濾波 中，卡爾曼濾波器（例如，遞歸擴(kuò)展卡爾曼濾波器巧KF))使用姿態(tài)角旋轉(zhuǎn)及平移 (T)兩者連同巧螺儀向量一起估計(jì)由尺度及非正交性矩陣（A)及旋轉(zhuǎn)矩陣（RJ構(gòu)成的狀 態(tài)空間。除了旋轉(zhuǎn)（《。")之外還使用計(jì)算機(jī)視覺(jué)