經(jīng)配置以基于運動傳感器數(shù)據(jù)計算3d模型的移動裝置制造方法
【專利摘要】一種特定方法包含基于從至少一個運動傳感器接收到的數(shù)據(jù)確定移動裝置從第一位置到第二位置的移動。所述方法還包含基于對應(yīng)于從所述移動裝置的所述第一位置看的物體的第一視圖的所述物體的第一圖像、對應(yīng)于從所述移動裝置的所述第二位置看的所述物體的第二視圖的所述物體的第二圖像和所述移動裝置的移動而計算所述物體的三維3D模型。
【專利說明】經(jīng)配置以基于運動傳感器數(shù)據(jù)計算3D模型的移動裝置
[0001]相關(guān)申請案的交叉參考
[0002]本申請案要求2012年I月26日申請的第61/591，196號美國臨時專利申請案和2012年11月9日申請的第13/673,681號美國非臨時專利申請案的益處，上述申請案的揭示內(nèi)容以全文引用的方式并入本文中。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明總地來說涉及產(chǎn)生物體的三維(3D)模型。

【背景技術(shù)】
[0004]技術(shù)的進步已產(chǎn)生更小且更強大的計算裝置。舉例來說，當(dāng)前存在多種便攜式個人計算裝置，包含無線計算裝置，例如較小、輕重量且易于由用戶攜帶的便攜式無線電話、個人數(shù)字助理(PDA)和尋呼裝置。更具體來說，便攜式無線電話(例如，蜂窩式電話和因特網(wǎng)協(xié)議(IP)電話)可經(jīng)由無線網(wǎng)絡(luò)傳遞語音和數(shù)據(jù)包。而且，所述無線電話可處理可執(zhí)行指令，包含可用以接入因特網(wǎng)的軟件應(yīng)用程序，例如，網(wǎng)絡(luò)瀏覽器應(yīng)用程序。因此，這些無線電話可包含相當(dāng)大的計算能力，并且可能能夠?qū)θS(3D)物體進行圖形處理。
[0005]可以基于物體的多視圖圖像(例如，一個或多個相機從不同角度和/或位置拍攝的物體的多個視圖)產(chǎn)生物體的三維(3D)模型。3D模型可以向無線裝置的用戶提供有用的并且引起興趣的信息，并且可以改善整體用戶體驗。3D重建可以用于安全、監(jiān)控和機器人技術(shù)。此外，3D重建可以用于形成建筑物的模型以便產(chǎn)生虛擬旅行或用于導(dǎo)航目的。另外，可以(例如，在博物館中)重建和保存可能已經(jīng)遭到破壞的物體。


【發(fā)明內(nèi)容】

[0006]揭示無線裝置的多視圖處理中的運動正規(guī)化物體重建的系統(tǒng)和方法。所揭示的實施例利用一個或多個運動傳感器提供的無線裝置的運動信息減少配合一種或多種3D重建技術(shù)產(chǎn)生三維(3D)模型(例如，3D結(jié)構(gòu))的復(fù)雜度。
[0007]根據(jù)特定實例，配合運動傳感器數(shù)據(jù)使用基于特征點的重建技術(shù)(例如，光束調(diào)節(jié)技術(shù))計算3D模型。根據(jù)一些方法，光束調(diào)節(jié)是以下表達式的“最大似然解”
[0008]min ^dipiXj,Xi),其中Pi是所述相機的第i個投影矩陣(即，通過所述相機拍
P,’XJ U
攝并且投影到第i個圖像上的所述物體的特征點的表示)，其中是所述物體的第j個特征點，其中<是所述第j個特征點在第i個圖像中的坐標，并且其中d(.)表示距離函數(shù)，如下文進一步解釋。物體的特征點包含物體的可能對于產(chǎn)生物體的3D模型至關(guān)重要的部分(例如，物體中的拐角、物體中的曲線、物體的邊緣等)。舉例來說，特征點可包含杯子的把手、杯子的圖形圖案的拐角、杯子的包含文本的部分和杯子的底座。
[0009]根據(jù)光束調(diào)節(jié)技術(shù)的至少一種用法，估計初始(例如，i = I)和隨后(例如，i =2,3,...,η)投影矩陣Pi，其估計相機從初始位置到相機的隨后位置的位置和定向。估計物體的特征點Xp并且還估計所述特征點在相機捕獲到的物體的多個圖像中的坐標4。光束調(diào)節(jié)解可能會導(dǎo)致大的并且計算密集的問題，因為有待估計的參數(shù)有很多。因而，光束調(diào)節(jié)解可能在計算方面要求很高，而且可能對處理器資源造成負擔(dān)。
[0010]根據(jù)本發(fā)明的至少一個實施例，通過使用運動傳感器數(shù)據(jù)來確定Pi+1 (或Pi+1的估計)，可以減小光束調(diào)節(jié)技術(shù)的復(fù)雜度。舉例來說，可以根據(jù)以下表達式減小光束調(diào)節(jié)復(fù)雜度:
[0011]

【權(quán)利要求】
1.一種方法，其包括: 在移動裝置處在第一位置時在所述移動裝置的相機處捕獲物體的第一圖像； 在所述移動裝置處在第二位置時捕獲所述物體的第二圖像； 基于所述移動裝置的至少一個運動傳感器輸出的數(shù)據(jù)確定所述移動裝置從所述第一位置到所述第二位置的移動；以及 基于所述第一圖像、所述第二圖像和所述移動裝置的所述所確定的移動而計算所述物體的三維3D模型。
2.根據(jù)權(quán)利要求1所述的方法，其中所述第一圖像和所述第二圖像是與所存儲的視頻文件相關(guān)聯(lián)的視頻幀，并且進一步包括周期性地存取所述所存儲的視頻文件以存取所述視頻幀。
3.根據(jù)權(quán)利要求1所述的方法，其中所述第一圖像和所述第二圖像是與視頻幀序列相關(guān)聯(lián)的視頻幀，并且進一步包括在將所述視頻幀序列存儲為視頻文件之前存取所述視頻幀。
4.根據(jù)權(quán)利要求1所述的方法，其中所述第一圖像和所述第二圖像是快照圖像。
5.根據(jù)權(quán)利要求1所述的方法，其中計算所述物體的所述3D模型進一步是基于所述物體的一個或多個輪廓。
6.根據(jù)權(quán)利要求1所述的方法，其中所述至少一個運動傳感器輸出的所述數(shù)據(jù)包含與所述移動裝置相關(guān)聯(lián)的旋轉(zhuǎn)運動、與所述移動裝置相關(guān)聯(lián)的平移運動或其組合。
7.根據(jù)權(quán)利要求1所述的方法，其中所述移動裝置的所述所確定的移動包含所述移動裝置的旋轉(zhuǎn)、所述移動裝置的平移或其組合。
8.根據(jù)權(quán)利要求1所述的方法，其中計算所述物體的所述3D模型進一步包括基于第一估計再投影圖像點、第二估計再投影圖像點和所述至少一個運動傳感器輸出的所述數(shù)據(jù)的函數(shù)確定所述物體的特征點。
9.根據(jù)權(quán)利要求1所述的方法，其中計算所述物體的所述三維模型進一步包括: 基于所述第一位置的第一估計與所述物體的一個或多個特征點的乘積確定所述物體的第一估計再投影圖像點； 基于所述第二位置的第二估計與所述物體的所述一個或多個特征點的乘積確定所述物體的第二估計再投影圖像點； 確定所述第一估計再投影圖像點與所述物體在所述第一圖像中的坐標之間的第一歐幾里得距離的平方； 確定所述第二估計再投影圖像點與所述物體在所述第二圖像中的坐標之間的第二歐幾里得距離的平方；以及 修改所述3D模型的估計以使所述第一歐幾里得距離的所述平方與所述第二歐幾里得距離的所述平方的總和最小化， 其中基于所述第一位置的所述第一估計和所述至少一個運動傳感器輸出的所述數(shù)據(jù)產(chǎn)生所述第二位置的所述第二估計。
10.根據(jù)權(quán)利要求9所述的方法，其中根據(jù)光束調(diào)節(jié)技術(shù)執(zhí)行修改所述3D模型的所述估計以確定下式的最大似然解:min Σ?(ρ?χρΧ?)， P'ij 其中d與距離運算相關(guān)聯(lián)， 其中Pi是所述相機的投影矩陣， 其中\(zhòng)是所述物體的第j個特征點，并且 其中 ^是所述第j個特征點在第i個圖像中的坐標。
11.一種設(shè)備，其包括: 相機，其經(jīng)配置以在第一位置時捕獲物體的第一圖像并且在第二位置時捕獲所述物體的第二圖像； 至少一個運動傳感器； 處理器；以及 存儲器，其存儲可由所述處理器執(zhí)行以進行以下操作的指令: 基于所述至少一個運動傳感器輸出的數(shù)據(jù)確定所述相機從所述第一位置到所述第二位置的移動；以及 基于所述第一圖像、所述第二圖像和所述相機的所述所確定的移動而計算所述物體的三維3D模型。
12.根據(jù)權(quán)利要求11所述的設(shè)備，其中所述處理器集成到移動裝置、所述相機、多媒體播放器、娛樂單元、導(dǎo)航裝置、個人數(shù)字助理PDA、便攜式計算機或其任何組合中。
13.根據(jù)權(quán)利要求11所述的設(shè)備，其中所述至少一個運動傳感器輸出的所述數(shù)據(jù)包含與所述相機相關(guān)聯(lián)的旋轉(zhuǎn)信息、與所述相機相關(guān)聯(lián)的平移信息或其組合。
14.根據(jù)權(quán)利要求11所述的設(shè)備，其中所述相機的所述所確定的移動包含所述相機的旋轉(zhuǎn)、所述相機的平移或其組合。
15.根據(jù)權(quán)利要求11所述的設(shè)備，其中所述指令進一步可由所述處理器執(zhí)行以基于第一估計再投影圖像點、第二估計再投影圖像點和所述至少一個運動傳感器輸出的所述數(shù)據(jù)的函數(shù)確定所述物體的特征點。
16.根據(jù)權(quán)利要求11所述的設(shè)備，其中所述指令進一步可由所述處理器執(zhí)行以進行以下操作: 基于所述第一位置的第一估計與所述物體的一個或多個特征點的乘積確定所述物體的第一估計再投影圖像點； 基于所述第二位置的第二估計與所述物體的所述一個或多個特征點的乘積確定所述物體的第二估計再投影圖像點； 確定所述第一估計再投影圖像點與所述物體在所述第一圖像中的坐標之間的第一歐幾里得距離的平方； 確定所述第二估計再投影圖像點與所述物體在所述第二圖像中的坐標之間的第二歐幾里得距離的平方；以及 修改所述3D模型的估計以使所述第一歐幾里得距離的所述平方與所述第二歐幾里得距離的所述平方的總和最小化， 其中基于所述第一位置的所述第一估計和所述至少一個運動傳感器輸出的所述數(shù)據(jù)產(chǎn)生所述第二位置的所述第二估計。
17.根據(jù)權(quán)利要求16所述的設(shè)備，其中根據(jù)光束調(diào)節(jié)技術(shù)執(zhí)行修改所述3D模型的所述估計以確定下式的最大似然解: min ^ApiXpXi)，
P.,Xj U 其中d與距離運算相關(guān)聯(lián)， 其中Pi是所述相機的投影矩陣， 其中\(zhòng)是所述物體的第j個特征點，并且 其中4是所述第j個特征點在第i個圖像中的坐標。
18.一種方法，其包括: 基于從至少一個運動傳感器接收到的數(shù)據(jù)確定移動裝置從第一位置到第二位置的移動；以及 基于對應(yīng)于從所述移動裝置的所述第一位置看的物體的第一視圖的所述物體的第一圖像、進一步基于對應(yīng)于從所述移動裝置的所述第二位置看的所述物體的第二視圖的所述物體的第二圖像和 進一步基于所述移動裝置的所述移動而計算所述物體的三維3D模型。
19.一種設(shè)備,其包括: 用于基于從至少一個用于感測運動的裝置接收到的數(shù)據(jù)確定移動裝置從第一位置到第二位置的移動的裝置；以及 用于基于對應(yīng)于從所述移動裝置的所述第一位置看的物體的第一視圖的所述物體的第一圖像、進一步基于對應(yīng)于從所述移動裝置的所述第二位置看的所述物體的第二視圖的所述物體的第二圖像和進一步基于所述移動裝置的所述移動而計算所述物體的三維3D模型的裝置。
20.根據(jù)權(quán)利要求19所述的設(shè)備，其進一步包括用于捕獲所述第一圖像并且用于捕獲所述第二圖像的裝置。
21.根據(jù)權(quán)利要求19所述的設(shè)備，其進一步包括用于基于第一估計再投影圖像點、第二估計再投影圖像點和從所述至少一個用于感測運動的裝置接收到的所述數(shù)據(jù)確定所述物體的特征點的裝置。
22.—種計算機可讀非暫時性媒體，其包括在由處理器執(zhí)行時致使所述處理器進行以下操作的指令: 基于從至少一個運動傳感器接收到的數(shù)據(jù)確定移動裝置從第一位置到第二位置的移動；以及 基于對應(yīng)于從所述移動裝置的所述第一位置看的物體的第一視圖的所述物體的第一圖像、進一步基于對應(yīng)于從所述移動裝置的所述第二位置看的所述物體的第二視圖的所述物體的第二圖像和進一步基于所述移動裝置的所述移動而計算所述物體的三維3D模型。
23.根據(jù)權(quán)利要求22所述的非暫時性計算機可讀媒體，其中所述數(shù)據(jù)包含與所述移動裝置相關(guān)聯(lián)的旋轉(zhuǎn)信息、與所述移動裝置相關(guān)聯(lián)的平移信息或其組合。
24.根據(jù)權(quán)利要求22所述的非暫時性計算機可讀媒體，其進一步包括可通過所述處理器執(zhí)行以基于第一估計再投影圖像點、第二估計再投影圖像點和所述數(shù)據(jù)的函數(shù)確定所述物體的特征點的指令。
25.根據(jù)權(quán)利要求22所述的非暫時性計算機可讀媒體，其進一步包括可由所述處理器執(zhí)行以產(chǎn)生與所述物體相關(guān)聯(lián)的一個或多個輪廓的指令，其中所述物體的所述3D模型進一步是 基于所述一個或多個輪廓。
【文檔編號】G06T7/00GK104081434SQ201280066984
【公開日】2014年10月1日 申請日期:2012年12月12日 優(yōu)先權(quán)日:2012年1月26日
【發(fā)明者】齊英勇, 楊瑞多, 塞拉姆·孫達雷桑 申請人:高通股份有限公司