多傳感器相機重新校準的制作方法
【專利說明】多傳感器相機重新校準
【背景技術(shù)】
[000。 各種類型的相機設(shè)備用于捕獲像（imagery),諸如航空相機、手機相機、數(shù)字相機 等。在示例中，多傳感器相機可W包括被配置成從各種視野方向捕獲圖像的一個或多個傳 感器(例如相機頭)。例如，多傳感器相機可W包括被配置成從地面的基本上垂直的視野捕 獲場景的圖像的最低點傳感器(例如如由飛過城市的飛機觀察到的自頂向下空中視野的城 市的場景)。多傳感器相機可W包括被配置成從傾斜角度(例如相對于最低點視野的斜向視 野）捕獲場景的圖像W便放大足跡(例如放大有效視角、放大地面覆蓋等）的一個或多個傾 斜傳感器(例如一個或多個翼傳感器)。多傳感器相機可W最初配置(例如在使用多傳感器 相機的飛行任務(wù)之前在實驗室中進行幾何校準)。在使用期間，諸如溫度或機械應(yīng)力之類的 各種外部影響可能導致多傳感器相機內(nèi)的一個或多個傳感器之間的未對準。

【發(fā)明內(nèi)容】

[0002] 提供本
【發(fā)明內(nèi)容】
來W簡化形式引入W下在【具體實施方式】中進一步描述的概念的 選擇。本
【發(fā)明內(nèi)容】
不旨在標識所要求保護的主題的關(guān)鍵要素或必要特征，也不旨在用于限 制所要求保護的主題的范圍。
[0003] 除其它之外，本文提供了用于促進多傳感器相機的重新校準的一種或多種系統(tǒng)和 /或技術(shù)。在一些實施例中，一個或多個傳感器在圖像空間上關(guān)聯(lián)在一起W生成一組接合 點(例如對應(yīng)于物理3D點和由傳感器捕獲的圖像內(nèi)的相關(guān)聯(lián)的2D圖像測量的接合點)和/ 或一組觀察結(jié)果（observations)(例如通過一個或多個圖像描繪地面上的物理點的標識)。 特征可W從由相應(yīng)傳感器捕獲的圖像中提取，并且運樣的特征可W基于圖像內(nèi)容關(guān)聯(lián)在一 起W生成接合點和/或觀察結(jié)果。
[0004] 在生成一組接合點的示例中，捜索匹配組件被配置成基于對一組圖像匹配對執(zhí)行 成對圖像匹配技術(shù)來生成一組接合點（例如圖像匹配對可W標識第一圖像和第二圖像之間 的對應(yīng)區(qū)域，諸如由兩個圖像描繪的房屋的角落)。在生成觀察結(jié)果的示例中，稠密化組件 可W將3D點（例如從最低點視野導出的3D點）重新投影到圖像(例如由傾斜傳感器捕獲的 圖像）中W獲得可W用于使用圖像匹配技術(shù)生成觀察結(jié)果的對應(yīng)坐標。在生成一組接合點 的另一示例中，虛擬匹配組件可W構(gòu)造和/或紋理化（tex化re)可W用于生成一組合成擅 染圖像的數(shù)字表面模型?？蒞使用圖像匹配技術(shù)評估運組合成擅染圖像W生成一組接合 點?？蒞領(lǐng)會到，可W利用其它技術(shù)和/或其組合來標識接合點和/或觀察結(jié)果。
[0005] 集束調(diào)整（bundleadjustment)組件可W被配置成使用多傳感器相機的初始校準 信息迭代地評估一組接合點或觀察結(jié)果W計算估計的統(tǒng)計誤差分布(例如在該組接合點或 觀察結(jié)果中可能由于傳感器的固有相機參數(shù)(諸如焦距或分辨率)中的差異和/或其它因素 而出現(xiàn)的誤差，諸如圖像中的所測量的坐標與所投影的3D點的圖像坐標之間的差異)?？?W基于估計的統(tǒng)計誤差分布生成一組權(quán)重。該組權(quán)重可W使用非線性優(yōu)化方法(例如過程） 而應(yīng)用于該組接合點或觀察結(jié)果，例如W生成經(jīng)更新的偏屯、信息(例如傾斜傳感器相對于 最低點視野的相對取向和/或位置信息，其可W基于傾斜傳感器相對于參考最低點傳感器 的六度自由偏差)。經(jīng)更新的偏屯、信息可w用于重新校準多傳感器相機的一個或多個傳感 器。
[0006] 為了達成W下及相關(guān)目的，W下描述和附圖闡述某些說明性方面和實現(xiàn)方式。運 些僅僅指示其中可W采用一個或多個方面的各種方式中的一些。本公開的其它方面、優(yōu)點 和新穎特征將在結(jié)合附圖考慮時根據(jù)W下【具體實施方式】變得明顯。
【附圖說明】
[0007] 圖1A是圖示了使用捜索匹配技術(shù)促進多傳感器相機的重新校準的示例性方法的 流程圖。
[0008] 圖1B是圖示了使用稠密化技術(shù)促進多傳感器相機的重新校準的示例性方法的流 程圖。
[0009] 圖1C是圖示了使用虛擬匹配技術(shù)促進多傳感器相機的重新校準的示例性方法的 流程圖。
[0010] 圖2是圖示了使用集束調(diào)整技術(shù)促進多傳感器相機的重新校準的示例性系統(tǒng)的 組件框圖。
[0011] 圖3是圖示了用于使用捜索匹配技術(shù)和/或稠密化技術(shù)促進多傳感器相機的重新 校準的示例性系統(tǒng)的組件框圖。
[0012] 圖4是圖示了用于使用稠密化技術(shù)促進多傳感器相機的重新校準的示例性系統(tǒng) 的組件框圖。
[0013] 圖5是圖示了用于使用虛擬匹配技術(shù)促進多傳感器相機的重新校準的示例性系 統(tǒng)的組件框圖。
[0014] 圖6是示例性計算設(shè)備可讀介質(zhì)的圖示，其中可W包括被配置成體現(xiàn)本文闡述的 一個或多個提案的處理器可執(zhí)行指令。
[0015] 圖7圖示了其中可W實現(xiàn)本文闡述的一個或多個提案的示例性計算環(huán)境。
【具體實施方式】
[0016] 現(xiàn)在參照附圖描述所要求保護的主題，其中貫穿全文的相同參考數(shù)字一般用于指 代相同元件。在W下描述中，出于解釋的目的，闡述眾多具體細節(jié)W便提供所要求保護的主 題的理解。然而可能明顯的是，所要求保護的主題可W在沒有運些具體細節(jié)的情況下實踐。 在其它實例中，W框圖形式圖示結(jié)構(gòu)和設(shè)備W便促進對所要求保護的主題的描述。
[0017] 通過圖1A的示例性方法圖示了促進多傳感器相機的重新校準的實施例。在102 處，方法開始。多傳感器相機可W包括一個或多個傳感器。在示例中，多傳感器相機可W包 括最低點傳感器，其被配置成沿著基本垂直鉛線或關(guān)于場景的表面的垂直視野方向（例如 從多傳感器相機可W安裝到的飛機的城市的自頂向下視野)捕獲圖像。在另一示例中，多傳 感器相機可W包括一個或多個傾斜傳感器，其被配置成從與最低點視點傾斜的角度捕獲圖 像(例如相對于城市的垂直視野方向的45度視角）。在104處，可W獲得從多傳感器相機的 第一傳感器捕獲的第一組圖像。在106處，可W獲得由多傳感器相機的第二傳感器捕獲的 第二組圖像。在一些實施例中，可W獲得由其它傳感器捕獲的其它組圖像。
[001引在108處，可W標識一個或多個圖像(例如第一組圖像、第二組圖像內(nèi)的圖像和/ 或由多傳感器相機捕獲的其它圖像)之間的一組圖像匹配對。例如，第一圖像匹配對可w包 括第一圖像與第二圖像之間的重疊(例如對應(yīng)區(qū)域）（例如兩個圖像之間的重疊，諸如由兩 個圖像描繪的建筑物的一部分)。在示例中，圖像匹配對可W基于由傾斜傳感器捕獲的第一 傾斜圖像與由傾斜傳感器捕獲的第二傾斜圖像之間的重疊進行標識。在另一示例中，圖像 匹配對可W基于由傾斜傳感器捕獲的傾斜圖像與由最低點傳感器捕獲的最低點圖像之間 的重疊進行標識(例如最低點圖像可W描繪建筑物的屋頂，并且傾斜圖像可W描繪建筑物 的正視圖和屋頂?shù)囊徊糠?。在另一示例中，圖像匹配對可W基于由第一傾斜傳感器捕獲的 第一傾斜圖像、由第二傾斜傳感器捕獲的第二傾斜圖像和/或由最低點傳感器捕獲的最低 點圖像之間的重疊進行標識。在一些實施例中，對應(yīng)區(qū)域可W使用來自最低點空中Ξ角測 量的接合點進行標識。最低點空中Ξ角測量可W對應(yīng)于最低點像(例如來自集束調(diào)整技術(shù) 的細化圖像姿勢和/或3D點）和/或全球定位系統(tǒng)（GPS) /慣性測量單元（IMU)信息的空 中Ξ角測量。在示例中，可W執(zhí)行使用視線與地表面信息之間的射線交叉的幾何操作W確 定重疊在多個圖像之間出現(xiàn)的對應(yīng)區(qū)域。
[0019] 在110處，可W對該組圖像匹配對執(zhí)行成對圖像匹配W生成對應(yīng)于偏屯、信息的一 組接合點，其可W被更新(或者不被更新）并且用于促進多傳感器相機的重新校準。在示例 中，成對圖像匹配可W標識具有相似特征的對應(yīng)(例如鏈接在一起)多個圖像。例如，第一圖 像對可W包括描繪房屋的屋頂?shù)牡谝粓D像W及描繪屋頂和房屋的正視圖的第二圖像。第二 圖像對可W包括描繪屋頂和房屋的正視圖的第二圖像W及描繪屋頂和房屋的側(cè)視圖的第 Ξ圖像。成對圖像匹配可W確定對應(yīng)于屋頂?shù)牡谝唤雍宵c可W包括在第一圖像、第二圖像 和第Ξ圖像內(nèi)?？蒞領(lǐng)會到，成對圖像匹配因而可W利用基于特征的匹配算法，其配置成匹 配被標識用于匹配的區(qū)域(例如感興趣的區(qū)域(例如屋頂）可W對應(yīng)于由多個圖像描繪的景 物的一部分(例如第一圖像、第二圖像和第Ξ圖像中的屋頂)）。第一接合點可W與其它接合 點組合W生成該組接合點。
[0020] 在一些實施例中，可W執(zhí)行稠密化技術(shù)W細化該組接合點。例如，可W基于多傳感 器相機的最低點空中Ξ角測量來估計3D點。3D點可W重新投影到圖像(例如由傾斜傳感器 捕獲的傾斜圖像)中W獲得該圖像內(nèi)的3D點的對應(yīng)坐標?？蒞使用圖像匹配技術(shù)基于對應(yīng) 坐標來生成觀察結(jié)果。觀察結(jié)果可W用于更新或細化該組接合點。
[0021]