函數(shù)的匹配關(guān)系參數(shù)；
[0053] 第二確定模塊，用于若匹配點(diǎn)數(shù)目不少于所述閾值，則確定當(dāng)前導(dǎo)入的一幀圖像 數(shù)據(jù)成功匹配；
[0054] 其中，在導(dǎo)入當(dāng)前的幀圖像數(shù)據(jù)的同時(shí)，對前一次的幀圖像數(shù)據(jù)進(jìn)行緩存。
[0055] 優(yōu)選的，包括：當(dāng)所述FREAK特征中的特征描述子的構(gòu)成是由粗信息至精信息，在 將所述標(biāo)記后的FREAK特征與第一閾值進(jìn)行匹配的所述第一匹配模塊，用于將代表所述描 述子的粗信息與第一閾值進(jìn)行匹配，若匹配中距離小于所述第一閾值，則繼續(xù)將所述第一 閾值與所述描述子的精信息進(jìn)行匹配。
[0056] 通過以上方案可知，本發(fā)明實(shí)施例提供的一種無人機(jī)影像數(shù)據(jù)實(shí)時(shí)處理方法及系 統(tǒng)，該方法通過提取連續(xù)影像數(shù)據(jù)的聯(lián)合特征信息，將聯(lián)合特征信息與閾值進(jìn)行匹配，獲取 成功匹配的特征匹配結(jié)果，采用FREAK特征和SIFT特征組合使用的特征提取和匹配過程， 響應(yīng)了對無人機(jī)影像數(shù)據(jù)實(shí)時(shí)性的要求。然后在無P0S信息輔助的情況下，利用特征匹配 結(jié)果，基于SFM對連續(xù)影像數(shù)據(jù)的姿態(tài)數(shù)據(jù)估計(jì)，并獲取多幀估計(jì)姿態(tài)數(shù)據(jù)；以及，基于多 幀估計(jì)姿態(tài)數(shù)據(jù)對連續(xù)影像數(shù)據(jù)中的每一幀圖像數(shù)據(jù)所屬航段進(jìn)行分析，當(dāng)從某一幀圖像 數(shù)據(jù)開始，連續(xù)預(yù)設(shè)幀數(shù)的幀圖像數(shù)據(jù)對應(yīng)的幀估計(jì)姿態(tài)數(shù)據(jù)處于平移變化中，確定從某 一幀圖像數(shù)據(jù)開始新航段，并進(jìn)行航段標(biāo)記；對后續(xù)的幀圖像數(shù)據(jù)基于所述SFM進(jìn)行所屬 航段進(jìn)行分析，將屬于新航段的幀圖像進(jìn)行航段標(biāo)記；這里在無P0S系統(tǒng)的情況下，利用 SFM的方法進(jìn)行無人機(jī)運(yùn)行軌跡的恢復(fù)，通過獲取相對的姿態(tài)數(shù)據(jù)，恢復(fù)多個(gè)航段的飛行航 跡，在每個(gè)航段內(nèi)構(gòu)建實(shí)時(shí)拼接數(shù)據(jù)。最后依據(jù)標(biāo)記有航段標(biāo)記的幀圖像數(shù)據(jù)，利用所述特 征匹配結(jié)果進(jìn)行圖像拼接，生成對應(yīng)拼接圖。通過上述方法，實(shí)現(xiàn)解決遙測數(shù)據(jù)無法獲取或 時(shí)空匹配性較差，即無P0S系統(tǒng)輔助的情況下，實(shí)時(shí)對無人機(jī)的影像數(shù)據(jù)進(jìn)行處理的目的。
【附圖說明】
[0057] 為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0058] 圖1為本申請實(shí)施例提供的一種無人機(jī)影像數(shù)據(jù)實(shí)時(shí)處理方法的流程圖；
[0059] 圖2為本申請實(shí)施例提供的另一種無人機(jī)影像數(shù)據(jù)實(shí)時(shí)處理方法的流程圖；
[0060] 圖3為本申請實(shí)施例提供的另一種無人機(jī)影像數(shù)據(jù)實(shí)時(shí)處理方法中的部分流程 圖；
[0061] 圖4為本申請實(shí)施例提供的一種無人機(jī)影像數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)的結(jié)構(gòu)示意圖；
[0062] 圖5為本申請實(shí)施例提供的另一種無人機(jī)影像數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0063] 說明書和權(quán)利要求書及上述附圖中的術(shù)語"第一"、"第二"、"第三""第四"等（如 果存在）是用于區(qū)別類似的部分，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣 使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本申請的實(shí)施例能夠以除了在這里圖 示的以外的順序?qū)嵤?br>[0064] 以下為本發(fā)明說明書及說明書附圖中涉及的英文縮寫的說明：
[0065] POS:PositionandOrientationSystem，低精度穩(wěn)定平臺(tái)和高精度姿態(tài)測量系 統(tǒng)，由慣性測量裝置MU和全球定位系統(tǒng)GPS組合而成；
[0066] SFM〖structurefrommotion，運(yùn)動(dòng)估計(jì)結(jié)構(gòu)；
[0067] FREAK特征和SIFT特征：均為圖像局部特征。
[0068] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于 本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0069] 實(shí)施例一
[0070] 本發(fā)明實(shí)施例一提供了一種無人機(jī)影像數(shù)據(jù)實(shí)時(shí)處理方法，應(yīng)用于無人機(jī)，如圖1 所示，主要包括以下步驟：
[0071] 步驟S101，獲取連續(xù)影像數(shù)據(jù)，提取所述連續(xù)影像數(shù)據(jù)的聯(lián)合特征信息，將所述聯(lián) 合特征信息與閾值進(jìn)行匹配，獲取成功匹配的特征匹配結(jié)果；
[0072] 在步驟S101中，所述聯(lián)合特征信息中包括，F(xiàn)REAK特征和SIFT特征；在本發(fā)明實(shí) 施例中，采用FREAK特征和SIFT特征組合使用的特征提取和匹配過程，滿足對無人機(jī)影像 數(shù)據(jù)實(shí)時(shí)處理的要求。
[0073] 步驟S102,判斷是否有P0S信息輔助，若無P0S信息輔助，則執(zhí)行步驟S103 ;
[0074] 在步驟S102中，對當(dāng)前無人機(jī)影像數(shù)據(jù)處理的過程中是否有P0S信息輔助進(jìn)行判 斷，若判斷有P0S信息輔助，則可直接獲取附帶有P0S屬性的圖像數(shù)據(jù)，基于執(zhí)行步驟S101 獲取的所述特征結(jié)果進(jìn)行圖像拼接，生成對應(yīng)的拼接圖。若判斷沒有P0S信息輔助，則繼續(xù) 執(zhí)行，調(diào)用無P0S信息時(shí)對無人機(jī)影像數(shù)據(jù)進(jìn)行處理的方式，即執(zhí)行步驟S103。
[0075] 步驟S103,利用所述特征匹配結(jié)果，基于運(yùn)動(dòng)估計(jì)結(jié)構(gòu)SFM對所述連續(xù)影像數(shù)據(jù) 的姿態(tài)數(shù)據(jù)估計(jì)，并獲取多幀估計(jì)姿態(tài)數(shù)據(jù)；
[0076] 在執(zhí)行步驟S103的過程中，本發(fā)明實(shí)施例中采用的運(yùn)動(dòng)估計(jì)結(jié)構(gòu)SFM的方式對 連續(xù)影像數(shù)據(jù)的姿態(tài)數(shù)據(jù)進(jìn)行估計(jì)，得到多幀的估計(jì)姿態(tài)數(shù)據(jù)。該SFM為一種二視圖由運(yùn) 動(dòng)到結(jié)構(gòu)的方法，在連續(xù)的兩幀影像數(shù)據(jù)之間通過匹配的特征點(diǎn)建立起基本的極線約束關(guān) 系，使用該基本關(guān)系，可以恢復(fù)編碼在該極線約束關(guān)系內(nèi)本質(zhì)矩陣E中的無人機(jī)攝像機(jī)運(yùn) 動(dòng)，即由N個(gè)對應(yīng)值形成N個(gè)關(guān)于的9個(gè)元素的齊次方程。在理想無噪聲情況下，本質(zhì)矩陣 E是奇異的，即SVD分解后有一個(gè)0奇異值。
[0077] 步驟S104,基于所述多幀估計(jì)姿態(tài)數(shù)據(jù)對所述連續(xù)影像數(shù)據(jù)中的每一幀圖像數(shù)據(jù) 所屬航段進(jìn)行分析，當(dāng)從某一幀圖像數(shù)據(jù)開始，連續(xù)預(yù)設(shè)幀數(shù)的幀圖像數(shù)據(jù)對應(yīng)的幀估計(jì) 姿態(tài)數(shù)據(jù)處于平移變化中，確定從所述某一幀圖像數(shù)據(jù)開始新航段，并進(jìn)行航段標(biāo)記；
[0078] 在步驟S104中，連續(xù)預(yù)設(shè)幀數(shù)的幀圖像數(shù)據(jù)對應(yīng)的幀估計(jì)姿態(tài)數(shù)據(jù)處于平移變 化中的連續(xù)預(yù)設(shè)幀數(shù)，通常情況下為十幀，當(dāng)本發(fā)明實(shí)施例并不僅限于此，該預(yù)設(shè)幀數(shù)可左 右浮動(dòng)2~3幀。
[0079] 步驟S105,對后續(xù)的幀圖像數(shù)據(jù)基于所述SFM進(jìn)行所屬航段進(jìn)行分析，將屬于所 述新航段的幀圖像進(jìn)行航段標(biāo)記；
[0080] 在執(zhí)行步驟S103~步驟S105的過程中，利用SFM的方法可以進(jìn)行無人機(jī)運(yùn)行軌 跡的恢復(fù)，并通過連續(xù)幀的運(yùn)動(dòng)解算獲取相對姿態(tài)，恢復(fù)多個(gè)航段的飛行航跡，在每個(gè)航段 內(nèi)構(gòu)建實(shí)時(shí)拼接數(shù)據(jù)的處理結(jié)果，即確定每個(gè)航段以及所屬該航段內(nèi)的幀圖像數(shù)據(jù)，并進(jìn) 行相應(yīng)的操作。
[0081] 步驟S106,依據(jù)標(biāo)記有航段標(biāo)記的幀圖像數(shù)據(jù)，利用所述特征匹配結(jié)果進(jìn)行圖像 拼接，生成對應(yīng)的拼接圖。
[0082] 在執(zhí)行步驟S106的過程中，基于上述獲取到的每個(gè)航段內(nèi)以及所屬航段內(nèi)的幀 圖像數(shù)據(jù)，結(jié)合各個(gè)幀圖像數(shù)據(jù)執(zhí)行步驟S101時(shí)所獲取的對應(yīng)的特征匹配結(jié)果進(jìn)行圖像 拼接，生成當(dāng)前無人機(jī)獲取的連續(xù)影像數(shù)據(jù)對應(yīng)的拼接圖。
[0083] 通過上述本發(fā)明實(shí)施例公開了一種無人機(jī)影像數(shù)據(jù)實(shí)時(shí)處理方法，該方法通過對 連續(xù)影像數(shù)據(jù)的聯(lián)合特征信息進(jìn)行匹配，采用FREAK和SIFT特征組合使用的特征提取和匹 配過程，響應(yīng)了對無人機(jī)影像數(shù)據(jù)實(shí)時(shí)性的要求。然后在無P0S信息輔助的情況下，利用特 征匹配結(jié)果，基于SFM對連續(xù)影像數(shù)據(jù)的姿態(tài)數(shù)據(jù)估計(jì)，對無人機(jī)的多個(gè)航段的飛行航跡 恢復(fù)，并標(biāo)記每個(gè)航段內(nèi)的幀圖像數(shù)據(jù)。最后依據(jù)標(biāo)記有航段標(biāo)記的幀圖像數(shù)據(jù)，利用特征 匹配結(jié)果進(jìn)行圖像拼接，生成對應(yīng)拼接圖。通過上述方法，實(shí)現(xiàn)解決遙測數(shù)據(jù)無法獲取或時(shí) 空匹配性較差，即無P0S系統(tǒng)輔助的情況下，實(shí)時(shí)對無人機(jī)的影像數(shù)據(jù)進(jìn)行處理的目的。
[0084] 實(shí)施例二
[0085] 基于上述本發(fā)明實(shí)施例公開的一種無人機(jī)影像數(shù)據(jù)實(shí)時(shí)處理方法，如圖1所示出 的步驟S105,在執(zhí)行對后續(xù)的幀圖像數(shù)據(jù)基于所述SFM進(jìn)行所屬航段進(jìn)行分析之后，還包 括如圖2所示：
[0086] 步驟S107,當(dāng)后續(xù)的幀圖像數(shù)據(jù)中連續(xù)預(yù)設(shè)幀數(shù)對應(yīng)的幀估計(jì)姿態(tài)數(shù)據(jù)偏離所述 新航段，停止對所述新航段的圖像拼接，并啟動(dòng)所述新航段的校正信息對所述新航段對應(yīng) 的拼接圖進(jìn)行航段圖像的防射變換校正，獲取符合GIS要求的地理地圖；
[0087] 在步驟S107中，所述校正信息包括航跡信息，或者人工輸入的地理參數(shù)信息。
[0088] 基于上述本發(fā)明實(shí)施例公開的一種無人機(jī)影像數(shù)據(jù)實(shí)時(shí)處理方法，如圖1所示出 的步驟S101，具體執(zhí)行過程，如圖3所示，主要包括以下步驟：
[0089] 步驟S1011，通過實(shí)時(shí)鏈路或網(wǎng)絡(luò)轉(zhuǎn)發(fā)獲取所述無人機(jī)拍攝的連續(xù)影像數(shù)據(jù)，或 者，直接獲取預(yù)先存儲(chǔ)于地面站的連續(xù)影像數(shù)據(jù)；
[0090] 步驟S1012,按照圖像幀格式導(dǎo)入所述連續(xù)影像數(shù)據(jù)，提取每一幀導(dǎo)入的幀圖像數(shù) 據(jù)的聯(lián)合特征信息并與閾值進(jìn)行匹配；
[0091] 步驟S1013,獲取基于匹配成功的每一幀圖像數(shù)據(jù)的匹配結(jié)果生成成功匹配的特 征匹配結(jié)果。
[0092] 其中，在執(zhí)行步驟S1012的過程中，針對每一幀導(dǎo)入的幀圖像數(shù)據(jù)的聯(lián)