本發(fā)明涉及遙測(cè)數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的同步方法及裝置。

背景技術(shù)：

在例如無(wú)人機(jī)飛行的過(guò)程中，視頻圖像數(shù)據(jù)與遙測(cè)數(shù)據(jù)是分別記錄和存儲(chǔ)的，其中，視頻圖像數(shù)據(jù)是無(wú)人機(jī)載荷產(chǎn)生與存儲(chǔ)，遙測(cè)數(shù)據(jù)是飛控系統(tǒng)產(chǎn)生與存儲(chǔ)，并在飛行結(jié)束后分別生成視頻圖像數(shù)據(jù)文件和遙測(cè)數(shù)據(jù)文件。由于通訊延遲、鏈路不穩(wěn)等因素，視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)往往是不同步的，即視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)無(wú)法一一對(duì)應(yīng)起來(lái)。然而，隨著對(duì)數(shù)據(jù)的分析分析的逐步深化和細(xì)化，需要對(duì)遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)進(jìn)行同步處理。

為解決數(shù)據(jù)同步的問(wèn)題，現(xiàn)有的一種做法是采用人工方式根據(jù)遙測(cè)數(shù)據(jù)的位置和視頻內(nèi)容進(jìn)行對(duì)比與同步，這種方式不僅費(fèi)時(shí)費(fèi)力，而且由于人工處理的局限性導(dǎo)致同步結(jié)果也不夠理想。另一種做法是利用圖像匹配方法實(shí)現(xiàn)相對(duì)位置的計(jì)算，由于圖像匹配算法的計(jì)算量大、效率低，消耗的計(jì)算資源與時(shí)間過(guò)多，無(wú)法有效地應(yīng)用在實(shí)際的視頻處理中。

綜上，目前亟需一種更為有效同步方法實(shí)現(xiàn)遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的同步，并提高數(shù)據(jù)同步的效率和準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明例提供了一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的處理方法及裝置，用于在實(shí)現(xiàn)遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的同步的基礎(chǔ)上，提高同步的效率和準(zhǔn)確性。

一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的同步方法，該方法包括：

獲取待同步的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)；

從所述視頻圖像數(shù)據(jù)中提取關(guān)鍵圖像幀序列，所述關(guān)鍵圖像幀序列中包含相鄰的多個(gè)圖像幀中的多個(gè)圖像幀；

根據(jù)所述遙測(cè)數(shù)據(jù)確定所對(duì)應(yīng)的視頻區(qū)域中心序列；

匹配所述關(guān)鍵圖像幀序列與所述視頻區(qū)域中心序列；

根據(jù)匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與所述視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。

優(yōu)選的，所述從所述視頻圖像數(shù)據(jù)中提取關(guān)鍵圖像幀序列，包括：

基于圖像信息熵從獲取到的視頻圖像數(shù)據(jù)中提取多個(gè)圖像幀。

優(yōu)選的，所述根據(jù)所述遙測(cè)數(shù)據(jù)確定所對(duì)應(yīng)的視頻區(qū)域中心序列，包括：

根據(jù)所述遙測(cè)數(shù)據(jù)中的地理信息，確定底圖中的多個(gè)底圖區(qū)域；

確定所述底圖區(qū)域的中心點(diǎn)位置信息；

根據(jù)所述中心點(diǎn)位置信息確定所述視頻區(qū)域中心序列。

優(yōu)選的，所述匹配所述關(guān)鍵圖像幀序列與所述視頻區(qū)域中心序列，包括：

采用第一分辨率提取所述關(guān)鍵圖像幀中至少一個(gè)圖像幀的特征；

根據(jù)所述第一分辨率提取到的所述圖像幀特征確定所對(duì)應(yīng)的地理底圖，若無(wú)法確定所對(duì)應(yīng)的地理地圖，則采用高于第一分辨率的第二分辨率對(duì)所述關(guān)鍵圖像幀中至少一個(gè)圖像幀的特征，再次確定所對(duì)應(yīng)的地理地圖提取；

確定后的所述關(guān)鍵圖像幀與所述視頻區(qū)域中心序列相匹配。

優(yōu)選的，所述根據(jù)匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與所述視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)包括：

對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值；

獲得與所述視頻數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。

一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的同步裝置，該裝置包括：

獲取模塊，用于獲取待同步的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)；

遙測(cè)數(shù)據(jù)分析模塊，根據(jù)所述遙測(cè)數(shù)據(jù)確定所對(duì)應(yīng)的視頻區(qū)域中心序列；

視頻圖像數(shù)據(jù)分析模塊，從所述視頻圖像數(shù)據(jù)中提取關(guān)鍵圖像幀序列，所述關(guān)鍵圖像幀序列中包含相鄰的多個(gè)圖像幀中的多個(gè)圖像幀；

同步模塊，用于匹配所述關(guān)鍵圖像幀序列與所述視頻區(qū)域中心序列，根據(jù)匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與所述視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。

優(yōu)選的，所述視頻圖像數(shù)據(jù)分析模塊，根據(jù)圖像信息熵從獲取到的視頻圖像數(shù)據(jù)中提取多個(gè)圖像幀。

優(yōu)選的，所述視頻圖像數(shù)據(jù)分析模塊，根據(jù)所述遙測(cè)數(shù)據(jù)中的地理信息，確定底圖中的多個(gè)底圖區(qū)域；確定所述底圖區(qū)域的中心點(diǎn)位置信息；根據(jù)所述中心點(diǎn)位置信息確定所述視頻區(qū)域中心序列。

優(yōu)選的，所述同步模塊，采用第一分辨率提取所述關(guān)鍵圖像幀中至少一個(gè)圖像幀的特征；根據(jù)所述第一分辨率提取到的所述圖像幀特征確定所對(duì)應(yīng)的地理底圖，若無(wú)法確定所對(duì)應(yīng)的地理地圖，則采用高于第一分辨率的第二分辨率對(duì)所述關(guān)鍵圖像幀中至少一個(gè)圖像幀的特征，再次確定所對(duì)應(yīng)的地理地圖提取；確定后的所述關(guān)鍵圖像幀與所述視頻區(qū)域中心序列相匹配。

優(yōu)選的，所述同步模塊，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值；獲得與所述視頻數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。

通過(guò)采用本發(fā)明上述的技術(shù)方案中，可得到與視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)，保證了同步的準(zhǔn)確性；并且由于關(guān)鍵圖像幀序列由相鄰的多個(gè)圖像幀中的圖像幀組成，因此，通過(guò)利用關(guān)鍵圖像幀可大大降低了圖像幀匹配所消耗的計(jì)算量，提高了處理效率。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)要介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的同步方法流程示意圖；

圖2為本發(fā)明實(shí)施例提供的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的同步方法的整體流程示意圖；

圖3為本發(fā)明實(shí)施例提供的一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的同步裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步地詳細(xì)描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

圖1為本發(fā)明實(shí)施例提供的一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的同步方法流程示意圖。

如圖1所示，該方法包括：

步驟101，獲取待同步的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)；

步驟102，從所述視頻圖像數(shù)據(jù)中提取關(guān)鍵圖像幀序列，所述關(guān)鍵圖像幀序列中包含相鄰的多個(gè)圖像幀中的多個(gè)圖像幀；

步驟103，根據(jù)所述遙測(cè)數(shù)據(jù)確定所對(duì)應(yīng)的視頻區(qū)域中心序列；

步驟104，匹配所述關(guān)鍵圖像幀序列與所述視頻區(qū)域中心序列；

步驟105，根據(jù)匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與所述視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。

需要說(shuō)明的是，本發(fā)明實(shí)施例中上述各個(gè)步驟的編號(hào)僅為一種執(zhí)行過(guò)程的示例性說(shuō)明，本發(fā)明實(shí)施例不對(duì)各個(gè)步驟做明確具體的先后順序限定，有些步驟可以同時(shí)進(jìn)行，或不按上述編號(hào)進(jìn)行，例如，步驟102和步驟103可以同時(shí)進(jìn)行，或者可以先執(zhí)行步驟103中的內(nèi)容，再執(zhí)行步驟102中的內(nèi)容。

本發(fā)明實(shí)施例中，根據(jù)遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)分別得到基于遙測(cè)數(shù)據(jù)的第一觀(guān)測(cè)區(qū)域中心序列和基于視頻圖像數(shù)據(jù)的關(guān)鍵圖像幀序列，進(jìn)而根據(jù)匹配結(jié)果，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理，由于遙測(cè)數(shù)據(jù)的采樣頻率低于視頻圖像數(shù)據(jù)的采樣頻率，通過(guò)匹配和插值處理后，可得到與視頻圖像數(shù)據(jù)中的關(guān)鍵圖像幀對(duì)應(yīng)的遙測(cè)數(shù)據(jù)，不僅實(shí)現(xiàn)視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)的同步，而且保證了同步的準(zhǔn)確性。同時(shí)，由于關(guān)鍵圖像幀為相鄰的多個(gè)圖像幀中的一個(gè)圖像幀，從而通過(guò)關(guān)鍵圖像幀提取技術(shù)大大降低了圖像幀匹配所消耗的計(jì)算量，提高了處理效率。

具體地，對(duì)于提取關(guān)鍵圖像幀序列(步驟102)中，關(guān)鍵圖像幀為相鄰的多個(gè)圖像幀中的一個(gè)圖像幀，也就是說(shuō)，假設(shè)視頻圖像數(shù)據(jù)中包括圖像幀1至圖像幀100，則可從圖像幀1至圖像幀10中提取一個(gè)關(guān)鍵圖像幀，從圖像幀11至圖像幀10中提取一個(gè)關(guān)鍵圖像幀，以此類(lèi)推，可提取出10個(gè)關(guān)鍵圖像幀；或者，也可從圖像幀1至圖像幀20中提取一個(gè)關(guān)鍵圖像幀，從圖像幀21至圖像幀20中提取一個(gè)關(guān)鍵圖像幀，以此類(lèi)推，可提取出5個(gè)關(guān)鍵圖像幀；又或者，也可從圖像幀1至圖像幀10中提取一個(gè)關(guān)鍵圖像幀，從圖像幀11至圖像幀30中提取一個(gè)關(guān)鍵圖像幀，從圖像幀31至圖像幀60中提取一個(gè)關(guān)鍵圖像幀，即從隨機(jī)的多個(gè)相鄰的圖像幀中提取一個(gè)關(guān)鍵圖像幀。進(jìn)一步地，可依據(jù)圖像信息熵從多個(gè)相鄰的圖像幀中提取一個(gè)關(guān)鍵圖像幀，或者，也可由本領(lǐng)域技術(shù)人員根據(jù)經(jīng)驗(yàn)和實(shí)際情況設(shè)置其它的提取依據(jù)。

對(duì)于視頻區(qū)域中心序列確定步驟(步驟103)，根據(jù)無(wú)人機(jī)遙測(cè)協(xié)議和載荷遙測(cè)協(xié)議對(duì)遙測(cè)數(shù)據(jù)進(jìn)行解析，得到每幀所對(duì)應(yīng)的無(wú)人機(jī)與載荷的姿態(tài)與位置信息，進(jìn)而根據(jù)無(wú)人機(jī)與載荷的姿態(tài)與位置等信息以及載荷的焦距計(jì)算視頻的區(qū)域，從而實(shí)現(xiàn)視頻中心的定位，得到基于遙測(cè)數(shù)據(jù)的視頻測(cè)區(qū)域中心序列。

本發(fā)明實(shí)施例，提取的關(guān)鍵圖像幀的個(gè)數(shù)越多，則會(huì)使得最終的同步結(jié)果更為準(zhǔn)確，相應(yīng)地，也會(huì)增加計(jì)算量，消耗處理資源；反之，提取的關(guān)鍵圖像幀的個(gè)數(shù)越少，則會(huì)使得最終的同步結(jié)果的準(zhǔn)確率有所下降，相應(yīng)地，也會(huì)減少計(jì)算量，提高效率。基于上述內(nèi)容，具體所要提取的關(guān)鍵圖像幀的個(gè)數(shù)可由本領(lǐng)域技術(shù)人員在綜合考慮實(shí)際情況的基礎(chǔ)上，根據(jù)經(jīng)驗(yàn)進(jìn)行設(shè)置，本發(fā)明實(shí)施例對(duì)此不做具體限定。

下面以第一關(guān)鍵圖像幀為例，來(lái)說(shuō)明關(guān)鍵圖像幀與視頻圖像數(shù)據(jù)對(duì)應(yīng)的地理底圖進(jìn)行匹配的具體過(guò)程。其中，第一關(guān)鍵圖像幀為所述多個(gè)關(guān)鍵圖像幀中的任一個(gè)。本發(fā)明實(shí)施例中與視頻圖像數(shù)據(jù)對(duì)應(yīng)的地理底圖是根據(jù)規(guī)劃航線(xiàn)提取相應(yīng)區(qū)域的高清底圖得到的。

首先采用第一分辨率對(duì)第一關(guān)鍵圖像幀進(jìn)行特征提取，并將采用第一分辨率提取到的特征與所述視頻圖像數(shù)據(jù)對(duì)應(yīng)的地理底圖進(jìn)行匹配，此時(shí)，若匹配成功，則可結(jié)束匹配過(guò)程，若匹配失敗，則需采用高于第一分辨率的第二分辨率對(duì)第一關(guān)鍵圖像幀進(jìn)行特征提取，并將采用第二分辨率提取到的特征與所述視頻圖像數(shù)據(jù)對(duì)應(yīng)的地理底圖進(jìn)行匹配，此時(shí)，若匹配成功，則可結(jié)束匹配過(guò)程，若匹配失敗，則需采用高于第二分辨率的第三分辨率對(duì)第一關(guān)鍵圖像幀進(jìn)行特征提取，以此類(lèi)推，直至第一關(guān)鍵圖像幀與所述視頻圖像數(shù)據(jù)對(duì)應(yīng)的地理底圖匹配成功。

通過(guò)上述過(guò)程可知，本發(fā)明實(shí)施例中，先采用低分辨率對(duì)第一關(guān)鍵圖像幀進(jìn)行特征提取，并與地理底圖進(jìn)行匹配，若匹配成功，則可不再進(jìn)行高分辨率的特征提取，從而能夠大大提高了計(jì)算效率與處理速度。

本發(fā)明實(shí)施例中，將所述多個(gè)關(guān)鍵圖像幀與所述視頻圖像數(shù)據(jù)對(duì)應(yīng)的地理底圖進(jìn)行匹配后，可得到與多個(gè)關(guān)鍵圖像幀匹配成功的多個(gè)地理底圖區(qū)域，通過(guò)獲取多個(gè)地理底圖區(qū)域的中心點(diǎn)位置信息，可得到基于視頻圖像數(shù)據(jù)的觀(guān)測(cè)區(qū)域中心序列。

在步驟104及105中，根據(jù)視頻區(qū)域中心序列和關(guān)鍵幀序列的匹配結(jié)果，以及關(guān)鍵幀序列中的每個(gè)觀(guān)測(cè)區(qū)域中心的位置信息，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理。

由于遙測(cè)數(shù)據(jù)的采樣頻率低于視頻圖像數(shù)據(jù)的采樣頻率，本發(fā)明實(shí)施例中對(duì)視頻圖像數(shù)據(jù)進(jìn)行關(guān)鍵圖像幀的提取后，仍會(huì)出現(xiàn)基于視頻圖像數(shù)據(jù)關(guān)鍵幀序列中的區(qū)域中心的個(gè)數(shù)大于基于遙測(cè)數(shù)據(jù)的視頻區(qū)域中心序列中的視頻區(qū)域中心的個(gè)數(shù)。因此，通過(guò)將視頻區(qū)域中心序列和關(guān)鍵幀序列進(jìn)行匹配后，可得到與每個(gè)視頻區(qū)域中心對(duì)應(yīng)的關(guān)鍵幀序列中某個(gè)關(guān)鍵幀所對(duì)應(yīng)的視頻中心(實(shí)際過(guò)程中，可能會(huì)存在匹配失敗，即出現(xiàn)異常數(shù)據(jù)，此處暫不考慮異常數(shù)據(jù))。其中，與每個(gè)視頻區(qū)域中心對(duì)應(yīng)的關(guān)鍵幀序列可為多個(gè)與視頻區(qū)域中心距離最近的關(guān)鍵幀序列中視頻區(qū)域的中心。

在完成視頻區(qū)域中心序列和關(guān)鍵幀序列的匹配后，由于關(guān)鍵幀序列中對(duì)應(yīng)于視頻(地理底圖區(qū)域)的中心個(gè)數(shù)較多，仍存在部分關(guān)鍵幀序列所對(duì)應(yīng)的底圖區(qū)域中心沒(méi)有對(duì)應(yīng)的視頻區(qū)域中心，此時(shí)，可根據(jù)位置信息，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與所述視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)，實(shí)現(xiàn)視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)的同步。具體插值過(guò)程中所依據(jù)的原則可由本領(lǐng)域技術(shù)人員根據(jù)經(jīng)驗(yàn)設(shè)置。

圖2為本發(fā)明實(shí)施例提供的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的同步方法的整體流程示意圖。

下面結(jié)合圖2對(duì)本發(fā)明實(shí)施例中遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的同步方法進(jìn)行具體介紹。如圖2所示：

步驟201，獲取待同步的視頻圖像數(shù)據(jù)；

步驟202，從獲取到的視頻圖像數(shù)據(jù)中提取多個(gè)關(guān)鍵圖像幀；

步驟203，將所述多個(gè)關(guān)鍵圖像幀與所述視頻圖像數(shù)據(jù)對(duì)應(yīng)的地理底圖進(jìn)行匹配；

步驟204，獲取基于視頻圖像數(shù)據(jù)的第二觀(guān)測(cè)區(qū)域中心序列；

步驟301，獲取待同步的遙測(cè)數(shù)據(jù)；

步驟302，根據(jù)無(wú)人機(jī)遙測(cè)協(xié)議和載荷遙測(cè)協(xié)議對(duì)遙測(cè)數(shù)據(jù)進(jìn)行解析；

步驟303，通過(guò)區(qū)域計(jì)算，得到基于遙測(cè)數(shù)據(jù)的第一觀(guān)測(cè)區(qū)域中心序列，并提取地理底圖；

步驟401，將第一觀(guān)測(cè)區(qū)域中心序列和第二觀(guān)測(cè)區(qū)域中心序列進(jìn)行匹配；

步驟402，根據(jù)所述第一觀(guān)測(cè)區(qū)域中心序列和所述第二觀(guān)測(cè)區(qū)域中心序列的匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理；

步驟403，實(shí)現(xiàn)視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)的離線(xiàn)同步。

需要說(shuō)明的是，本發(fā)明實(shí)施例中上述各個(gè)步驟的編號(hào)僅為一種執(zhí)行過(guò)程的示例性說(shuō)明，本發(fā)明實(shí)施例不對(duì)各個(gè)步驟做明確具體的先后順序限定，有些步驟可以同時(shí)進(jìn)行，或不按上述編號(hào)進(jìn)行，例如，步驟201和步驟301可以同時(shí)進(jìn)行，或者步驟201發(fā)生于步驟301之后。

本發(fā)明的上述實(shí)施例中，獲取待同步的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)，對(duì)獲取到的遙測(cè)數(shù)據(jù)進(jìn)行解析，得到基于遙測(cè)數(shù)據(jù)的第一觀(guān)測(cè)區(qū)域中心序列(對(duì)應(yīng)于視頻區(qū)域中心序列)；從獲取到的視頻圖像數(shù)據(jù)中提取多個(gè)關(guān)鍵圖像幀，將多個(gè)關(guān)鍵圖像幀與視頻圖像數(shù)據(jù)對(duì)應(yīng)的地理底圖進(jìn)行匹配，得到基于視頻圖像數(shù)據(jù)的第二觀(guān)測(cè)區(qū)域中心序列(對(duì)應(yīng)于關(guān)鍵圖像幀序列)；根據(jù)第一觀(guān)測(cè)區(qū)域中心序列和第二觀(guān)測(cè)區(qū)域中心序列的匹配結(jié)果，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。本發(fā)明實(shí)施例中，根據(jù)遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)分別得到基于遙測(cè)數(shù)據(jù)的第一觀(guān)測(cè)區(qū)域中心序列和基于視頻圖像數(shù)據(jù)的第二觀(guān)測(cè)區(qū)域中心序列，進(jìn)而根據(jù)匹配結(jié)果，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理，由于遙測(cè)數(shù)據(jù)的采樣頻率低于視頻圖像數(shù)據(jù)的采樣頻率，通過(guò)匹配和插值處理后，可得到與視頻圖像數(shù)據(jù)中的關(guān)鍵圖像幀對(duì)應(yīng)的遙測(cè)數(shù)據(jù)，不僅實(shí)現(xiàn)視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)的同步，而且保證了同步的準(zhǔn)確性；且，由于關(guān)鍵圖像幀為相鄰的多個(gè)圖像幀中的一個(gè)圖像幀，從而通過(guò)關(guān)鍵圖像幀提取技術(shù)大大降低了圖像幀匹配所消耗的計(jì)算量，提高了處理效率。

針對(duì)上述方法流程，本發(fā)明實(shí)施例還提供一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線(xiàn)同步裝置，該裝置的具體內(nèi)容可以參照上述方法實(shí)施。

基于相同構(gòu)思，圖3為本發(fā)明實(shí)施例提供的一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線(xiàn)同步裝置的結(jié)構(gòu)示意圖，該裝置包括：

獲取模塊501，用于獲取待同步的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)；

遙測(cè)數(shù)據(jù)分析模塊502，用于對(duì)獲取到的遙測(cè)數(shù)據(jù)進(jìn)行解析，得到基于遙測(cè)數(shù)據(jù)的第一觀(guān)測(cè)區(qū)域中心序列；

視頻圖像數(shù)據(jù)分析模塊503，用于從獲取到的視頻圖像數(shù)據(jù)中提取多個(gè)關(guān)鍵圖像幀，將所述多個(gè)關(guān)鍵圖像幀與所述視頻圖像數(shù)據(jù)對(duì)應(yīng)的地理底圖進(jìn)行匹配，得到基于視頻圖像數(shù)據(jù)的第二觀(guān)測(cè)區(qū)域中心序列；所述關(guān)鍵圖像幀為相鄰的多個(gè)圖像幀中的一個(gè)圖像幀；

同步模塊504，用于根據(jù)所述第一觀(guān)測(cè)區(qū)域中心序列和所述第二觀(guān)測(cè)區(qū)域中心序列的匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與所述視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。

較佳地，所述視頻圖像數(shù)據(jù)分析模塊503具體用于，通過(guò)下述方式從獲取到的視頻圖像數(shù)據(jù)中提取多個(gè)關(guān)鍵圖像幀：

基于圖像信息熵從獲取到的視頻圖像數(shù)據(jù)中提取多個(gè)關(guān)鍵圖像幀。

較佳地，所述視頻圖像數(shù)據(jù)分析模塊503具體用于，通過(guò)下述方式將所述多個(gè)關(guān)鍵圖像幀與所述視頻圖像數(shù)據(jù)對(duì)應(yīng)的地理底圖進(jìn)行匹配：

針對(duì)于第一關(guān)鍵圖像幀，所述第一關(guān)鍵圖像幀為所述多個(gè)關(guān)鍵圖像幀中的任一個(gè)，執(zhí)行：

采用第一分辨率對(duì)所述第一關(guān)鍵圖像幀進(jìn)行特征提??；

將采用所述第一分辨率提取到的特征與所述視頻圖像數(shù)據(jù)對(duì)應(yīng)的地理底圖進(jìn)行匹配，若匹配失敗，則采用高于第一分辨率的第二分辨率對(duì)所述第一關(guān)鍵圖像幀進(jìn)行特征提取，直至所述第一關(guān)鍵圖像幀與所述視頻圖像數(shù)據(jù)對(duì)應(yīng)的地理底圖匹配成功。

較佳地，所述遙測(cè)數(shù)據(jù)分析模塊503具體用于，通過(guò)下述方式得到基于視頻圖像數(shù)據(jù)的觀(guān)測(cè)區(qū)域中心序列：

確定與所述多個(gè)關(guān)鍵圖像幀匹配成功的多個(gè)地理底圖區(qū)域；

獲取所述多個(gè)地理底圖區(qū)域的中心點(diǎn)位置信息，得到基于視頻圖像數(shù)據(jù)的觀(guān)測(cè)區(qū)域中心序列。

較佳地，所述同步模塊504具體用于，通過(guò)下述方式對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理：

根據(jù)所述第一觀(guān)測(cè)區(qū)域中心序列和所述第二觀(guān)測(cè)區(qū)域中心序列的匹配結(jié)果，以及所述第二觀(guān)測(cè)區(qū)域中心序列中的每個(gè)第二觀(guān)測(cè)區(qū)域中心的位置信息，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理。

從上述內(nèi)容可以看出：本發(fā)明的上述實(shí)施例中，獲取待同步的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)，對(duì)獲取到的遙測(cè)數(shù)據(jù)進(jìn)行解析，得到基于遙測(cè)數(shù)據(jù)的第一觀(guān)測(cè)區(qū)域中心序列；從獲取到的視頻圖像數(shù)據(jù)中提取多個(gè)關(guān)鍵圖像幀，將多個(gè)關(guān)鍵圖像幀與視頻圖像數(shù)據(jù)對(duì)應(yīng)的地理底圖進(jìn)行匹配，得到基于視頻圖像數(shù)據(jù)的第二觀(guān)測(cè)區(qū)域中心序列；根據(jù)第一觀(guān)測(cè)區(qū)域中心序列和第二觀(guān)測(cè)區(qū)域中心序列的匹配結(jié)果，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。本發(fā)明實(shí)施例中，根據(jù)遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)分別得到基于遙測(cè)數(shù)據(jù)的第一觀(guān)測(cè)區(qū)域中心序列和基于視頻圖像數(shù)據(jù)的第二觀(guān)測(cè)區(qū)域中心序列，進(jìn)而根據(jù)匹配結(jié)果，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理，由于遙測(cè)數(shù)據(jù)的采樣頻率低于視頻圖像數(shù)據(jù)的采樣頻率，通過(guò)匹配和插值處理后，可得到與視頻圖像數(shù)據(jù)中的關(guān)鍵圖像幀對(duì)應(yīng)的遙測(cè)數(shù)據(jù)，不僅實(shí)現(xiàn)視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)的同步，而且保證了同步的準(zhǔn)確性；且，由于關(guān)鍵圖像幀為相鄰的多個(gè)圖像幀中的一個(gè)圖像幀，從而通過(guò)關(guān)鍵圖像幀提取技術(shù)大大降低了圖像幀匹配所消耗的計(jì)算量，提高了處理效率。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤(pán)存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專(zhuān)用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

盡管已描述了本發(fā)明的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。

顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。