專利名稱：基于無人機的飛行軌跡與視覺信息的映射導航方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及無人機技術(shù)領(lǐng)域，特別涉及一種基于無人機的飛行軌跡與視覺信息的映射導航方法及系統(tǒng)。
背景技術(shù)：
針對日益復雜的信息環(huán)境及信息表現(xiàn)形式的多樣性、信息數(shù)量的巨大性、信息之間關(guān)系的復雜性，以及要求對信息處理的實時性，信息融合作為信息綜合處理技術(shù)，其重要性日益突顯。通過對不同信息的融合可提高數(shù)據(jù)的質(zhì)量，最大限度地獲取有用完整信息以實現(xiàn)對環(huán)境的識別，目標的檢測、定位，自主導航等功能。無人機可視導航是一種將綜合視覺、飛行、空管和通信技術(shù)有機結(jié)合的新型導航方法，是信息融合的典型應用。可視導航中存在需要傳感設(shè)備多，視覺信息數(shù)據(jù)量大，數(shù)據(jù)融合處理實時性要求高等問題。目前，針對航跡融合進行導航或跟蹤的方法主要分為兩類，一類是集中式航跡融合方法，另一類是分布式航跡融合方法，而融合方法多是針對多傳感器或多源信息進行融合生成較低誤差航跡的方法或解決航跡關(guān)聯(lián)的問題，如:簡單方差凸組合法、加權(quán)融合法、分步式濾波的融合法等。但是現(xiàn)有技術(shù)基本上沒有考慮對視覺信息的理解，對提高無人機準確可視導航方面有所欠缺，將航跡與視覺信息相融合以匹配映射的方法還未見有。與現(xiàn)有航跡融合技術(shù)解決處理問題的方式不同，本發(fā)明在無人機可視導航飛行環(huán)境中，將其航跡與視覺信息相融合，使得無人機具有了映射學習的功能，可以有效地提高無人機圖像理解系統(tǒng)的準確性，提高實時性和匹配性，為實現(xiàn)無人機自主定位、路徑規(guī)劃以安全飛行提供可靠避險避障導航信息。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述的技術(shù)缺陷之一。為此，本發(fā)明的一個目的在于提出一種基于無人機的飛行軌跡與視覺信息的映射導航方法。本發(fā)明的另一目的在于提出一種基于無人機的飛行軌跡與視覺信息的映射導航系統(tǒng)。為達到上述目的，本發(fā)明一方面的實施例提出一種基于無人機的飛行軌跡與視覺信息的映射導航方法，包括以下步驟:采集無人機的視覺圖像；利用無人機圖像理解系統(tǒng)分析視覺圖像以獲得視覺圖像的特征信息和語義文本信息；根據(jù)所述視覺圖像的特征信息及語義文本信息確定所述無人機飛行軌跡；根據(jù)所述視覺圖像和對應的飛行軌跡生成映射關(guān)系數(shù)據(jù)庫，其中，所述映射關(guān)系數(shù)據(jù)庫可包括所述無人機在不同視覺圖像中的飛行軌跡信息、姿態(tài)、速度、策略和對應的視覺圖像以備檢索學習和/或傳輸，所述映射關(guān)系數(shù)據(jù)庫數(shù)據(jù)可根據(jù)圖像理解系統(tǒng)實時生成或預先載入；以及根據(jù)所述映射關(guān)系數(shù)據(jù)庫對所述無人機進行導航。
本發(fā)明的一個實施例中，根據(jù)所述映射關(guān)系數(shù)據(jù)庫對所述無人機進行導航的步驟，進一步包括:當所述無人機所采集的視覺圖像與所述映射關(guān)系數(shù)據(jù)庫中視覺圖像相吻合時，采用與所述映射關(guān)系數(shù)據(jù)庫中視覺圖像對應的飛行策略對所述無人機進行導航。本發(fā)明的一個實施例中，還包括:當所述無人機所采集的視覺圖像和所述映射關(guān)系數(shù)據(jù)庫中的視覺圖像的匹配度大于閾值時，通過映射學習方式與所述視覺圖像對應的飛行策略對所述無人機進行導航。本發(fā)明的一個實施例中，將匹配度最高的視覺圖像相對應的飛行策略作為最終飛行策略對所述無人機進行導航。本發(fā)明的一個實施例中，所述語義文本信息包括:所述視覺圖像中物體的形狀、大小、運動狀態(tài)、與所述無人機的相對距離及相關(guān)背景的狀態(tài)信息。本發(fā)明的一個實施例中，所述映射關(guān)系數(shù)據(jù)庫中存儲無人機飛行航跡和相應的視覺信息，且所述無人機飛行航跡和相應的視覺信息按照航跡或視覺信息的特征、航跡發(fā)生的時間順序進行分類，使無人機在檢索過程中根據(jù)不同類型數(shù)據(jù)進行檢索。本發(fā)明的一個實施例中，所述無人機根據(jù)歷史飛行航跡與相應的視覺信息、當前時刻的飛行航跡與相應的視覺信息進行定位，并且根據(jù)當前獲得的所述視覺信息進行映射學習，實現(xiàn)所述無人機的航跡預測和路徑規(guī)劃。本發(fā)明的一個實施例中，所述映射學習方式進一步包括:根據(jù)特征識別結(jié)果和/或語義相關(guān)解釋，從映射關(guān)系數(shù)據(jù)庫中檢索與當前所獲得的數(shù)據(jù)類似的所述相關(guān)航跡與視覺信息，并根據(jù)與所述特征識別結(jié)果和/或語義相關(guān)解釋匹配度最高的航跡和視覺信息進行映射學習。本發(fā)明的一個實施例中，所述無人機有地圖或可獲取地圖時，通過所述地圖生成飛行軌跡信息，無人機可直接按照由地圖生成的軌跡信息進行導航飛行，為預防環(huán)境發(fā)生變化，由地圖生成的軌跡信息可與根據(jù)航跡與視覺信息融合映射學習的預測航跡信息相匹配融合生成低誤差航跡信息對所述無人機進行導航。本發(fā)明的一個實施例中，所述視覺信息包括:特征信息和語義文本信息。根據(jù)本發(fā)明實施例的方法，通過將飛行軌跡與視覺圖像相關(guān)聯(lián)生成映射關(guān)系數(shù)據(jù)庫，并根據(jù)該映射關(guān)系數(shù)據(jù)庫進行學習，從而提高了對無人機進行導航的準確性，同時提高了無人機飛行的安全性。為達到上述目的，本發(fā)明的實施例另一方面提出一種基于無人機的飛行軌跡與視覺信息的映射導航系統(tǒng)，包括:采集模塊，用于采集無人機的視覺圖像；分析模塊，用于分析所述視覺圖像以獲得所述視覺圖像的特征信息及與所述視覺圖像的特征信息匹配的語義文本信息；確定模塊，用于根據(jù)視覺圖像的特征信息及語義文本信息確定所述無人機的飛行軌跡；生成模塊，用于根據(jù)所述視覺圖像和對應的飛行軌跡生成映射關(guān)系數(shù)據(jù)庫，其中，所述映射關(guān)系數(shù)據(jù)庫可包括所述無人機在不同視覺圖像中的飛行軌跡信息、姿態(tài)、速度、策略和對應的視覺圖像以備檢索學習和/或傳輸，映射關(guān)系數(shù)據(jù)庫數(shù)據(jù)可根據(jù)圖像理解系統(tǒng)實時生成，也可預先載入；以及導航模塊，用于根據(jù)所述映射關(guān)系數(shù)據(jù)庫對所述無人機進行導航。本發(fā)明的一個實施例中，所述導航模塊還用于當所述無人機所采集的視覺圖像與所述映射關(guān)系數(shù)據(jù)庫中視覺圖像相吻合時，采用與所述映射關(guān)系數(shù)據(jù)庫中視覺圖像對應的飛行策略對所述無人機進行導航。本發(fā)明的一個實施例中，還包括:學習導航模塊，用于所述無人機所采集的視覺圖像和所述映射關(guān)系數(shù)據(jù)庫中的視覺圖像的匹配度大于閾值時，通過映射學習方式與所述視覺圖像對應的飛行策略對所述無人機進行導航。本發(fā)明的一個實施例中，所述學習導航模塊還用于將匹配度最高的視覺圖像相對應的飛行策略作為最終飛行策略對所述無人機進行導航。本發(fā)明的一個實施例中，所述語義文本信息包括:所述視覺圖像中物體的形狀、大小、運動狀態(tài)、與所述無人機的相對距離及相關(guān)背景的狀態(tài)信息。根據(jù)本發(fā)明實施例的系統(tǒng)，通過將飛行軌跡與視覺圖像相關(guān)聯(lián)生成映射關(guān)系數(shù)據(jù)庫，并根據(jù)該映射關(guān)系數(shù)據(jù)庫進行學習，從而提高了對無人機進行導航的準確性，同時提高了無人機飛行的安全性。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中:圖1為根據(jù)本發(fā)明一個實施例的基于無人機的飛行軌跡與視覺信息的映射導航方法的流程圖；圖2為根據(jù)本發(fā)明實施例的無人機圖像理解系統(tǒng)的框架圖；圖3 (a) (b) (c) (d)為根據(jù)本發(fā)明一個實施例的無人機確定飛行軌跡的示意圖；圖4為根據(jù)本發(fā)明一個實施例的基于無人機的飛行軌跡與視覺信息的映射導航系統(tǒng)的結(jié)構(gòu)框圖；以及圖5為根據(jù)本發(fā)明另一個實施例的基于無人機的飛行軌跡與視覺信息的映射導航系統(tǒng)的結(jié)構(gòu)框圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。圖1為根據(jù)本發(fā)明一個實施例的基于無人機的飛行軌跡與視覺信息的映射導航方法的流程圖。如圖1所示，根據(jù)本發(fā)明實施例的基于無人機的飛行軌跡與視覺信息的映射導航方法，包括以下步驟:步驟S101，采集無人機的視覺圖像。具體地，通過無人機的機載視覺傳感設(shè)備實時采集無人機在飛行過程中的視覺圖像，例如，攝像機等。還可以從其他無人機或設(shè)備獲得可視導航所需的視頻圖像信息。步驟S102，利用無人機圖像理解系統(tǒng)分析視覺圖像以獲得視覺圖像的特征信息，并從圖像模型庫中搜索與視覺圖像的特征信息匹配的圖像語義以生成語義文本信息。語義文本信息包括:視覺圖像中物體的形狀、大小、與無人機的相對距離及相關(guān)背景的狀態(tài)信息
坐寸O具體地，通過對所采集的視頻圖像進行圖像處理和識別以獲得視頻圖像的特征信息。然后在圖像模型庫中搜索，其中，該圖像模型庫包括足夠多的圖像使對獲取的視頻圖像進行識別以獲得圖像語義。之后再無人機根據(jù)圖像語義生成語義文本信息。圖2為根據(jù)本發(fā)明實施例的無人機圖像理解系統(tǒng)的框架圖。如圖2所示，無人機圖像理解系統(tǒng)包括:實時視覺信息采集模塊用于通過機載的視覺傳感設(shè)備采集可視導航所需的視頻圖像信息和/或通過通信從其他無人機或設(shè)備獲得可視導航所需的視頻圖像信息。圖像特征提取模塊用于通過圖像處理和識別技術(shù)獲得視頻圖像信息的特征。圖像模型庫用于存儲圖像模型信息，供圖像語義生成模塊進行檢索識別。字典知識庫用于存儲關(guān)鍵詞以及關(guān)鍵詞之間的釋義，供圖 像語義生成模塊進行檢索識別。航跡與視覺信息融合映射模塊用于建立航跡與航跡對應視覺信息的相關(guān)規(guī)則，并存儲無人機飛行航跡和相應的視覺信息以備檢索學習和/或傳輸。圖像語義生成模塊用于根據(jù)視頻圖像信息的特征及航跡與視覺信息的融合信息生成語義文本信息。圖2為本發(fā)明實施例的可視導航中無人機飛行航跡與視覺信息的融合映射方式的圖像理解系統(tǒng)示意圖；無人機通過實時視覺信息采集模塊獲得機載的視覺傳感設(shè)備采集可視導航所需的視頻圖像信息和/或獲得由通信從其他無人機或設(shè)備傳輸來的可視導航所需的視頻圖像信息；在圖像特征提取模塊通過圖像處理和識別技術(shù)獲得視頻圖像信息的特征；所得特征信息同時與圖像模型庫的圖形圖像匹配識別，并可由圖像語義生成模塊獲得關(guān)鍵語義解釋；根據(jù)特征識別結(jié)果和/或語義相關(guān)解釋，檢索航跡與視覺信息融合映射模塊中存儲的類似相關(guān)航跡與視覺信息，根據(jù)與當前特征識別結(jié)果和/或語義相關(guān)解釋匹配度最高的航跡與視覺信息進行映射學習，得到當前視覺信息對應的預測航跡信息，可進一步與圖像語義生成模塊對當前視覺信息的解釋結(jié)果相融合，生成無人機導航指令繼續(xù)飛行。在本發(fā)明的一個實施例中，映射關(guān)系數(shù)據(jù)庫中存儲無人機飛行航跡和相應的視覺信息，且無人機飛行航跡和相應的視覺信息按照航跡或視覺信息的特征、航跡發(fā)生的時間順序進行分類，使無人機在檢索過程中根據(jù)不同類型數(shù)據(jù)進行檢索。無人機根據(jù)歷史飛行航跡與相應的視覺信息、當前時刻的飛行航跡與相應的視覺信息進行定位，并且根據(jù)當前獲得的視覺信息進行映射學習，實現(xiàn)無人機的航跡預測和路徑規(guī)劃。步驟S103，根據(jù)視覺圖像的特征信息及語義文本信息確定無人機飛行軌跡。具體地，從語義文本信息所獲得障礙物的運動狀況，例如，靜止、等速或變速移動，障礙物的形狀，例如，圓、球、方形等，此外還有狹縫、圓孔、門、窗戶、樹、山、房屋、鳥、飛行物等語義文本信息采用相應的飛行軌跡。例如，根據(jù)與無人機的相對高度可以從障礙物上方越過、或者繞過障礙物等方式確定無人機的飛行軌跡。圖3為根據(jù)本發(fā)明一個實施例的無人機確定飛行軌跡的示意圖。如圖3的(a)、(b)、(C)、(d)所示，如遇到狹縫時，可采用直飛的方式確定飛行軌跡；遇到樹或建筑物，且不宜飛過時根據(jù)障礙物的寬度采用繞行的方式確定飛行軌跡；當空中有障礙物時，采用低飛的方式確定飛行軌跡；當遇到建筑物或山等形成的拐角時，則轉(zhuǎn)彎飛行。具體過程可通過如下數(shù)據(jù)表達式表示，檢索到參考軌跡為Sr=fr(X，y, z, Ir, t)，其相應視覺信息為Ir=Fr (X’，y’，Z’，λ，t)，當前待匹配視覺信息為In=Fn(x’，y’，z’，入，0，匹配度為1 ^(匕上)，其中，g表示為匹配方法，若MDn>d。，d。為匹配度閾值，則由參考軌跡可得當前視覺信息的預測軌跡信息為Sn=fn(x，y, z, In, t)。其中x，y，Z為軌跡空間坐標，Ir表示參考圖像強度，In表示當前待匹配圖像強度，t表示時間，x’，y’，z’為圖像空間坐標，λ表示光波波長。步驟S104，根據(jù)視覺圖像和對應的飛行軌跡生成映射關(guān)系數(shù)據(jù)庫，其中，映射關(guān)系數(shù)據(jù)庫可包括無人機在不同視覺圖像中的飛行軌跡信息、姿態(tài)、速度、策略和對應的視覺圖像以備檢索學習和/或傳輸，映射關(guān)系數(shù)據(jù)庫數(shù)據(jù)可根據(jù)圖像理解系統(tǒng)實時生成或預先載入。具體地，對不同視覺圖像采用對應的飛行策略確定無人機的飛行軌跡。將該視覺圖像和對應的飛行策略組成一組信息，將多個不同視覺圖像得到多個飛行策略以生成映射關(guān)系數(shù)據(jù)庫。如圖3所示，將狹縫與直飛策略組成一組信息；將不宜飛過的樹或建筑物與繞行策略組成一組信息。由此，構(gòu)建由視覺圖像與飛行策略相對應的映射關(guān)系數(shù)據(jù)庫。另外，飛行策略的建立，還可以依據(jù)無人機飛行時間，建立每個歷史航跡點與其處視覺信息的詳細對應關(guān)系，如以航跡點位置坐標作為該處視覺信息的索引，也可以抽取關(guān)鍵歷史時刻的航跡點及其視覺信息建立對應關(guān)系，或者抽取關(guān)鍵航跡線段及其關(guān)鍵視覺信息建立對應關(guān)系。其中當索引航跡視覺信息時，可同時索引到無人機該歷史時刻的姿態(tài)，高度，速度及根據(jù)該處視覺信息得到該時刻歷史航跡的計算規(guī)則等信息?？梢砸罁?jù)航跡特征或區(qū)域如:轉(zhuǎn)彎、高飛、直飛、低飛、繞飛等或者視覺信息特征的文本信息如:高或低靜態(tài)障礙物、高或低一定速度的動態(tài)障礙物、一定形狀(如:圓、球、方等)的障礙物、狹縫、樹/山/房屋/鳥/飛行物等，建立航跡與其處視覺信息的相關(guān)計算規(guī)則。在本發(fā)明的一個實施例中，無人機所采集的視覺圖像與映射關(guān)系數(shù)據(jù)庫中的視覺圖像進行比較，如果其匹配度大于閾值時，將通過學習與視覺圖像對應的飛行策略對無人機進行導航。例如，對于一棵樹無人機前后遇到的兩棵樹只是其大小不同，此時無人機可以學習先前的飛行策略對無人機進行導航。在匹配過程中，將匹配度最高的視覺圖像相對應的飛行策略作為最終飛行策略對無人機進行導航。根據(jù)特征識別結(jié)果和/或語義相關(guān)解釋，從映射關(guān)系數(shù)據(jù)庫中檢索與當前所獲得的數(shù)據(jù)類似的相關(guān)航跡與視覺信息，并根據(jù)與特征識別結(jié)果和/或語義相關(guān)解釋匹配度最高的航跡和視覺信息進行映射學習。具體而言，可根據(jù)與當前特征識別結(jié)果和/或語義相關(guān)解釋匹配度最高的航跡與視覺信息進行映射學習，具體取匹配度超過一定的閾值且匹配度較高或最高的航跡由其視覺信息生成的策略規(guī)則，將當前視覺信息的相關(guān)數(shù)據(jù)代入置換獲得當前視覺信息的相應的航跡，即為無人機通過航跡與視覺信息融合映射模塊學習得到的預測航跡信息。當匹配度超過一定的閾值且匹配度較高或最高的航跡與視覺信息超過一項時，可取任一項利用匹配度最高的航跡與視覺信息映射學習得到的預測航跡信息，在時延允許的情況下，也可設(shè)計多條航跡預測信息的融合關(guān)聯(lián)算法進行融合得到最終的預測航跡信息。當在一定時間內(nèi)，沒有檢索到匹配度超過一定閾值的航跡與其視覺信息時，則輸出特定字符表示沒有學習得到預測航跡信息。在本發(fā)明的一個實施例中，無人機有地圖或可獲取地圖時，通過地圖所生成的軌跡，并根據(jù)航跡與航跡和視覺信息對無人機進行導航。視覺信息包括:特征信息和語義文本信息。步驟S105，根據(jù)映射關(guān)系數(shù)據(jù)庫對無人機進行導航。
具體地，無人機實時采集視覺圖像與映射關(guān)系數(shù)據(jù)庫中的視覺圖像信息進行比較，當所采集的視覺圖像與映射關(guān)系數(shù)據(jù)庫中視覺圖像相吻合時，采用與映射關(guān)系數(shù)據(jù)庫中視覺圖像對應的飛行策略對無人機進行導航。根據(jù)本發(fā)明實施例的方法，通過將飛行軌跡與視覺圖像相關(guān)聯(lián)生成映射關(guān)系數(shù)據(jù)庫，并根據(jù)該映射關(guān)系數(shù)據(jù)庫進行學習，從而提高了對無人機進行導航的準確性，同時提高了無人機飛行的安全性。在本發(fā)明的一個實施例中，在預先有地圖或者有數(shù)字地圖發(fā)生器產(chǎn)生地圖信息的情況下，無人機可直接按照由地圖生成的軌跡信息進行導航飛行，為預防環(huán)境發(fā)生變化，由地圖生成的軌跡信息可與根據(jù)航跡與視覺信息融合映射模塊映射學習的預測航跡信息相匹配融合生成低誤差航跡信息進行導航飛行。也可直接將地圖信息融合到無人機航跡與視覺信息融合映射模塊的映射關(guān)系數(shù)據(jù)庫中或無人機圖像理解系統(tǒng)的圖形圖像模型庫中以識別和匹配生成可視導航信息。圖4為根據(jù)本發(fā)明一個實施例的基于無人機的飛行軌跡與視覺信息的映射導航系統(tǒng)的結(jié)構(gòu)框圖。如圖4所示，根據(jù)本發(fā)明實施例的基于無人機的飛行軌跡與視覺信息的映射導航系統(tǒng)包括采集模塊100、分析模塊200、確定模塊300、生成模塊400和導航模塊500。采集模塊100用于采集無人機的視覺圖像。具體地，采集模塊100通過無人機的機載視覺傳感設(shè)備實時采集無人機在飛行過程中的視覺圖像，例如，攝像機等。還可以從其他無人機或設(shè)備獲得可視導航所需的視頻圖像息。分析模塊200用于分析視覺圖像以獲得視覺圖像的特征信息及與視覺圖像的特征信息匹配的語義文本信息。具體地，分析模塊200通過對所采集的視頻圖像進行圖像處理和識別以獲得視頻圖像的特征信息。然后在圖像模型庫中搜索，其中，該圖像模型庫包括足夠多的圖像使對獲取的視頻圖像進行識別以獲得圖像語義。之后再無人機根據(jù)圖像語義生成語義文本信息。確定模塊300用于根據(jù)視覺圖像的特征信息及語義文本信息確定無人機的飛行軌跡。具體地，確定模塊300從語義文本信息所獲得障礙物的運動狀況，例如，靜止、等速或變速移動、障礙物的形狀，例如，圓、球、方形等，此外還有狹縫、圓孔、門、窗戶、樹、山、房屋、鳥、飛行物等語義文本信息采用相應的飛行軌跡。例如，根據(jù)與無人機的相對高度可以從障礙物上方越過、或者繞過障礙物等方式確定無人機的飛行軌跡。圖3為根據(jù)本發(fā)明一個實施例的無人機確定飛行軌跡的示意圖。如圖3的(a)、(b)、(C)、(d)所示，如遇到狹縫時，可采用直飛的方式確定飛行軌跡；遇到樹或建筑物，且不宜飛過時根據(jù)障礙物的寬度采用繞行的方式確定飛行軌跡；當空中有障礙物時，采用低飛的方式確定飛行軌跡；當遇到建筑物或山等形成的拐角時，則轉(zhuǎn)彎飛行。具體過程可通過如下數(shù)據(jù)表達式表示，檢索到參考軌跡為Sr=fr (X，y, z, Ir, t)，其相應視覺信息為Ir=Fr (X’，y’，Z’，λ，t)，當前待匹配視覺信息為In=Fn(X’，y’，ζ’，λ，t)，匹配度為MDn=g(Fr，F(xiàn)n)，其中，g表示為匹配方法，若MDn>d。，d。為匹配度閾值，則由參考軌跡可得當前視覺信息的預測軌跡信息為Sn=fn(x, y, z, In, t)。其中，X，Y, ζ為軌跡空間坐標，Ir表示參考圖像強度，In表示當前待匹配圖像強度，t表示時間，x’，y’，z’為圖像空間坐標，λ表示光波波長。生成模塊400用于根據(jù)視覺圖像和對應的飛行軌跡生成映射關(guān)系數(shù)據(jù)庫，其中，映射關(guān)系數(shù)據(jù)庫數(shù)據(jù)可根據(jù)圖像理解系統(tǒng)實時生成，也可預先載入。語義文本信息包括:視覺圖像中物體的形狀、大小、與無人機的相對距離及相關(guān)背景的狀態(tài)信息。具體地，確定模塊300對不同視覺圖像采用對應的飛行策略確定無人機的飛行軌跡，并由生成模塊400將該視覺圖像和對應的飛行策略組成一組信息，將多個不同視覺圖像得到多個飛行策略以生成映射關(guān)系數(shù)據(jù)庫。如圖3所示，將狹縫與直飛策略組成一組信息；將不宜飛過的樹或建筑物與繞行策略組成一組信息。由此，構(gòu)建由視覺圖像與飛行策略相對應的映射關(guān)系數(shù)據(jù)庫。另外，飛行策略的建立，還可以依據(jù)無人機飛行時間，建立每個歷史航跡點與其處視覺信息的詳細對應關(guān)系，如以航跡點位置坐標作為該處視覺信息的索引，也可以抽取關(guān)鍵歷史時刻的航跡點及其視覺信息建立對應關(guān)系，或者抽取關(guān)鍵航跡線段及其關(guān)鍵視覺信息建立對應關(guān)系。其中當索引航跡視覺信息時，可同時索引到無人機該歷史時刻的姿態(tài)，高度，速度及根據(jù)該處視覺信息得到該時刻歷史航跡的計算規(guī)則等信息。可以依據(jù)航跡特征或區(qū)域如:轉(zhuǎn)彎、高飛、直飛、低飛、繞飛等或者視覺信息特征的文本信息如:高或低靜態(tài)障礙物、高或低一定速度的動態(tài)障礙物、一定形狀(如:圓、球、方等)的障礙物、狹縫、樹/山/房屋/鳥/飛行物等，建立航跡與其處視覺信息的相關(guān)計算規(guī)則。導航模塊500用于根據(jù)映射關(guān)系數(shù)據(jù)庫對無人機進行導航。具體地，導航模塊500將實時采集視覺圖像與映射關(guān)系數(shù)據(jù)庫中的視覺圖像信息進行比較，當所采集的視覺圖像與映射關(guān)系數(shù)據(jù)庫中視覺圖像相吻合時，采用與映射關(guān)系數(shù)據(jù)庫中視覺圖像對應的飛行策略對無人機進行導航。圖5為根據(jù)本發(fā)明另一個實施例的基于無人機的飛行軌跡與視覺信息的映射導航系統(tǒng)的結(jié)構(gòu)框圖。如圖5所示，根據(jù)本發(fā)明實施例的基于無人機的飛行軌跡與視覺信息的映射導航系統(tǒng)還包括學習導航模塊600。學習導航模塊600用于無人機所采集的視覺圖像和映射關(guān)系數(shù)據(jù)庫中的視覺圖像的匹配度大于閾值時，通過映射學習方式與視覺圖像對應的飛行策略對無人機進行導航。例如，對于一棵樹無人機前后遇到的兩棵樹只是其大小不同，此時無人機可以學習先前的飛行策略對無人機進行導航。在匹配過程中，將匹配度最高的視覺圖像相對應的飛行策略作為最終飛行策略對無人機進行導航。在本發(fā)明的一個實施例中，學習導航模塊600將匹配度最高的視覺圖像相對應的飛行策略作為最終飛行策略對無人機進行導航。在本發(fā)明的一個實施例中，分析模塊200根據(jù)特征識別結(jié)果和/或語義相關(guān)解釋，從映射關(guān)系數(shù)據(jù)庫中檢索與當前所獲得的數(shù)據(jù)類似的相關(guān)航跡與視覺信息，學習導航模塊600根據(jù)與特征識別結(jié)果和/或語義相關(guān)解釋匹配度最高的航跡和視覺信息進行映射學習。具體地，學習導航模塊600根據(jù)與當前特征識別結(jié)果和/或語義相關(guān)解釋匹配度最高的航跡與視覺信息進行映射學習，具體取匹配度超過一定的閾值且匹配度較高或最高的航跡由其視覺信息生成的策略規(guī)則，學習導航模塊600將當前視覺信息的相關(guān)數(shù)據(jù)代入置換獲得當前視覺信息的相應的航跡，即為無人機通過航跡與視覺信息融合映射模塊學習得到的預測航跡信息。當匹配度超過一定的閾值且匹配度較高或最高的航跡與視覺信息超過一項時，可取任一項利用匹配度最高的航跡與視覺信息映射學習得到的預測航跡信息，在時延允許的情況下，也可設(shè)計多條航跡預測信息的融合關(guān)聯(lián)算法進行融合得到最終的預測航跡信息。如果在一定時間內(nèi)，沒有檢索到匹配度超過一定閾值的航跡與其視覺信息時，學習導航模塊600輸出特定字符表示沒有學習得到預測航跡信息。在本發(fā)明的一個實施例中，無人機有地圖或可獲取地圖時，通過地圖所生成的軌跡，并根據(jù)航跡與航跡和視覺信息對無人機進行導航。視覺信息包括:特征信息和語義文本信息。根據(jù)本發(fā)明實施例的系統(tǒng)，通過將飛行軌跡與視覺圖像相關(guān)聯(lián)生成映射關(guān)系數(shù)據(jù)庫，并根據(jù)該映射關(guān)系數(shù)據(jù)庫進行學習，從而提高了對無人機進行導航的準確性，同時提高了無人機飛行的安全性。盡管上面已經(jīng)示出和描述了本發(fā)明的實施例，可以理解的是，上述實施例是示例性的，不能理解為對本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在不脫離本發(fā)明的原理和宗旨的情況下在本發(fā)明的范圍內(nèi)可以對上述實施例進行變化、修改、替換和變型。
權(quán)利要求
1.一種基于無人機的飛行軌跡與視覺信息的映射導航方法，其特征在于，包括以下步驟: 采集無人機的視覺圖像； 利用無人機圖像理解系統(tǒng)分析視覺圖像以獲得視覺圖像的特征信息和語義文本信息； 根據(jù)所述視覺圖像的特征信息及語義文本信息確定所述無人機飛行軌跡； 根據(jù)所述視覺圖像和對應的飛行軌跡生成映射關(guān)系數(shù)據(jù)庫，其中，所述映射關(guān)系數(shù)據(jù)庫可包括所述無人機在不同視覺圖像中的飛行軌跡信息、姿態(tài)、速度、策略和對應的視覺圖像以備檢索學習和/或傳輸，所述映射關(guān)系數(shù)據(jù)庫數(shù)據(jù)可根據(jù)圖像理解系統(tǒng)實時生成或預先載入；以及 根據(jù)所述映射關(guān)系數(shù)據(jù)庫對所述無人機進行導航。
2.如權(quán)利要求1所述的基于無人機的飛行軌跡與視覺信息的映射導航方法，其特征在于，根據(jù)所述映射關(guān)系數(shù)據(jù)庫對所述無人機進行導航的步驟，進一步包括: 當所述無人機所采集的視覺圖像與所述映射關(guān)系數(shù)據(jù)庫中視覺圖像相吻合時，采用與所述映射關(guān)系數(shù)據(jù)庫中視覺圖像對應的飛行策略對所述無人機進行導航。
3.如權(quán)利要求1所述的基于無人機的飛行軌跡與視覺信息的映射導航方法，其特征在于，還包括: 當所述無人機所采集的 視 覺圖像和所述映射關(guān)系數(shù)據(jù)庫中的視覺圖像的匹配度大于閾值時，通過映射學習方式與所述視覺圖像對應的飛行策略對所述無人機進行導航。
4.如權(quán)利要求3所述的基于無人機的飛行軌跡與視覺信息的映射導航方法，其特征在于，將匹配度最高的視覺圖像相對應的飛行策略作為最終飛行策略對所述無人機進行導航。
5.如權(quán)利要求1所述的基于無人機的飛行軌跡與視覺信息的映射導航方法，其特征在于，所述語義文本信息包括:所述視覺圖像中物體的形狀、大小、運動狀態(tài)、與所述無人機的相對距離及相關(guān)背景的狀態(tài)信息。
6.如權(quán)利要求1所述的基于無人機的飛行軌跡與視覺信息的映射導航方法，其特征在于，所述映射關(guān)系數(shù)據(jù)庫中存儲無人機飛行航跡和相應的視覺信息，且所述無人機飛行航跡和相應的視覺信息按照航跡或視覺信息的特征、航跡發(fā)生的時間順序進行分類，使無人機在檢索過程中根據(jù)不同類型數(shù)據(jù)進行檢索。
7.如權(quán)利要求1所述的基于無人機的飛行軌跡與視覺信息的映射導航方法，其特征在于，所述無人機根據(jù)歷史飛行航跡與相應的視覺信息、當前時刻的飛行航跡與相應的視覺信息進行定位，并且根據(jù)當前獲得的所述視覺信息進行映射學習，實現(xiàn)所述無人機的航跡預測和路徑規(guī)劃。
8.如權(quán)利要求1所述的基于無人機的飛行軌跡與視覺信息的映射導航方法，其特征在于，所述映射學習方式進一步包括: 根據(jù)特征識別結(jié)果和/或語義相關(guān)解釋，從映射關(guān)系數(shù)據(jù)庫中檢索與當前所獲得的數(shù)據(jù)類似的所述相關(guān)航跡與視覺信息，并根據(jù)與所述特征識別結(jié)果和/或語義相關(guān)解釋匹配度最高的航跡和視覺信息進行映射學習。
9.如權(quán)利要求1所述的基于無人機的飛行軌跡與視覺信息的映射導航方法，其特征在于，所述無人機有地圖或可獲取地圖時，通過所述地圖生成飛行軌跡信息，無人機可直接按照由地圖生成的軌跡信息進行導航飛行，為預防環(huán)境發(fā)生變化，由地圖生成的軌跡信息可與根據(jù)航跡與視覺信息融合映射學習的預測航跡信息相匹配融合生成低誤差航跡信息對所述無人機進行導航。
10.如權(quán)利要求6至9所述的基于無人機的飛行軌跡與視覺信息的映射導航方法，其特征在于，所述視覺信息包括:特征信息和語義文本信息。
11.一種基于無人機的飛行軌跡與視覺信息的映射導航系統(tǒng)，其特征在于，包括: 采集模塊，用于采集無人機的視覺圖像； 分析模塊，用于分析所述視覺圖像以獲得所述視覺圖像的特征信息及與所述視覺圖像的特征信息匹配的語義文本信息； 確定模塊，用于根據(jù)視覺圖像的特征信息及語義文本信息確定所述無人機的飛行軌跡； 生成模塊，用于根據(jù)所述視覺圖像和對應的飛行軌跡生成映射關(guān)系數(shù)據(jù)庫，其中，所述映射關(guān)系數(shù)據(jù)庫可包括所述無人機在不同視覺圖像中的飛行軌跡信息、姿態(tài)、速度、策略和對應的視覺圖像以備檢索學習和/或傳輸，映射關(guān)系數(shù)據(jù)庫數(shù)據(jù)可根據(jù)圖像理解系統(tǒng)實時生成，也可預先載入；以及 導航模塊，用于根據(jù)所述映射關(guān)系數(shù)據(jù)庫對所述無人機進行導航。
12.如權(quán)利要求11所述的基于無人機的飛行軌跡與視覺信息的映射導航系統(tǒng)，其特征在于，所述導航模塊還用于當所述無人機所采集的視覺圖像與所述映射關(guān)系數(shù)據(jù)庫中視覺圖像相吻合時，采用與所述映射關(guān)系數(shù)據(jù)庫中視覺圖像對應的飛行策略對所述無人機進行導航。
13.如權(quán)利要求11所述的基于無人機的飛行軌跡與視覺信息的映射導航系統(tǒng)，其特征在于，還包括: 學習導航模塊，用于所述無人機所采集的視覺圖像和所述映射關(guān)系數(shù)據(jù)庫中的視覺圖像的匹配度大于閾值時，通過映射學習方式與所述視覺圖像對應的飛行策略對所述無人機進行導航。
14.如權(quán)利要求13所述的基于無人機的飛行軌跡與視覺信息的映射導航系統(tǒng)，其特征在于，所述學習導航模塊還用于將匹配度最高的視覺圖像相對應的飛行策略作為最終飛行策略對所述無人機進行導航。
15.如權(quán)利要求11所述的基于無人機的飛行軌跡與視覺信息的映射導航系統(tǒng)，其特征在于，所述語義文本信息包括:所述視覺圖像中物體的形狀、大小、運動狀態(tài)、與所述無人機的相對距離及相關(guān)背景的狀態(tài)信息。
全文摘要
本發(fā)明提出一種基于無人機的飛行軌跡與視覺信息的映射導航方法及系統(tǒng)。其中，方法包括以下步驟采集無人機的視覺圖像；利用無人機圖像理解系統(tǒng)分析視覺圖像以獲得視覺圖像的特征信息和語義文本信息；根據(jù)視覺圖像的特征信息及語義文本信息確定無人機飛行軌跡；根據(jù)視覺圖像和對應的飛行軌跡生成映射關(guān)系數(shù)據(jù)庫，其中，映射關(guān)系數(shù)據(jù)庫數(shù)據(jù)可根據(jù)圖像理解系統(tǒng)實時生成或預先載入；以及根據(jù)映射關(guān)系數(shù)據(jù)庫對無人機進行導航。根據(jù)本發(fā)明實施例的方法，通過將飛行軌跡與視覺圖像相關(guān)聯(lián)生成映射關(guān)系數(shù)據(jù)庫，并根據(jù)該映射關(guān)系數(shù)據(jù)庫進行學習，從而提高了對無人機進行導航的準確性，同時提高了無人機飛行的安全性。
文檔編號G01C11/00GK103196430SQ201310153828
公開日2013年7月10日 申請日期2013年4月27日 優(yōu)先權(quán)日2013年4月27日
發(fā)明者戴瓊海, 劉慧 申請人:清華大學