本發(fā)明涉及無人機駕駛飛行器(Unmanned Aerial Vehicle)簡稱無人機(UAV)和計算機視覺(Computer vision)領域，尤其是一種無人機視覺導航降落系統(tǒng)。

背景技術：

無人機自主導航降落是指無人機利用飛行控制系統(tǒng)和自身傳感器進行定位導航并最終控制無人機降落的過程。自主降落是實現(xiàn)自主飛行的重要基礎和關鍵技術。根據(jù)任務的不同要求，通常對于導航與控制精度，環(huán)境魯棒性及可靠性均有較高的要求。

傳統(tǒng)的無人機自主著陸的導航技術包括：慣性導航系統(tǒng)(INS)、GPS導航系統(tǒng)和INS/GPS組合導航系統(tǒng)。慣性導航系統(tǒng)是利用陀螺、加速度計等慣性元件估計無人機在運動過程中的角速度和加速度，然后通過積分計算和傳感器融合，得到無人機的位置、速度等導航參數(shù)。慣性導航的缺點是傳感器的數(shù)據(jù)會隨著時間的推移而漂移，因此難以長時間獨立工作，而需與其它導航方法組合使用；GPS導航系統(tǒng)利用導航衛(wèi)星進行導航定位，但由于完全依靠導航衛(wèi)星，存在信號易受干擾和技術壟斷等問題，同時導航精度有限，一般GPS的精度在5-10米。差分GPS精度高，但價格昂貴。近幾年，由于計算機視覺的快速發(fā)展和機載運算設備的性能不斷提升。視覺導航憑借其在導航精度，任務的處理能力，環(huán)境的適應能力上的優(yōu)勢逐步成為導航降落中的重要方法和未來的發(fā)展的重要趨勢。

現(xiàn)有的基于視覺的無人機導航降落系統(tǒng)主要包括：基于人工標識物的導航降落系統(tǒng)、基于自然場景分析的導航降落系統(tǒng)和基于地基信息導航降落系統(tǒng)。

基于人工標示物的導航降落系統(tǒng)，需要在降落區(qū)域布置人工標識物，但在可靠性，環(huán)境魯棒性上要高于另兩種方法。

基于標示物的導航降落能夠滿足大多數(shù)此類無人機任務場景，如自主返航降落，物資運輸投遞，自主能源補給等。

目前常見的用于導航的識別物為一些平面圖案，包括“H”型，圓形，矩形標識物，Apriltage，ARtag等編碼表示物，或者由LED組成的平面標識物。此類算法，可以通過標識物，進行相機的位置解算，被用在視覺導航，增強現(xiàn)實(AR)等場景中。但目前基于標識物的降落方法有以下幾點不足：

1)由于在無人機降落過程中，飛行高度發(fā)生變化，所以所獲取的圖像會有巨大的尺度變化，而該類標識物無法進行尺度的調(diào)整，造成標識物檢測失敗，姿態(tài)結算錯誤等問題。在移動目標視覺導航降落的過程中，

2)通常一般形狀標識物，識別和姿態(tài)估計的計算量較大，實時性較差。不具備旋轉(zhuǎn)，仿射不變性。

也由于標識物識別上的瓶頸，使得無法設計出很好位置解算方法和導航控制策略，使得傳統(tǒng)的標示物視覺導航算法無法很好的滿足實際任務的需求。

技術實現(xiàn)要素：

為了克服已有無人機視覺導航降落系統(tǒng)的尺度變化適應力低、姿態(tài)解算能力差、擴展性不足的不足，本發(fā)明提供了一種尺度變化適應力高、姿態(tài)解算能力好、擴展性較好的基于多尺度標識物的無人機視覺導航降落系統(tǒng)。

本發(fā)明解決其技術問題所采用的技術方案是：

一種基于多尺度標識物的無人機視覺導航降落系統(tǒng)，所述系統(tǒng)包括多尺度標識物和導航系統(tǒng)，所述多尺度標識物以圖像中心作為世界坐標系原點(0,0,0)，邊長1個像素，以該像素為中心向四個方向延伸，每向外延伸一次，黑色矩形的邊長變?yōu)樵瓉淼?倍；按照像素尺寸和標識物的整體尺寸自動生成所述多尺度標識物；假設世界坐標系在標識物中心點，標識物上的點的z軸坐標為0且各矩陣的中心坐標已知；通過direct linear transform方法解算Homography，然后通過Homography的分解求得相機相對于標識物的旋轉(zhuǎn)平移矩陣；所述導航系統(tǒng)包括坐標系標定模塊、圖像獲取模塊和運算處理模塊，所述運算處理模塊用于負責目標物識別、姿態(tài)解算、導航控制以及與無人機飛行控制器的通信。

進一步，所述坐標系標定模塊中，在待降落區(qū)域布置標識物，建立地面標識物和無人機采集到的圖像幾何聯(lián)系，定義以下坐標系：世界坐標系(w：O_w-W_xW_yW_z)，相機坐標系(C：O_c-C_xC_yC_z)，無人機坐標系(B：O_b-B_xB_yB_z)和圖像坐標系(I：uv)；

設定相機是垂直安裝于無人機重心處，方向垂直朝下，因此相機坐標系和無人機坐標系經(jīng)過之間的關系是固定的，坐標系之間通過旋轉(zhuǎn)平移轉(zhuǎn)化；

在圖像坐標系中，以圖像左上角為原點建立u-v坐標系，圖像坐標的(0，0)坐標是圖片的左上角，x軸為圖像矩形上面那條水平線，y軸為圖像圖像矩形左邊那條垂直線。將相機的光軸與圖像平面的焦點(也成為圖像的主點principal point)，作為該坐標系的原點，一般位于圖像中心；X軸平行于u軸，y軸平行于v軸，(u₀，v₀)代表o₁在u-v坐標系下的坐標，u和v與x和y存在以下關系：

u＝x+u₀v＝y(tǒng)+v₀

相機坐標系以O為攝像機光心，X_c軸和Y_c軸與圖像坐標系x軸和y軸平行，Z_c為主光軸，和圖像平面垂直，交點為圖像的主點o₁，oo₁位攝像機的焦距，f_c＝(f/dx,f/dy)；

世界坐標系中，設定標識物的幾何中心點作為世界坐標系的(0,0,0)位置，假設空間點P在世界坐標系下的齊次坐標是(x_w，y_w，z_w)，那么該點在相機坐標系下的齊次坐標是(x_c，y_c，z_c)

R為以相機坐標系為基準的旋轉(zhuǎn)矩陣，T為以相機坐標系為基準的平移向量，將世界坐標系中的一個點，轉(zhuǎn)化到相機坐標系中；

通過以上關系表達圖像平面[u,v]，相機坐標系和世界坐標系中間的關系，從而確定無人機在世界坐標系中的位置，完成導航降落。

再進一步，所述導航系統(tǒng)采用MVC框架和ROS框架相結合，最頂層的視圖層包含圖像的顯示模塊和飛機姿態(tài)回傳模塊；模型層包裝無人機的視覺伺服邏輯上的控制，將視覺感知信息轉(zhuǎn)化為無人機控制器；控制層實現(xiàn)與無人機飛行控制器之間的交互，支持與Ardrone，Asctec和Pixhawk等飛控的通信；視覺算法層包括目標物識別算法和姿態(tài)結算算法。

所述視覺算法層中，通過相機獲取的圖像作為輸入，進行視覺處理把姿態(tài)位置信息交給邏輯控制層，然后根據(jù)不同的控制模型，輸出給控制層實現(xiàn)無人機視覺自動控制；各層依附在ROS框架中，各層之間通信交互按照ROS的通信機制標準實現(xiàn)。

本發(fā)明的有益效果主要表現(xiàn)在：克服了傳統(tǒng)基于標識物導航問中尺度變化適應力低，姿態(tài)解算能力差，擴展性不足的問題，提升了導航降落的精度，使得無人機能夠更好的完成實際的任務；標識物本身的擴展性強，適合根據(jù)不同的任務進行快速的改造。除了標識物算法之外，本發(fā)明同時實現(xiàn)了完整的無人機導航控制系統(tǒng)，可以匹配目前市面上大多數(shù)的民用無人機控制系統(tǒng)。

附圖說明

圖1是坐標系的示意圖。

圖2是現(xiàn)有的各種標識物的示意圖，該類標識物沒有考慮尺度的變化。

圖3是現(xiàn)有的另一類標識物的示意圖，該類標識物考慮了尺度的變化，只能進行2個或3個自由度的估計。

圖4是本發(fā)明的原始多尺度標識物圖。

圖5是結合編碼的標識物的示意圖。

圖6是結合LED顯示屏的標識物的示意圖。

圖7是基于多尺度標識物的無人機視覺導航降落系統(tǒng)的原理框圖。

具體實施方式

下面結合附圖對本發(fā)明作進一步描述。

參照圖1～圖7，一種基于多尺度標識物的無人機視覺導航降落系統(tǒng)，

定義坐標系，在待降落區(qū)域布置了標識物，建立地面標識物和無人機采集到的圖像幾何聯(lián)系，定義了以下坐標系。

世界坐標系(w：O_w-W_xW_yW_z)，相機坐標系(C：O_c-C_xC_yC_z)，無人機坐標系(B：O_b-B_xB_yB_z)，圖像坐標系(I：uv)

由于系統(tǒng)假設相機是垂直安裝于無人機重心處，方向垂直朝下，因此相機坐標系和無人機坐標系經(jīng)過之間的關系是固定的，坐標系之間可以通過旋轉(zhuǎn)平移可以轉(zhuǎn)化；

在圖像坐標系中，一般以圖像左上角為原點建立u-v坐標系；

圖像坐標的(0，0)坐標，是圖片的左上角。x軸為圖像矩形上面那條水平線，y軸為圖像圖像矩形左邊那條垂直線。將相機的光軸與圖像平面的焦點(也成為圖像的主點principal point)，作為該坐標系的原點，一般位于圖像中心。X軸平行于u軸，y軸平行于v軸，(u0，v0)代表o1在u-v坐標系下的坐標，u和v與x和y存在以下關系：

u＝x+u₀v＝y(tǒng)+v₀

相機坐標系：O為攝像機光心，X_c軸和Y_c軸與圖像坐標系x軸和y軸平行，Z_c為主光軸，和圖像平面垂直，交點為圖像的主點o₁，oo₁位攝像機的焦距。f_c＝(f/dx,f/dy)因為dx，dy的單位是毫米/像素，所以f_c的單位為像素。

世界坐標系是為了表述無人機位置而引入，假設標識物的幾何中心點作為世界坐標系的(0,0,0)位置。假設空間點P在世界坐標系下的齊次坐標是(x_w，y_w，z_w)，那么該點在相機坐標系下的齊次坐標是(x_c，y_c，z_c)

R以相機坐標系為基準的旋轉(zhuǎn)矩陣。T，以相機坐標系為基準的平移向量?？梢詫⑹澜缱鴺讼抵械囊粋€點，轉(zhuǎn)化到相機坐標系中。

通過以上關系就可以表達圖像平面[u,v]，相機坐標系和世界坐標系中間的關系，從而確定無人機在世界坐標系中的位置，完成導航降落。

本系統(tǒng)假設在精準的視覺導航之前，無人機已經(jīng)根據(jù)GPS坐標，到達待降落區(qū)域。

本實施例的標識物的設計考慮到目前常用標示物遇到的幾個問題：1、無法克服尺度變化問題；2、只能進行2D的姿態(tài)估計。3、擴展性差。

目前大多數(shù)的標識物(參照圖2所示)，并沒有考慮尺度的變化，在無人機降落過程中會出現(xiàn)，部分標識物超出攝像頭視野，從而無法識別或跟蹤失敗的情況。

參照圖3，該標識物也考慮了尺度上的變化，但由于本身的特性，只能進行2自由度(x，y)3或者自由度的估計(x，y，z)。而無人機本生的控制有6個自由度(X，Y，Z，α，β，γ)三個軸以及饒三個軸轉(zhuǎn)動的自由度。

標識物確定之后，可能在不同的任務中需要適應不同的環(huán)境，如需要使得標識物具備信息存儲能力；在弱光環(huán)境下，可能需要主動發(fā)光。標識物無法進行快速的生成。

參照圖4～圖6，本發(fā)明提出一種多尺度的標識物，更加準確的說是研究了一種多尺度標識物的生成方法。以圖像中心作為世界坐標系原點(0,0,0)，邊長1個像素，以該像素為中心向四個或者兩個方向延伸，每向外延伸一次，黑色矩形的邊長變?yōu)樵瓉淼?倍。確定該標識物只需要確定兩個參數(shù)，像素尺寸，標識物的整體尺寸。確定了這兩個尺寸之后，標識物可以自動生成。考慮到可擴展性，利用該方法可以快速生成帶有信息存儲，LED屏幕顯示等標識物。

標識物的識別的過程如下：1)在全圖中計算梯度的方向和大小；2)將類似梯度的點進行聚類；3)進行基于graph的直線分割；4)然后對得到之間進行矩形檢測；5)在得到的矩形中，確定視場中最大且同時存在四個的矩形，計算各自的矩形中心點。

在檢測到矩形之后，可以根據(jù)矩陣中心點來進行姿態(tài)的估計。利用四個以上矩陣的中心點，已知其標示物上的實際坐標，以及圖像坐標，此類問題可以表述成perspective-N-point(PNP)問題。本發(fā)明利用的標識物為平面標識物，因此可以假設世界坐標系在標識物中心點，標示物上的點的z軸坐標為0且各矩陣的中心坐標已知。通過direct linear transform方法解算Homography，然后通過Homography的分解求得相機相對于標識物的旋轉(zhuǎn)平移矩陣。

導航系統(tǒng)設計：導航系統(tǒng)由圖像獲取模塊，運算處理模塊組成，其中運算處理模塊負責目標物識別，姿態(tài)解算，導航控制，以及與無人機飛行控制器的通信。

本發(fā)明采用MVC框架和ROS框架相結合，最頂層的視圖層包含了圖像的顯示，飛機姿態(tài)回傳等交互模塊。模型層包裝了無人機的視覺伺服邏輯上的控制，將視覺感知信息轉(zhuǎn)化為無人機控制器；控制層實現(xiàn)了與無人機飛行控制器之間的交互，支持與Ardrone，Asctec，Pixhawk等飛控的相互通信。視覺算法層包括目標物識別，姿態(tài)結算等視覺算法。整體的工作流程為，通過相機獲取的圖像作為輸入，進行視覺處理把姿態(tài)位置信息交給邏輯控制層，然后根據(jù)不同的控制模型，輸出給控制層實現(xiàn)無人機視覺自動控制。各層之間耦合度低，并依附在ROS框架中，各層之間通信交互按照ROS的通信機制標準實現(xiàn)。

本實施例的無人機視覺導航是通過機載圖像獲取設備(攝像頭)，獲取環(huán)境中視覺信息，進行分析和感知，完成無人機的導航控制?；跇俗R物的視覺導航方法，可以通過標識物，解算無人機相對于地面的位置，姿態(tài)，結合無人機本身的慣導信息，控制無人機機，完成如精準降落等復雜任務。