一種基于光流的無人機自動降落引導(dǎo)方法
【專利摘要】本發(fā)明提出一種基于光流的無人機自動降落引導(dǎo)方法，在降落過程中通過對光流模塊的相機拍攝的實時圖像進行處理，確定標志物，估計標志物相對無人機的位置和姿態(tài)；將相對位置、姿態(tài)信息發(fā)送給飛行控制器，從而控制無人機逐步逼近降落目標，最終實現(xiàn)無人機全自主降落。由于無人機在自主飛行和降落過程中，使用下視的光流傳感器實現(xiàn)自身的定位，所以能夠在無GPS情況下完成自身的視覺定位。而且在GPS失效的情況下，使用光流模塊進行輔助定位，能夠保證無人機準確的找到降落場地，從而提高無人機降落的可靠性，該方法設(shè)計合理，能夠在不同情況下實現(xiàn)準確降落，適用性廣泛。
【專利說明】
一種基于光流的無人機自動降落引導(dǎo)方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及無人機、機器人自主導(dǎo)航領(lǐng)域，具體為一種基于光流的無人機自動降 落引導(dǎo)方法。
【背景技術(shù)】
[0002] 近幾年，微型無人機由于其體積小、重量輕、隱蔽性好等特點被廣泛應(yīng)用于攝像、 監(jiān)控、偵查、追蹤、測繪等各個領(lǐng)域，并開啟了無人機技術(shù)爆炸的時代。而動態(tài)追蹤拍攝時微 小平臺（如汽車頂）回收拍攝裝備、快遞行業(yè)定點投送物品等民用無人機使用的新需求，都 對微型無人機的自動降落技術(shù)提出了新挑戰(zhàn)。
[0003] 基于GPS的自動降落時目前最常用的解決方法，但是這類基于GPS導(dǎo)航的自動降落 技術(shù)均存在一些不足：1)目前民用GPS定位精度僅能達到10米，對于一些地形復(fù)雜的區(qū)域， 如建筑群密集的城市中心，很有可能由于導(dǎo)航誤差造成無人機在低空進近時墜毀;2 )GPS信 號受非空氣介質(zhì)干擾大，在遮擋物較多的地域(如森林)會造成誤差加大甚至信號缺失;3) 專業(yè)級高精度GPS設(shè)備造價高昂，經(jīng)濟性不足。GPS的精度不是特別高，若在偏離降落地點上 方時，GPS失效，可能會導(dǎo)致無法降落。
[0004] 通過計算機視覺的方式能夠克服GPS定位的缺陷，目前較為常用的方法是光流方 法。光流的概念是由Gibson于1950年首提出的，是指空間運動的物體在成像面上的像素運 動的瞬時速度，是利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關(guān)性來找到 與上一幀之間存在的對應(yīng)關(guān)系，從而計算出相鄰幀之間的運動信息的一種方法。它表征了 二維圖像的灰度變化和場景中物體及其運動的關(guān)系，它根據(jù)像素灰度的時域變化和相關(guān)性 確定各個像素的運動速度，因此，可被觀察者用來確定目標的運動情況。1981年，Barron等 人對多種光流計算技術(shù)進行總結(jié)，按照理論基礎(chǔ)與數(shù)學(xué)方法的區(qū)別把光流計算方法分為四 種:基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法。但實際應(yīng)用過程 中，定位有兩種:一種為標志物定位，一種是光流定位。
[0005] 目前的無人機著陸系統(tǒng)主要包括設(shè)置在無人機上的圖像采集模塊、圖像處理模塊 和導(dǎo)航參數(shù)計算模塊。已有的方法有：
[0006] 上海理工大學(xué)的夏云龍、魏國亮等人提出了基于聲源時延和氣壓高度傳感器的無 人機精確降落技術(shù)，該項技術(shù)在降落點安置聲源，在無人機上構(gòu)造基于全向性駐極體麥克 風(fēng)的正四面體麥克風(fēng)接收陣列，利用聲源時延技術(shù)計算無人機的俯仰角和偏航角，再通過 無人機上安裝的氣壓高度傳感器感知無人機的高度，從而精確引導(dǎo)無人機降落。但聲源時 延方法仍會受到環(huán)境干擾。
[0007] 在審中的發(fā)明專利"針對小型無人機自主降落的視覺分級地標定位識別方法"，利 用GPS將無人機導(dǎo)航到降落場地上方，然后通過視覺分級地標定位識別，對機載攝像頭獲取 的圖像進行處理，給出降落地標的地位信息。該方法還是需要依賴GPS。

【發(fā)明內(nèi)容】

[0008] 為解決現(xiàn)有技術(shù)存在的問題，本發(fā)明提出了一種基于光流的無人機自動降落引導(dǎo) 方法，其特點是:在無人機接收到降落指令時，在GPS引導(dǎo)無人機飛往降落場上方數(shù)米大概 位置的過程中，若GPS失效，則利用本發(fā)明的基于光流的輔助定位方法，使無人機可以找到 降落場，進行降落。
[0009] 為了實現(xiàn)上述任務(wù)，本發(fā)明的技術(shù)方案為：
[0010] 所述一種基于光流的無人機自動降落引導(dǎo)方法，其特征在于:包括以下步驟：
[0011]步驟1:無人機根據(jù)自身飛行高度判斷是否需要降低飛行高度，以滿足無人機機載 相機清晰拍攝降落場地圖像要求；當無人機飛行高度滿足要求后，無人機機載相機持續(xù)拍 攝降落場地圖像，并將拍攝的圖像轉(zhuǎn)換為灰度圖；
[0012] 步驟2:根據(jù)相鄰兩幀灰度圖像，利用以下方法得到光流場方向和速度：
[0013] 利用SAD算法對相鄰兩幀灰度圖像進行匹配，以N*N的像素區(qū)域作為研究區(qū)域，選 擇若干對研究區(qū)域中匹配度最好的一對研究區(qū)域;再對得到的該對匹配度最好的研究區(qū)域 中的每對對應(yīng)像素點的位置作矢量運算，得到像素點的運動方向，對所有像素點的運動方 向進行統(tǒng)計，將統(tǒng)計值最大的運動方向作為光流場方向；
[0014] 在相機坐標系下的光流場速度^及^利用以下公式得到：
[0017] 其中：Tx、Ty、Tz為世界坐標系下，相鄰兩幀灰度圖像中運動方向為光流場方向的匹 配像素點P的運動平移分量，所述世界坐標系以降落場所所在平面作為XY平面，垂直該平面 的軸為Z軸;x、y為像平面上的點p在相機坐標系下的坐標，Z為相機成像平面距離降落點的 垂直高度，f為相機焦距，《 X、《 y、《 z為點P的運動角速度；
[0018] 步驟3:根據(jù)步驟2得到的光流場方向和速度確定無人機的運動方向和速度，其中 無人機的運動方向與光流場方向相反，無人機在世界坐標系下的速度V x、Vy根據(jù)以下公式得 到：
[0021] 無人機按照確定的運動方向和速度飛行；
[0022] 步驟4:循環(huán)進行步驟2和步驟3,直至無人機機載相機拍攝的圖像中出現(xiàn)降落場地 地標，進入步驟5;
[0023] 步驟5:所述降落場地地標包括外部標記和內(nèi)部標記;所述內(nèi)部標記嵌套在外部標 記內(nèi)；
[0024] 當無人機機載相機拍攝圖像出現(xiàn)清晰完整外部標記時，無人機進入第一進近域， 無人機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的外部標記確定無人機降落場地方位和無人機 的位姿，調(diào)整無人機的飛行方向；無人機根據(jù)得到的飛行方向減速下降飛行；
[0025] 當無人機機載相機拍攝圖像出現(xiàn)清晰完整內(nèi)部標記時，無人機進入第二進近域， 無人機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標記確定無人機降落場地方位和無人機 的位姿，調(diào)整無人機的飛行方向；無人機根據(jù)得到的飛行方向減速降落。
[0026] 所述一種基于光流的無人機自動降落引導(dǎo)方法，其特征在于:包括以下步驟：
[0027] 步驟1:無人機根據(jù)自身飛行高度判斷是否需要降低飛行高度，以滿足無人機機載 相機清晰拍攝降落場地圖像要求；當無人機飛行高度滿足要求后，無人機機載相機持續(xù)拍 攝降落場地圖像，并將拍攝的圖像轉(zhuǎn)換為灰度圖；
[0028] 步驟2:根據(jù)相鄰兩幀灰度圖像，利用以下方法得到光流場方向和速度：
[0029] 利用SAD算法對相鄰兩幀灰度圖像進行匹配，以N*N的像素區(qū)域作為研究區(qū)域，選 擇若干對研究區(qū)域中匹配度最好的一對研究區(qū)域;再對得到的該對匹配度最好的研究區(qū)域 中的每對對應(yīng)像素點的位置作矢量運算，得到像素點的運動方向，對所有像素點的運動方 向進行統(tǒng)計，將統(tǒng)計值最大的運動方向作為光流場方向；
[0030] 在相機坐標系下的光流場速度^及^利用以下公式得到：
[0033] 其中：Tx、Ty、Tz為世界坐標系下，相鄰兩幀灰度圖像中運動方向為光流場方向的匹 配像素點P的運動平移分量，所述世界坐標系以降落場所所在平面作為XY平面，垂直該平面 的軸為Z軸;x、y為像平面上的點p在相機坐標系下的坐標，Z為相機成像平面距離降落點的 垂直高度，f為相機焦距，《 X、《 y、《 z為點P的運動角速度；
[0034] 步驟3:根據(jù)步驟2得到的光流場方向和速度確定無人機的運動方向和速度，其中 無人機的運動方向與光流場方向相反，無人機在世界坐標系下的速度V x、Vy根據(jù)以下公式得 到：
[0037] 無人機按照確定的運動方向和速度飛行；
[0038] 步驟4:以步驟3確定的運動方向為初始方向，以阿基米德螺旋線為飛行軌跡進行 飛行，直至無人機機載相機拍攝的圖像中出現(xiàn)降落場地地標，進入步驟5;
[0039] 步驟5:所述降落場地地標包括外部標記和內(nèi)部標記;所述內(nèi)部標記嵌套在外部標 記內(nèi)；
[0040] 當無人機機載相機拍攝圖像出現(xiàn)清晰完整外部標記時，無人機進入第一進近域， 無人機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的外部標記確定無人機降落場地方位和無人機 的位姿，調(diào)整無人機的飛行方向，無人機根據(jù)得到的飛行方向減速下降飛行；
[0041] 當無人機機載相機拍攝圖像出現(xiàn)清晰完整內(nèi)部標記時，無人機進入第二進近域， 無人機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標記確定無人機降落場地方位和無人機 的位姿，調(diào)整無人機的飛行方向；無人機根據(jù)得到的飛行方向減速降落。
[0042] 進一步的優(yōu)選方案，所述基于光流的無人機自動降落引導(dǎo)方法，其特征在于:所述 外部標記為由N*N個完全相同的方格構(gòu)成的正方形區(qū)域;外部標記的最外圈方格區(qū)域為黑 色，其余的方格區(qū)域為黑色或白色；內(nèi)部標記為由N*N個完全相同的方格構(gòu)成的正方形區(qū) 域，且內(nèi)部標記嵌套在外部標記內(nèi)；內(nèi)部標記的最外圈方格區(qū)域為黑色，其余的方格區(qū)域為 黑色或白色，且與內(nèi)部標記最外圈方格相鄰的外部標記方格為白色;所述外部標記的方格 大于內(nèi)部標記的方格;所述外部標記方格區(qū)域黑白布局與內(nèi)部標記方格區(qū)域黑白布局不 同。
[0043] 進一步的優(yōu)選方案，所述基于光流的無人機自動降落引導(dǎo)方法，其特征在于:所述 降落場地地標還包括有衛(wèi)星標記;衛(wèi)星標記為由N*N個完全相同的方格構(gòu)成的正方形區(qū)域， 衛(wèi)星標記的最外圈方格區(qū)域為黑色，其余的方格區(qū)域為黑色或白色，衛(wèi)星標記的方格小于 內(nèi)部標記的方格，衛(wèi)星標記面積小于內(nèi)部標記面積的1/3;衛(wèi)星標記放置在外部標記最外圈 方格區(qū)域及其內(nèi)側(cè)，當與衛(wèi)星標記最外圈方格相鄰的外部標記方格或內(nèi)部標記方格為黑色 時，在衛(wèi)星標記最外圈方格邊緣設(shè)計有白色間隙。
[0044] 進一步的優(yōu)選方案，所述基于光流的無人機自動降落引導(dǎo)方法，其特征在于:步驟 5中，當無人機機載相機拍攝圖像出現(xiàn)清晰完整內(nèi)部標記時，無人機進入第二進近域，無人 機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標記確定無人機降落場地方位和無人機的位 姿，調(diào)整無人機的飛行方向，無人機根據(jù)得到的飛行方向減速下降；當外部標記完整呈現(xiàn)并 占滿無人機機載相機全景框時，無人機機載相機繼續(xù)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標 記確定無人機降落場地方位和無人機的位姿，調(diào)整無人機的飛行方向，無人機根據(jù)得到的 飛行方向減速降落;在無人機進入第二進近域下降過程中，若沒有出現(xiàn)過外部標記完整呈 現(xiàn)并占滿無人機機載相機全景框情況時，無人機上升回到第一進近域，重新進近。
[0045] 進一步的優(yōu)選方案，所述基于光流的無人機自動降落引導(dǎo)方法，其特征在于:步驟 5中，在無人機根據(jù)得到的飛行方向減速降落過程中，若無人機機載相機拍攝的圖像中沒有 完整的內(nèi)部標記時，則根據(jù)圖像中的衛(wèi)星標記確定無人機降落場地方位和無人機的位姿， 調(diào)整無人機的飛行方向，使無人機機載相機拍攝的圖像中重新出現(xiàn)完整的內(nèi)部標記。
[0046] 進一步的優(yōu)選方案，所述基于光流的無人機自動降落引導(dǎo)方法，其特征在于:步驟 5中，當無人機進入第一進近域后，無人機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的外部標記 確定無人機降落場地方位和無人機的位姿，調(diào)整無人機的飛行方向的過程為：
[0047] 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并得到二值化的邊緣分布圖；然后提取邊緣分布 圖的輪廓樹信息；
[0048] 2)、根據(jù)輪廓樹信息，濾除面積小于2/3外部標記面積的輪廓，以及所有無子輪廓 的輪廓，在剩余輪廓中選擇凸四邊形作為候選的外部標記輪廓；
[0049] 3)、對每個候選的外部標記輪廓進行如下處理：
[0050] 將候選的外部標記輪廓圖像信息映射到方形區(qū)域，所述方形區(qū)域為由N*N個完全 相同的方格構(gòu)成的正方形區(qū)域；當方格內(nèi)不少于2/3的像素點為黑色，則判定該方格為黑 色;得到方形區(qū)域中所有方格顏色;若方形區(qū)域最外圈方格不全為黑色，則將該候選外部標 記輪廓丟棄，否則按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到二進制碼值；
[0051] 4)、將二進制碼值中的ID信息與無人機內(nèi)部存儲的ID信息進行對比，得到對比一 致的ID信息對應(yīng)的外部標記，并根據(jù)該外部標記的二進制碼值中的方位信息確定無人機降 落場地方位；
[0052] 5)、依據(jù)4)中外部標記最外圈方格的4個角點在相機坐標系中的坐標，結(jié)合無人機 機載相機參數(shù)，利用PnP算法解算得到相機的姿態(tài);根據(jù)無人機與無人機機載相機的相對位 置關(guān)系，得到無人機位姿。
[0053] 進一步的優(yōu)選方案，所述基于光流的無人機自動降落引導(dǎo)方法，其特征在于:步驟 5中，當無人機進入第二進近域后，無人機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標記 確定無人機降落場地方位和無人機的位姿，調(diào)整無人機的飛行方向的過程為：
[0054] 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并得到二值化的內(nèi)部標記輪廓圖；
[0055] 2)、將內(nèi)部標記輪廓圖映射到方形區(qū)域，所述方形區(qū)域為由N*N個完全相同的方格 構(gòu)成的正方形區(qū)域；當方格內(nèi)不少于2/3的像素點為黑色，則判定該方格為黑色;得到方形 區(qū)域中所有方格顏色;按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到二進制碼值；
[0056] 3)、根據(jù)內(nèi)部標記二進制碼值中的方位信息確定無人機降落場地方位；
[0057] 4)、依據(jù)內(nèi)部標記最外圈方格的4個角點在相機坐標系中的坐標，結(jié)合無人機機載 相機參數(shù)，利用PnP算法解算得到相機的姿態(tài);根據(jù)無人機與無人機機載相機的相對位置關(guān) 系，得到無人機位姿。
[0058] 進一步的優(yōu)選方案，所述基于光流的無人機自動降落引導(dǎo)方法，其特征在于:步驟 5中，根據(jù)圖像中的衛(wèi)星標記確定無人機降落場地方位和無人機位姿的過程為：
[0059] 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并得到二值化的邊緣分布圖；然后提取邊緣分布 圖的輪廓樹信息；
[0060] 2)、根據(jù)輪廓樹信息，得到若干衛(wèi)星標記輪廓；
[0061 ] 3)、對每個衛(wèi)星標記輪廓進行如下處理：
[0062]將衛(wèi)星標記輪廓圖像信息映射到方形區(qū)域，所述方形區(qū)域為由N*N個完全相同的 方格構(gòu)成的正方形區(qū)域；當方格內(nèi)不少于2/3的像素點為黑色，則判定該方格為黑色;得到 方形區(qū)域中所有方格顏色;按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到該衛(wèi)星標 記的二進制碼值；
[0063] 4)、根據(jù)拍攝圖像中的所有衛(wèi)星標記二進制碼值中的方位信息，解算得到無人機 降落場地方位；
[0064] 5)、依據(jù)4)中所有衛(wèi)星標記最外圈方格的角點在相機坐標系中的坐標，結(jié)合無人 機機載相機參數(shù)，利用PnP算法解算得到相機的姿態(tài);根據(jù)無人機與無人機機載相機的相對 位置關(guān)系，得到無人機位姿。
[0065] 有益效果
[0066] 本發(fā)明的方法是無人機在自主飛行和降落過程中，使用下視的光流傳感器實現(xiàn)自 身的定位，所以能夠在無GPS情況下完成自身的視覺定位。本方法中，在降落過程中通過對 光流模塊的相機拍攝的實時圖像進行處理，確定標志物，估計標志物相對無人機的位置和 姿態(tài);將相對位置、姿態(tài)信息發(fā)送給飛行控制器，從而控制無人機逐步逼近降落目標，最終 實現(xiàn)無人機全自主降落。因此在GPS失效的情況下，使用光流模塊進行輔助定位，能夠保證 無人機準確的找到降落場地，從而提高無人機降落的可靠性，該方法設(shè)計合理，能夠在不同 情況下實現(xiàn)準確降落，適用性廣泛。
[0067] 本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實踐了解到。
【附圖說明】
[0068]本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變得 明顯和容易理解，其中：
[0069]圖1:本發(fā)明的方法流程圖。
[0070] 圖2:進近域示意圖。
[0071] 圖3:降落場地地標示意圖。
[0072]圖4:二值化示意圖。
【具體實施方式】
[0073]下面詳細描述本發(fā)明的實施例，所述實施例是示例性的，旨在用于解釋本發(fā)明，而 不能理解為對本發(fā)明的限制。
[0074]如圖1所示，展示了本發(fā)明在將無人機引至降落場地上方大致范圍內(nèi)GPS失效，利 用光流模塊引導(dǎo)無人機移動至降落場地上方大致范圍內(nèi)，以及無人機自主降落的精確過 程，首先以GPS、光流模塊依次優(yōu)先的方法進行導(dǎo)航定位將無人機引導(dǎo)到降落場地上方數(shù)米 大概位置。本發(fā)明以6*6(降落場地可以劃分成N*N個完全相同的方格區(qū)域組成的正方形區(qū) 域，稱為N*N的標志物)的二維碼標志物方案作為降落場地為案例展開。
[0075] 有GPS時，利用GPS導(dǎo)航將無人機引至降落場地上方數(shù)米處(這個高度和機場的大 小成正比，高度是機場邊長的15倍，此時無人機剛好可以識別到降落場地）；當GPS失效時， 降落地標還沒有全部呈現(xiàn)在無人機機載相機視野內(nèi)，則采用光流模塊對無人機進行引導(dǎo)， 直到其機載相機能夠拍攝到整個降落地標;若無GPS且光流模塊失效時，無人機會利用姿態(tài) 増穩(wěn)和慣性導(dǎo)航，即導(dǎo)航具有優(yōu)先級選擇的標準。
[0076] 在GPS失效的情況下，無人機選擇光流模塊進行導(dǎo)航，將其引導(dǎo)至降落場地上方， 光流模塊起作用時，光流法應(yīng)用的前提假設(shè)是:相鄰幀之間的亮度是恒定;相鄰視頻幀的取 幀時間連續(xù)，或者，相鄰幀之間物體的運動比較"微小"；保持空間一致性。光流模塊應(yīng)用的 前提條件是:圖像必須為單通道，將光流場的計算與陀螺儀測得高度相結(jié)合。
[0077] 在光流模塊起作用時，具體操作步驟如下：
[0078] 步驟1:無人機根據(jù)自身飛行高度判斷是否需要降低飛行高度，以滿足無人機機載 相機清晰拍攝降落場地圖像要求；當無人機飛行高度滿足要求后，無人機機載相機持續(xù)拍 攝降落場地圖像，并將拍攝的圖像轉(zhuǎn)換為灰度圖。
[0079] 步驟2:根據(jù)相鄰兩幀灰度圖像，利用以下方法得到光流場方向和速度：
[0080] 利用SAD算法對相鄰兩幀灰度圖像進行匹配，以3*3的像素區(qū)域作為研究區(qū)域，選 擇若干對研究區(qū)域中匹配度最好的一對研究區(qū)域;再對得到的該對匹配度最好的研究區(qū)域 中的每對對應(yīng)像素點的位置作矢量運算，得到像素點的運動方向，對所有像素點的運動方 向進行統(tǒng)計，作出折線圖，尋找其峰值，將峰值對應(yīng)的運動方向作為光流場方向；
[0081 ]在相機坐標系下的光流場速度^及^利用以下公式得到：

[0084] 其中：Tx、Ty、Tz為世界坐標系下，相鄰兩幀灰度圖像中運動方向為光流場方向的匹 配像素點P的運動平移分量，所述世界坐標系以降落場所所在平面作為XY平面，垂直該平面 的軸為Z軸;x、y為像平面上的點p在相機坐標系下的坐標，Z為相機成像平面距離降落點的 垂直高度，f為相機焦距，《 y、為點P的運動角速度。
[0085] 步驟3:根據(jù)步驟2得到的光流場方向和速度確定無人機的運動方向和速度，其中 無人機的運動方向與光流場方向相反，無人機在世界坐標系下的速度V x、Vy根據(jù)以下公式得 到：
[0088] 無人機按照確定的運動方向和速度飛行。
[0089] 步驟4:在得到無人機的運動方向和速度后，有兩種方式尋找無人機降落位置，一 是循環(huán)進行步驟2和步驟3,完全依據(jù)光流指引，直至無人機機載相機拍攝的圖像中出現(xiàn)降 落場地地標，進入步驟5;二是以步驟3確定的運動方向為初始方向，以阿基米德螺旋線為飛 行軌跡進行飛行，直至無人機機載相機拍攝的圖像中出現(xiàn)降落場地地標，進入步驟5。
[0090] 步驟5:所述降落場地地標包括外部標記和內(nèi)部標記;所述內(nèi)部標記嵌套在外部標 記內(nèi)；
[0091] 當無人機機載相機拍攝圖像出現(xiàn)清晰完整外部標記時，無人機進入第一進近域， 無人機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的外部標記確定無人機降落場地方位和無人機 的位姿，調(diào)整無人機的飛行方向，無人機根據(jù)得到的飛行方向減速下降飛行；
[0092] 當無人機機載相機拍攝圖像出現(xiàn)清晰完整內(nèi)部標記時，無人機進入第二進近域， 無人機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標記確定無人機降落場地方位和無人機 的位姿，調(diào)整無人機的飛行方向；無人機根據(jù)得到的飛行方向減速降落。
[0093] 步驟5實現(xiàn)的是精確降落階段，在精確降落階段基于地標分級進行視覺引導(dǎo)。精確 降落分為兩個階段進近:第一個階段為大致進近，這個階段所在區(qū)域稱為第一進近域，此時 外部標記起作用;第二個階段為精確進近，這個階段所在的區(qū)域稱為第二進近域，降落標示 物的內(nèi)部標記起作用;兩個進近域都是由相機的參數(shù)和設(shè)置的降落場地的大小決定的。本 發(fā)明采用的降落場地地標如圖3所示。
[0094]所述外部標記為由6*6個完全相同的方格構(gòu)成的正方形區(qū)域；外部標記的最外圈 方格區(qū)域為黑色，其余的方格區(qū)域為黑色或白色；內(nèi)部標記為由6*6個完全相同的方格構(gòu)成 的正方形區(qū)域，且內(nèi)部標記嵌套在外部標記內(nèi)；內(nèi)部標記的最外圈方格區(qū)域為黑色，其余的 方格區(qū)域為黑色或白色，且與內(nèi)部標記最外圈方格相鄰的外部標記方格為白色;所述外部 標記的方格大于內(nèi)部標記的方格;所述外部標記方格區(qū)域黑白布局與內(nèi)部標記方格區(qū)域黑 白布局不同。
[0095] 所述降落場地地標還包括有衛(wèi)星標記;衛(wèi)星標記為由6*6個完全相同的方格構(gòu)成 的正方形區(qū)域，衛(wèi)星標記的最外圈方格區(qū)域為黑色，其余的方格區(qū)域為黑色或白色，衛(wèi)星標 記的方格小于內(nèi)部標記的方格，衛(wèi)星標記面積小于內(nèi)部標記面積的1/3;衛(wèi)星標記放置在外 部標記最外圈方格區(qū)域及其內(nèi)側(cè)，當與衛(wèi)星標記最外圈方格相鄰的外部標記方格或內(nèi)部標 記方格為黑色時，在衛(wèi)星標記最外圈方格邊緣設(shè)計有白色間隙。
[0096] 無人機降落到第一進近域時，需要對拍攝到的圖像進行一系列的處理，估算降落 場地方向和無人機實時位姿并進行位姿調(diào)整，當無人機從第一進近域進入到第二進近域 時，判斷是否需要重新進近：
[0097] 當無人機機載相機拍攝圖像出現(xiàn)清晰完整內(nèi)部標記時，無人機進入第二進近域， 無人機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標記確定無人機降落場地方位和無人機 的位姿，調(diào)整無人機的飛行方向，無人機根據(jù)得到的飛行方向減速下降；當外部標記完整呈 現(xiàn)并占滿無人機機載相機全景框時，無人機機載相機繼續(xù)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi) 部標記確定無人機降落場地方位和無人機的位姿，調(diào)整無人機的飛行方向，無人機根據(jù)得 到的飛行方向減速降落;在無人機進入第二進近域下降過程中，若沒有出現(xiàn)過外部標記完 整呈現(xiàn)并占滿無人機機載相機全景框情況時，無人機上升回到第一進近域，重新進近。
[0098] 在無人機根據(jù)得到的飛行方向減速降落過程中，若無人機機載相機拍攝的圖像中 沒有完整的內(nèi)部標記時，則根據(jù)圖像中的衛(wèi)星標記確定無人機降落場地方位和無人機的位 姿，調(diào)整無人機的飛行方向，使無人機機載相機拍攝的圖像中重新出現(xiàn)完整的內(nèi)部標記。
[0099] 下面分別說明無人機在不同階段的圖像處理與解算過程：
[0100] 當無人機進入第一進近域后，無人機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的外部 標記確定無人機降落場地方位和無人機的位姿，調(diào)整無人機的飛行方向的過程為：
[0101] 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并利用Canny算子得到二值化的邊緣分布圖；然 后提取邊緣分布圖的輪廓樹信息；
[0102] 2)、根據(jù)輪廓樹信息，濾除面積小于2/3外部標記面積的輪廓(無人機由自身攜帶 的超聲波設(shè)備得到其所在高度，根據(jù)這個高度和拍攝到的圖像的面積，根據(jù)相機模型計算 出圖像對應(yīng)的三維空間的面積，根據(jù)這個面積進行濾除），以及所有無子輪廓的輪廓，在剩 余輪廓中選擇凸四邊形作為候選的外部標記輪廓；
[0103] 3)、對每個候選的外部標記輪廓進行如下處理：
[0104] 將候選的外部標記輪廓圖像信息映射到方形區(qū)域，并利用k-means算法將方形區(qū) 域中的像素點分為黑白兩種;所述方形區(qū)域為由6*6個完全相同的方格構(gòu)成的正方形區(qū)域； 當方格內(nèi)不少于2/3的像素點為黑色，則判定該方格為黑色;得到方形區(qū)域中所有方格顏 色;若方形區(qū)域最外圈方格不全為黑色，則將該候選外部標記輪廓丟棄，否則按照設(shè)定的規(guī) 則根據(jù)方形區(qū)域的方格顏色和方向得到二進制碼值;本實施例中將方形區(qū)域內(nèi)部4*4的區(qū) 域轉(zhuǎn)換為16位無符號整形，并根據(jù)4個方向，分別計算出四個朝向的碼值，共同組成二進制 碼值；
[0105] 4)、將二進制碼值中的ID信息與無人機內(nèi)部存儲的ID信息進行對比，得到對比一 致的ID信息對應(yīng)的外部標記，并根據(jù)該外部標記的二進制碼值中的方位信息確定無人機降 落場地方位；
[0106] 5)、依據(jù)4)中外部標記最外圈方格的4個角點在相機坐標系中的坐標，結(jié)合無人機 機載相機參數(shù)，利用PnP算法解算得到相機的姿態(tài);根據(jù)無人機與無人機機載相機的相對位 置關(guān)系，得到無人機位姿。
[0107] 當無人機進入第二進近域后，無人機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部 標記確定無人機降落場地方位和無人機的位姿，調(diào)整無人機的飛行方向的過程為：
[0108] 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并利用Canny算子得到二值化的內(nèi)部標記輪廓 圖；
[0109] 2)、將內(nèi)部標記輪廓圖映射到方形區(qū)域，所述方形區(qū)域為由6*6個完全相同的方格 構(gòu)成的正方形區(qū)域；當方格內(nèi)不少于2/3的像素點為黑色，則判定該方格為黑色;得到方形 區(qū)域中所有方格顏色;按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到二進制碼值； [0110] 3)、根據(jù)內(nèi)部標記二進制碼值中的方位信息確定無人機降落場地方位；
[0111] 4)、依據(jù)內(nèi)部標記最外圈方格的4個角點在相機坐標系中的坐標，結(jié)合無人機機載 相機參數(shù)，利用PnP算法解算得到相機的姿態(tài);根據(jù)無人機與無人機機載相機的相對位置關(guān) 系，得到無人機位姿。
[0112] 根據(jù)圖像中的衛(wèi)星標記確定無人機降落場地方位和無人機位姿的過程為：
[0113] 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并利用Canny算子得到二值化的邊緣分布圖；然 后提取邊緣分布圖的輪廓樹信息；
[0114] 2)、根據(jù)輪廓樹信息，得到若干衛(wèi)星標記輪廓；
[0115] 3)、對每個衛(wèi)星標記輪廓進行如下處理：
[0116]將衛(wèi)星標記輪廓圖像信息映射到方形區(qū)域，所述方形區(qū)域為由6*6個完全相同的 方格構(gòu)成的正方形區(qū)域；當方格內(nèi)不少于2/3的像素點為黑色，則判定該方格為黑色;得到 方形區(qū)域中所有方格顏色;按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到該衛(wèi)星標 記的二進制碼值；
[0117] 4)、根據(jù)拍攝圖像中的所有衛(wèi)星標記二進制碼值中的方位信息，解算得到無人機 降落場地方位；
[0118] 5)、依據(jù)4)中所有衛(wèi)星標記最外圈方格的角點在相機坐標系中的坐標，結(jié)合無人 機機載相機參數(shù)，利用PnP算法解算得到相機的姿態(tài);根據(jù)無人機與無人機機載相機的相對 位置關(guān)系，得到無人機位姿。
[0119] 盡管上面已經(jīng)示出和描述了本發(fā)明的實施例，可以理解的是，上述實施例是示例 性的，不能理解為對本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在不脫離本發(fā)明的原理和宗旨 的情況下在本發(fā)明的范圍內(nèi)可以對上述實施例進行變化、修改、替換和變型。
【主權(quán)項】
1. 一種基于光流的無人機自動降落引導(dǎo)方法，其特征在于:包括以下步驟： 步驟1:無人機根據(jù)自身飛行高度判斷是否需要降低飛行高度，以滿足無人機機載相機 清晰拍攝降落場地圖像要求；當無人機飛行高度滿足要求后，無人機機載相機持續(xù)拍攝降 落場地圖像，并將拍攝的圖像轉(zhuǎn)換為灰度圖； 步驟2:根據(jù)相鄰兩幀灰度圖像，利用以下方法得到光流場方向和速度： 利用SAD算法對相鄰兩幀灰度圖像進行匹配，以n*n的像素區(qū)域作為研究區(qū)域，選擇若 干對研究區(qū)域中匹配度最好的一對研究區(qū)域;再對得到的該對匹配度最好的研究區(qū)域中的 每對對應(yīng)像素點的位置作矢量運算，得到像素點的運動方向，對所有像素點的運動方向進 行統(tǒng)計，將統(tǒng)計值最大的運動方向作為光流場方向； 在相機坐標系下的光流場速度vx及vy利用以下公式得到：其中：Tx、Ty、Tz為世界坐標系下，相鄰兩幀灰度圖像中運動方向為光流場方向的匹配像 素點P的運動平移分量，所述世界坐標系以降落場所所在平面作為XY平面，垂直該平面的軸 為Z軸;x、y為像平面上的點p在相機坐標系下的坐標，Z為相機成像平面距離降落點的垂直 高度，f為相機焦距，《 X、《y、為點P的運動角速度； 步驟3:根據(jù)步驟2得到的光流場方向和速度確定無人機的運動方向和速度，其中無人 機的運動方向與光流場方向相反，無人機在世界坐標系下的速度Vx、Vy根據(jù)以下公式得到：無人機按照確定的運動方向和速度飛行； 步驟4:循環(huán)進行步驟2和步驟3,直至無人機機載相機拍攝的圖像中出現(xiàn)降落場地地 標，進入步驟5; 步驟5 :所述降落場地地標包括外部標記和內(nèi)部標記；所述內(nèi)部標記嵌套在外部標記 內(nèi)； 當無人機機載相機拍攝圖像出現(xiàn)清晰完整外部標記時，無人機進入第一進近域，無人 機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的外部標記確定無人機降落場地方位和無人機的位 姿，調(diào)整無人機的飛行方向；無人機根據(jù)得到的飛行方向減速下降飛行； 當無人機機載相機拍攝圖像出現(xiàn)清晰完整內(nèi)部標記時，無人機進入第二進近域，無人 機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標記確定無人機降落場地方位和無人機的位 姿，調(diào)整無人機的飛行方向；無人機根據(jù)得到的飛行方向減速降落。2. -種基于光流的無人機自動降落引導(dǎo)方法，其特征在于:包括以下步驟： 步驟1:無人機根據(jù)自身飛行高度判斷是否需要降低飛行高度，以滿足無人機機載相機 清晰拍攝降落場地圖像要求；當無人機飛行高度滿足要求后，無人機機載相機持續(xù)拍攝降 落場地圖像，并將拍攝的圖像轉(zhuǎn)換為灰度圖； 步驟2:根據(jù)相鄰兩幀灰度圖像，利用以下方法得到光流場方向和速度： 利用SAD算法對相鄰兩幀灰度圖像進行匹配，以n*n的像素區(qū)域作為研究區(qū)域，選擇若 干對研究區(qū)域中匹配度最好的一對研究區(qū)域;再對得到的該對匹配度最好的研究區(qū)域中的 每對對應(yīng)像素點的位置作矢量運算，得到像素點的運動方向，對所有像素點的運動方向進 行統(tǒng)計，將統(tǒng)計值最大的運動方向作為光流場方向； 在相機坐標系下的光流場速度vx及vy利用以下公式得到：其中：Tx、Ty、Tz為世界坐標系下，相鄰兩幀灰度圖像中運動方向為光流場方向的匹配像 素點P的運動平移分量，所述世界坐標系以降落場所所在平面作為XY平面，垂直該平面的軸 為Z軸;x、y為像平面上的點p在相機坐標系下的坐標，Z為相機成像平面距離降落點的垂直 高度，f為相機焦距，《 X、《y、為點P的運動角速度； 步驟3:根據(jù)步驟2得到的光流場方向和速度確定無人機的運動方向和速度，其中無人 機的運動方向與光流場方向相反，無人機在世界坐標系下的速度Vx、Vy根據(jù)以下公式得到：無人機按照確定的運動方向和速度飛行； 步驟4:以步驟3確定的運動方向為初始方向，以阿基米德螺旋線為飛行軌跡進行飛行， 直至無人機機載相機拍攝的圖像中出現(xiàn)降落場地地標，進入步驟5; 步驟5 :所述降落場地地標包括外部標記和內(nèi)部標記；所述內(nèi)部標記嵌套在外部標記 內(nèi)； 當無人機機載相機拍攝圖像出現(xiàn)清晰完整外部標記時，無人機進入第一進近域，無人 機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的外部標記確定無人機降落場地方位和無人機的位 姿，調(diào)整無人機的飛行方向，無人機根據(jù)得到的飛行方向減速下降飛行； 當無人機機載相機拍攝圖像出現(xiàn)清晰完整內(nèi)部標記時，無人機進入第二進近域，無人 機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標記確定無人機降落場地方位和無人機的位 姿，調(diào)整無人機的飛行方向；無人機根據(jù)得到的飛行方向減速降落。3. 根據(jù)權(quán)利要求1或2所述一種基于光流的無人機自動降落引導(dǎo)方法，其特征在于:所 述外部標記為由N*N個完全相同的方格構(gòu)成的正方形區(qū)域;外部標記的最外圈方格區(qū)域為 黑色，其余的方格區(qū)域為黑色或白色；內(nèi)部標記為由N*N個完全相同的方格構(gòu)成的正方形區(qū) 域，且內(nèi)部標記嵌套在外部標記內(nèi)；內(nèi)部標記的最外圈方格區(qū)域為黑色，其余的方格區(qū)域為 黑色或白色，且與內(nèi)部標記最外圈方格相鄰的外部標記方格為白色;所述外部標記的方格 大于內(nèi)部標記的方格;所述外部標記方格區(qū)域黑白布局與內(nèi)部標記方格區(qū)域黑白布局不 同。4. 根據(jù)權(quán)利要求3所述基于光流的無人機自動降落引導(dǎo)方法，其特征在于:所述降落場 地地標還包括有衛(wèi)星標記;衛(wèi)星標記為由N*N個完全相同的方格構(gòu)成的正方形區(qū)域，衛(wèi)星標 記的最外圈方格區(qū)域為黑色，其余的方格區(qū)域為黑色或白色，衛(wèi)星標記的方格小于內(nèi)部標 記的方格，衛(wèi)星標記面積小于內(nèi)部標記面積的1/3;衛(wèi)星標記放置在外部標記最外圈方格區(qū) 域及其內(nèi)側(cè)，當與衛(wèi)星標記最外圈方格相鄰的外部標記方格或內(nèi)部標記方格為黑色時，在 衛(wèi)星標記最外圈方格邊緣設(shè)計有白色間隙。5. 根據(jù)權(quán)利要求3所述基于光流的無人機自動降落引導(dǎo)方法，其特征在于:步驟5中，當 無人機機載相機拍攝圖像出現(xiàn)清晰完整內(nèi)部標記時，無人機進入第二進近域，無人機機載 相機持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標記確定無人機降落場地方位和無人機的位姿，調(diào) 整無人機的飛行方向，無人機根據(jù)得到的飛行方向減速下降；當外部標記完整呈現(xiàn)并占滿 無人機機載相機全景框時，無人機機載相機繼續(xù)持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標記確 定無人機降落場地方位和無人機的位姿，調(diào)整無人機的飛行方向，無人機根據(jù)得到的飛行 方向減速降落;在無人機進入第二進近域下降過程中，若沒有出現(xiàn)過外部標記完整呈現(xiàn)并 占滿無人機機載相機全景框情況時，無人機上升回到第一進近域，重新進近。6. 根據(jù)權(quán)利要求4所述基于光流的無人機自動降落引導(dǎo)方法，其特征在于:步驟5中，在 無人機根據(jù)得到的飛行方向減速降落過程中，若無人機機載相機拍攝的圖像中沒有完整的 內(nèi)部標記時，則根據(jù)圖像中的衛(wèi)星標記確定無人機降落場地方位和無人機的位姿，調(diào)整無 人機的飛行方向，使無人機機載相機拍攝的圖像中重新出現(xiàn)完整的內(nèi)部標記。7. 根據(jù)權(quán)利要求5所述基于光流的無人機自動降落引導(dǎo)方法，其特征在于:步驟5中，當 無人機進入第一進近域后，無人機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的外部標記確定無 人機降落場地方位和無人機的位姿，調(diào)整無人機的飛行方向的過程為： 1) 、將拍攝的圖像轉(zhuǎn)化為灰度圖，并得到二值化的邊緣分布圖；然后提取邊緣分布圖的 輪廓樹信息； 2) 、根據(jù)輪廓樹信息，濾除面積小于2/3外部標記面積的輪廓，以及所有無子輪廓的輪 廓，在剩余輪廓中選擇凸四邊形作為候選的外部標記輪廓； 3) 、對每個候選的外部標記輪廓進行如下處理： 將候選的外部標記輪廓圖像信息映射到方形區(qū)域，所述方形區(qū)域為由N*N個完全相同 的方格構(gòu)成的正方形區(qū)域；當方格內(nèi)不少于2/3的像素點為黑色，則判定該方格為黑色;得 到方形區(qū)域中所有方格顏色;若方形區(qū)域最外圈方格不全為黑色，則將該候選外部標記輪 廓丟棄，否則按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到二進制碼值； 4) 、將二進制碼值中的ID信息與無人機內(nèi)部存儲的ID信息進行對比，得到對比一致的 ID信息對應(yīng)的外部標記，并根據(jù)該外部標記的二進制碼值中的方位信息確定無人機降落場 地方位； 5) 、依據(jù)4)中外部標記最外圈方格的4個角點在相機坐標系中的坐標，結(jié)合無人機機載 相機參數(shù)，利用PnP算法解算得到相機的姿態(tài);根據(jù)無人機與無人機機載相機的相對位置關(guān) 系，得到無人機位姿。8. 根據(jù)權(quán)利要求5所述基于光流的無人機自動降落引導(dǎo)方法，其特征在于:步驟5中，當 無人機進入第二進近域后，無人機機載相機持續(xù)拍攝圖像，根據(jù)圖像中的內(nèi)部標記確定無 人機降落場地方位和無人機的位姿，調(diào)整無人機的飛行方向的過程為： 1 )、將拍攝的圖像轉(zhuǎn)化為灰度圖，并得到二值化的內(nèi)部標記輪廓圖； 2 )、將內(nèi)部標記輪廓圖映射到方形區(qū)域，所述方形區(qū)域為由N*N個完全相同的方格構(gòu)成 的正方形區(qū)域；當方格內(nèi)不少于2/3的像素點為黑色，則判定該方格為黑色;得到方形區(qū)域 中所有方格顏色;按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到二進制碼值； 3 )、根據(jù)內(nèi)部標記二進制碼值中的方位信息確定無人機降落場地方位； 4)、依據(jù)內(nèi)部標記最外圈方格的4個角點在相機坐標系中的坐標，結(jié)合無人機機載相機 參數(shù)，利用PnP算法解算得到相機的姿態(tài);根據(jù)無人機與無人機機載相機的相對位置關(guān)系， 得到無人機位姿。9.根據(jù)權(quán)利要求6所述基于光流的無人機自動降落引導(dǎo)方法，其特征在于:步驟5中，根 據(jù)圖像中的衛(wèi)星標記確定無人機降落場地方位和無人機位姿的過程為： 1)、將拍攝的圖像轉(zhuǎn)化為灰度圖，并得到二值化的邊緣分布圖；然后提取邊緣分布圖的 輪廓樹信息； 2 )、根據(jù)輪廓樹信息，得到若干衛(wèi)星標記輪廓； 3) 、對每個衛(wèi)星標記輪廓進行如下處理： 將衛(wèi)星標記輪廓圖像信息映射到方形區(qū)域，所述方形區(qū)域為由N*N個完全相同的方格 構(gòu)成的正方形區(qū)域；當方格內(nèi)不少于2/3的像素點為黑色，則判定該方格為黑色;得到方形 區(qū)域中所有方格顏色;按照設(shè)定的規(guī)則根據(jù)方形區(qū)域的方格顏色和方向得到該衛(wèi)星標記的 二進制碼值； 4) 、根據(jù)拍攝圖像中的所有衛(wèi)星標記二進制碼值中的方位信息，解算得到無人機降落 場地方位； 5) 、依據(jù)4)中所有衛(wèi)星標記最外圈方格的角點在相機坐標系中的坐標，結(jié)合無人機機 載相機參數(shù)，利用PnP算法解算得到相機的姿態(tài);根據(jù)無人機與無人機機載相機的相對位置 關(guān)系，得到無人機位姿。
【文檔編號】G05D1/12GK106054929SQ201610480771
【公開日】2016年10月26日
【申請日】2016年6月27日
【發(fā)明人】布樹輝, 楊君, 趙勇, 張臻煒
【申請人】西北工業(yè)大學(xué)