本發(fā)明涉及無人機(jī)避障方法，特別是涉及基于雙目視覺與光流融合的無人機(jī)避障方法及系統(tǒng)，屬于無人機(jī)避障技術(shù)領(lǐng)域。

背景技術(shù)：

隨著無人機(jī)技術(shù)與其應(yīng)用市場(chǎng)的發(fā)展，無人機(jī)往往面臨著不同于以往的特殊任務(wù)，這些任務(wù)對(duì)其快速識(shí)別、躲避行進(jìn)航路上障礙物的能力提出了更高的要求。基于視覺的避障系統(tǒng)因?yàn)橥ǔ２捎帽粍?dòng)工作方式，擁有設(shè)備簡單、成本低、經(jīng)濟(jì)性好、應(yīng)用范圍廣等特點(diǎn)。

相比于基于超聲波、激光雷達(dá)等主動(dòng)傳感器的避障系統(tǒng)，視覺避障系統(tǒng)響應(yīng)速度更快，精度更高，可以提供如顏色、紋理、幾何形狀等更加豐富的信息，因此得到了越來越多的關(guān)注。

雙目視覺與單目視覺相比，可以獲得與攝像頭垂直的距離信息，能更加有效的判斷出障礙物與無人機(jī)的相對(duì)位置，也有助于將障礙物從復(fù)雜背景中快速、準(zhǔn)確的進(jìn)行分割；目前雙目視覺已經(jīng)廣泛應(yīng)用在機(jī)器人導(dǎo)航、目標(biāo)跟蹤等多個(gè)領(lǐng)域。

光流法是利用圖像序列中像素強(qiáng)度數(shù)據(jù)的相關(guān)性來預(yù)測(cè)像素點(diǎn)運(yùn)動(dòng)的一種方法，即研究圖像亮度在時(shí)間上的變化以建立目標(biāo)像素點(diǎn)集合的運(yùn)動(dòng)場(chǎng)；一般情況下，光流可以對(duì)相機(jī)運(yùn)動(dòng)、場(chǎng)景中目標(biāo)運(yùn)動(dòng)或兩者的共同運(yùn)動(dòng)進(jìn)行有效而精確的測(cè)量，其預(yù)測(cè)量可以表示目標(biāo)運(yùn)動(dòng)的瞬時(shí)速度。

對(duì)光流場(chǎng)的計(jì)算方法通常有稀疏光流法和稠密光流法兩種。稀疏光流選取一些圖像場(chǎng)景中的特征點(diǎn)，通過對(duì)這些特征點(diǎn)速度的測(cè)量來擬合整個(gè)運(yùn)動(dòng)場(chǎng)的速度。稠密光流則是計(jì)算整個(gè)區(qū)域的運(yùn)動(dòng)場(chǎng)，以此來得到目標(biāo)區(qū)域相對(duì)于相機(jī)的運(yùn)動(dòng)速度；稀疏光流運(yùn)算速度快，但計(jì)算值誤差大；稠密光流雖然計(jì)算比較精確，但若沒有對(duì)要測(cè)算的目標(biāo)區(qū)域進(jìn)行精確分割，則會(huì)大大增加計(jì)算時(shí)間，所以常常要配合快速精確的圖像分割算法使用。

申請(qǐng)?zhí)枮镃N201410565278.3的《基于雙目立體視覺與光流融合的車輛運(yùn)動(dòng)信息檢測(cè)方法》，主要通過雙目視覺標(biāo)記出地面上感興趣點(diǎn)，再計(jì)算出感興趣點(diǎn)的光流值，最后再用最小二乘擬合估計(jì)地面車輛的三維平移速度和三維旋轉(zhuǎn)速度。該方法采用特征點(diǎn)的速度信息代替車輛的速度信息，雖然運(yùn)算速度得到增強(qiáng)，但估計(jì)精度難以保證。且該方法只是對(duì)車輛自身的運(yùn)動(dòng)信息進(jìn)行估計(jì)，無法識(shí)別和躲避行進(jìn)過程中的障礙物，難以在實(shí)際領(lǐng)域得到運(yùn)用。

申請(qǐng)?zhí)枮镃N201110412394.8的《一種基于雙目立體視覺的巡視探測(cè)器自主避障規(guī)劃方法》，主要通過雙目立體視覺計(jì)算出相機(jī)圖像中所有像素點(diǎn)的三維坐標(biāo)并形成探測(cè)點(diǎn)的三維地圖，根據(jù)三維地圖選擇出一條避開障礙物的最佳路徑。該方法需要計(jì)算出視場(chǎng)中全部像素點(diǎn)的三維坐標(biāo)，對(duì)處理器運(yùn)算性能和存儲(chǔ)器的容量都有很高的要求，不適用與小型嵌入式機(jī)載設(shè)備。

申請(qǐng)為CN201510688485.2的《一種基于雙目視覺的無人機(jī)自主障礙物檢測(cè)系統(tǒng)及方法》，著重介紹了利用雙目攝像機(jī)進(jìn)行障礙物檢測(cè)的硬件架構(gòu)，其主要采用FPGA作為處理雙目圖像的運(yùn)算核心。FPGA雖然有著體積小，運(yùn)算速度快等特點(diǎn)，但FPGA價(jià)格昂貴且需要使用特殊的開發(fā)語言進(jìn)行程序編寫，不利于與其他模塊進(jìn)行對(duì)接。且該專利只說明了無人機(jī)使用雙目視覺進(jìn)行障礙物檢測(cè)的硬件架構(gòu)，對(duì)如何檢測(cè)障礙物的具體算法沒有說明。

因此，雖然國內(nèi)外在利用雙目視覺進(jìn)行避障的領(lǐng)域有較多的研究，但大多方法無法快速獲得障礙物相對(duì)于無人機(jī)的位置和速度，難以快速準(zhǔn)確地對(duì)障礙物進(jìn)行躲避，故大多難以應(yīng)用到無人機(jī)實(shí)時(shí)避障領(lǐng)域。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是：提供基于雙目視覺與光流融合的無人機(jī)避障方法及系統(tǒng)，將障礙物的深度信息與光流矢量進(jìn)行有效融合，實(shí)時(shí)獲得障礙物相對(duì)于無人機(jī)的運(yùn)動(dòng)信息，實(shí)現(xiàn)無人機(jī)的實(shí)時(shí)障礙物躲避。

本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：

基于雙目視覺與光流融合的無人機(jī)避障方法，包括如下步驟：

步驟1，利用雙目攝像機(jī)獲取無人機(jī)前進(jìn)方向上的圖像，并對(duì)圖像做灰度變換；

步驟2，計(jì)算灰度變換后圖像上各像素點(diǎn)的特征信息并進(jìn)行立體匹配，得到無人機(jī)前進(jìn)方向上的深度圖信息；

步驟3，將深度圖中的深度值分為屬于障礙物或?qū)儆诒尘暗纳疃戎祪深悾瑢⑸疃葓D分為障礙物區(qū)域和背景區(qū)域，將障礙物區(qū)域中閉合面積最大的輪廓作為障礙物輪廓，并用矩形框?qū)ζ溥M(jìn)行擬合，得到障礙物追蹤窗口作為障礙物的幾何信息；

步驟4，利用稠密光流法計(jì)算障礙物追蹤窗口滑動(dòng)的速度矢量，得到該窗口在x,y方向上的速度并根據(jù)速度判斷下一幀圖像障礙物追蹤窗口的位置，將判斷的位置與下一幀實(shí)際計(jì)算出的障礙物追蹤窗口位置進(jìn)行比較，若兩者之間的差值小于閾值，則進(jìn)行步驟5，否則，返回步驟1重新計(jì)算；

步驟5，利用深度威脅模型計(jì)算障礙物對(duì)于無人機(jī)的威脅深度值；

步驟6，將步驟3計(jì)算出的障礙物幾何信息與步驟4計(jì)算出的障礙物速度信息從像素坐標(biāo)轉(zhuǎn)化為世界坐標(biāo)，并利用無人機(jī)的運(yùn)動(dòng)參數(shù)進(jìn)行校正；

步驟7，將障礙物位置信息與步驟6得到的幾何、速度信息發(fā)送至無人機(jī)的飛控計(jì)算機(jī)中，飛控計(jì)算機(jī)根據(jù)上述信息控制無人機(jī)做出實(shí)時(shí)規(guī)避動(dòng)作。

作為本發(fā)明方法的一種優(yōu)選方案，步驟1所述利用雙目攝像機(jī)獲取無人機(jī)前進(jìn)方向上的圖像的具體過程為：將雙目攝像機(jī)安裝于無人機(jī)的機(jī)頭部位，通過標(biāo)定方法獲得雙目攝像機(jī)的內(nèi)外參數(shù)矩陣及畸變參數(shù)，利用雙目攝像機(jī)獲取無人機(jī)前進(jìn)方向上的圖像，并根據(jù)內(nèi)外參數(shù)矩陣及畸變參數(shù)對(duì)圖像進(jìn)行校正，得到無畸變且行對(duì)準(zhǔn)的兩幅圖像。

作為本發(fā)明方法的一種優(yōu)選方案，所述步驟2的具體過程為：計(jì)算灰度變換后圖像上各像素點(diǎn)上、下、左、右、左上、左下、右上、右下8個(gè)方向的能量函數(shù)并進(jìn)行累加，求視差值使得累加后的能量函數(shù)最小化，根據(jù)視差值確定各像素點(diǎn)的深度值信息。

作為本發(fā)明方法的一種優(yōu)選方案，步驟3所述將障礙物區(qū)域中閉合面積最大的輪廓作為障礙物輪廓之前，利用speckle濾波器對(duì)區(qū)分了障礙物區(qū)域和背景區(qū)域的深度圖進(jìn)行濾波，去除噪聲。

作為本發(fā)明方法的一種優(yōu)選方案，步驟3所述將深度圖中的深度值分為屬于障礙物或?qū)儆诒尘暗纳疃戎祪深惖木唧w過程為：

設(shè)定分割閾值D_h，將深度值大于等于D_h的歸類為屬于障礙物的深度值，將深度值小于D_h的歸類為屬于背景的深度值，通過最大化障礙物與背景之間的方差求解D_h，方差計(jì)算公式為：

其中，ω₀、ω₁分別為深度值被D_h分割為障礙物、背景深度值的概率，μ₀、μ₁分別為屬于障礙物、背景的深度值的均值：

其中，D_i為離散的可信深度層，i＝1,…,t，t為深度層的數(shù)目，D₁,…,D_h為屬于障礙物的深度層，D_h+1,…,D_t為屬于背景的深度層，K_j為各深度層中深度值的數(shù)目，j＝1,…,t。

作為本發(fā)明方法的一種優(yōu)選方案，所述步驟5的具體過程為：

設(shè)定屬于障礙物的深度值集合為D_K＝{d₁,d₂,…,d_K}，d₁,d₂,…,d_K均為深度值，K為屬于障礙物的深度值的數(shù)目；D₁,…,D_t為離散的可信深度層，t為深度層的數(shù)目，K₁,…,K_t為各深度層中深度值的數(shù)目，若存在至少一個(gè)1≤j≤t，則障礙物對(duì)于無人機(jī)的威脅深度值為：其中，D_min為大于的K_j對(duì)應(yīng)的深度層中最小深度層，K_min為D_min中深度值的數(shù)目；若所有的K₁,…,K_t均小于則障礙物對(duì)于無人機(jī)的威脅深度值為：

基于雙目視覺與光流融合的無人機(jī)避障系統(tǒng)，包括搭載在無人機(jī)上的圖像采集模塊、圖像處理模塊、慣性測(cè)量模塊、GNSS模塊，無人機(jī)包括飛控計(jì)算機(jī)；所述圖像采集模塊獲取無人機(jī)前進(jìn)方向上的圖像同步傳入圖像處理模塊，圖像處理模塊包括CPU模塊和GPU模塊，分別計(jì)算障礙物的幾何、速度、位置信息，GNSS模塊、慣性測(cè)量模塊分別對(duì)無人機(jī)進(jìn)行實(shí)時(shí)定位和姿態(tài)測(cè)量，慣性測(cè)量模塊還對(duì)圖像處理模塊計(jì)算出的速度信息進(jìn)行校正，飛控計(jì)算機(jī)根據(jù)圖像處理模塊發(fā)送的信息進(jìn)行融合并控制無人機(jī)做出避開前向障礙物的規(guī)避動(dòng)作。

作為本發(fā)明系統(tǒng)的一種優(yōu)選方案，該系統(tǒng)還包括超聲波模塊，超聲波模塊包括四個(gè)超聲波傳感器，分別安裝于無人機(jī)的前、后、左、右四個(gè)方向上，用于檢測(cè)四個(gè)方向的障礙物。

本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：

1、本發(fā)明通過雙目視覺對(duì)障礙物進(jìn)行有效分割，只計(jì)算障礙物追蹤窗口中的光流值，解決了稠密光流計(jì)算整幅圖像時(shí)耗時(shí)長的問題，進(jìn)一步提高了避障算法的實(shí)時(shí)性。

2、本發(fā)明提出了一種新的威脅深度模型，該模型可簡化避障流程，不必引入過于復(fù)雜的路徑規(guī)劃算法，具有較高的實(shí)用價(jià)值。

3、本發(fā)明通過同時(shí)使用GPU與CPU進(jìn)行計(jì)算，使用GPU計(jì)算立體匹配和光流，利用CPU計(jì)算障礙物幾何尺寸、位置和速度，提高了算法的運(yùn)算速度。

附圖說明

圖1是本發(fā)明中標(biāo)定攝像頭的棋盤格圖。

圖2是本發(fā)明基于雙目視覺與光流融合的無人機(jī)避障系統(tǒng)的硬件結(jié)構(gòu)圖。

圖3是本發(fā)明基于雙目視覺與光流融合的無人機(jī)避障方法的算法流程圖。

圖4是本發(fā)明實(shí)施例中針對(duì)深度連續(xù)障礙物的避障策略示意圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施方式，所述實(shí)施方式的示例在附圖中示出。下面通過參考附圖描述的實(shí)施方式是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。

如圖2所示，為本發(fā)明基于雙目視覺與光流融合的無人機(jī)避障系統(tǒng)的硬件結(jié)構(gòu)圖，系統(tǒng)包括圖像采集模塊、嵌入式圖像處理模塊、飛控計(jì)算機(jī)、超聲波模塊、GNSS(Global Navigation Satellite System全球衛(wèi)星導(dǎo)航系統(tǒng))模塊和慣性測(cè)量模塊，其中，嵌入式圖像處理模塊包括CPU模塊和GPU模塊，超聲波模塊包括四個(gè)超聲波傳感器，在無人機(jī)的前、后、左、右四個(gè)方向上安裝超聲波傳感器作為輔助避障裝置，當(dāng)超聲波傳感器傳感器檢測(cè)到其他方向存在障礙物時(shí)，飛控計(jì)算機(jī)根據(jù)障礙物距離信息調(diào)整避障動(dòng)作。

圖像采集模塊將左右圖像同步傳入嵌入式圖像處理模塊；CPU模塊和GPU模塊負(fù)責(zé)計(jì)算無人機(jī)的避障參數(shù)；GNSS模塊和慣性測(cè)量模塊負(fù)責(zé)無人機(jī)的實(shí)時(shí)定位與姿態(tài)測(cè)量，此外，慣性測(cè)量模塊還負(fù)責(zé)將測(cè)量結(jié)果通過串口發(fā)送至嵌入式圖像處理模塊以對(duì)計(jì)算出的速度信息進(jìn)行校正；飛控計(jì)算機(jī)將嵌入式圖像處理模塊與超聲波模塊所發(fā)送的信息進(jìn)行有效融合并控制無人機(jī)做出避開前向障礙物的規(guī)避動(dòng)作。

本實(shí)例中圖像采集模塊采用雙目攝像機(jī)，分辨率640*480或800*600等，可用幀率20到30fps，基線距離12cm，基線距離與焦距均可調(diào)，可通過USB或其它高速接口直接將兩路同步的視頻信號(hào)送入嵌入式圖像處理模塊。

如圖3所示，本發(fā)明基于雙目視覺與光流融合的無人機(jī)避障方法的算法流程如下：首先使用如圖1所示的棋盤格對(duì)雙目攝像機(jī)進(jìn)行標(biāo)定，分別得到兩個(gè)攝像機(jī)的內(nèi)參數(shù)矩陣和畸變參數(shù)、兩個(gè)攝像機(jī)之間的外參數(shù)(包括旋轉(zhuǎn)矩陣和平移向量)并將其儲(chǔ)存在嵌入式圖像處理模塊的存儲(chǔ)器中。

讀入雙目攝像頭發(fā)送的同步視頻數(shù)據(jù)，利用內(nèi)參數(shù)矩陣、畸變參數(shù)和外參數(shù)將兩幅圖像進(jìn)行矯正，使兩幅圖像無畸變且行對(duì)準(zhǔn)；將兩幅圖像變換到灰度空間并利用GPU模塊同時(shí)計(jì)算每一像素點(diǎn)上、下、左、右，左上、左下、右上、右下8個(gè)方向的能量函數(shù)并將其累加，通過同時(shí)計(jì)算每一像素點(diǎn)使得能量函數(shù)最小化的視差值確定每一個(gè)像素點(diǎn)的深度信息(即深度圖)。CPU模塊根據(jù)GPU模塊計(jì)算出的深度信息得到障礙物追蹤窗口，確定障礙物的幾何、位置信息，并確定障礙物追蹤窗口；GPU模塊再根據(jù)選定的障礙物追蹤窗口并行計(jì)算窗口內(nèi)所有像素點(diǎn)的光流值以計(jì)算相對(duì)速度，最后CPU模塊將速度信息進(jìn)行校正并和位置信息、幾何尺寸一起發(fā)送至飛控計(jì)算機(jī)進(jìn)行處理。

將深度圖中的深度值分為兩類，一類為屬于障礙物的深度值D_K＝{d₁,d₂,…,d_K}，一類為屬于背景的深度值通過最大化D_K與D_b之間的方差找到分割閾值D_h，并將小于D_h的深度值置為0，計(jì)算處理之后深度圖中的輪廓并選取最大輪廓進(jìn)行矩形擬合，得到障礙物矩形追蹤窗口。

兩類深度值之間的方差可表示為：

式中ω₀和ω₁為被D_h分割的兩類深度值的概率，μ₀和μ₁為兩類深度均值：

其中，{D₁,…,D_t}＝D_r為離散的可信深度層，K_j為各深度層中深度值的數(shù)目，t為深度層的數(shù)目。

提取經(jīng)過障礙物、背景區(qū)分的深度圖并計(jì)算深度圖中的輪廓；在進(jìn)行輪廓檢測(cè)之前，先使用speckle濾波器對(duì)深度圖進(jìn)行濾波，去除較小的塊狀深度區(qū)域；將檢測(cè)出的閉合面積最大的輪廓作為障礙物輪廓，并用矩形框?qū)ζ溥M(jìn)行擬合，將擬合出的矩形作為障礙物追蹤窗口。

計(jì)算障礙物對(duì)無人機(jī)的威脅深度D₀，假設(shè)D_K＝{d₁,d₂,…,d_K}是一組屬于障礙物的深度值集合，d₁,d₂,…,d_K是屬于障礙物的深度值，K是這些深度值的數(shù)目，D_r為可信的深度區(qū)間，D₁,D₂,…,D_t為在這個(gè)區(qū)間上離散的可信深度層,{D₁,D₂,…,D_t}＝D_r，K₁,…,K_t為各深度層D₁,D₂,…,D_t中深度值的數(shù)目，當(dāng)1≤j≤t,如果存在障礙物追蹤窗口的威脅深度D₀為：

式中，D_min為大于的K_j對(duì)應(yīng)的深度層中最小深度層，K_min為D_min中深度值的數(shù)目；

如果所有的障礙物跟蹤窗口的威脅深度D₀為：

利用Horn-Schunck稠密光流法計(jì)算障礙物追蹤窗口內(nèi)的光流場(chǎng)，得到追蹤窗口在x,y方向上的速度并根據(jù)速度判斷下一幀追蹤窗口的位置；將判斷的位置與下一幀實(shí)際計(jì)算出的追蹤窗口位置進(jìn)行比較，如果兩者之間的差值小于10個(gè)像素，則判定為計(jì)算準(zhǔn)確，若大于10個(gè)像素，則判定計(jì)算錯(cuò)誤并返回第一步重新計(jì)算。

利用內(nèi)外參數(shù)矩陣將計(jì)算出的障礙物追蹤窗口所表示的障礙物幾何信息以及障礙物速度信息從像素坐標(biāo)轉(zhuǎn)化為世界坐標(biāo)，并利用以下公式對(duì)障礙物相對(duì)于無人機(jī)的速度進(jìn)行校正：

式中，v_x和v_y為校正后的無人機(jī)x,y方向速度；f_x和f_y為x,y方向上的焦距；u和v為步驟4中計(jì)算出的障礙物x,y方向光流矢量；D₀為障礙物跟蹤窗口的威脅深度；θ、分別為無人機(jī)的俯仰、偏航角；Δt為兩幀之間的時(shí)間。

將計(jì)算出的速度、幾何、位置信息與威脅深度信息發(fā)送給無人機(jī)飛行控制系統(tǒng)，無人機(jī)飛行控制系統(tǒng)根據(jù)該信息控制無人機(jī)做出實(shí)時(shí)規(guī)避動(dòng)作以避開飛行路徑上的障礙物，位置信息為障礙物追蹤窗口中心相對(duì)于圖像中心的偏移值。

如圖4所示，在躲避深度連續(xù)的障礙物時(shí)，將其分解為多個(gè)障礙物，在不同幀圖像中分別計(jì)算障礙物每一部分的威脅深度進(jìn)行避障。

本發(fā)明通過經(jīng)過GPU加速的立體匹配算法得到深度圖信息，再通過障礙物分割、威脅深度計(jì)算、光流計(jì)算等步驟獲得障礙物的幾何尺寸、與無人機(jī)的相對(duì)位置、速度并將其發(fā)送至飛控計(jì)算機(jī)產(chǎn)生避障動(dòng)作。該算法通過同時(shí)使用GPU與CPU進(jìn)行計(jì)算，提高了算法的運(yùn)算速度，通過雙目視覺對(duì)障礙物進(jìn)行有效分割，只計(jì)算障礙物追蹤窗口中的光流值，解決了稠密光流計(jì)算整幅圖像時(shí)耗時(shí)長的問題，進(jìn)一步提高了避障算法的實(shí)時(shí)性；本發(fā)明提出的威脅深度模型可簡化避障流程，不必引入過于復(fù)雜的路徑規(guī)劃算法，具有較高的實(shí)用價(jià)值。

以上實(shí)施例僅為說明本發(fā)明的技術(shù)思想，不能以此限定本發(fā)明的保護(hù)范圍，凡是按照本發(fā)明提出的技術(shù)思想，在技術(shù)方案基礎(chǔ)上所做的任何改動(dòng)，均落入本發(fā)明保護(hù)范圍之內(nèi)。