本發(fā)明實(shí)施方式涉及無(wú)人機(jī)領(lǐng)域，特別是涉及一種無(wú)人機(jī)全景視覺(jué)跟蹤方法、使用該方法的無(wú)人機(jī)以及控制終端。

背景技術(shù)：

目前，隨著無(wú)線(xiàn)互聯(lián)和圖像處理技術(shù)的發(fā)展，現(xiàn)有的傳輸技術(shù)和圖像融合處理技術(shù)已經(jīng)可以支持無(wú)人機(jī)實(shí)現(xiàn)高分辨率圖像的拍攝并結(jié)合控制器或者移動(dòng)終端應(yīng)用實(shí)現(xiàn)視覺(jué)跟蹤。

如中國(guó)專(zhuān)利申請(qǐng)第201511026140.7號(hào)所披露的無(wú)人機(jī)跟蹤方法，該申請(qǐng)披露了一種多旋翼無(wú)人機(jī)跟拍路徑規(guī)劃與跟蹤方法，設(shè)定無(wú)人機(jī)與跟拍目標(biāo)之間的相對(duì)位置參數(shù)，獲得跟拍目標(biāo)當(dāng)前制導(dǎo)周期的位置，獲得跟拍目標(biāo)當(dāng)前制導(dǎo)周期的速度矢量；根據(jù)無(wú)人機(jī)與跟拍目標(biāo)之間的相對(duì)位置參數(shù)、跟拍目標(biāo)當(dāng)前制導(dǎo)周期的位置與速度矢量，獲得無(wú)人機(jī)當(dāng)前制導(dǎo)周期的期望位置；根據(jù)上一個(gè)制導(dǎo)周期計(jì)算所得目標(biāo)航路點(diǎn)與當(dāng)前制導(dǎo)周期內(nèi)的目標(biāo)航路點(diǎn)對(duì)當(dāng)前制導(dǎo)周期內(nèi)的目標(biāo)航路點(diǎn)進(jìn)行跟蹤；相機(jī)云臺(tái)根據(jù)相機(jī)云臺(tái)的期望俯仰角和相機(jī)云臺(tái)的期望視線(xiàn)偏角進(jìn)行實(shí)時(shí)跟拍。本發(fā)明能夠鎖定無(wú)人機(jī)的拍攝視角，并能夠根據(jù)需要實(shí)時(shí)改變視角；航線(xiàn)跟蹤環(huán)節(jié)采用了航向角的比例控制，所得的無(wú)人機(jī)軌跡更為平滑。

現(xiàn)有的無(wú)人機(jī)跟蹤，一般基于無(wú)人機(jī)的單相機(jī)拍攝圖像識(shí)別目標(biāo)來(lái)實(shí)現(xiàn)視覺(jué)跟蹤的技術(shù)方案。但是基于單相機(jī)的無(wú)人機(jī)跟蹤，單相機(jī)的視野有限，一般FOV(Field of View)在100度左右，視野窄，造成無(wú)人機(jī)一般采用低于大于180度視場(chǎng)的跟蹤方案。對(duì)于單相機(jī)沒(méi)有覆蓋到的視角，圖像不可見(jiàn)，使得很多無(wú)人機(jī)應(yīng)用受到限制。

因此，現(xiàn)有無(wú)人機(jī)跟蹤技術(shù)還有待于改進(jìn)和發(fā)展。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施方式主要解決的技術(shù)問(wèn)題是提供一種無(wú)人機(jī)全景視覺(jué)跟蹤方法、使用該跟蹤方法的無(wú)人機(jī)以及控制終端，解決小FOV相機(jī)只能拍攝跟蹤部分視角的技術(shù)問(wèn)題，從而獲得360度球體全景圖像，實(shí)現(xiàn)多相機(jī)全景成像和圖像數(shù)據(jù)融合。

為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施方式采用的一個(gè)技術(shù)方案是：

提供一種無(wú)人機(jī)全景視覺(jué)跟蹤方法，包括：

獲取多個(gè)相機(jī)在同一時(shí)間點(diǎn)拍攝的圖像；

拼接該多個(gè)相機(jī)在同一時(shí)間點(diǎn)拍攝的圖像形成全景圖像；

將每次拼接的該全景圖像傳送至與無(wú)人機(jī)無(wú)線(xiàn)連接的控制終端。

優(yōu)選的，該無(wú)人機(jī)全景視覺(jué)跟蹤方法還包括：

獲取用戶(hù)選擇的跟蹤目標(biāo)對(duì)象；

根據(jù)跟蹤目標(biāo)對(duì)象的圖像信息，推算出該跟蹤目標(biāo)對(duì)象的移動(dòng)軌跡信息；

根據(jù)獲取的該移動(dòng)軌跡信息對(duì)該跟蹤目標(biāo)對(duì)象進(jìn)行定位和航跡追蹤。

其中，在無(wú)人機(jī)視覺(jué)跟蹤異常時(shí)，該控制終端在顯示界面展示異常提示信息。

作為本申請(qǐng)的另一種實(shí)施例，該無(wú)人機(jī)的控制終端連接VR設(shè)備，用于將收到的圖像或者影像輸出至VR設(shè)備顯示。

其中，該全景圖像基于球面坐標(biāo)，由多個(gè)特定視場(chǎng)的相機(jī)拍攝圖像并拼接而成；在球面坐標(biāo)下拼接該多個(gè)相機(jī)圖像時(shí)，重疊部分的圖像采用對(duì)每個(gè)像素取均值的方式融合，從而得到該全景圖像。

作為圖像采集的一種實(shí)施方式，該全景圖像基于球面坐標(biāo)，由兩個(gè)大于180度視場(chǎng)的相機(jī)拍攝圖像并拼接而成；在球面坐標(biāo)下拼接該兩個(gè)個(gè)相機(jī)圖像時(shí)，重疊部分的圖像采用對(duì)每個(gè)像素取均值的方式融合，從而得到該全景圖像。

為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施方式采用的另一個(gè)技術(shù)方案是：

提供一種全景視覺(jué)跟蹤無(wú)人機(jī)，包括機(jī)身、安裝在機(jī)身的多個(gè)相機(jī)以及飛行控制器，該多個(gè)相機(jī)用于在同一時(shí)間點(diǎn)拍攝圖像；該飛行控制器設(shè)置拼接模塊，用于拼接該多個(gè)相機(jī)在同一時(shí)間點(diǎn)拍攝的圖像形成全景圖像；該飛行控制器還包括發(fā)送模塊，用于將每次拼接的該全景圖像傳送至與無(wú)人機(jī)無(wú)線(xiàn)連接的控制終端。

其中，該無(wú)人機(jī)還包括視覺(jué)跟蹤模組，該視覺(jué)跟蹤模組包括跟蹤信息獲取模塊以及定位跟蹤模塊，該跟蹤信息獲取模塊，用于根據(jù)跟蹤目標(biāo)對(duì)象的圖像信息，推算出該跟蹤目標(biāo)對(duì)象的移動(dòng)軌跡信息，該定位跟蹤模塊用于根據(jù)該移動(dòng)軌跡信息對(duì)該跟蹤目標(biāo)對(duì)象進(jìn)行定位和航跡追蹤。

該控制終端還包括：接收模塊，該接收模塊用于接收從無(wú)人機(jī)發(fā)送過(guò)來(lái)的全景圖像；顯示模塊，用于在控制終端顯示該全景圖像；交互模塊，用于獲取用戶(hù)選擇的跟蹤目標(biāo)對(duì)象；發(fā)送模塊，用于將用戶(hù)選擇的跟蹤目標(biāo)對(duì)象發(fā)送至無(wú)人機(jī)完成對(duì)該跟蹤目標(biāo)對(duì)象的定位和航跡追蹤。

優(yōu)選的，該控制終端還包括異常提示模塊，用于在無(wú)人機(jī)視覺(jué)跟蹤出現(xiàn)異常時(shí)，展示異常提示信息。

作為本申請(qǐng)的一種實(shí)施例，該無(wú)人機(jī)的控制終端連接VR設(shè)備，用于將收到的圖像或者影像輸出至VR設(shè)備顯示。

該全景圖像基于球面坐標(biāo)，由多個(gè)特定視場(chǎng)的相機(jī)拍攝圖像并拼接而成，其中，在球面坐標(biāo)下拼接該多個(gè)相機(jī)圖像時(shí)，重疊部分的圖像采用對(duì)每個(gè)像素取均值的方式完成融合。

優(yōu)選的，該無(wú)人機(jī)設(shè)置云臺(tái)模塊對(duì)多個(gè)相機(jī)進(jìn)行增穩(wěn)。

為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施方式采用的再一個(gè)技術(shù)方案是：

提供一種用于無(wú)人機(jī)全景視覺(jué)跟蹤的控制終端，包括：

接收模塊，該接收模塊用于接收從無(wú)人機(jī)發(fā)送過(guò)來(lái)的全景圖像，其中，該無(wú)人機(jī)的多個(gè)相機(jī)用于獲取多個(gè)相機(jī)在同一時(shí)間點(diǎn)拍攝的圖像，該無(wú)人機(jī)還用于拼接該多個(gè)相機(jī)在同一時(shí)間點(diǎn)拍攝的圖像形成全景圖像；

顯示模塊，用于顯示該全景圖像；

交互模塊，用于獲取用戶(hù)選擇的跟蹤目標(biāo)對(duì)象；

發(fā)送模塊，用于將用戶(hù)選擇的跟蹤目標(biāo)對(duì)象發(fā)送至無(wú)人機(jī)，其中，該無(wú)人機(jī)根據(jù)該跟蹤目標(biāo)對(duì)象的圖像信息，推算出該跟蹤目標(biāo)對(duì)象的移動(dòng)軌跡信息，完成進(jìn)行定位和航跡追蹤。

其中，該控制終端還包括異常提示模塊，用于在無(wú)人機(jī)視覺(jué)跟蹤出現(xiàn)異常時(shí)，展示異常提示信息。

作為本申請(qǐng)的一種實(shí)施例，該控制終端連接VR設(shè)備，用于將收到的圖像或者影像輸出至VR設(shè)備顯示。

優(yōu)選的，該全景圖像基于球面坐標(biāo)，由多個(gè)特定視場(chǎng)的相機(jī)拍攝圖像并拼接而成，其中，在球面坐標(biāo)下拼接該多個(gè)相機(jī)圖像時(shí)，重疊部分的圖像采用對(duì)每個(gè)像素取均值的方式完成融合。

本發(fā)明實(shí)施方式的有益效果是：本實(shí)施例中提供的無(wú)人機(jī)全景視覺(jué)跟蹤方法、使用該跟蹤方法的無(wú)人機(jī)以及控制終端，采用多個(gè)相機(jī)獲取多個(gè)相機(jī)圖像然后拼接形成全景圖像并傳給跟蹤終端使用，不僅可以獲得360度球體全景圖像，實(shí)現(xiàn)多相機(jī)的全景成像以及多相機(jī)圖像數(shù)據(jù)的融合，而且基于該全景圖像可以實(shí)現(xiàn)無(wú)人機(jī)全視角目標(biāo)跟蹤。

附圖說(shuō)明

圖1是本發(fā)明實(shí)施方式的無(wú)人機(jī)的結(jié)構(gòu)示意圖；

圖2是本發(fā)明實(shí)施方式的無(wú)人機(jī)全景視覺(jué)跟蹤方法的工作原理圖；

圖3是本發(fā)明實(shí)施方式的無(wú)人機(jī)全景視覺(jué)跟蹤方法的控制終端流程圖；

圖4是本發(fā)明實(shí)施方式的無(wú)人機(jī)全景視覺(jué)跟蹤方法的一種實(shí)施例工作原理圖；以及

圖5是本發(fā)明實(shí)施方式的無(wú)人機(jī)全景視覺(jué)跟蹤法的模塊示意圖。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例做進(jìn)一步詳細(xì)說(shuō)明。在此，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，但并不作為對(duì)本發(fā)明的限定。

本申請(qǐng)實(shí)施例提供的無(wú)人機(jī)全景視覺(jué)跟蹤方法、使用該跟蹤方法的無(wú)人機(jī)以及控制終端，解決小FOV相機(jī)只能拍攝跟蹤部分視角的技術(shù)問(wèn)題，并可拼接獲得360度球體全景圖像，實(shí)現(xiàn)多相機(jī)全景成像和圖像數(shù)據(jù)融合。

請(qǐng)參考圖1，所示為本申請(qǐng)實(shí)施例無(wú)人機(jī)的結(jié)構(gòu)示意圖。

本實(shí)施例中的無(wú)人飛行器采用四旋翼無(wú)人機(jī)。無(wú)人飛行器采用四個(gè)小巧的螺旋槳，具有飛行安全控制靈活等特點(diǎn)，能夠?qū)崿F(xiàn)六個(gè)自由度的飛行。

本申請(qǐng)實(shí)施例中的全景視覺(jué)跟蹤無(wú)人機(jī)20與控制終端10無(wú)線(xiàn)連接，該控制終端可以是遙控中心也可以是手機(jī)應(yīng)用，該無(wú)線(xiàn)連接可以是無(wú)線(xiàn)電遙控，或者wifi連接或者通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò)3G/4G連接。作為一種實(shí)施方式，該無(wú)人機(jī)20的控制終端10可連接VR設(shè)備60用于將收到的全景圖像或者影像輸出至VR設(shè)備顯示。

該無(wú)人機(jī)20包括機(jī)身22、安裝在機(jī)身的多個(gè)相機(jī)以及飛行控制器40。

該多個(gè)相機(jī)的數(shù)量由相機(jī)的視場(chǎng)(FOV)屬性決定。如果相機(jī)的視場(chǎng)為120度，為了拼接全景圖像，需要3個(gè)拍攝相機(jī)。如圖4所示，如果相機(jī)采用視場(chǎng)為180度的魚(yú)眼相機(jī)，則只需要2個(gè)相機(jī)即可拼接全景圖像。

為了便于說(shuō)明本申請(qǐng)技術(shù)方案，以下無(wú)人機(jī)方案中以設(shè)置兩個(gè)視場(chǎng)為180度的魚(yú)眼相機(jī)為例加以闡述。該多個(gè)相機(jī)52、54可以單次拍攝圖片或者以一定頻率連拍錄像。該多個(gè)相機(jī)52、54同一時(shí)間點(diǎn)各自獲取多個(gè)相機(jī)圖像，本實(shí)施例采用視場(chǎng)為180度的魚(yú)眼相機(jī)，每次獲取兩個(gè)相機(jī)圖像。

請(qǐng)一并參考圖5，該飛行控制器40設(shè)置拼接模塊42，該拼接模塊42拼接該多個(gè)相機(jī)同一時(shí)間點(diǎn)拍攝的多個(gè)相機(jī)圖像形成全景圖像。在采用視場(chǎng)為180度魚(yú)眼相機(jī)的實(shí)施例中，兩個(gè)相機(jī)52、54每次獲取兩個(gè)相機(jī)圖像，該拼接模塊42拼接該兩個(gè)魚(yú)眼相機(jī)的圖像形成全景圖像。

該無(wú)人機(jī)的飛行控制器40還包括視覺(jué)跟蹤模組，作為一種預(yù)先識(shí)別目標(biāo)對(duì)象的實(shí)施例，該視覺(jué)跟蹤模組包括識(shí)別模塊48、跟蹤信息獲取模塊49以及定位跟蹤模塊46。該識(shí)別模塊48從該全景圖像中獲取可識(shí)別的目標(biāo)對(duì)象及其所在區(qū)域的圖像信息。該跟蹤信息獲取模塊49根據(jù)該跟蹤目標(biāo)對(duì)象的圖像信息，推算出該跟蹤目標(biāo)對(duì)象的移動(dòng)軌跡信息。該定位跟蹤模塊46根據(jù)該移動(dòng)軌跡信息對(duì)該跟蹤目標(biāo)對(duì)象進(jìn)行定位和航跡追蹤。在其它實(shí)施方式中，可以不設(shè)置該識(shí)別模塊48，目標(biāo)對(duì)象的識(shí)別設(shè)置在用戶(hù)交互選擇跟蹤目標(biāo)對(duì)象完成后再對(duì)跟蹤目標(biāo)對(duì)象進(jìn)行識(shí)別，簡(jiǎn)化運(yùn)算量。

該飛行控制器40還包括發(fā)送模塊44，用于將每次拼接的全景圖像傳送至與無(wú)人機(jī)20無(wú)線(xiàn)連接的控制終端10。

為了保證無(wú)飛機(jī)20安裝的多個(gè)相機(jī)可以拍攝出清晰度更高的圖像，降低圖像模糊的概率，該無(wú)人機(jī)20設(shè)置云臺(tái)模塊，該多個(gè)相機(jī)安裝在可實(shí)現(xiàn)三維微調(diào)的云臺(tái)模塊上用于對(duì)該多個(gè)實(shí)現(xiàn)全景拍攝的相機(jī)進(jìn)行增穩(wěn)。

用戶(hù)通過(guò)控制終端10操控?zé)o人機(jī)20，根據(jù)各方向障礙物距離情況，進(jìn)行無(wú)人機(jī)的飛行控制。包括無(wú)人機(jī)的直線(xiàn)飛行、轉(zhuǎn)向飛行，加速飛行，減速飛行，繞行飛行，剎車(chē)飛行等。

請(qǐng)參考圖5，所示實(shí)施例的無(wú)人機(jī)20在獲取了全景圖像或者全景影像后，為了建立與用戶(hù)的交互達(dá)到全景跟蹤的目的，該無(wú)人機(jī)的飛行控制器40還包括視覺(jué)跟蹤模組，該視覺(jué)跟蹤模組包括識(shí)別模塊48、跟蹤信息獲取模塊49以及定位跟蹤模塊46。對(duì)應(yīng)的該控制終端10還包括接收模塊11、顯示模塊12、交互模塊14、異常提示模塊18以及發(fā)送模塊19。本實(shí)施例中，目標(biāo)對(duì)象的識(shí)別設(shè)置交互完成之前，針對(duì)全景圖像預(yù)先提取可識(shí)別目標(biāo)對(duì)象并發(fā)送給控制終端10顯示給用戶(hù)，以方便用戶(hù)確定哪些目標(biāo)對(duì)象可以作為可以跟蹤的目標(biāo)對(duì)象，為達(dá)到該技術(shù)效果本實(shí)施例中設(shè)置該識(shí)別模塊48。

該無(wú)人機(jī)20的該識(shí)別模塊48從該全景圖像中獲取可識(shí)別的目標(biāo)對(duì)象及可識(shí)別的目標(biāo)對(duì)象所在區(qū)域的圖像信息。該跟蹤信息獲取模塊49根據(jù)用戶(hù)選擇的跟蹤目標(biāo)對(duì)象的圖像信息，推算出該跟蹤目標(biāo)對(duì)象的移動(dòng)軌跡信息。該移動(dòng)軌跡信息包括跟蹤目標(biāo)對(duì)象與無(wú)人機(jī)的距離，方向等。該定位跟蹤模塊46根據(jù)該移動(dòng)軌跡信息對(duì)該跟蹤目標(biāo)對(duì)象進(jìn)行定位和航跡追蹤。該無(wú)人機(jī)20將獲取的全景圖像和可識(shí)別的目標(biāo)對(duì)象發(fā)送至控制終端10。

該控制終端10包括接收模塊11、顯示模塊12、交互模塊14、發(fā)送模塊19。

該接收模塊11接收從無(wú)人機(jī)20發(fā)送過(guò)來(lái)的全景圖像和可識(shí)別的目標(biāo)對(duì)象。其中，該無(wú)人機(jī)20的多個(gè)相機(jī)用于以一定時(shí)間間隔單次或者多次拍照，每次獲取多個(gè)相機(jī)圖像，該無(wú)人機(jī)還用于拼接每次拍攝的該多個(gè)相機(jī)圖像形成該全景圖像。

該顯示模塊12顯示收到的該全景圖像和可識(shí)別的目標(biāo)對(duì)象。

該交互模塊14獲取用戶(hù)在顯示模塊12上選擇的跟蹤目標(biāo)對(duì)象。該控制終端10的交互模塊14建立用戶(hù)與控制終端10的交互，用于獲取用戶(hù)選擇的跟蹤目標(biāo)對(duì)象。

該發(fā)送模塊19將用戶(hù)選擇的跟蹤目標(biāo)對(duì)象發(fā)送至無(wú)人機(jī)20。其中，該無(wú)人機(jī)20根據(jù)該跟蹤目標(biāo)對(duì)象的圖像信息，推算出該跟蹤目標(biāo)對(duì)象的移動(dòng)軌跡信息，完成進(jìn)行定位和航跡追蹤。

具體來(lái)講，得到該移動(dòng)軌跡信息的無(wú)人機(jī)20為了完成目標(biāo)追蹤還包括定位跟蹤模塊46。該定位跟蹤模塊46根據(jù)收到的該移動(dòng)軌跡信息對(duì)該跟蹤目標(biāo)對(duì)象進(jìn)行定位和航跡追蹤。具體來(lái)講，用戶(hù)通過(guò)控制終端10操控?zé)o人機(jī)20，根據(jù)跟蹤目標(biāo)對(duì)象的移動(dòng)軌跡信息(該移動(dòng)軌跡信息包括跟蹤目標(biāo)對(duì)象與無(wú)人機(jī)的距離，方向等)以及各方向障礙物距離情況，進(jìn)行無(wú)人機(jī)的飛行控制。包括無(wú)人機(jī)的直線(xiàn)飛行、轉(zhuǎn)向飛行，加速飛行，減速飛行，繞行飛行，剎車(chē)飛行等。

該跟蹤信息獲取模塊16獲取該移動(dòng)軌跡信息的方法有多種。比如對(duì)于運(yùn)動(dòng)的無(wú)人機(jī)20跟蹤應(yīng)用，如跟蹤拍攝。采用傳統(tǒng)的haar角點(diǎn)檢測(cè)，并使用傳統(tǒng)的LK光流算法對(duì)角點(diǎn)進(jìn)行跟蹤，得到跟蹤目標(biāo)對(duì)象在圖像的位置?；蛘哕壽E生成算法：根據(jù)視覺(jué)跟蹤算法獲取目標(biāo)對(duì)象的移動(dòng)軌跡信息，所述移動(dòng)軌跡信息至少包括目標(biāo)對(duì)象相對(duì)于無(wú)人機(jī)的距離信息，方向信息。

為了保證用戶(hù)獲取追蹤過(guò)程的全部信息，以及時(shí)調(diào)整修正追蹤，該控制終端10還包括異常提示模塊18。該異常提示模塊18在無(wú)人機(jī)視覺(jué)跟蹤出現(xiàn)異常時(shí)，為用戶(hù)展示異常提示信息。具體為在該控制終端10的顯示界面上顯示與出現(xiàn)的追蹤異常對(duì)應(yīng)的異常提示信息。

該跟蹤異常處理情況和異常處理方式包括但不限于：

丟失跟蹤目標(biāo)對(duì)象時(shí)，顯示與跟蹤目標(biāo)對(duì)象相應(yīng)的異常提示信息。在無(wú)法獲取到圖像信息且超時(shí)，控制終端10無(wú)法進(jìn)行對(duì)該跟蹤目標(biāo)對(duì)象的視覺(jué)跟蹤，顯示與無(wú)法獲取圖像信息相對(duì)應(yīng)的異常提示信息。在該無(wú)人機(jī)20的電量過(guò)低時(shí)，中斷對(duì)該跟蹤目標(biāo)對(duì)象的視覺(jué)跟蹤，并在控制終端10顯示與電量過(guò)低相對(duì)應(yīng)的異常提示信息。在信號(hào)丟失時(shí)，退出視覺(jué)跟蹤模式，其中，該信號(hào)至少包括遙控信號(hào)，應(yīng)用通信信號(hào)，飛控信號(hào)。在光照強(qiáng)度低于預(yù)設(shè)閾值時(shí)，中斷對(duì)該跟蹤目標(biāo)對(duì)象的視覺(jué)跟蹤，并顯示與光照強(qiáng)度低于預(yù)設(shè)閾值相對(duì)應(yīng)的異常提示信息。檢測(cè)到飛行前面有障礙物，顯示障礙物異常提示信息。

為了拓展全景圖像的應(yīng)用范圍。作為本申請(qǐng)的一種實(shí)施例，該無(wú)人機(jī)20的控制終端10連接VR設(shè)備60的VR輸入模塊62，用于將收到的全景圖像或者影像輸出至VR設(shè)備顯示。

該全景圖像的拼接是基于球面坐標(biāo)完成的。該全景圖像由多個(gè)特定視場(chǎng)的相機(jī)拍攝圖像并拼接而成，在魚(yú)眼相機(jī)實(shí)施方式中，該全景圖像由兩個(gè)大于180度視場(chǎng)的相機(jī)拍攝圖像并拼接而成。其中，在球面坐標(biāo)下拼接該多個(gè)相機(jī)圖像時(shí)，重疊部分的圖像采用對(duì)每個(gè)像素取均值的方式完成融合。

在魚(yú)眼相機(jī)實(shí)施方式中，該全景圖像基于球面坐標(biāo)，由兩個(gè)大于180度視場(chǎng)的相機(jī)拍攝圖像并拼接而成；在球面坐標(biāo)下拼接該兩個(gè)個(gè)相機(jī)圖像時(shí)，重疊部分的圖像采用對(duì)每個(gè)像素取均值的方式融合，從而得到該全景圖像。

請(qǐng)參考圖4，在魚(yú)眼相機(jī)實(shí)施方式中，全景圖像獲取方法如下：

步驟402：該無(wú)人機(jī)20設(shè)置的云臺(tái)模塊對(duì)魚(yú)眼相機(jī)進(jìn)行增穩(wěn)；

步驟404：1)采集2個(gè)魚(yú)眼相機(jī)的圖像，獲取左魚(yú)眼相機(jī)圖像；獲取右魚(yú)眼相機(jī)圖像。2)球面坐標(biāo)下拼接圖像，利用標(biāo)定好的相機(jī)參數(shù)，對(duì)圖像空間變換，將多個(gè)相機(jī)圖像變換到球面坐標(biāo)下，得到球面坐標(biāo)系下的圖像。

步驟406：根據(jù)控制終端10指令進(jìn)行錄像或者拍照后，針對(duì)每次拍攝的多個(gè)相機(jī)圖像進(jìn)行圖像拼接融合成全景圖像，在球面坐標(biāo)下，將兩幅相機(jī)圖像進(jìn)行融合，對(duì)重疊部分的圖像進(jìn)行融合，對(duì)重疊部分的每個(gè)像素取均值。得到全景圖像。

步驟408：圖像傳輸?shù)娇刂平K端10。

請(qǐng)參考圖2和圖3，本申請(qǐng)實(shí)施例還提供一種無(wú)人機(jī)全景視覺(jué)跟蹤方法，包括無(wú)人機(jī)獲取全景圖像，識(shí)別全景圖像中可識(shí)別的目標(biāo)對(duì)象及其所在區(qū)域的圖像信息；控制終端基于回傳的全景圖像和可識(shí)別的目標(biāo)對(duì)象與用戶(hù)交互，無(wú)人機(jī)根據(jù)用戶(hù)的交互選擇結(jié)果進(jìn)行追蹤，以及控制終端在虛擬現(xiàn)實(shí)場(chǎng)景利用全景圖像。本實(shí)施例中，目標(biāo)對(duì)象的識(shí)別設(shè)置交互完成之前，針對(duì)全景圖像預(yù)先提取可識(shí)別目標(biāo)對(duì)象并發(fā)送給控制終端10顯示給用戶(hù)，以方便用戶(hù)確定哪些目標(biāo)對(duì)象可以作為可以跟蹤的目標(biāo)對(duì)象。

請(qǐng)參考圖2，無(wú)人機(jī)獲取全景圖像的過(guò)程如下：

步驟202：該無(wú)人機(jī)20設(shè)置的云臺(tái)模塊對(duì)完成全景圖像拍攝的多個(gè)相機(jī)進(jìn)行增穩(wěn)；

步驟204：1)采集多個(gè)相機(jī)的圖像，本實(shí)施例基于不同視場(chǎng)的相機(jī)，為拼接全景圖像設(shè)置N個(gè)相機(jī)，獲取第一相機(jī)圖像；…獲取第N相機(jī)圖像。2)球面坐標(biāo)下拼接相機(jī)圖像，利用標(biāo)定好的相機(jī)參數(shù)，對(duì)圖像空間變換，將多個(gè)相機(jī)圖像變換到球面坐標(biāo)下，得到球面坐標(biāo)系下的圖像。

步驟206：根據(jù)控制終端10指令進(jìn)行錄像或者拍照后，針對(duì)每次拍攝的多個(gè)相機(jī)圖像進(jìn)行圖像拼接融合成全景圖像，在球面坐標(biāo)下，將多幅相機(jī)圖像進(jìn)行融合，對(duì)重疊部分的圖像進(jìn)行融合，對(duì)重疊部分的每個(gè)像素取均值。得到全景圖像。

步驟208：圖像傳輸?shù)娇刂平K端10。

該無(wú)人機(jī)20獲取全景圖像后，識(shí)別提取圖像中的可識(shí)別目標(biāo)對(duì)象。該無(wú)人機(jī)20將該全景圖像和可識(shí)別目標(biāo)對(duì)象發(fā)送至控制終端10?？刂平K端10對(duì)可識(shí)別的目標(biāo)對(duì)象進(jìn)行特殊標(biāo)示后在顯示界面顯示給用戶(hù)，用作交互選擇。

請(qǐng)參考圖3，所示為控制終端完成交互以及無(wú)人機(jī)完成追蹤的過(guò)程。

步驟302：無(wú)人機(jī)20從全景圖像中獲取可識(shí)別的目標(biāo)對(duì)象及該可識(shí)別的目標(biāo)對(duì)象所在區(qū)域的圖像信息，無(wú)人機(jī)20將該全景圖像和可識(shí)別的目標(biāo)對(duì)象發(fā)送至控制終端10；

步驟304：該步驟完成用戶(hù)與控制終端的交互，用戶(hù)可在控制終端選擇跟蹤目標(biāo)對(duì)象，在交互時(shí)，用戶(hù)在控制終端的顯示界面上選擇突出標(biāo)示的目標(biāo)對(duì)象，具體實(shí)施上，在顯示界面的全景圖像，交互應(yīng)用將可識(shí)別的目標(biāo)對(duì)象通過(guò)矩形，圓，三角型等標(biāo)示軟件工具圈出突出顯示，以方便用戶(hù)在全景圖像上進(jìn)行目標(biāo)對(duì)象的選擇；用戶(hù)完成選擇交互以后，控制終端的發(fā)送模塊19將用戶(hù)選擇的跟蹤目標(biāo)對(duì)象發(fā)送至無(wú)人機(jī)20。

步驟306：識(shí)別置信度判斷步驟，其中，該步驟中預(yù)先設(shè)置可靠度閾值T，如果無(wú)人機(jī)識(shí)別的目標(biāo)對(duì)象識(shí)別結(jié)果大于一定閾值T，則認(rèn)為用戶(hù)選擇的跟蹤目標(biāo)對(duì)象識(shí)別可靠；否則，用戶(hù)需在控制終端重新選擇跟蹤目標(biāo)對(duì)象；如果目標(biāo)識(shí)別可靠，用戶(hù)還需通過(guò)控制終端對(duì)跟蹤目標(biāo)對(duì)象進(jìn)行確認(rèn)，在無(wú)法確認(rèn)的情況下還需在控制終端重新選擇跟蹤目標(biāo)對(duì)象?？刂平K端的應(yīng)用根據(jù)可靠和不可靠判斷結(jié)果在顯示界面給用戶(hù)作出提示。如果目標(biāo)識(shí)別可靠，需要用戶(hù)確認(rèn)是否進(jìn)行跟蹤，用戶(hù)確認(rèn)跟蹤后，控制終端的發(fā)送模塊19將通知無(wú)人機(jī)20的全景跟蹤系統(tǒng)進(jìn)入自動(dòng)跟蹤狀態(tài)。

步驟308：無(wú)人機(jī)開(kāi)始目標(biāo)跟蹤的步驟；無(wú)人機(jī)的飛行控制器根據(jù)跟蹤目標(biāo)對(duì)象的圖像信息，推算出該跟蹤對(duì)象的移動(dòng)軌跡信息，亦即距離、方向的軌跡；無(wú)人機(jī)根據(jù)移動(dòng)軌跡信息以及各方向障礙物距離情況，進(jìn)行無(wú)人機(jī)的飛行控制。

步驟310：追蹤異常處理步驟，該步驟由控制終端完成，控制終端匯集各種飛行和跟蹤參數(shù)，并判斷是否退出全景視覺(jué)跟蹤；比如：丟失跟蹤目標(biāo)對(duì)象時(shí)，顯示與跟蹤目標(biāo)對(duì)象相應(yīng)的異常提示信息。在無(wú)法獲取到圖像信息且超時(shí)，控制終端10無(wú)法進(jìn)行對(duì)該跟蹤目標(biāo)對(duì)象的視覺(jué)跟蹤，顯示與無(wú)法獲取圖像信息相對(duì)應(yīng)的異常提示信息。在該無(wú)人機(jī)20的電量過(guò)低時(shí)，中斷對(duì)該跟蹤目標(biāo)對(duì)象的視覺(jué)跟蹤，并在控制終端10顯示與電量過(guò)低相對(duì)應(yīng)的異常提示信息。在信號(hào)丟失時(shí)，退出視覺(jué)跟蹤模式，其中，該信號(hào)至少包括遙控信好，應(yīng)用通信信號(hào)，飛控信號(hào)。在光照強(qiáng)度低于預(yù)設(shè)閾值時(shí)，中斷對(duì)該跟蹤目標(biāo)對(duì)象的視覺(jué)跟蹤，并顯示與光照強(qiáng)度低于預(yù)設(shè)閾值相對(duì)應(yīng)的異常提示信息。檢測(cè)到飛行前面有障礙物，顯示障礙物異常提示信息。

步驟312：在沒(méi)有出現(xiàn)跟蹤異常的時(shí)候，無(wú)人機(jī)的飛行控制器控制飛機(jī)飛行，對(duì)跟蹤目標(biāo)對(duì)象進(jìn)行定位和航跡追蹤。

在魚(yú)眼相機(jī)實(shí)施方式中，該全景圖像基于球面坐標(biāo)，由兩個(gè)大于180度視場(chǎng)的相機(jī)拍攝圖像并拼接而成；在球面坐標(biāo)下拼接該兩個(gè)個(gè)相機(jī)圖像時(shí)，重疊部分的圖像采用對(duì)每個(gè)像素取均值的方式融合，從而得到該全景圖像。

將全景圖像和無(wú)人機(jī)的目標(biāo)對(duì)象識(shí)別結(jié)果傳送給控制終端，如無(wú)人機(jī)遙控中心或者手機(jī)移動(dòng)終端。

控制終端接收無(wú)人機(jī)發(fā)送的全景圖像和可識(shí)別目標(biāo)對(duì)象，并在顯示模塊12顯示全景圖像以及將可識(shí)別目標(biāo)對(duì)象突出顯示給用戶(hù)。亦即在全景圖像中，對(duì)識(shí)別成功的目標(biāo)對(duì)象進(jìn)行突出標(biāo)示。

用戶(hù)在控制終端選擇需要跟蹤的跟蹤目標(biāo)對(duì)象完成交互。

該控制終端再將用戶(hù)的選擇發(fā)送無(wú)人機(jī)。該無(wú)人機(jī)獲取目標(biāo)對(duì)象的區(qū)域圖像信息，找到跟蹤目標(biāo)對(duì)象的圖像信息，根據(jù)視覺(jué)跟蹤算法獲取目標(biāo)對(duì)象的移動(dòng)軌跡信息，以實(shí)現(xiàn)對(duì)所述目標(biāo)對(duì)象的定位以及航跡追蹤。

其中，所述移動(dòng)軌跡信息至少包括跟蹤目標(biāo)對(duì)象相對(duì)于無(wú)人機(jī)的距離信息，方向信息。飛行控制系統(tǒng)根據(jù)目標(biāo)對(duì)象的移動(dòng)軌跡信息控制無(wú)人機(jī)進(jìn)行目標(biāo)跟蹤跟隨。同時(shí)，設(shè)置的多個(gè)相機(jī)進(jìn)行全景拍照或者錄像。

本技術(shù)方案中：采用多個(gè)相機(jī)獲取多個(gè)相機(jī)圖像然后拼接形成全景圖像并傳給跟蹤終端使用，不僅可以獲得360度球體全景圖像，實(shí)現(xiàn)多相機(jī)的全景成像以及多相機(jī)圖像數(shù)據(jù)的融合，而且基于該全景圖像可以實(shí)現(xiàn)無(wú)人機(jī)全視角目標(biāo)跟蹤；同時(shí)，本申請(qǐng)技術(shù)方案不僅可以用于無(wú)人機(jī)全景跟蹤拍攝，而且拍攝的全景圖像或者視頻，通過(guò)控制終端傳送至連接VR設(shè)備，使得用戶(hù)可以在VR設(shè)備在線(xiàn)或者離線(xiàn)觀(guān)看跟蹤圖像或者影像。

以上所述僅為本發(fā)明的實(shí)施方式，并非因此限制本發(fā)明的專(zhuān)利范圍，凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專(zhuān)利保護(hù)范圍內(nèi)。