帶有為水平速度估計(jì)而補(bǔ)償瞬時(shí)旋轉(zhuǎn)的垂直視角攝像機(jī)的無人機(jī)的制作方法
【專利摘要】垂直視角攝像機(jī)(16)傳遞由無人機(jī)飛越的地面的圖像信號(hào)(ScamV)。陀螺測試儀傳感器(102)測量歐拉角(θ、ψ)，表征無人機(jī)的飛行姿態(tài)，并傳遞陀螺測試儀信號(hào)(Sgyro)，表示瞬時(shí)旋轉(zhuǎn)。旋轉(zhuǎn)補(bǔ)償裝置(136)接收圖像信號(hào)和陀螺測試儀信號(hào)，傳遞重新調(diào)整時(shí)間的圖像數(shù)據(jù)，補(bǔ)償旋轉(zhuǎn)，隨后用于估計(jì)無人機(jī)的水平速度。攝像機(jī)和慣性單元由公共時(shí)鐘(160)引導(dǎo)，設(shè)置電路(170)，用于確定在陀螺測試儀信號(hào)與圖像信號(hào)之間的相移的值，將這個(gè)相移值應(yīng)用于旋轉(zhuǎn)補(bǔ)償裝置(136)的輸入，在重新調(diào)整時(shí)間的圖像數(shù)據(jù)的計(jì)算之前，將圖像信號(hào)重新同步到陀螺測試儀信號(hào)上。
【專利說明】
帶有為水平速度估計(jì)而補(bǔ)償瞬時(shí)旋轉(zhuǎn)的垂直視角攝像機(jī)的無 人機(jī)
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及諸如無人機(jī)的機(jī)動(dòng)化飛行設(shè)備的領(lǐng)航（導(dǎo)航控制），具體而言，涉及諸 如四螺旋槳遙控直升機(jī)的旋翼無人機(jī)。法國巴黎的Parrot SA的AR.Drone 2.0或者Bebop Drone是這種四螺旋槳遙控直升機(jī)的典型示例。它們配備有一系列傳感器(加速度計(jì)、3軸陀 螺儀、高度計(jì)）、捕獲無人機(jī)所朝向的場景的圖像的前置攝像機(jī)、和捕獲所飛越的地面的圖 像的垂直視角攝像機(jī)。它們設(shè)有多個(gè)水平旋翼，由各自的電機(jī)驅(qū)動(dòng)，這些電機(jī)可以以有區(qū)別 的方式被控制，以便控制無人機(jī)的姿態(tài)和速度。其中，在EP2 364 757A1、EP2 400 460A1、 EP2613213A1 或者EP 2 644 240 A1、EP 2 613 214 Al(Parrot SA)中說明了這種無人機(jī)的 多個(gè)方面。
【背景技術(shù)】
[0002] 本發(fā)明具體涉及無人機(jī)的水平速度的測量，測量主要基于由垂直視角攝像機(jī)提供 的圖像并借助計(jì)算器，計(jì)算器用于分析由攝像機(jī)捕獲的圖像的序列。獨(dú)立于慣性傳感器(加 速度計(jì)），攝像機(jī)估計(jì)的位移提供了兩個(gè)方向上的無人機(jī)水平平移的測量。
[0003] 具體而言，分析由攝像機(jī)給出的兩個(gè)連續(xù)圖像以在絕對(duì)地球參考系的一個(gè)或另一 個(gè)水平維度上以像素提供明顯的位移。如果已知了高度（由無人機(jī)機(jī)載的超聲波和大氣壓 力傳感器給出），就可以將圖像的這個(gè)明顯位移轉(zhuǎn)換為距離，從而轉(zhuǎn)換為速度，獲知分隔兩 個(gè)連續(xù)圖像的時(shí)間間隔。
[0004] 上述的EP 2 400 460 A1說明了這個(gè)基于所謂的"光流"型算法的水平速度的測量 的技術(shù)，在光流算法不再能夠給出足夠可靠的結(jié)果時(shí)，動(dòng)態(tài)受控地可以轉(zhuǎn)換為"點(diǎn)檢測器" 或"興趣點(diǎn)檢測"型的其他算法。
[0005] 光流算法具有許多優(yōu)點(diǎn)，尤其是該方法對(duì)于場景的對(duì)比度和內(nèi)容基本沒有約束， 借助"多解"型方案可以估計(jì)高速和低速。另一方面，這個(gè)方法對(duì)于飛行姿態(tài)的旋轉(zhuǎn)和變化 非常敏感，不允許本質(zhì)地驗(yàn)證給出的結(jié)果的質(zhì)量，即，算法始終從足夠數(shù)量的點(diǎn)顯示高變化 率的時(shí)刻給出結(jié)果，但即使這個(gè)結(jié)果沒有任何意義也會(huì)被給出。實(shí)際上，給出的結(jié)果并非總 是可靠的，而且也不是非常準(zhǔn)確的，尤其是對(duì)于低速。現(xiàn)在，為了在懸停飛行中獲得自動(dòng)穩(wěn) 定的有效且有反應(yīng)的控制，必須實(shí)時(shí)獲得即刻的準(zhǔn)確、靈敏（由于在平衡點(diǎn)附近的線性速度 極低)且可用的水平速度的測量。
[0006] 借助慣性單元可實(shí)時(shí)測量易于對(duì)無人機(jī)的水平速度的測量具有影響的這些飛行 姿態(tài)的旋轉(zhuǎn)和變化。按照本身已知的方式，光流算法的實(shí)現(xiàn)方式還包括補(bǔ)償在連續(xù)使用的 圖像之間的旋轉(zhuǎn)的步驟。為此，通過將起因于兩個(gè)連續(xù)圖像之間的旋轉(zhuǎn)的光心的位移加到 估計(jì)的光流來補(bǔ)償易于引入的誤差(增加沿在圖像平面與垂直于旋轉(zhuǎn)軸的平面之間的交線 的分量的旋轉(zhuǎn)）。換言之，在由攝像機(jī)捕獲的場景的兩個(gè)連續(xù)圖像之間的旋轉(zhuǎn)的情況下，借 助由無人機(jī)的信號(hào)處理器內(nèi)的軟件實(shí)時(shí)執(zhí)行的射影矩陣計(jì)算，在與在前圖像比較之前，產(chǎn) 生圖像的新版本。這個(gè)旋轉(zhuǎn)補(bǔ)償允許對(duì)于尤其是在懸停飛行中遇到的旋轉(zhuǎn)進(jìn)行魯棒的速度 計(jì)算，并保持無人機(jī)的位移的線性模型。
[0007] 這個(gè)旋轉(zhuǎn)補(bǔ)償技術(shù)的實(shí)現(xiàn)方式中的困難在于以下事實(shí):有關(guān)于由慣性單元傳遞給 算法的旋轉(zhuǎn)角度(尤其是橫搖角和縱搖角）的值的誤差由于圖像的平移而產(chǎn)生相同的后果， 即使很小的誤差也易于在水平速度分量的估計(jì)中產(chǎn)生偏差-即使旋轉(zhuǎn)補(bǔ)償算法將一個(gè)圖像 很好地在另一個(gè)上重新調(diào)整時(shí)間。
[0008] 這些很小的誤差尤其來自于在由垂直攝像機(jī)傳遞的圖像信號(hào)與由慣性單元傳遞 的陀螺測試儀信號(hào)之間的同步的失敗。
[0009] 如果希望避免旋轉(zhuǎn)補(bǔ)償過程中的任何誤差，因此重要的是對(duì)于每一個(gè)圖像都確保 這兩個(gè)信號(hào)的極為準(zhǔn)確的同步。
[0010] Myung Hwangbo的〃Robust Monocular Vision-based Navigation for a Miniature Fixed-ffing Aircraft77 ,Carnegie-Mellon University,Robotics Institute， 2009年9月15日，chapter 4.2.3,標(biāo)題"Camera-IMU synchronization"說明了測量在圖像 信號(hào)與陀螺測試儀信號(hào)之間的偏移量的簡單技術(shù)。這個(gè)技術(shù)基于假設(shè):此時(shí)偏移量保持恒 定。其在于，在預(yù)先的校準(zhǔn)步驟中，將正弦曲線運(yùn)動(dòng)給予無人機(jī)，并基于光流在這個(gè)正弦曲 線運(yùn)動(dòng)上的計(jì)算來估計(jì)運(yùn)動(dòng)。隨后將這個(gè)運(yùn)動(dòng)估計(jì)與陀螺測試儀的測量相比較，兩個(gè)正弦 形信號(hào)（圖像信號(hào)和陀螺測試儀信號(hào)）的重新調(diào)整時(shí)間給出了搜索的相位。這個(gè)測量的相位 在校準(zhǔn)步驟后被認(rèn)為是恒定的，在飛行的隨后階段期間是永久且靜態(tài)適用的。
[0011] 但實(shí)際上，同步的誤差可以由易于持久變化的多個(gè)因素產(chǎn)生，尤其是信號(hào)的軟件 處理中一定的等待時(shí)間，這個(gè)等待時(shí)間不是恒定的，尤其是根據(jù)處理器在給定時(shí)刻的工作 負(fù)荷，以不可預(yù)測的方式變化。
[0012] 基于時(shí)間偏移保持恒定的假設(shè)的上述預(yù)先校準(zhǔn)的簡單技術(shù)絕對(duì)無法考慮到這些 動(dòng)態(tài)現(xiàn)象。

【發(fā)明內(nèi)容】

[0013] 本發(fā)明的目的是彌補(bǔ)上述的缺點(diǎn)，通過提出了一個(gè)解決方案，可以在無人機(jī)飛行 過程中的任何時(shí)間實(shí)時(shí)地保證在由無人機(jī)的垂直攝像機(jī)傳遞的圖像信號(hào)與由慣性單元傳 遞的陀螺測試儀信號(hào)之間的極其準(zhǔn)確的同步。為了避免將任何偏差引入在連續(xù)圖像之間的 旋轉(zhuǎn)的校正中，具有以上揭示的關(guān)于無人機(jī)水平速度分量的估計(jì)的準(zhǔn)確度的重要結(jié)果。
[0014] 為此，本發(fā)明提出了一種無人機(jī)，按照由上述EP 2 400 460 A1本身已知的方式， 包括：
[0015] -垂直視角攝像機(jī)，適于指向無人機(jī)飛越的地面的場景，用以捕獲這個(gè)場景的圖像 序列，并作為輸出傳遞相應(yīng)的數(shù)字圖像信號(hào)；
[0016] -慣性單元，包括陀螺測試儀傳感器，適于測量歐拉角，表征無人機(jī)相對(duì)于絕對(duì)地 球參考系的飛行姿態(tài)，并作為輸出傳遞陀螺測試儀信號(hào)，表示無人機(jī)的瞬時(shí)旋轉(zhuǎn)；
[0017] -旋轉(zhuǎn)補(bǔ)償裝置，作為輸入接收i)由攝像機(jī)傳遞的圖像信號(hào)和ii)由慣性單元傳遞 的陀螺測試儀信號(hào)，及作為輸出傳遞重新調(diào)整時(shí)間的圖像數(shù)據(jù)，補(bǔ)償無人機(jī)從一個(gè)圖像到 下一個(gè)圖像的旋轉(zhuǎn);及
[0018] -估計(jì)裝置，用于基于由攝像機(jī)捕獲的場景的一個(gè)圖像到下一個(gè)圖像的位移來估 計(jì)無人機(jī)的水平速度，這些估計(jì)裝置作為輸入接收所述的重新調(diào)整時(shí)間的圖像數(shù)據(jù)。
[0019] 本發(fā)明的特征在于：
[0020] -攝像機(jī)和慣性單元由公共時(shí)鐘引導(dǎo)；
[0021] -陀螺測試儀傳感器的采集頻率是攝像機(jī)的圖像信號(hào)的傳遞頻率的倍數(shù);及
[0022] -進(jìn)一步提供了電路，適于：
[0023] ?將由慣性單元傳遞的陀螺測試儀信號(hào)與由攝像機(jī)傳遞的圖像信號(hào)相比較；
[0024] ?確定在這些各自信號(hào)之間的相移的值；
[0025] ?將這個(gè)相移值應(yīng)用于旋轉(zhuǎn)補(bǔ)償裝置的輸入;及
[0026] -旋轉(zhuǎn)補(bǔ)償裝置進(jìn)一步適于在所述的重新調(diào)整時(shí)間的圖像數(shù)據(jù)的計(jì)算之前，執(zhí)行 由攝像機(jī)傳遞的圖像信號(hào)到由慣性單元傳遞的陀螺測試儀信號(hào)上的重新同步的預(yù)先校正。 [0027]優(yōu)選地，適于將由慣性單元傳遞的陀螺測試儀信號(hào)與由攝像機(jī)傳遞的圖像信號(hào)相 比較以確定在這些各自信號(hào)之間的相移的值，及將這個(gè)相移值應(yīng)用于旋轉(zhuǎn)補(bǔ)償裝置的輸入 的電路是硬件技術(shù)電路。
[0028] 優(yōu)選地，無人機(jī)進(jìn)一步包括積分器裝置，適于在對(duì)應(yīng)于圖像序列的兩個(gè)連續(xù)圖像 的圖像信號(hào)的傳遞之間所包括的時(shí)間間隔上積分由慣性單元傳遞的陀螺測試儀信號(hào)。
【附圖說明】
[0029] 現(xiàn)在將參考附圖來說明本發(fā)明的示例性實(shí)施例，在附圖中，相同的參考標(biāo)記在全 部圖形中表示相同或功能相似的要素。
[0030] 圖1是顯示由遙控設(shè)備操控的無人機(jī)的總圖。
[0031] 圖2是用于無人機(jī)的控制、伺服控制和領(lǐng)航的不同部件的方框圖。
[0032] 圖3作為方框圖示出了有助于攝像機(jī)與陀螺測試儀之間的同步的機(jī)制的不同部 件。
[0033] 圖4示出了顯示在由攝像機(jī)和陀螺測試儀傳遞的信號(hào)之間的時(shí)間關(guān)系的多個(gè)計(jì)時(shí) 圖。
【具體實(shí)施方式】
[0034] 現(xiàn)在說明本發(fā)明的示例性實(shí)施例。在圖1中，參考標(biāo)記10總體地表示無人機(jī)，其例 如是諸如法國巴黎Parrot SA的Bebop Drone的四螺旋槳遙控直升機(jī)。這個(gè)無人機(jī)包括四個(gè) 共面水平旋翼12,其電機(jī)彼此獨(dú)立地由集成導(dǎo)航與姿態(tài)控制系統(tǒng)來操縱。為它提供了前方 視角攝像機(jī)14,使得可以獲得無人機(jī)所朝向的場景的圖像，例如高清晰度廣角攝像機(jī)，它具 有1920x 1080像素分辨率的CMOS傳感器和30fps(幀每秒）的視頻流刷新率。無人機(jī)還設(shè)置 了指向下的垂直視角攝像機(jī)16,適于捕獲所飛越的地面T的連續(xù)圖像，并尤其適用于評(píng)估無 人機(jī)相對(duì)于地面的速度。它例如是具有QVGA分辨率(320x 240像素）的CMOS傳感器的攝像 機(jī)，并具有60fps的視頻流刷新率和64°的視場角。無人機(jī)還設(shè)置了慣性傳感器(加速度計(jì)和 陀螺測試儀），使得以一定準(zhǔn)確度測量無人機(jī)的角速度和姿態(tài)角，即歐拉角(縱搖角9、橫搖 角9和偏航角W )，說明了無人機(jī)相對(duì)于固定地球參考系UVW的水平面的傾角，會(huì)理解，水平 速度的兩個(gè)縱向與橫向分量與根據(jù)兩個(gè)各自的俯仰軸和翻滾軸的傾角密切相關(guān)。
[0035] 無人機(jī)10由遠(yuǎn)程遙控設(shè)備18操縱，例如具有集成的加速度計(jì)的觸摸屏多媒體電話 或平板電腦，例如iPhone(注冊商標(biāo))型智能電話或其他的，或者iPad(注冊商標(biāo))型平板電 腦或其他的。它是標(biāo)準(zhǔn)設(shè)備，沒有修改，除了加載了特定應(yīng)用軟件，例如移動(dòng)應(yīng)用AR Free Flight(注冊商標(biāo)），用以控制無人機(jī)10的領(lǐng)航和由機(jī)載前置攝像機(jī)14拍攝的圖像的顯現(xiàn)。 設(shè)備18包括主體20和觸摸屏22,觸摸屏22顯示由前置攝像機(jī)14捕獲的場景的圖像，疊加了 特定數(shù)量的符號(hào)，允許借助用戶手指24在屏幕上顯示的符號(hào)上簡單的接觸啟動(dòng)領(lǐng)航命令 (上移/下移等）。設(shè)備18還設(shè)置傾角傳感器，使得可以通過根據(jù)翻滾軸和俯仰軸對(duì)無人機(jī)給 予相應(yīng)的傾角來控制無人機(jī)的飛行姿態(tài)，以使得無人機(jī)向前或向后移動(dòng)。用戶的操作由特 定應(yīng)用軟件解譯，其將它們轉(zhuǎn)換為用于無人機(jī)的命令信號(hào)。
[0036]圖2是根據(jù)本發(fā)明技術(shù)的用于無人機(jī)的控制、伺服控制和領(lǐng)航以及用于圖像的位 移的校正的不同部件的方框圖（會(huì)注意到，盡管將這些方案呈現(xiàn)為互聯(lián)的電路，但不同功能 的實(shí)現(xiàn)方式主要是基于軟件的，這個(gè)圖示僅是說明性的）。
[0037] 通常，領(lǐng)航系統(tǒng)包括幾個(gè)交叉的回路，用于自動(dòng)地或在用戶控制下控制水平速度、 角速度、無人機(jī)姿態(tài)和高度的變化。
[0038] 最中心的回路是角速度控制回路100,其一方面使用由陀螺測試儀102提供的信 號(hào)，另一方面使用由角速度設(shè)定點(diǎn)104組成的參考。這個(gè)信息應(yīng)用于角速度的校正級(jí)106的 輸入，其自身操縱電機(jī)11 〇的控制級(jí)（階段）108以便分別控制不同電機(jī)的狀態(tài)，以通過由這 些電機(jī)驅(qū)動(dòng)的水平旋翼的組合動(dòng)作來校正無人機(jī)的角速度。
[0039] 角速度控制回路100與姿態(tài)控制回路112交叉，姿態(tài)控制回路112基于由陀螺測試 儀102和加速度計(jì)114提供的指示操作。來自這些傳感器的數(shù)據(jù)應(yīng)用于級(jí)118，其產(chǎn)生無人機(jī) 的真實(shí)姿態(tài)的估計(jì)，應(yīng)用于姿態(tài)校正級(jí)120。這個(gè)級(jí)120將無人機(jī)的真實(shí)姿態(tài)與角度設(shè)定點(diǎn) 相比較，角度設(shè)定點(diǎn)由電路122基于用戶124直接施加的命令和/或基于由無人機(jī)的自動(dòng)領(lǐng) 航借助水平速度校正電路126內(nèi)部產(chǎn)生的數(shù)據(jù)而產(chǎn)生。應(yīng)用于電路120并與無人機(jī)的真實(shí)姿 態(tài)相比較的可能的校正設(shè)定點(diǎn)由電路120傳送到電路104以適合地控制電機(jī)。
[0040] 水平速度控制回路130包括垂直攝像機(jī)16、超聲遙測傳感器132和充當(dāng)高度計(jì)的大 氣壓傳感器134。電路136確保由垂直攝像機(jī)16產(chǎn)生的圖像的處理，結(jié)合加速度計(jì)114和姿態(tài) 估計(jì)電路118的信號(hào)，以產(chǎn)生數(shù)據(jù)，使得可以借助電路138獲得沿?zé)o人機(jī)的兩個(gè)俯仰軸和翻 滾軸的水平速度V x和Vy的估計(jì)。估計(jì)的水平速度Vx和Vy基于傳感器132和134的信息，借助由 電路140給出的垂直速度V z的估計(jì)和由電路142給出的高度z的值的估計(jì)來校正。
[0041] 為了控制無人機(jī)的垂直位移，用戶124將命令施加到電路144,用于計(jì)算高度設(shè)定 點(diǎn)，它是應(yīng)用于電路146的設(shè)定點(diǎn)，用于借助接收由電路142給出的估計(jì)高度值的高度校正 電路148計(jì)算上升速度設(shè)定點(diǎn)V z。計(jì)算的上升速度Vz應(yīng)用于電路150,電路將該上升速度與由 電路140估計(jì)的相應(yīng)速度相比較，通過同時(shí)增加或減小所有電機(jī)的旋轉(zhuǎn)速度來相應(yīng)地修改 電機(jī)命令數(shù)據(jù)(電路108)，以便使得在上升速度設(shè)定點(diǎn)與測量的上升速度之間的差最小。
[0042] 關(guān)于前置攝像機(jī)14,后者將原始視頻數(shù)據(jù)(像素?cái)?shù)據(jù))傳遞給加窗電路152,確保在 由慣性單元154(包括陀螺測試儀102、加速度計(jì)114和姿態(tài)估計(jì)電路118)確定的捕獲區(qū)中選 擇有用的像素。在捕獲區(qū)中記錄的視頻數(shù)據(jù)應(yīng)用于幾何畸變校正電路156,其產(chǎn)生糾正的視 頻數(shù)據(jù)，這些數(shù)據(jù)被傳遞給確保視頻圖像到用戶持有的遠(yuǎn)程遙控設(shè)備的傳輸?shù)陌l(fā)射器電路 158〇
[0043] 現(xiàn)在將參考圖3更詳細(xì)地說明有關(guān)于陀螺測試儀信號(hào)與垂直攝像機(jī)的圖像信號(hào)的 同步，以便計(jì)算由電路138估計(jì)的水平速度的多個(gè)方面。
[0044] 陀螺測試儀102、前置攝像機(jī)(水平攝像機(jī)）14和垂直視角攝像機(jī)16由公共時(shí)鐘電 路160操縱，陀螺測試儀和攝像機(jī)14與16各自的操作頻率是這個(gè)時(shí)鐘160的頻率CLK的因數(shù)。 陀螺測試儀102和垂直視角攝像機(jī)16因而被配置以使得：
[0045] Fgyro = K.FcainV
[0046] Fgyr。是陀螺測試儀的米集頻率，
[0047] F_v是攝像機(jī)16的圖像的采集頻率(典型地FcamV = 60Hz)，
[0048] K是正整數(shù)。
[0049] K是整數(shù)和基礎(chǔ)時(shí)鐘對(duì)于陀螺測試儀和攝像機(jī)相同的事實(shí)確保了信號(hào)&amV的每個(gè) 圖像都始終具有陀螺測試儀信號(hào)S gyr。的K個(gè)樣本，無漂移，角度測量始終落在相同的時(shí)刻。
[0050] 水平攝像機(jī)14將信號(hào)ScamH傳遞給上述加窗和畸變校正的電路152和156,使得可以 在將其傳遞給用戶前穩(wěn)定視頻圖像并校正其多個(gè)偽像。這個(gè)圖像信號(hào)S ramH包括與同步信號(hào) VsymCamH相關(guān)的圖像內(nèi)容信號(hào)。
[0051] 陀螺測試儀102將傳送的信號(hào)Sgyr。傳遞給上述無人機(jī)姿態(tài)的估計(jì)電路118,其估計(jì) 無人機(jī)三個(gè)軸線中的旋轉(zhuǎn)9、9和W，并將它們傳送給電路152、156和136。這個(gè)陀螺測試儀 信號(hào)S gyr。包括與同步信相關(guān)的內(nèi)容信號(hào)(旋轉(zhuǎn)的測量值）。
[0052]垂直攝像機(jī)16將應(yīng)用的信號(hào)ScamV傳遞給上述電路136,除了其他視頻處理操作以 外，在借助多個(gè)算法的應(yīng)用計(jì)算水平速度vx和Vy之前，電路136確保根據(jù)傳遞的旋轉(zhuǎn)估計(jì)由 電路118在每一個(gè)圖像補(bǔ)償從一個(gè)圖像到下一個(gè)圖像的旋轉(zhuǎn)，算法具體包括借助在由無人 機(jī)飛越的地面的兩個(gè)連續(xù)圖像之間的明顯位移的比較運(yùn)算的光流算法。這個(gè)圖像信號(hào)S camV 包括與同步信號(hào)Vsync^CamV相關(guān)的圖像內(nèi)容信號(hào)。
[0053] 圖4示出了相對(duì)顯示的一系列計(jì)時(shí)圖：
[0054] _水平攝像機(jī)14的同步彳目號(hào)VSync_CamH，
[0055] -陀螺測試儀102的同步信號(hào)Vsync；J;yr。，和
[0056] _垂直攝像機(jī)16的同步彳目號(hào)VSync_CamV。
[0057]由水平攝像機(jī)傳遞的幀速率典型地為30Hz，由垂直攝像機(jī)傳遞的是60Hz。
[0058] 如可以在這些計(jì)時(shí)圖中見到的，水平攝像機(jī)做出相對(duì)慢的采集，圖像的采集在信 號(hào)Vsync；_CamH的上升沿開始，并在這個(gè)相同信號(hào)的下降沿結(jié)束。水平攝像機(jī)的圖像以該方式對(duì) 應(yīng)于陀螺測試儀重要數(shù)量的樣本(在所示的簡化示例中信號(hào)S gyr。的六個(gè)樣本，實(shí)際上通常 為30個(gè)樣本）。
[0059] 關(guān)于垂直攝像機(jī)，在信號(hào)Vsync；_CamV的上升沿與下降沿之間執(zhí)行采集迅速得多，速度 估計(jì)算法必須以可能的最準(zhǔn)確的方式獲知無人機(jī)姿態(tài)在兩個(gè)連續(xù)圖像之間的差異。在所示 的示例中，這個(gè)采集僅對(duì)應(yīng)于陀螺測試儀信號(hào)的單一樣本(實(shí)際上通常為四個(gè)樣本）。
[0060] 將無人機(jī)姿態(tài)在兩個(gè)連續(xù)圖像之間的變化有利地與由每一個(gè)陀螺測試儀傳遞的 陀螺測試儀信號(hào)Sgyr。的積分（圖4的計(jì)時(shí)圖Integr_S gyr。)相比較。但首先在陀螺測試儀信號(hào) Sgyr。與由垂直攝像機(jī)傳遞的圖像信號(hào)S camV之間獲得極為準(zhǔn)確的同步是必不可少的。
[0061] 在這方面，盡管以相同速率傳遞陀螺測試儀傳感器的信號(hào)Sgyr。和攝像機(jī)16的信號(hào) SramV(在整數(shù)倍內(nèi)），但這不能保證這兩個(gè)信號(hào)的相位一致，即它們的真實(shí)同步。
[0062] 更準(zhǔn)確地，公共時(shí)鐘作用以使得陀螺測試儀信號(hào)Sgyr。相對(duì)于視頻信號(hào)SramV不"滑 動(dòng)"。這表示當(dāng)可以獲得新圖像時(shí)，在陀螺測試儀傳遞新數(shù)據(jù)之前總是經(jīng)過了相同的時(shí)間間 隔。另一方面，這個(gè)時(shí)間間隔在無人機(jī)之間變化，并且在領(lǐng)航的一個(gè)序列與另一個(gè)序列之間 變化，因?yàn)橥勇轀y試儀傳感器與視頻攝像機(jī)不同時(shí)開始。
[0063] 實(shí)際上，視頻采集和陀螺測試儀采集是軟件觸發(fā)的，是不確定兩個(gè)采集同時(shí)開始 的方式，分隔兩個(gè)起點(diǎn)的時(shí)間間隔在無人機(jī)之間恒定，或者在相同無人機(jī)的領(lǐng)航的一個(gè)序 列與另一個(gè)序列之間恒定。
[0064] 為了保證極佳的同步，本發(fā)明的特征在于提出了使用硬件組件170來測量在信號(hào) Sgyr。與S_v之間的相位。這個(gè)組件由于其硬件特性，可以非常準(zhǔn)確和非常迅速地測量在信號(hào) V sync_CamV與Vsync_Cyr。之間的時(shí)間偏移量A (圖4)。注意，信號(hào)測量是足夠的，因?yàn)橐呀?jīng)設(shè)定時(shí) 鐘以便不漂移。
[0065] 剛剛說明的兩個(gè)機(jī)構(gòu)-公共時(shí)鐘160和硬件相移測量電路170-提供了在圖像開始 采集的時(shí)刻與陀螺測試儀的采樣期間的結(jié)束之間的相移的極為準(zhǔn)確的測量，這使得可以實(shí) 時(shí)地以極高的準(zhǔn)確度將陀螺測試儀信號(hào)和視頻信號(hào)及時(shí)關(guān)聯(lián)到時(shí)鐘周期內(nèi)。
[0066] 系統(tǒng)時(shí)鐘160以幾兆赫運(yùn)行，這表示在視頻信號(hào)與陀螺測試儀信號(hào)之間的定時(shí)上 幾納秒的誤差，這是極小的，使得可以運(yùn)行極為準(zhǔn)確和有效的校正。
[0067] 另一方面，在沒有該機(jī)構(gòu)的的情況下，必須借助軟件記錄采集的陀螺測試儀的每 一個(gè)新數(shù)據(jù)和每一個(gè)新圖像的傳遞的時(shí)刻。因?yàn)閷?duì)于系統(tǒng)的反應(yīng)時(shí)間敏感，這個(gè)方法遠(yuǎn)為 準(zhǔn)確和無規(guī)則，會(huì)提供僅1 OOys數(shù)量級(jí)的準(zhǔn)確度。
【主權(quán)項(xiàng)】
1. 一種無人機(jī)(10)，包括： -垂直視角攝像機(jī)（16)，所述垂直視角攝像機(jī)適于指向無人機(jī)飛越的地面(T)的場景， 用以捕獲這個(gè)場景的一序列圖像，并作為輸出傳遞相應(yīng)的數(shù)字圖像信號(hào)(SramV); -慣性單元（154)，所述慣性單元包括陀螺測試儀傳感器（102)，適于測量歐拉角 (cp、0、\(/)，表征無人機(jī)相對(duì)于絕對(duì)地球參考系(UVW)的飛行姿態(tài)，并作為輸出傳遞陀螺測 試儀信號(hào)(Sgyr。），表示無人機(jī)的瞬時(shí)旋轉(zhuǎn)； _旋轉(zhuǎn)補(bǔ)償裝置（136)，所述旋轉(zhuǎn)補(bǔ)償裝置作為輸入接收i)由攝像機(jī)傳遞的圖像信號(hào) (S_v)和ii)由慣性單元傳遞的陀螺測試儀信號(hào)(Sgyr。），及作為輸出傳遞重新調(diào)整時(shí)間的圖 像數(shù)據(jù)，補(bǔ)償無人機(jī)從一個(gè)圖像到下一個(gè)圖像的旋轉(zhuǎn);及 -估計(jì)裝置（138)，用于基于由攝像機(jī)捕獲的場景的一個(gè)圖像到下一個(gè)圖像的位移來估 計(jì)無人機(jī)的水平速度，這些估計(jì)裝置作為輸入接收所述的重新調(diào)整時(shí)間的圖像數(shù)據(jù)， 其特征在于： -攝像機(jī)和慣性單元由公共時(shí)鐘（160)引導(dǎo)； -陀螺測試儀傳感器的采集頻率是攝像機(jī)的圖像信號(hào)的傳遞頻率的倍數(shù);及 -進(jìn)一步設(shè)置電路（170)，所述電路適于： ?將由慣性單元傳遞的陀螺測試儀信號(hào)(Sgyr。)與由攝像機(jī)傳遞的圖像信號(hào)(S_v)相比 較； ?確定在這些相應(yīng)彳目號(hào)之間的相移的值； ?將這個(gè)相移值應(yīng)用于旋轉(zhuǎn)補(bǔ)償模塊(136)的輸入；以及 _旋轉(zhuǎn)補(bǔ)償裝置（136)進(jìn)一步適于在所述的重新調(diào)整時(shí)間的圖像數(shù)據(jù)的計(jì)算之前，執(zhí)行 由攝像機(jī)傳遞的圖像信號(hào)（SMmV)到由慣性單元傳遞的陀螺測試儀信號(hào)上的重新同步的預(yù) 先校正。2. 根據(jù)權(quán)利要求1所述的無人機(jī)，其特征在于，適于將由慣性單元傳遞的陀螺測試儀信 號(hào)與由攝像機(jī)傳遞的圖像信號(hào)相比較以確定在這些各自信號(hào)之間的相移的值、及將這個(gè)相 移值應(yīng)用于旋轉(zhuǎn)補(bǔ)償裝置的輸入的所述電路(170)是硬件技術(shù)電路。3. 根據(jù)權(quán)利要求1所述的無人機(jī)，其特征在于，進(jìn)一步包括： 積分器裝置，所述積分器裝置適于在對(duì)應(yīng)于圖像序列的兩個(gè)連續(xù)圖像的圖像信號(hào)的傳 遞之間所包括的時(shí)間間隔上積分由慣性單元傳遞的陀螺測試儀信號(hào)。
【文檔編號(hào)】G01P3/68GK106053874SQ201610403579
【公開日】2016年10月26日
【申請日】2016年4月1日
【發(fā)明人】P·埃林, F·凱羅
【申請人】鸚鵡無人機(jī)股份有限公司