專利名稱：基于類人眼球前庭動眼反射的雙目視覺系統(tǒng)在顛簸環(huán)境中的圖像穩(wěn)定方法
技術領域：
本發(fā)明涉及一種基于類人眼球前庭動眼反射的雙目視覺系統(tǒng)在顛簸環(huán)境中的圖
像穩(wěn)定方法。
背景技術：
在監(jiān)測監(jiān)控以及自主視覺追蹤目標過程中，常常有機載PTZ(即Pan-Tilt-Zoom的 縮寫)攝像機，是處于顛簸環(huán)境中，這使監(jiān)控或者跟蹤的目標時常出現(xiàn)"跟丟"或者"脫靶"。 為了使被跟蹤的地面移動目標始終保持在圖像中心位置，并將圖像傳回地面指揮中心，我 們基于類人眼眼球前庭動眼反射建立一種基于類人眼球前庭動眼反射的雙目視覺穩(wěn)定系 統(tǒng)。改系統(tǒng)可廣泛用于軍事偵察、武器投放、對地攻擊、反恐防暴、交通監(jiān)控、緊急情況服務 援助、攝影測繪和勘察等領域，因此得到了世界上許多國家的極大關注，國內(nèi)外很多大學、 公司等研究機構，紛紛開展了這方面的研究工作。但是，雙攝像機平臺在顛簸環(huán)境中跟蹤及 監(jiān)控目標過程中，由于雙攝像機平臺、機載PTZ攝像機和被跟蹤及監(jiān)控目標三者均在運動 中，而且機載雙攝像機運動平臺的本身的振動對圖像穩(wěn)定性的影響也很大，使得現(xiàn)有針對 從靜止攝像機獲得場景的目標識別和跟蹤方法很難適用。而在跟蹤及監(jiān)控問題上，前期國 內(nèi)外研究的焦點主要還是集中在圖像處理方面，攝像機自身運動只是運用圖像處理方法如 仿射變形算法等進行補償，因而圖像的穩(wěn)定性不理想，被跟蹤及監(jiān)控目標容易逃出視野。

發(fā)明內(nèi)容
本發(fā)明的目的是針對現(xiàn)有技術存在的問題和不足，提供一種基于類人眼球前庭動 眼反射的雙目視覺系統(tǒng)在顛簸環(huán)境中的圖像穩(wěn)定方法。根據(jù)兩個攝像機所在的運動平臺旋 轉角度與相對被測目標的左右平移擺動加速度，分別對運動平臺上兩個攝像機進行實時控 制，使目標始終在兩個攝像機的光柱中心，避免目標"跟丟"或者"脫靶"。 為達到上述目的，本發(fā)明的構思是人眼之所以具有在運動時仍然可以跟蹤注視 運動中的物體而且圖像清晰這樣的視覺功能，是因為人眼眼球在其神經(jīng)回路的控制下，可 以實現(xiàn)急動性眼球運動、平滑性眼球運動、前庭動眼反射、視機性反射等運動形式。前庭動 眼反射是前庭剌激引起的反射性眼球運動，也就是當頭部位置突然改變時，產(chǎn)生與頭轉動 方向相反的眼球運動，使眼的位置在頭和身體的姿勢改變時保持不變，以維持視網(wǎng)膜成像 的穩(wěn)定。圖2所示的是根據(jù)解剖學和生理神經(jīng)學建立的仿生眼眼球前庭動眼反射控制系統(tǒng) 的數(shù)學模型，該模型已被生理學試驗證實。圖3是圖1的簡化圖。運動平臺上的兩個攝像 機，分別表示人的人的兩個眼睛，通過仿生眼前庭動眼反射控制算法調節(jié)這兩個攝像機，從 而當雙攝像機所處的運動平臺發(fā)生顛簸運動時候，使目標始終在兩個攝像機的光柱中心， 避免目標"跟丟"或者"脫耙"。 根據(jù)上述構思，本發(fā)明采用以下述技術方案實現(xiàn) —種基于類人眼球前庭動眼反射的雙目視覺系統(tǒng)在顛簸環(huán)境中的圖像穩(wěn)定方法。其特征在于基于人眼的前庭動眼反射控制模型，精確實現(xiàn)人類眼球的前庭反射反射，控制 操作步驟如下 1)傳感器測量測量攝機運動平臺與被測目標位置參數(shù)的連續(xù)模擬量； 2) A/D轉換對傳感器得到的連續(xù)模擬量通過A/D轉換后得到數(shù)字量采樣信號； 3)數(shù)字濾波對采樣信號進行平滑加工，增強有效信號，消除或減少噪聲； 4)標度轉換進行傳感器的標定，得到與傳感器輸出值相對應的輸入值即運動平
臺的運動參數(shù)值，同時將步驟1)測量的結果計算轉化為攝像機I和II光軸與被測目標的
夾角(為了便于控制，設攝像機I和II與被測目標的夾角分別為正值和負值)； 5)系統(tǒng)控制運算獲得的運動平臺運動參數(shù)值通過單片機的控制算法，得到攝像
機云臺補償載體快速運動所需要旋轉的速度和方向。 6)控制雙攝像機運動將得到的攝像機云臺補償載體快速運動所需旋轉的角度 和速度，發(fā)送給攝像機云臺電機，控制攝像機的運動。 上述的控制算法采用了人眼的視動反射的數(shù)學模型，如附圖4和圖5所示圖中 C(S)表示眼球半規(guī)管的傳遞函數(shù)
r CO)-^^ (1) >sTc +1 等式(1)中，T。是半規(guī)管的時間常數(shù)，根據(jù)生理學試驗，T。 = 16s。圖中O(s)表示 眼球半規(guī)管的傳遞函數(shù) ， = ~^ (2) 《+1 等式(2)中T。 = 0. 2s。圖中眼球運動裝置的傳遞函數(shù)P(s)為 尸(力=_^_ = _11_ = _^ (3) AMO)咖+ 17> + l 其中Ke = 0. 25deg/spikess—、 Te = 0. 24s。圖中N(s)不完全的神經(jīng)積分器是類
似于動眼裝置的一個一階低通濾波器竭=(4) ■$TV + 1 等式(4)中Tv = 25s。圖3中的系統(tǒng)數(shù)學模型可表示為等式(5)和等式(6):算 法模型的輸入量H(s)mg是表示攝像機平臺旋轉的角度，ft^(s)是表示雙攝像機平臺左右擺 動的加速度，模型的輸出量分別是Ejs)和Ejs)，Ejs)是左邊的攝像頭輸出，Ejs)右邊攝 像頭的輸出。(〖H(s)ang s2o;C(s) (^^; + (—PY — P] + H!"s)^rj P(^^j + —(—
— P〗〖m,Er(s) ,、
<formula>formula see original document page 4</formula>
其中a， e， ！^， |32， Ql， a2， a 3， gm， gl， m， n，分別代表眼球神經(jīng)元間回路中相應常數(shù)增益，Tp代表眼球運動裝置的時間常數(shù)，Kp代表眼球運動裝置的增益，Tf代表反饋神經(jīng)積分器的時間常數(shù)，Kf是代表反饋神經(jīng)積分器的增益。為了簡化建模，Pr =2+gma2+gmP A， P = ,gA+g邁l3 2 a 3。根據(jù)生理學試驗數(shù)據(jù)，T。 = 0. 2s， Tc = 16s，Ke = 0. 25deg/spikess—、 Te = 0. 24s， Tv = 25s P r = 0. 5， P = 1. 5， a = 2， m = 0. 01， n=0. 24， P = 1. 2。 根據(jù)上述數(shù)學模型，編好單片機的程序，即可計算出所需的控制量，發(fā)送給攝像機云臺的電機，控制攝像機的運動。 本發(fā)明與現(xiàn)有技術相比，具有如下顯而易見的特點和優(yōu)點本發(fā)明設計的運動平臺上雙攝像機可以根據(jù)仿生眼眼球前庭動眼反射，當運動平臺發(fā)生旋轉與擺動的時候，像人類眼球一樣，兩攝像機自主實時地調節(jié)，從而使被使目標圖像穩(wěn)定，獲得三維深度信息。單片機只要接受傳感器數(shù)據(jù)將自動按照編好的程序進行簡單運算，就可以控制攝像機云臺的電機以一定的命令按相應的方向旋轉，實時補償平臺自身的運動。


圖1利用本發(fā)明方法的控制操作流程 圖2仿生眼前庭動眼反射控制系統(tǒng) 圖3仿生眼前庭動眼反射控制系統(tǒng)簡 圖4實例的系統(tǒng)示意 圖5實例的系統(tǒng)框圖。
具體實施例方式本發(fā)明的一個優(yōu)選實施例如下詳述 參見圖l，本基于仿生眼前庭動眼反射原理的運動平臺上雙攝像機監(jiān)控系統(tǒng)穩(wěn)定
圖像的方法，基于人類眼球前庭動眼反射的原理，當裝載有雙攝像機的運動平臺發(fā)生旋轉
或者左右平移擺動時，控制該雙攝像機的角度和方向，使補償由于震動帶來的圖像偏差，從
而獲得目標區(qū)域的三維深度信息。其控制操作步驟如下 1)傳感器測量測量攝像機運動平臺與被測目標位置參數(shù)； 2) A/D轉換對傳感器得到的連續(xù)模擬量通過A/D轉換后得到數(shù)字量； 3)數(shù)字濾波對采樣信號進行平滑加工，增強有效信號，消除或減少噪聲； 4)標度轉換進行傳感器的標定，得到與傳感器輸出值相對應的輸入值，即運動
平臺的運動參數(shù)值，同時將1)部測量的結果計算轉化為兩個攝像機的光軸與被測目標的
夾角； 5)系統(tǒng)控制運算獲得的運動平臺運動參數(shù)值通過單片機的控制算法，得到攝像機云臺補償載體快速運動所需旋轉的速度和方向。 6)控制攝像機運動將得到的攝像機云臺補償載體快速運動所需旋轉的速度和方向，發(fā)送給攝像機云臺的電機，控制攝像機的運動。 參見圖4和圖5，本基于仿生眼前庭動眼反射的原理的運動平臺上雙攝像機監(jiān)控系統(tǒng)補償由于運動平臺發(fā)生旋轉或平移帶來圖像誤差的方法，用于小型無人旋翼機的野外低空監(jiān)控系統(tǒng)，系統(tǒng)包括地面控制系統(tǒng)1和機載控制系統(tǒng)2和小型無人旋翼機3。機載系統(tǒng)2包括飛行控制系統(tǒng)單元15和基于仿生眼的雙攝像機控制系統(tǒng)13。飛控傳感器系統(tǒng)(陀螺儀、高度計、速度計)16采集相應的信息，通過A/D輸入到飛行控制系統(tǒng)。飛控導航系統(tǒng)(電子羅盤和GPS)通過RS-232與飛控系統(tǒng)提供導航信息。地面手動操作可以使用RC觸發(fā)器5與RC接收器發(fā)送操作命令，通過模擬開關6將命令輸入飛行控制單元15。飛行控制單元15根據(jù)上述的采集到的信息和命令，對執(zhí)行單元4(控制閥、舵機和升降機)控制，從而控制無人旋翼機的姿態(tài)。地面控制中心7通過數(shù)據(jù)鏈8和RS-232發(fā)送命令并接收飛控系統(tǒng)15的信息反饋。飛控系統(tǒng)單元15與攝像機控制單元13通過串口通信。攝像機控制單元13，根據(jù)圖像處理單元11的信息反饋，結合仿生眼前庭動眼反射的控制算法，通過發(fā)送P麗波控制攝像機I和II，攝像機將獲得的信息，傳輸?shù)綀D像處理單元11。圖像處理單元11通過圖像數(shù)據(jù)鏈9，最終發(fā)送到地面監(jiān)視器11。無人飛行器為上海箭微機電技術有限公司研制的超小型旋翼飛行器，型號為SUAV-X160。圖像處理單元11的圖像數(shù)據(jù)采集卡為加拿大Matrox公司生產(chǎn)，數(shù)據(jù)處理采用美國德州儀器公司的DSP圖像處理套件，型號為TMDX320026711。數(shù)據(jù)鏈8采用美國Maxstream生產(chǎn)的XStream XH9-019PKC-R，導航系統(tǒng)17磁羅盤采用德國生產(chǎn)E-compass-3磁羅盤和GPS采用中國臺灣的RGM300。傳感器系統(tǒng)16中速度計采用SK-W型空速計，陀螺采用ENC-03J角速率陀螺。飛行控制單元15和攝像機控制單元13采用美國德州儀器公司的DSPTMS320F2812，攝像機系統(tǒng)采用日本Cannon公司的集成電機和攝像機為一體的二維云臺VC-C50iR，有方位和俯仰兩個旋轉方向；地面系統(tǒng)1中，地面控制中心7和地面檢測中心11均采用筆記本電腦ThinkPad T61。
本控制方法的控制步驟為 a.在機載系統(tǒng)2中將傳感器組16感知無人飛行器的飛行速度信號傳送至攝像機圖像13處理； b.根據(jù)傳感器系統(tǒng)16和圖像處理單元的11的信息，雙攝像機控制單元13，對攝
像機云臺電機進行控制，其中包括數(shù)字濾波、標度轉換和控制運算，運算后得到攝像機云臺
系統(tǒng)12的攝像機I云臺電機和攝像機II云臺電機旋轉角度和方向。 c.攝像機系統(tǒng)12通過串口把采集的視頻傳送給圖像處理單元11 ; d.圖像處理單元11視頻數(shù)據(jù)鏈傳送到地面監(jiān)視器10，供有關人員觀察； e.地面控制中心7通過數(shù)據(jù)鏈接受飛行控制單元15的信息，同時也發(fā)送對飛行控
制單元發(fā)送命令，數(shù)據(jù)鏈與飛行控制單元是通過RS-232連接； f.地面監(jiān)控人員可以通過手柄控制RC觸發(fā)器與RC接收器5通過模擬開關6對飛行控制單元15進行實時控制。 本控制方法用于上述系統(tǒng)中的控制，效果良好，當小型無人旋翼機野外監(jiān)控時，補償由于運動平臺發(fā)生旋轉或平移帶來圖像誤差。
權利要求
一種基于類人眼眼球前庭動眼反射的雙目視覺系統(tǒng)在顛簸環(huán)境中圖像穩(wěn)定的控制方法，其特征在于采用的雙目視覺系統(tǒng)當攝像機所處的平臺本身在顛簸環(huán)境中，該系統(tǒng)可以模擬人眼的眼球雙目前庭動眼反射，從而補償由于雙攝像機平臺顛簸帶來的視覺誤差，控制操作步驟如下1)傳感器測量攝像機運動平臺與被測目標位置參數(shù)的連續(xù)模擬量；2)A/D轉換對傳感器得到的連續(xù)模擬量通過A/D轉換后得到數(shù)字量采樣信號；3)數(shù)字濾波對采樣信號進行平滑加工，增強有效信號，消除或減少噪聲；4)標度轉換進行傳感器的標定，得到與傳感器輸出值相對應的輸入值，即運動平臺的運動參數(shù)值，同時將步驟1)測量的結果計算轉化為兩個攝像機的光軸與被測目標的夾角；5)系統(tǒng)控制運算獲得的運動平臺運動參數(shù)值通過單片機的控制算法，得到攝像機云臺補償載體快速運動所需旋轉的速度和方向；6)控制攝像機運動將得到的攝像機云臺補償載體快速運動所需旋轉的速度和方向，發(fā)送給攝像機云臺的電機，控制攝像機的運動。
2. 根據(jù)權利要求1所述的雙目前庭動眼反射運動模型的控制方法，其特征在于所述步 驟5)中的控制算法，所采用的算法模型如下算法模型的輸入量H(s)^是表示攝像機平臺 旋轉的角度，H^(s)是表示雙攝像機平臺左右擺動的加速度，模型的輸出量分別是Ejs)和 Ejs)，Ejs)是左邊的攝像頭輸出，Ejs)右邊攝像頭的輸出；<formula>formula see original document page 2</formula>其中a ， |3 ， |^， |32， Ql， a2， a3， gm， gl， m， n，分別代表眼球神經(jīng)元間回路中相應常 數(shù)增益，a，代表半規(guī)管與前庭神經(jīng)核間的增益，13代表耳石器管與前庭神經(jīng)核間的增益， P i代表外展神經(jīng)核與前庭神經(jīng)核間常數(shù)增益，P 2表示對側前庭器官與外展神經(jīng)核間增 益，、代表外展神經(jīng)核與動眼神經(jīng)核間常數(shù)增益，^代表外展神經(jīng)核與對側動眼核間常 數(shù)增益，03外展核與對側動眼核的常數(shù)增益，gm表示內(nèi)直肌的常數(shù)增益，^外直肌的常 數(shù)增益，m代表平移前庭動眼反射在神經(jīng)積分器中的增益，n代表旋轉前庭動眼反射在神 經(jīng)積分器中的增益。Tp代表眼球運動裝置的時間常數(shù)，Kp代表眼球運動裝置的增益，Tf代 表反饋神經(jīng)積分器的時間常數(shù)，Kf是代表反饋神經(jīng)積分器的增益。為了簡化建模，Pr = gA+gA+gmM" P = g^+gA+gml^o根據(jù)生理學試驗數(shù)據(jù)，T。 = 0.2s，Tc = 16s，Ke=0. 25deg/spikess—、 Te = 0. 24s， Tv = 25s P r = 0. 5， P = 1. 5， a = 2， m = 0. 01， n = 0. 24， P = 1. 2。
全文摘要
本發(fā)明涉及一種基于類人眼眼球前庭動眼反射的雙目視覺系統(tǒng)在顛簸環(huán)境中圖像穩(wěn)定的控制方法，其特征在于當攝像機所處的平臺本身在顛簸環(huán)境中，該系統(tǒng)可以模擬人眼的眼球雙目前庭動眼反射，從而補償由于雙攝像機平臺顛簸帶來的視覺誤差。該方法主要通過傳感器測量運動平臺的運動參數(shù)后，攝像機控制單元對上述參數(shù)進行A/D轉換、數(shù)字濾波、標度轉換和控制運算后，得到攝像機云臺電機補償平臺的移動所需要旋轉的角度和方向。此控制信號通過串口驅動運動平臺上攝像機云臺的電機旋轉。因此，采用本方法進行簡單運算，就可以控制攝像機云臺的電機以一定的速度按相應的方向旋轉，消除裝載有攝像機平臺運動時由于本身旋轉或者左右擺動帶來的視覺誤差。
文檔編號H04N5/232GK101729783SQ20091020050
公開日2010年6月9日 申請日期2009年12月22日 優(yōu)先權日2009年12月22日
發(fā)明者李恒宇, 李超, 羅均, 謝少榮, 郁海寶 申請人:上海大學