基于前庭反射機理的仿生電子穩(wěn)像方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理技術(shù)領(lǐng)域，具體而言，設(shè)及一種基于前庭反射機理的仿生電 子穩(wěn)像方法及裝置。
【背景技術(shù)】
[0002] 內(nèi)耳前庭器是人體平衡感受器官，它包括=對半規(guī)管和前庭的楠園囊和球囊。內(nèi) 耳前庭解剖圖如圖1所示，半規(guī)管內(nèi)有壺富崎，楠園囊球囊內(nèi)有耳石器(又稱囊斑），它們都 是前庭末梢感受器，可感受各種特定運動狀態(tài)的刺激。半規(guī)管感受角加(減)速度運動刺激， 而楠園囊、球囊的囊斑感受水平或垂直的直線加(減)速度的變化。當(dāng)我們乘坐的交通工具 發(fā)生旋轉(zhuǎn)或轉(zhuǎn)彎時（如汽車轉(zhuǎn)彎，飛機作園周運動），角加速度作用于兩側(cè)內(nèi)耳相應(yīng)的半規(guī) 管，當(dāng)一側(cè)半規(guī)管壺腹內(nèi)毛細(xì)胞受刺激彎曲形變產(chǎn)生正電位同時，對側(cè)毛細(xì)胞則彎曲形變 產(chǎn)生相反的電位(負(fù)電），運些神經(jīng)末梢的興奮或抑制性電信號通過神經(jīng)傳向前庭中樞并感 知此運動狀態(tài)；同樣當(dāng)乘坐工具發(fā)生直線加(減)速度變化，如汽車啟動、加減速剎車、船舶 晃動、顛鑛，電梯和飛機升降時，運些刺激使前庭楠園囊和球囊的囊斑毛細(xì)胞產(chǎn)生形變放 電，向中樞傳遞并感知。
[0003] 之所W人眼能實現(xiàn)快速的穩(wěn)像，還是依賴著前庭半規(guī)管對旋轉(zhuǎn)加速度、平移加速 度的前饋。當(dāng)位置、速度尚未發(fā)生改變時，加速度已經(jīng)能提前感覺出來，通過運個提前預(yù)測 量的神經(jīng)機制，由于人眼慣量遠(yuǎn)比頭部小，因此人眼球具有足夠的時間對變化進行反應(yīng)，實 現(xiàn)快速穩(wěn)像。同時，人眼本身的短時記憶功能，使得前后帖圖像的匹配，也提供了運動估計 信息，兩者結(jié)合實現(xiàn)穩(wěn)像。
[0004] 電子穩(wěn)像技術(shù)是應(yīng)用計算機數(shù)字圖像處理和電子技術(shù)相結(jié)合的方法，去除因為平 臺隨機運動而引入的圖像擾動，致使圖像序列穩(wěn)定的技術(shù)。電子穩(wěn)像系統(tǒng)在國外已經(jīng)有20 多年的研究歷史進入到21世紀(jì)，穩(wěn)像技術(shù)在應(yīng)用上有了長足的進步。國內(nèi)對于數(shù)字穩(wěn)像技 術(shù)的研究起步較晚，但隨著穩(wěn)像技術(shù)的需求日益廣泛，近年來不少研究者致力于基于DSP的 電子穩(wěn)像的研究與實現(xiàn)。隨著機器人的廣泛應(yīng)用，仿生技術(shù)得到了發(fā)展，電子穩(wěn)像算法也逐 漸應(yīng)用到仿生技術(shù)中。但是，目前基于類人眼眼球前庭動眼反射機理的仿生電子穩(wěn)像算法 穩(wěn)定性較差、耗時較多、實時性較差。

【發(fā)明內(nèi)容】

[0005] 為解決上述問題，本發(fā)明的目的在于提供一種穩(wěn)定性好、耗時少、實時性好的基于 前庭反射機理的仿生電子穩(wěn)像方法及裝置。
[0006] 本發(fā)明提供了一種基于前庭反射機理的仿生電子穩(wěn)像方法，該方法包括：
[0007] 步驟1，采用的雙目視覺系統(tǒng)模擬人眼的眼球雙目前庭動眼反射，第一攝像機模擬 左眼的前庭動眼反射，第二攝像機模擬右眼的前庭動眼反射；
[000引步驟2，第一電機與第一攝像機連接，F(xiàn)PGA板卡測量所述第一電機的電流突變，得 到所述第一攝像機的旋轉(zhuǎn)加速度，第二電機與第二攝像機連接，所述FPGA板卡測量所述第 二電機的電流突變，得到所述第二攝像機的旋轉(zhuǎn)加速度；
[0009] 步驟3,第一應(yīng)變片力傳感器與所述第一攝像機連接，所述FPGA板卡測量所述第一 應(yīng)變片力傳感器的應(yīng)變，得到所述第一攝像機的平移加速度，第二應(yīng)變片力傳感器與所述 第二攝像機連接，所述FPGA板卡測量所述第二應(yīng)變片力傳感器的應(yīng)變，得到所述第二攝像 機的平移加速度；
[0010] 步驟4,將步驟2中得到的旋轉(zhuǎn)加速度和步驟3中得到的平移加速度作為運動反饋 量反饋給穩(wěn)像決策單元；
[0011] 步驟5,所述FPGA板卡對所述第一攝像機拍攝的圖像的前帖圖像、后帖圖像進行匹 配運動估計，同時，所述FPGA板卡對所述第二攝像機拍攝的圖像的前帖圖像、后帖圖像進行 匹配運動估計，所述FPGA板卡把匹配運動結(jié)果反饋給所述穩(wěn)像決策單元；
[0012] 步驟6,所述穩(wěn)像決策單元根據(jù)步驟4得到的運動反饋量和步驟5得到的匹配運動 結(jié)果反饋結(jié)果，通過穩(wěn)像算法，得到所述第一攝像機和所述第二攝像機補償運動所需旋轉(zhuǎn) 的速度和方向，同時將得到的所需旋轉(zhuǎn)的速度和方向發(fā)送給伺服控制單元，控制所述第一 攝像機和所述第二攝像機的運動，實現(xiàn)所述第一攝像機和所述第二攝像機拍攝圖像的穩(wěn) 像。
[0013] 作為本發(fā)明進一步的改進，步驟5中的匹配運動估計方法的具體步驟為：
[0014] 步驟SI,對所述第一攝像機和所述第二攝像機拍攝的圖像，提取SIFT特征，進行 特征點匹配；
[0015] 步驟S2,利用視差原理計算特征點的=維坐標(biāo)；
[0016] 步驟S3,匹配所述第一攝像機拍攝的圖像的前帖圖像、后帖圖像的SIFT特性，匹配 所述第二攝像機拍攝的圖像的前帖圖像、后帖圖像的SIFT特征，轉(zhuǎn)換所有SIFT特征得到同 組特征點帖間的運動=維坐標(biāo)變化，通過最小二乘法求解特征點方程，得到旋轉(zhuǎn)矩陣和平 移向量。
[0017] 作為本發(fā)明進一步的改進，所述穩(wěn)像算法采用的算法模型為：

[00%] Hang表示所述第一攝像機和所述第二攝像機的旋轉(zhuǎn)的角度，房表示所述第一攝像 機和所述第二攝像機平移的加速度，El表示所述第一攝像機的輸出，Er表示所述第二攝像機 的輸出；
[0027] 其中，C(S)為半規(guī)管的傳遞函數(shù)，Tc為半規(guī)管的時間常數(shù)，N(S)為神經(jīng)積分器的傳 遞函數(shù)，Tv為神經(jīng)積分器的時間常數(shù)，O(S)為耳石器官的傳遞函數(shù)，Td為耳石器官的時間常 數(shù)，P(S)為眼球運動裝置的傳遞函數(shù)，Te為眼球運動裝置的時間常數(shù)，Ke為眼球運動裝置的 增益，Cl為半規(guī)管與前庭神經(jīng)核間的增益，Ql為外展神經(jīng)核與動眼神經(jīng)核間的常數(shù)增益，曰2為 外展神經(jīng)核與對側(cè)動眼神經(jīng)核間的常數(shù)增益，03為外展神經(jīng)核與對側(cè)動眼神經(jīng)核間的常 數(shù)增益，e耳石器管與前庭神經(jīng)核間的增益，&為外展神經(jīng)核與前庭神經(jīng)核間的常數(shù)增益，& 為對側(cè)前庭器官與外展神經(jīng)核間的增益，gn為內(nèi)直肌的常數(shù)增益，gi為外直肌的常數(shù)增益，m 為平移前庭動眼反射在神經(jīng)積分器中的增益，n為旋轉(zhuǎn)前庭動眼反射在神經(jīng)積分器中的增 益 rm. O
[0028] 本發(fā)明還提供了一種基于前庭反射機理的仿生電子穩(wěn)像裝置，包括：
[0029] 第一攝像機，其與第一電機連接，所述第一攝像機模擬左眼的前庭動眼反射，所述 第一電機模擬所述第一攝像機的旋轉(zhuǎn)運動；
[0030] 第二攝像機，其與第二電機連接，所述第二攝像機模擬右眼的前庭動眼反射，所述 第二電機模擬所述第二攝像機的旋轉(zhuǎn)運動；
[0031] 第一應(yīng)變片力傳感器，其與所述第一電機連接，所述第一應(yīng)變片力傳感器模擬所 述第一攝像機的平移運動；
[0032] 第二應(yīng)變片力傳感器，其與所述第二電機連接，所述第二應(yīng)變片力傳感器模擬所 述第二攝像機的平移運動；
[0033] FPGA板卡，其與所述第一電機、所述第二電機、所述第一應(yīng)變片力傳感器、所述第 二應(yīng)變片力傳感器和穩(wěn)像決策單元連接，所述FPGA板卡測量所述第一電機和所述第二電機 的電流突變，得到所述第一攝像機和所述第二攝像機的旋轉(zhuǎn)加速度，所述FPGA板卡所述第 一應(yīng)變片力傳感器和所述第二應(yīng)變片力傳感器的應(yīng)變，得到所述第一攝像機和所述第二攝 像機的平移加速度，所述FPGA板卡對所述第一攝像機和所述第二攝像機拍攝的圖像的前帖 圖像、后帖圖像進行匹配運動估計，同時，所述FPGA板卡把匹配運動結(jié)果、旋轉(zhuǎn)加速度和平 移加速度反饋給穩(wěn)像決策單元；
[0034] 穩(wěn)像決策單元，其與所述FPGA板卡和伺服控制單元連接，所述穩(wěn)像決策單元接收 匹配運動結(jié)果、旋轉(zhuǎn)加速度和平移加速度，并根據(jù)穩(wěn)像算法，得到所述第一攝像機和所述第 二攝像機補償運動所需旋轉(zhuǎn)的速度和方向，同時將得到的所需旋轉(zhuǎn)的速度和方向發(fā)送給伺 服控制單元；
[0035] 伺服控制單元，其與所述穩(wěn)像決策單元、所述第一攝像機和所述第二攝像機連接， 所述伺服控制單元根據(jù)所述穩(wěn)像決策單元得到的旋轉(zhuǎn)的速度和方向，控制所述第一攝像機 和所述第二攝像機的運動，實現(xiàn)所述第一攝像機和所述第二攝像機拍攝圖像的穩(wěn)像。
[0036] 作為本發(fā)明進一步的改進，所述FPGA板卡進行匹配運動估計的方法具體包括：
[0037] 步驟SI,對所述第一攝像機和所述第二攝像機拍攝的圖像，提取SIFT特征，進行特 征點匹配；
[0038] 步驟S2,利用視差原理計算特征點的=維坐標(biāo)；
[0039] 步驟S3,匹配所述第一攝像機拍攝的圖像的前帖圖像、后帖圖像的SIFT特性，匹配 所述第二攝像機拍攝的圖像的前帖圖像、后帖圖像的SIFT特征，轉(zhuǎn)換所有SIFT特征得到同 組特征點帖間的運動=維坐標(biāo)變化，通過最小二乘法求解特征點方程，得到旋轉(zhuǎn)矩陣和平 移向量。
[0040] 作為本發(fā)明進一步的改進，所述穩(wěn)像決策單元采用的穩(wěn)像算法的算法模型為：
[0049] Hang表示所述第一攝像機和所述第二攝像機的旋轉(zhuǎn)的角度，式。表示所述第一攝像 機和所述第二攝像機平移的加速度，El表示所述第一攝像機的輸出，Er表示所述第二攝像機 的輸出；
[0050] 其中，C(S)為半規(guī)管的傳遞函數(shù)，Tc為半規(guī)管的時間常數(shù)，N(S)為神經(jīng)積分器的傳 遞函數(shù)，Tv為神經(jīng)積分器的時間常數(shù)，O(S)為耳石器官的傳遞函數(shù)，T。為耳石器官的時間常 數(shù)，P(S)為眼球運動裝置的傳遞函數(shù)，Te為眼球運動裝置的時間常數(shù)，Ke為眼球運動裝置的