基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，其包括光學(xué)系統(tǒng)等，光學(xué)系統(tǒng)與采集系統(tǒng)連接，采集系統(tǒng)、供能系統(tǒng)、傳輸接口都與控制系統(tǒng)連接，圖像分辨模塊、干擾分離模塊、姿態(tài)校正模塊、原始設(shè)定模塊都與傳輸接口連接，采集系統(tǒng)、控制系統(tǒng)、傳輸接口構(gòu)成一個(gè)信號(hào)處理組，完成整個(gè)信號(hào)轉(zhuǎn)換過(guò)程中的數(shù)據(jù)處理工作；采集系統(tǒng)用來(lái)保證瞳孔運(yùn)動(dòng)捕捉裝置以及瞳孔圖像數(shù)據(jù)的傳輸；控制系統(tǒng)進(jìn)行數(shù)據(jù)的處理以及反饋控制光學(xué)系統(tǒng)。本發(fā)明可對(duì)人眼瞳孔的變化及眼球的轉(zhuǎn)動(dòng)進(jìn)行反饋，這比目前所有的確認(rèn)及控制方法都更具有人性化和更具有使用效率。
【專利說(shuō)明】
基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，特別是涉及一種基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)。
【背景技術(shù)】
[0002]瞳孔追蹤技術(shù)最早被美軍飛行瞄準(zhǔn)系統(tǒng)中采用，近兩年隨著多媒體技術(shù)的發(fā)展和圖像處理等軟件的進(jìn)一步發(fā)展，逐步被用于民用行業(yè)。目前用途較廣的基于瞳孔動(dòng)作識(shí)別系統(tǒng)的民用科技是日本靜岡大學(xué)工學(xué)系海老澤嘉伸教授最先發(fā)明的瞳孔鼠標(biāo)系列產(chǎn)品，這類產(chǎn)品經(jīng)過(guò)多年的發(fā)展，為殘障人士提供了電腦交流的一個(gè)嶄新渠道，但這類產(chǎn)品存在的問(wèn)題就是設(shè)備巨大，操作時(shí)人體頭部需要固定，并且設(shè)備成本較高。原來(lái)在2014年初三星計(jì)劃發(fā)布Galaxy S4型手機(jī)時(shí)宣稱附帶具有眼球鼠標(biāo)功能的eyeCan，原本作為主要功能亮點(diǎn)推出，但是最終由于其捕捉技術(shù)不理想，隨機(jī)攝像頭效果并不理想而沒(méi)有被廣泛使用。
[0003]近幾年隨著各種虛擬頭盔的涌現(xiàn)，人們逐漸使用虛擬眼鏡來(lái)代替顯示屏幕，通過(guò)頭部陀螺儀的轉(zhuǎn)動(dòng)來(lái)操控虛擬場(chǎng)景中的“鼠標(biāo)”。但是由于需要不停的轉(zhuǎn)動(dòng)頭部來(lái)選擇菜單，對(duì)于目前采用OLED目鏡的掃描頻率無(wú)法超過(guò)75MHz的進(jìn)口虛擬頭盔(Oculus RIFT、Sansun Gear等)以及采用TFT目鏡掃描頻率甚至低于60MHz的國(guó)產(chǎn)諸多虛擬頭盔來(lái)說(shuō)，操控者不得不忍受無(wú)盡的暈眩感。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，其在不改變頭盔內(nèi)部固有結(jié)構(gòu)的情況下，頭部的旋轉(zhuǎn)依然可以保證用戶瀏覽虛擬場(chǎng)景不受影響，同時(shí)，通過(guò)識(shí)別眼球的轉(zhuǎn)動(dòng)，來(lái)控制場(chǎng)景的“鼠標(biāo)”，大大提高用戶的使用舒適度，增強(qiáng)人機(jī)交互能力。
[0005]本發(fā)明是通過(guò)下述技術(shù)方案來(lái)解決上述技術(shù)問(wèn)題的:一種基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，其包括光學(xué)系統(tǒng)、采集系統(tǒng)、控制系統(tǒng)、供能系統(tǒng)、傳輸接口、圖像分辨模塊、干擾分離模塊、姿態(tài)校正模塊、原始設(shè)定模塊，光學(xué)系統(tǒng)與采集系統(tǒng)連接，采集系統(tǒng)、供能系統(tǒng)、傳輸接口都與控制系統(tǒng)連接，圖像分辨模塊、干擾分離模塊、姿態(tài)校正模塊、原始設(shè)定模塊都與傳輸接口連接，采集系統(tǒng)、控制系統(tǒng)、傳輸接口構(gòu)成一個(gè)信號(hào)處理組，完成整個(gè)信號(hào)轉(zhuǎn)換過(guò)程中的數(shù)據(jù)處理工作;采集系統(tǒng)用來(lái)保證瞳孔運(yùn)動(dòng)捕捉裝置以及瞳孔圖像數(shù)據(jù)的傳輸;控制系統(tǒng)進(jìn)行數(shù)據(jù)的處理以及反饋控制光學(xué)系統(tǒng);傳輸接口模塊用來(lái)鏈接整個(gè)基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)與外部裝置的通訊及數(shù)據(jù)交換，供能系統(tǒng)為整個(gè)信號(hào)處理組做好能源保障工作。
[0006]優(yōu)選地，所述光學(xué)系統(tǒng)包括眼睛瞳孔運(yùn)動(dòng)捕捉裝置、虛擬影像成像設(shè)備、高透單反光學(xué)裝置、虛擬成像透鏡組合，眼睛瞳孔運(yùn)動(dòng)捕捉裝置位于高透單反光學(xué)裝置的側(cè)面，虛擬影像成像設(shè)備、虛擬成像透鏡組合分別位于高透單反光學(xué)裝置的前后方，虛擬影像透過(guò)光學(xué)系統(tǒng)上的高透單反光學(xué)裝置在人眼成像，人眼在光反射的作用下通過(guò)高透單反光學(xué)裝置折射到側(cè)面的眼睛瞳孔運(yùn)動(dòng)捕捉裝置上面。
[0007]優(yōu)選地，所述采集系統(tǒng)包括圖像處理模塊，圖像處理模塊與眼睛瞳孔運(yùn)動(dòng)捕捉裝置連接，采集系統(tǒng)通過(guò)其圖像處理模塊來(lái)控制眼睛瞳孔運(yùn)動(dòng)捕捉裝置以及瞳孔圖像數(shù)據(jù)的傳輸。
[0008]優(yōu)選地，所述供能系統(tǒng)包括控制系統(tǒng)和捕捉系統(tǒng)，通過(guò)一個(gè)USB接口統(tǒng)一供電。
[0009]優(yōu)選地，所述控制系統(tǒng)包括圖像校對(duì)模塊、瞳位比對(duì)模塊、瞳孔運(yùn)動(dòng)方向輸出模塊，圖像校對(duì)模塊、瞳位比對(duì)模塊、瞳孔運(yùn)動(dòng)方向輸出模塊依次連接，圖像校對(duì)模塊與圖像處理模塊連接，圖像處理模塊獲取圖像信號(hào)后到圖像校對(duì)模塊進(jìn)行圖像初步處理形成可進(jìn)行疊加對(duì)比的圖樣，再通過(guò)瞳位比對(duì)模塊對(duì)左右眼圖像中的瞳位進(jìn)行比對(duì)，若有誤差則控制圖像處理模塊進(jìn)行反饋補(bǔ)償，對(duì)比的結(jié)果發(fā)送到瞳孔運(yùn)動(dòng)方向輸出模塊經(jīng)過(guò)算法庫(kù)的比對(duì)判斷，最終模擬控制鼠標(biāo)的運(yùn)動(dòng)行為。
[0010]優(yōu)選地，所述供能系統(tǒng)包括供電模塊、USB標(biāo)準(zhǔn)接口、濾波穩(wěn)壓模塊，供電模塊與濾波穩(wěn)壓模塊之間通過(guò)USB標(biāo)準(zhǔn)接口連接，供電模塊為基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)提供電力保障;供電模塊存儲(chǔ)電量，通過(guò)USB標(biāo)準(zhǔn)接口向?yàn)V波穩(wěn)壓模塊供電，經(jīng)過(guò)濾波穩(wěn)壓模塊分配給控制系統(tǒng)和采集系統(tǒng)。
[0011]優(yōu)選地，所述傳輸接口包括運(yùn)動(dòng)方向矢量轉(zhuǎn)換模塊、仿真鼠標(biāo)輸出模塊、擴(kuò)展接口，運(yùn)動(dòng)方向矢量轉(zhuǎn)換模塊、擴(kuò)展接口都和仿真鼠標(biāo)輸出模塊連接;控制系統(tǒng)計(jì)算出的結(jié)果需要通過(guò)傳輸接口進(jìn)行模式轉(zhuǎn)換，實(shí)現(xiàn)仿真鼠標(biāo)信號(hào)的輸出。
[0012]優(yōu)選地，所述圖像分辨模塊通過(guò)瞳孔圖樣的對(duì)比度處理，經(jīng)過(guò)加權(quán)算法，獲得RGB值兩極化的可分辨圖像像素值，經(jīng)過(guò)與前一幀的可辨識(shí)特征圖像做對(duì)比，確認(rèn)圖像的可識(shí)別性，將可識(shí)別圖像保留輸出，將不可識(shí)別的圖像放棄。
[0013]優(yōu)選地，所述姿態(tài)校正模塊采集左右兩通道的圖樣，進(jìn)行疊加比對(duì)，然后與堆棧中的時(shí)序圖樣進(jìn)行位移比對(duì)，計(jì)算瞳孔的位移量，作出瞳孔運(yùn)動(dòng)趨勢(shì)預(yù)判，然后輸出給接口模塊，進(jìn)行矢量數(shù)據(jù)轉(zhuǎn)換成設(shè)備可使用的鼠標(biāo)運(yùn)動(dòng)數(shù)據(jù)。
[0014]優(yōu)選地，所述原始設(shè)定模塊是為了針對(duì)不同使用者的具體瞳孔表征進(jìn)行圖像數(shù)據(jù)收集并進(jìn)行習(xí)慣動(dòng)作設(shè)定的程序模塊。
[0015]本發(fā)明的積極進(jìn)步效果在于:本發(fā)明可通過(guò)節(jié)奏的眨眼及眼球運(yùn)動(dòng)作出反饋(預(yù)想方案中，確認(rèn)的方式可以自由定義，其選擇動(dòng)作可以包括單次眨眼、連續(xù)眨眼、左右眼單眨、視線畫(huà)圈等，可根據(jù)個(gè)人習(xí)慣進(jìn)行自由設(shè)定)，這比目前所有的確認(rèn)方法都更具有人性化和更具有使用效率。本發(fā)明在不改變頭盔內(nèi)部固有結(jié)構(gòu)的情況下，頭部的旋轉(zhuǎn)依然可以保證用戶瀏覽虛擬場(chǎng)景不受影響，同時(shí)，通過(guò)識(shí)別眼球的轉(zhuǎn)動(dòng)，來(lái)控制場(chǎng)景的“鼠標(biāo)”，大大提高用戶的使用舒適度，增強(qiáng)人機(jī)交互能力。
【附圖說(shuō)明】
[0016]圖1為本發(fā)明基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)的原理框圖。
[0017]圖2為本發(fā)明基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)的光學(xué)系統(tǒng)圖。
[0018]圖3為本發(fā)明基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)的采集系統(tǒng)圖。
[0019]圖4為本發(fā)明基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)的控制系統(tǒng)圖。
[0020]圖5為本發(fā)明基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)的供能系統(tǒng)圖。
[0021]圖6為本發(fā)明基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)的傳輸接口圖。
[0022]圖7為本發(fā)明基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)的圖像分辨模塊圖。
[0023]圖8為本發(fā)明基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)的干擾分離模塊圖。
[0024]圖9為本發(fā)明基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)的姿態(tài)校正模塊圖。
[0025]圖10為本發(fā)明基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)的原始設(shè)定模塊圖。
[0026]圖11為本發(fā)明基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)的互動(dòng)狀態(tài)對(duì)應(yīng)圖。
【具體實(shí)施方式】
[0027]下面結(jié)合附圖及實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明較佳實(shí)施方式，借此對(duì)本發(fā)明如何應(yīng)用技術(shù)手段來(lái)解決技術(shù)問(wèn)題，并達(dá)成技術(shù)效果的實(shí)現(xiàn)過(guò)程能充分理解并據(jù)以實(shí)施。
[0028]如圖1至圖10所示，本發(fā)明基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)包括光學(xué)系統(tǒng)、采集系統(tǒng)、控制系統(tǒng)、供能系統(tǒng)、傳輸接口、圖像分辨模塊、干擾分離模塊、姿態(tài)校正模塊、原始設(shè)定模塊，光學(xué)系統(tǒng)與采集系統(tǒng)連接，采集系統(tǒng)、供能系統(tǒng)、傳輸接口都與控制系統(tǒng)連接，圖像分辨模塊、干擾分離模塊、姿態(tài)校正模塊、原始設(shè)定模塊都與傳輸接口連接，采集系統(tǒng)、控制系統(tǒng)、傳輸接口構(gòu)成一個(gè)信號(hào)處理組，完成整個(gè)信號(hào)轉(zhuǎn)換過(guò)程中的數(shù)據(jù)處理工作;采集系統(tǒng)用來(lái)保證瞳孔運(yùn)動(dòng)捕捉裝置以及瞳孔圖像數(shù)據(jù)的傳輸;控制系統(tǒng)進(jìn)行數(shù)據(jù)的處理以及反饋控制光學(xué)系統(tǒng);傳輸接口模塊用來(lái)鏈接整個(gè)基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)與外部裝置的通訊及數(shù)據(jù)交換，供能系統(tǒng)為整個(gè)信號(hào)處理組做好能源保障工作。
[0029]光學(xué)系統(tǒng)包括眼睛瞳孔運(yùn)動(dòng)捕捉裝置1、虛擬影像成像設(shè)備2、高透單反光學(xué)裝置
3、虛擬成像透鏡組合4，眼睛瞳孔運(yùn)動(dòng)捕捉裝置I位于高透單反光學(xué)裝置3的側(cè)面，虛擬影像成像設(shè)備2、虛擬成像透鏡組合4分別位于高透單反光學(xué)裝置3的前后方，虛擬影像透過(guò)光學(xué)系統(tǒng)上的高透單反光學(xué)裝置在人眼5成像，人眼在光反射的作用下通過(guò)高透單反光學(xué)裝置折射到側(cè)面的眼睛瞳孔運(yùn)動(dòng)捕捉裝置上面，這樣瞳孔的當(dāng)前的狀態(tài)就被順利獲取了。
[0030]采集系統(tǒng)包括圖像處理模塊6，圖像處理模塊6與眼睛瞳孔運(yùn)動(dòng)捕捉裝置I連接，采集系統(tǒng)通過(guò)其圖像處理模塊來(lái)控制眼睛瞳孔運(yùn)動(dòng)捕捉裝置以及瞳孔圖像數(shù)據(jù)的傳輸。
[0031]控制系統(tǒng)包括圖像校對(duì)模塊、瞳位比對(duì)模塊、瞳孔運(yùn)動(dòng)方向輸出模塊，圖像校對(duì)模塊、瞳位比對(duì)模塊、瞳孔運(yùn)動(dòng)方向輸出模塊依次連接，圖像校對(duì)模塊與圖像處理模塊連接，圖像處理模塊獲取圖像信號(hào)后到圖像校對(duì)模塊進(jìn)行圖像初步處理形成可進(jìn)行疊加對(duì)比的圖樣，再通過(guò)瞳位比對(duì)模塊對(duì)左右眼圖像中的瞳位進(jìn)行比對(duì)，若有誤差則控制圖像處理模塊進(jìn)行反饋補(bǔ)償，對(duì)比的結(jié)果發(fā)送到瞳孔運(yùn)動(dòng)方向輸出模塊經(jīng)過(guò)算法庫(kù)的比對(duì)判斷，最終控制鼠標(biāo)的運(yùn)動(dòng)行為。圖像校對(duì)模塊為了分辨圖像是否可用，獲取圖像后進(jìn)行對(duì)比處理，對(duì)瞳孔圖像特征進(jìn)行識(shí)別，若符合標(biāo)準(zhǔn)則將圖像傳輸給瞳位比對(duì)模塊。瞳位比對(duì)模塊主要目的是干擾分離，首先將獲取的圖像進(jìn)行灰度處理，分離出背景圖像和瞳孔圖像，然后將瞳孔的當(dāng)前圖與庫(kù)中的行為圖進(jìn)行比對(duì)，以識(shí)別當(dāng)前特征。瞳孔運(yùn)動(dòng)方向輸出模塊做姿態(tài)校正，將經(jīng)過(guò)處理的左右眼兩張瞳孔特征圖進(jìn)行比對(duì)，并進(jìn)行堆棧對(duì)比，確認(rèn)雙眼操作的有效性，同時(shí)用時(shí)序?qū)Ρ人惴ù_認(rèn)時(shí)效性，最終輸出運(yùn)動(dòng)趨勢(shì)。計(jì)算出運(yùn)動(dòng)趨勢(shì)后將結(jié)果通過(guò)瞳孔運(yùn)動(dòng)方向輸出模塊傳輸轉(zhuǎn)換成鼠標(biāo)的信號(hào)與電腦實(shí)現(xiàn)通訊。
[0032]供能系統(tǒng)包括供電模塊7、USB標(biāo)準(zhǔn)接口8、濾波穩(wěn)壓模塊9，供電模塊7與濾波穩(wěn)壓模塊9之間通過(guò)USB標(biāo)準(zhǔn)接口 8連接，供電模塊為基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)提供電力保障;供電模塊存儲(chǔ)電量，通過(guò)USB標(biāo)準(zhǔn)接口向?yàn)V波穩(wěn)壓模塊供電，經(jīng)過(guò)濾波穩(wěn)壓模塊分配給控制系統(tǒng)和采集系統(tǒng)等，這樣控制系統(tǒng)和采集系統(tǒng)就獲取了電力保障。
[0033]傳輸接口包括運(yùn)動(dòng)方向矢量轉(zhuǎn)換模塊、仿真鼠標(biāo)輸出模塊、擴(kuò)展接口，運(yùn)動(dòng)方向矢量轉(zhuǎn)換模塊、擴(kuò)展接口都和仿真鼠標(biāo)輸出模塊連接?？刂葡到y(tǒng)計(jì)算出了結(jié)果需要通過(guò)傳輸接口進(jìn)行模式轉(zhuǎn)換，實(shí)現(xiàn)仿真鼠標(biāo)信號(hào)的輸出?？刂葡到y(tǒng)處理完的數(shù)據(jù)傳輸?shù)竭\(yùn)動(dòng)方向矢量轉(zhuǎn)換模塊進(jìn)行模式轉(zhuǎn)換，在發(fā)送到仿真鼠標(biāo)輸出模塊模擬鼠標(biāo)的信號(hào)，擴(kuò)展接口有藍(lán)牙和USB標(biāo)準(zhǔn)接口用來(lái)和電腦的通訊。即整套基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)通過(guò)與電腦聯(lián)機(jī)后，可以作為鼠標(biāo)使用，只是其操作的方式是通過(guò)人眼的瞳孔運(yùn)動(dòng)，而不是手。
[0034]互動(dòng)方式為操作者頭戴虛擬交互設(shè)備，隨著眼球轉(zhuǎn)動(dòng)，連接的屏幕上指針隨動(dòng)。如圖11所示，在初始設(shè)定時(shí)按用戶需求先設(shè)定好對(duì)應(yīng)的行為，實(shí)際操作時(shí)當(dāng)瞳孔達(dá)到初始時(shí)設(shè)定的瞳孔移動(dòng)標(biāo)準(zhǔn)時(shí)，屏幕上的鼠標(biāo)光標(biāo)就隨之移動(dòng)，且此行為與虛擬眼鏡自帶的頭部旋轉(zhuǎn)控制場(chǎng)景中的畫(huà)面隨之旋轉(zhuǎn)不發(fā)生沖突。
[0035]本發(fā)明可通過(guò)節(jié)奏的眨眼及眼球的運(yùn)動(dòng)進(jìn)行反饋(預(yù)想方案中，確認(rèn)的方式可以自由定義，其選擇動(dòng)作可以包括單次眨眼、連續(xù)眨眼、左(右)眼單眨、視線畫(huà)圈等，可根據(jù)個(gè)人習(xí)慣進(jìn)行自由設(shè)定)，這比目前所有的確認(rèn)方法都更具有人性化和更具有使用效率。
[0036]圖像分辨模塊通過(guò)瞳孔圖樣的對(duì)比度處理，經(jīng)過(guò)加權(quán)算法，獲得RGB值兩極化的可分辨圖像像素值，經(jīng)過(guò)與前一幀的可辨識(shí)特征圖像做比對(duì)，確認(rèn)圖像的可識(shí)別性，將可識(shí)別圖像保留輸出，將不可識(shí)別的圖像放棄，這樣可以減少后續(xù)數(shù)據(jù)處理量，提升容差率。
[0037]經(jīng)過(guò)圖像分辨模塊初步檢索過(guò)的圖像，在干擾分離模塊內(nèi)經(jīng)過(guò)二次加權(quán)算法處理，獲得256級(jí)灰度值，通過(guò)分離算法，擴(kuò)大斑點(diǎn)消隱，完成后進(jìn)行瞳孔特征比對(duì)，判定分離圖樣是否成功保留特征圖樣;如果沒(méi)有，則更改權(quán)值進(jìn)行重新處理，直至獲得相匹配瞳孔特征值的圖像輸出。
[0038]經(jīng)上述模塊處理的瞳孔特征圖樣，傳輸?shù)阶藨B(tài)校正模塊。姿態(tài)校正模塊采集左右兩通道的圖樣(左右眼瞳孔特征圖樣)，進(jìn)行疊加比對(duì)，然后與堆棧中的時(shí)序圖樣進(jìn)行位移比對(duì)，計(jì)算瞳孔的位移量，形成瞳孔運(yùn)動(dòng)趨勢(shì)預(yù)判，然后輸出給接口模塊，進(jìn)行矢量數(shù)據(jù)轉(zhuǎn)換成設(shè)備可使用的鼠標(biāo)運(yùn)動(dòng)數(shù)據(jù)。
[0039]原始設(shè)定模塊是為了針對(duì)不同使用者的具體瞳孔表征進(jìn)行圖像數(shù)據(jù)收集并進(jìn)行習(xí)慣動(dòng)作設(shè)定的程序模塊。其在系統(tǒng)中存在于用戶機(jī)上(也就意味著本模塊軟件有各種不同的版本以應(yīng)對(duì)windows、1S、Android等系統(tǒng))。本模塊功能是校正用戶瞳孔運(yùn)動(dòng)極值圖像，并將之儲(chǔ)存作為標(biāo)準(zhǔn)對(duì)比圖像素材進(jìn)行與操控圖像進(jìn)行對(duì)比的功能。
【主權(quán)項(xiàng)】
1.一種基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，其包括光學(xué)系統(tǒng)、采集系統(tǒng)、控制系統(tǒng)、供能系統(tǒng)、傳輸接口、圖像分辨模塊、干擾分離模塊、姿態(tài)校正模塊、原始設(shè)定模塊，光學(xué)系統(tǒng)與采集系統(tǒng)連接，采集系統(tǒng)、供能系統(tǒng)、傳輸接口都與控制系統(tǒng)連接，圖像分辨模塊、干擾分離模塊、姿態(tài)校正模塊、原始設(shè)定模塊都與傳輸接口連接，采集系統(tǒng)、控制系統(tǒng)、傳輸接口構(gòu)成一個(gè)信號(hào)處理組，完成整個(gè)信號(hào)轉(zhuǎn)換過(guò)程中的數(shù)據(jù)處理工作;采集系統(tǒng)用來(lái)保證瞳孔運(yùn)動(dòng)捕捉裝置以及瞳孔圖像數(shù)據(jù)的傳輸;控制系統(tǒng)進(jìn)行數(shù)據(jù)的處理以及反饋控制光學(xué)系統(tǒng);傳輸接口模塊用來(lái)鏈接整個(gè)基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)與外部裝置的通訊及數(shù)據(jù)交換，供能系統(tǒng)為整個(gè)信號(hào)處理組做好能源保障工作。2.如權(quán)利要求1所述的基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，其特征在于，所述光學(xué)系統(tǒng)包括眼睛瞳孔運(yùn)動(dòng)捕捉裝置、虛擬影像成像設(shè)備、高透單反光學(xué)裝置、虛擬成像透鏡組合，眼睛瞳孔運(yùn)動(dòng)捕捉裝置位于高透單反光學(xué)裝置的側(cè)面，虛擬影像成像設(shè)備、虛擬成像透鏡組合分別位于高透單反光學(xué)裝置的前后方，虛擬影像透過(guò)光學(xué)系統(tǒng)上的高透單反光學(xué)裝置在人眼成像，人眼的圖像在光反射的作用下通過(guò)高透單反光學(xué)裝置折射到側(cè)面的眼睛瞳孔運(yùn)動(dòng)捕捉裝置上面。3.如權(quán)利要求2所述的基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，其特征在于，所述采集系統(tǒng)包括圖像處理模塊，圖像處理模塊與眼睛瞳孔運(yùn)動(dòng)捕捉裝置連接，采集系統(tǒng)通過(guò)其圖像處理模塊來(lái)控制眼睛瞳孔運(yùn)動(dòng)捕捉裝置以及瞳孔圖像數(shù)據(jù)的傳輸。4.如權(quán)利要求3所述的基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，其特征在于，所述供能系統(tǒng)包括控制系統(tǒng)和捕捉系統(tǒng)，通過(guò)一個(gè)USB接口統(tǒng)一供電。5.如權(quán)利要求4所述的基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，其特征在于，所述控制系統(tǒng)包括圖像校對(duì)模塊、瞳位比對(duì)模塊、瞳孔運(yùn)動(dòng)方向輸出模塊，圖像校對(duì)模塊、瞳位比對(duì)模塊、瞳孔運(yùn)動(dòng)方向輸出模塊依次連接，圖像校對(duì)模塊與圖像處理模塊連接，圖像處理模塊獲取圖像信號(hào)后到圖像校對(duì)模塊進(jìn)行圖像初步處理形成可進(jìn)行疊加對(duì)比的圖樣，再通過(guò)瞳位比對(duì)模塊對(duì)左右眼圖像中的瞳位進(jìn)行比對(duì)，若有誤差則控制圖像處理模塊進(jìn)行反饋補(bǔ)償，對(duì)比的結(jié)果發(fā)送到瞳孔運(yùn)動(dòng)方向輸出模塊經(jīng)過(guò)算法庫(kù)的比對(duì)判斷，最終模擬控制鼠標(biāo)的運(yùn)動(dòng)行為。6.如權(quán)利要求5所述的基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，其特征在于，所述供能系統(tǒng)包括供電模塊、USB標(biāo)準(zhǔn)接口、濾波穩(wěn)壓模塊，供電模塊與濾波穩(wěn)壓模塊之間通過(guò)USB標(biāo)準(zhǔn)接口連接，供電模塊為基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)提供電力保障;供電模塊存儲(chǔ)電量，通過(guò)USB標(biāo)準(zhǔn)接口向?yàn)V波穩(wěn)壓模塊供電，經(jīng)過(guò)濾波穩(wěn)壓模塊分配給控制系統(tǒng)和采集系統(tǒng)。7.如權(quán)利要求6所述的基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，其特征在于，所述傳輸接口包括運(yùn)動(dòng)方向矢量轉(zhuǎn)換模塊、仿真鼠標(biāo)輸出模塊、擴(kuò)展接口，其中運(yùn)動(dòng)方向矢量轉(zhuǎn)換模塊、擴(kuò)展接口都和仿真鼠標(biāo)輸出模塊連接;控制系統(tǒng)計(jì)算出了結(jié)果需要通過(guò)傳輸接口進(jìn)行模式轉(zhuǎn)換，實(shí)現(xiàn)仿真鼠標(biāo)信號(hào)的輸出。8.如權(quán)利要求1所述的基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，其特征在于，所述圖像分辨模塊通過(guò)瞳孔圖樣的對(duì)比度處理，經(jīng)過(guò)加權(quán)算法，獲得RGB值兩極化的可分辨圖像像素值，經(jīng)過(guò)與前一幀的可辨識(shí)特征圖像做比對(duì)，確認(rèn)圖像的可識(shí)別性，將可識(shí)別圖像保留輸出，將不可識(shí)別的圖像放棄。9.如權(quán)利要求1所述的基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，其特征在于，所述姿態(tài)校正模塊采集左右兩通道的圖樣，進(jìn)行疊加比對(duì)，然后與堆棧中的時(shí)序圖樣進(jìn)行位移比對(duì)，計(jì)算瞳孔的位移量，作出瞳孔運(yùn)動(dòng)趨勢(shì)預(yù)判，然后輸出給接口模塊，進(jìn)行矢量數(shù)據(jù)轉(zhuǎn)換成設(shè)備可使用的鼠標(biāo)運(yùn)動(dòng)數(shù)據(jù)。10.如權(quán)利要求1所述的基于瞳孔追蹤技術(shù)的虛擬現(xiàn)實(shí)互動(dòng)系統(tǒng)，其特征在于，所述原始設(shè)定模塊是為了針對(duì)不同使用者的具體瞳孔表征進(jìn)行圖像數(shù)據(jù)收集并進(jìn)行習(xí)慣動(dòng)作設(shè)定的程序模塊。
【文檔編號(hào)】G06F3/01GK105843397SQ201610223223
【公開(kāi)日】2016年8月10日
【申請(qǐng)日】2016年4月12日
【發(fā)明人】朱江, 林靈, 吳疆, 宋宏, 王荷蘭, 劉果
【申請(qǐng)人】公安部上海消防研究所