本發(fā)明涉及電子技術(shù)領(lǐng)域,尤其涉及一種基于視線追蹤的鼠標(biāo)控制設(shè)備及其方法。
背景技術(shù):
雖然電子裝置例如計(jì)算機(jī)、便攜式設(shè)備等廣泛進(jìn)入人們的日常生活,但基本的輸入裝置依然為鍵盤(Keyboard),但是使用鍵盤有一個(gè)小小缺點(diǎn),那就是光標(biāo)位置無法隨心所欲地快速移動(dòng),因此,隨后產(chǎn)生了鼠標(biāo)(Mouse)這種指向輸入裝置,使用者借助移動(dòng)鼠標(biāo)而可以快速地移動(dòng)顯示屏上的一任圖標(biāo)或選項(xiàng)。
目前使用的鼠標(biāo)主要以有線鼠標(biāo)和無線鼠標(biāo)為主,但隨著人機(jī)交互技術(shù)的不斷發(fā)展,這種有形的鼠標(biāo)并不能滿足所有使用者的要求,極大地限制了人機(jī)交互的發(fā)展。同時(shí),對(duì)于用電子裝置辦公或者玩游戲的使用者來說,在操作時(shí),由于鍵盤和鼠標(biāo)有一定的高度,手腕必須背屈一定角度,導(dǎo)致腕部處于強(qiáng)迫體位,不能自然伸展,長(zhǎng)年累月,容易得“鼠標(biāo)手”。而且,對(duì)于肢體運(yùn)動(dòng)存在障礙的使用者來說,也無法正常使用鼠標(biāo)和鍵盤操作電子裝置。
基于視線追蹤的控制系統(tǒng)是信息無障礙的一種應(yīng)用,目的在于不需要通過肢體運(yùn)動(dòng)或者幫助肢體運(yùn)動(dòng)存在障礙的使用者控制電子裝置。眼部追蹤技術(shù)的裝置有強(qiáng)迫式與非強(qiáng)迫式、穿戴式與非穿戴式、接觸式與非接觸式等,其精度從0.1°到2°不等,制造成本也有巨大差異。目前,視線追蹤技術(shù)還處于起步階段,德國(guó)研究人員已經(jīng)開發(fā)出眼控電腦軟件系統(tǒng),而Tobii已經(jīng)問世,成為眼動(dòng)技術(shù)的世界領(lǐng)先者,視線追蹤技術(shù)主要是解決眼睛運(yùn)動(dòng)特性的檢測(cè)問題,目前主要的檢測(cè)方法有眼電圖法、接觸鏡法、角膜反射法、紅外光電反射法、紅外電視法等。
然而,以上的設(shè)備的方法無法使用低成本的普通攝像頭進(jìn)行視線追蹤,且視線隨意動(dòng)的時(shí)候容易產(chǎn)生誤動(dòng)作,無法準(zhǔn)確高效地實(shí)現(xiàn)鼠標(biāo)控制,是亟需解決的難題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于提供一種基于視線追蹤的鼠標(biāo)控制設(shè)備及其方法,能夠借助于影像攝取裝置如低成本的普通攝像頭實(shí)現(xiàn)對(duì)使用者視線的追蹤,并結(jié)合使用者眼部運(yùn)動(dòng),根據(jù)其定位辨識(shí)的結(jié)果,取得使用者視線相對(duì)于基準(zhǔn)位置的變化量,動(dòng)態(tài)調(diào)整鼠標(biāo)在視野范圍的相對(duì)位置,改變了傳統(tǒng)的鼠標(biāo)操作方法,且結(jié)構(gòu)簡(jiǎn)單、操作方法,適用人群廣,達(dá)到更好的使用者體驗(yàn)效果。
根據(jù)本發(fā)明的一方面,提供一種基于視線追蹤的鼠標(biāo)控制設(shè)備,包括:
區(qū)域定位單元,用于定位視野范圍與視野中心點(diǎn);
視線追蹤單元,用于動(dòng)態(tài)追蹤視線相對(duì)于基準(zhǔn)位置的運(yùn)動(dòng);
轉(zhuǎn)換單元,用于將所述視線相對(duì)于基準(zhǔn)位置的運(yùn)動(dòng)轉(zhuǎn)換為在所述視野范圍內(nèi)的鼠標(biāo)運(yùn)動(dòng);
控制單元,用于控制鼠標(biāo)響應(yīng)當(dāng)前所在位置的操作。
進(jìn)一步的,所述區(qū)域定位單元,通過對(duì)使用者的頭部進(jìn)行定位辨識(shí)而定位視野范圍與視野中心點(diǎn)的垂直坐標(biāo)和水平坐標(biāo)。
進(jìn)一步的,所述視線追蹤單元,通過捕捉眼球相對(duì)于基準(zhǔn)位置的變化進(jìn)行視線的動(dòng)態(tài)追蹤。
進(jìn)一步的,所述轉(zhuǎn)換單元,依據(jù)視線與基準(zhǔn)位置間的相對(duì)變化量,動(dòng)態(tài)調(diào)整鼠標(biāo)在視野范圍內(nèi)的相對(duì)位置。
進(jìn)一步的,所述控制單元,通過接收的語(yǔ)音指令以控制鼠標(biāo)響應(yīng)當(dāng)前所在位置的操作。
更進(jìn)一步的,所述的語(yǔ)音指令包括左鍵單擊指令、右鍵單擊指令和雙擊指令。
進(jìn)一步的,所述區(qū)域定位單元為一個(gè)或多個(gè)影像攝取裝置。
進(jìn)一步的,所述視線追蹤單元為一個(gè)或多個(gè)影像攝取裝置。
更進(jìn)一步的,所述影像攝取裝置為安裝在眼鏡架上的電荷耦合元件。
進(jìn)一步的,根據(jù)所述影像攝取裝置的安裝位置確定所述視野中心點(diǎn)的位置。
更進(jìn)一步的,所述視野范圍是以所述視野中心點(diǎn)為中心、圍繞所述中心的預(yù)定區(qū)域范圍。
進(jìn)一步的,所述轉(zhuǎn)換單元,依據(jù)視線與所述基準(zhǔn)位置間相對(duì)位置坐標(biāo)的變化量,作為映射至所述視野范圍中鼠標(biāo)的位置移動(dòng)量。進(jìn)一步的,所述的鼠標(biāo)控制設(shè)備還包括:判斷單元,用于判斷視線是否處于聚焦?fàn)顟B(tài),若視線處于聚焦?fàn)顟B(tài),則在所述視野范圍內(nèi)調(diào)用鼠標(biāo),若視線處于非聚焦?fàn)顟B(tài),則不調(diào)用鼠標(biāo)。
更進(jìn)一步的,若所述判斷單元判斷視線處于聚焦?fàn)顟B(tài),在所述視野范圍內(nèi)調(diào)用鼠標(biāo),所述控制單元通過接收所述判斷單元判斷視線處于聚焦?fàn)顟B(tài)的時(shí)長(zhǎng)以控制鼠標(biāo)響應(yīng)當(dāng)前所在位置的操作。
根據(jù)本發(fā)明的另一方面,提供一種基于視線追蹤的鼠標(biāo)控制方法,包括以下步驟:
S1.定位視野范圍與視野中心點(diǎn);
S2.動(dòng)態(tài)追蹤視線相對(duì)于基準(zhǔn)位置的運(yùn)動(dòng);
S3.將所述視線相對(duì)于基準(zhǔn)位置的運(yùn)動(dòng)轉(zhuǎn)換為在所述視野范圍內(nèi)的鼠標(biāo)運(yùn)動(dòng);
S4.控制鼠標(biāo)響應(yīng)當(dāng)前所在位置的操作。
根據(jù)本發(fā)明的提供的基于視線追蹤的鼠標(biāo)控制設(shè)備及其方法,能夠借助于影像攝取裝置如低成本的普通攝像頭實(shí)現(xiàn)對(duì)使用者視線的追蹤,并結(jié)合使用者眼部運(yùn)動(dòng),根據(jù)其定位辨識(shí)的結(jié)果,取得使用者視線相對(duì)于基準(zhǔn)位置的變化量,動(dòng)態(tài)調(diào)整鼠標(biāo)在視野范圍的相對(duì)位置,改變了傳統(tǒng)的鼠標(biāo)操作方法,且結(jié)構(gòu)簡(jiǎn)單、操作方法,適用人群廣,為肢體運(yùn)動(dòng)存在障礙的使用者提供了一種方便的人機(jī)交互方式,達(dá)到更好的使用者體驗(yàn)效果。
附圖說明
通過下面結(jié)合附圖進(jìn)行的對(duì)實(shí)施例的描述,本發(fā)明的上述和/或其它目的和優(yōu)點(diǎn)將會(huì)變得更加清楚,其中:
圖1示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備的結(jié)構(gòu)示意圖;
圖2示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備為頭戴式設(shè)備的主視圖;
圖3示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備為頭戴式設(shè)備的側(cè)視圖;
圖4示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備為頭戴式設(shè)備的俯視圖;
圖5示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備定位視野范圍和視野中心點(diǎn)的示意圖;
圖6示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備視線追蹤的示意圖;
圖7示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備的轉(zhuǎn)換示意圖;
圖8示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備視線聚焦與非聚焦的示意圖;
圖9示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制方法的流程圖。
具體實(shí)施方式
現(xiàn)將詳細(xì)參照本發(fā)明的實(shí)施例,所述實(shí)施例的示例在附圖中示出,其中,相同的標(biāo)號(hào)始終指的是相同的部件。以下將通過參照附圖來說明所述實(shí)施例,以便解釋本發(fā)明。
圖1示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備的結(jié)構(gòu)示意圖。如圖1所示,在根據(jù)本發(fā)明示例性實(shí)施例的一種基于視線追蹤的鼠標(biāo)控制設(shè)備,包括:區(qū)域定位單元1,用于定位視野范圍與視野中心點(diǎn);視線追蹤單元2,用于 動(dòng)態(tài)追蹤視線相對(duì)于基準(zhǔn)位置的運(yùn)動(dòng);轉(zhuǎn)換單元3,用于將所述視線相對(duì)于基準(zhǔn)位置的運(yùn)動(dòng)轉(zhuǎn)換為在所述視野范圍內(nèi)的鼠標(biāo)運(yùn)動(dòng);控制單元4,用于控制鼠標(biāo)響應(yīng)當(dāng)前所在位置的操作。
優(yōu)選的,區(qū)域定位單元1,通過對(duì)使用者的頭部進(jìn)行定位辨識(shí)而定位視野范圍與視野中心點(diǎn)的垂直坐標(biāo)和水平坐標(biāo)。
優(yōu)選的,視線追蹤單元2,通過捕捉眼球相對(duì)于基準(zhǔn)位置的變化進(jìn)行視線的動(dòng)態(tài)追蹤。
其中,區(qū)域定位單元1和視線追蹤單元2可以分別為一個(gè)或多個(gè)影像攝取裝置等具有圖像傳感功能的設(shè)備。具體的,所述影像攝取裝置可以為安裝在眼鏡架上的電荷耦合元件,方便讓使用者直接佩戴,且其傳輸電信號(hào)的方式以無線傳輸較為方便。根據(jù)所述影像攝取裝置的安裝位置確定所述視野中心點(diǎn)的位置。所述視野范圍是以所述視野中心點(diǎn)為中心、圍繞所述中心的預(yù)定區(qū)域范圍。
圖2-4示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備為頭戴式設(shè)備的結(jié)構(gòu)示意圖。如圖2所示,區(qū)域定位單元1可以為安裝在眼鏡架上的1個(gè)攝像頭A或圖像傳感器A,視線追蹤單元2可以為安裝在眼鏡架上的2個(gè)攝像頭B或圖像傳感器B。其中,攝像頭A或圖像傳感器A和攝像頭B或圖像傳感器B的數(shù)量不限于以上數(shù)量,設(shè)計(jì)者可根據(jù)所需的視線追蹤精度對(duì)攝像頭或圖像傳感器的數(shù)量進(jìn)行改變。
具體的,攝像頭A用以大體定位使用者的頭部位置,以此定位視野范圍與視野中心點(diǎn),攝像頭B用以捕捉眼球動(dòng)作,確定是否執(zhí)行鼠標(biāo)操作以及對(duì)視線進(jìn)行動(dòng)態(tài)追蹤。
圖5示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備定位視野范圍和視野中心點(diǎn)的示意圖。如圖5所示,當(dāng)使用者觀察屏幕中某片區(qū)域時(shí),頭部會(huì)相應(yīng)的偏轉(zhuǎn),使用攝像頭A可以模擬定位人視野的中心點(diǎn),垂直坐標(biāo)和水平坐標(biāo)均由攝像頭A定位,這樣,確定了初始視野中心點(diǎn)A1,或A2,或A3,以此點(diǎn)為中心,規(guī)劃一定面積范圍作為視野范圍,限制鼠標(biāo) 動(dòng)作不可超出該范圍。當(dāng)使用者再移動(dòng)眼球時(shí),限定了其對(duì)應(yīng)鼠標(biāo)的活動(dòng)范圍,若鼠標(biāo)預(yù)想移動(dòng)的位置超出了視野范圍,則使用者應(yīng)再次移動(dòng)頭部重新確定視野范圍和視野中心點(diǎn),使鼠標(biāo)預(yù)想移動(dòng)的位置位于重新確定的視野范圍內(nèi)。
圖6示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備視線追蹤的示意圖。如圖6所示,使用攝像頭B捕捉眼球相對(duì)于基準(zhǔn)位置(如眼鏡鏡片中心)的相對(duì)位置變化,圖6中表示眼球?qū)⑾鄬?duì)眼鏡鏡片中心位置向右上方移動(dòng),通過捕捉眼球相對(duì)于基準(zhǔn)位置的變化進(jìn)行視線的動(dòng)態(tài)追蹤,從而獲取鼠標(biāo)移動(dòng)的范圍與方向。
優(yōu)選的,轉(zhuǎn)換單元3,依據(jù)視線與所述基準(zhǔn)位置間相對(duì)位置坐標(biāo)的變化量,作為映射至所述視野范圍中鼠標(biāo)的位置移動(dòng)量,即依據(jù)視線與基準(zhǔn)位置間的相對(duì)變化量,動(dòng)態(tài)調(diào)整鼠標(biāo)在視野范圍內(nèi)的相對(duì)位置。具體的,當(dāng)眼球運(yùn)動(dòng)時(shí),眼球與基準(zhǔn)位置間的相對(duì)位置坐標(biāo)將有所改變,依先后移動(dòng)的向量變化,而作為映射至視野范圍中鼠標(biāo)的位置移動(dòng)量。
具體實(shí)現(xiàn)中,向量可以包含“方向”與“大小”二個(gè)量,以眼球與基準(zhǔn)位置間的相對(duì)位置關(guān)系作為“方向”的依據(jù),而眼球的移動(dòng)速度則作為“大小”的依據(jù),也就是說,若眼球的移動(dòng)速度快,則在同一方向上,在視野范圍內(nèi)就會(huì)造成較大的鼠標(biāo)移動(dòng)量,同時(shí),若是眼球的移動(dòng)速度緩慢,雖然眼球移動(dòng)的距離與前者相同,但是轉(zhuǎn)換于視野范圍內(nèi)的鼠標(biāo)移動(dòng)量就會(huì)較小。
圖7示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備的轉(zhuǎn)換示意圖。如圖7所示,在確認(rèn)了初始的視野區(qū)域A后,攝像頭B捕獲的眼球在眼鏡上虛像RL變化至R’L’,根據(jù)相似三角形定理,使視線注視圖像A的相對(duì)位置轉(zhuǎn)換變化為圖像A’。
在轉(zhuǎn)換過程中,可以將攝像頭B所獲得的數(shù)據(jù),配合模糊演繹法(Fuzzy Algorithm)與神經(jīng)網(wǎng)絡(luò)演繹法(Neural network Algorithm)組成具有快速平行處理與學(xué)習(xí)能力的轉(zhuǎn)換方法,使 用鼠標(biāo)位置的自動(dòng)校正功能更為精確。
優(yōu)選的,控制單元4,通過接收的語(yǔ)音指令以控制鼠標(biāo)響應(yīng)當(dāng)前所在位置的操作。具體的,所述的語(yǔ)音指令包括左鍵單擊指令、右鍵單擊指令和雙擊指令。
具體實(shí)現(xiàn)中,當(dāng)鼠標(biāo)到達(dá)視野范圍上的一定點(diǎn)后,可再加入鼠標(biāo)左、右鍵一般輸入指令的功能,指令可以包括眼睛閉合指令、語(yǔ)音指令或者是按下鍵盤上按鍵的方式。其中,語(yǔ)音指令可以設(shè)置為:“對(duì)”表示雙擊指令,“是”表示左鍵單擊,“屬性”表示右鍵單擊等。
考慮到使用者發(fā)出語(yǔ)音指令時(shí),會(huì)受到噪音的干擾而使得語(yǔ)音指令的準(zhǔn)確執(zhí)行率下降,可增加對(duì)音頻信號(hào)進(jìn)行噪音抑制的單元,以減少在嘈雜環(huán)境下錯(cuò)誤接收語(yǔ)音指令的情況。
優(yōu)選的,所述的鼠標(biāo)控制設(shè)備還包括:判斷單元5,用于判斷視線是否處于聚焦?fàn)顟B(tài),若視線處于聚焦?fàn)顟B(tài),則在所述視野范圍內(nèi)調(diào)用鼠標(biāo),若視線處于非聚焦?fàn)顟B(tài),則不調(diào)用鼠標(biāo)。
優(yōu)選的,所述判斷單元5判斷視線處于聚焦?fàn)顟B(tài),在所述視野范圍內(nèi)調(diào)用鼠標(biāo),所述控制單元4通過接收所述判斷單元判斷視線處于聚焦?fàn)顟B(tài)的時(shí)長(zhǎng)以控制鼠標(biāo)響應(yīng)當(dāng)前所在位置的操作。
圖8示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制設(shè)備視線聚焦與非聚焦的示意圖。如圖8所示,當(dāng)使用者觀看整個(gè)桌面或電影等操作時(shí),視線處于非聚焦?fàn)顟B(tài),只有盯著某圖標(biāo)或文件時(shí),視線才會(huì)聚焦。視線處于非聚焦?fàn)顟B(tài)時(shí),攝像頭B拍攝眼球中心在眼鏡位置呈現(xiàn)的虛像L和R,定義當(dāng)LR距離大于預(yù)設(shè)值x時(shí),當(dāng)前為非聚焦?fàn)顟B(tài),則不調(diào)用鼠標(biāo);當(dāng)LR距離小于預(yù)設(shè)值x時(shí),表明使用者盯著某圖標(biāo),欲對(duì)其進(jìn)行操作,則調(diào)用鼠標(biāo)。
圖9示出根據(jù)本發(fā)明示例性實(shí)施例提供的基于視線追蹤的鼠標(biāo)控制方法的流程圖。如圖9所示,在根據(jù)本發(fā)明示例性實(shí)施的提供一種基于視線追蹤的鼠標(biāo)控制方法,包括以下步驟:
S1.定位視野范圍與視野中心點(diǎn);
S2.動(dòng)態(tài)追蹤視線相對(duì)于基準(zhǔn)位置的運(yùn)動(dòng);
S3.將所述視線相對(duì)于基準(zhǔn)位置的運(yùn)動(dòng)轉(zhuǎn)換為在所述視野范圍內(nèi)的鼠標(biāo)運(yùn)動(dòng);
S4.控制鼠標(biāo)響應(yīng)當(dāng)前所在位置的操作。
優(yōu)選的,對(duì)于步驟S1,當(dāng)使用者觀察屏幕中某片區(qū)域時(shí),頭部會(huì)相應(yīng)的偏轉(zhuǎn),使用攝像頭A可以模擬定位人視野的中心點(diǎn),垂直坐標(biāo)和水平坐標(biāo)均由攝像頭A定位,這樣,確定了初始視野中心點(diǎn),以此點(diǎn)為中心,規(guī)劃一定面積范圍作為視野范圍,限制鼠標(biāo)動(dòng)作不可超出該范圍。當(dāng)使用者再移動(dòng)眼球時(shí),限定了其對(duì)應(yīng)鼠標(biāo)的活動(dòng)范圍,若鼠標(biāo)預(yù)想移動(dòng)的位置超出了視野范圍,則使用者應(yīng)再次移動(dòng)頭部重新確定視野范圍和視野中心點(diǎn),使鼠標(biāo)預(yù)想移動(dòng)的位置位于重新確定的視野范圍內(nèi)。
優(yōu)選的,對(duì)于步驟S2,通過捕捉眼球相對(duì)于基準(zhǔn)位置的變化進(jìn)行視線的動(dòng)態(tài)追蹤,從而獲取鼠標(biāo)移動(dòng)的范圍與方向。
優(yōu)選的,對(duì)于步驟S3,當(dāng)眼球運(yùn)動(dòng)時(shí),眼球與基準(zhǔn)位置間的相對(duì)位置坐標(biāo)將有所改變,依先后移動(dòng)的向量變化,而作為映射至視野范圍中鼠標(biāo)的位置移動(dòng)量。
優(yōu)選的,對(duì)于步驟S4,當(dāng)鼠標(biāo)到達(dá)視野范圍上的一定點(diǎn)后,可再加入鼠標(biāo)左、右鍵一般輸入指令的功能,指令可以包括眼睛閉合指令、語(yǔ)音指令或者是按下鍵盤上按鍵的方式。
優(yōu)選的,在步驟S1之前,還可以包括步驟S0,判斷視線是否處于聚焦?fàn)顟B(tài),若視線處于聚焦?fàn)顟B(tài),則在所述視野范圍內(nèi)調(diào)用鼠標(biāo),若視線處于非聚焦?fàn)顟B(tài),則不調(diào)用鼠標(biāo)。
根據(jù)本發(fā)明的提供的基于視線追蹤的鼠標(biāo)控制設(shè)備及其方法,能夠借助于影像攝取裝置如低成本的普通攝像頭實(shí)現(xiàn)對(duì)使用者視線的追蹤,并結(jié)合使用者眼部運(yùn)動(dòng),根據(jù)其定位辨識(shí)的結(jié)果,取得使用者視線相對(duì)于基準(zhǔn)位置的變化量,動(dòng)態(tài)調(diào)整鼠標(biāo)在視野范圍的相對(duì)位置,改變了傳統(tǒng)的鼠標(biāo)操作方法,且結(jié)構(gòu)簡(jiǎn)單、操作方法,適用人群廣,為肢體運(yùn)動(dòng)存在障礙的使用者提供了一種方便的人機(jī)交互方式,達(dá)到更好的使用者體驗(yàn)效果。
本發(fā)明的以上各個(gè)實(shí)施例僅僅是示例性的,而本發(fā)明并不受限于此。本領(lǐng)域技術(shù)人員應(yīng)該理解:在不脫離本發(fā)明的原理和精神的情況下,可對(duì)這些實(shí)施例進(jìn)行改變,其中,本發(fā)明的范圍在權(quán)利要求及其等同物中限定。