一種用手指直接控制光標(biāo)的鼠標(biāo)裝置制造方法
【專利摘要】一種用手指直接控制光標(biāo)的鼠標(biāo)裝置，包括一個或多個攝像頭、左鍵、右鍵，其工作方法是，攝像頭連續(xù)拍攝手指的圖像，通過對圖像進行分析，基于立體視覺或視差原理或者投影法或者兩參照點法或者平行交點判斷出手指是否貼著工作平面，如果是，則在連續(xù)的視頻流中，根據(jù)手指在多幀圖像中的位置變化，控制光標(biāo)做相應(yīng)移動；如果否，則光標(biāo)不移動。這種鼠標(biāo)使用手指直接控制光標(biāo)移動，具有使用方便，重量輕，體積小，便于攜帶的特點?？梢耘c鍵盤結(jié)合，用于筆記本電腦時，可以取代觸摸板。
【專利說明】一種用手指直接控制光標(biāo)的鼠標(biāo)裝置
[0001]【技術(shù)領(lǐng)域】:本發(fā)明涉及一種用手指直接控制光標(biāo)的鼠標(biāo)裝置。

【背景技術(shù)】
:
[0002]自從操作系統(tǒng)進入圖形用戶界面以來，由于需要對顯示器上所顯示的光標(biāo)(cursor)進行控制，所以鼠標(biāo)成為出了鍵盤以外，最重要的外圍輸入裝置之一。
[0003]光電鼠標(biāo)(optical mouse)與計算機間常是利用COM、PS / 2或USB接口來相互連接，而顯示器上所顯示的光標(biāo)會隨著光電鼠標(biāo)所移動的軌跡移動。
[0004]現(xiàn)有光電鼠標(biāo)的結(jié)構(gòu)包括殼體、發(fā)光二極管、光透鏡、光接收處理裝置、按鍵以及印刷電路板，發(fā)光二極管是設(shè)置在殼體內(nèi)，并朝殼體底部的一開口發(fā)射光線，故當(dāng)此光電鼠標(biāo)放置在如桌面或鼠標(biāo)墊上后，光線照射到鼠標(biāo)墊上即會反射光線，并由此呈現(xiàn)出鼠標(biāo)墊上的圖像，光透鏡用來聚集自發(fā)光二極管所發(fā)射并由此鼠標(biāo)墊上反射的反射光線。
[0005]光接收處理裝置接收有光透鏡聚集后的反射光線，且光接收處理裝置具有一光傳感器以及以圖像處理單元，光傳感器單元是有電荷耦合組件(CCD)所構(gòu)成，因此能夠獲取經(jīng)由光透鏡聚集后的圖像，典型的光處理裝置芯片是美國AGILENT公司的HDNS-2000、HDNS-2051等光電鼠標(biāo)專用光接收處理裝置芯片，該類光接收處理裝置芯片如HDNS-2000型芯片每秒可以從感光窗拾取1500幀圖像。接著，由圖像處理單元對于光傳感器在不同時間所提取的圖像加以比較其差異處，由此判斷鼠標(biāo)移動到位移量、速度等，并將其轉(zhuǎn)換為計算機想對應(yīng)坐標(biāo)(ΛΧ，ΛΥ)的電信號后送至計算機上以控制光標(biāo)的移動。
[0006]按鍵則是部分凸露于殼體外，當(dāng)被使用者按壓是，按鍵即會聯(lián)動以微型開關(guān)，以控制光標(biāo)進行點選(click)動作，印刷電路板是用來承載上述構(gòu)件并是上述構(gòu)件彼此間相互電連接。
[0007]由于光電鼠標(biāo)是采用光學(xué)技術(shù)來進行移動位置的判定，因此具有不易沾染灰塵、分辨率高、移動順滑等優(yōu)點，故已逐漸取代傳統(tǒng)式的滾輪鼠標(biāo)。
[0008]然而，光電鼠標(biāo)的使用者需要一定的空間來握持鼠標(biāo)沿一平面移動，才能有效控制光標(biāo)移動，因此必定占去相當(dāng)多空間，使用上并非十分方便，尤其對于常常隨身攜帶的筆記本電腦，要求其盡量輕便、小巧，而鼠標(biāo)則會占用一定的空間或重量，攜帶、使用時不夠方便。
[0009]如果既需要打字，又需要使用鼠標(biāo)時，使用者的手不得不在鍵盤和鼠標(biāo)之間來回移動，這會降低用戶的工作效率。
[0010]尤其重要者，長時間操作移動鼠標(biāo)不但易使手腕部位的肌肉疲勞和手指關(guān)節(jié)酸痛，嚴(yán)重更可能因長期累積而造成運動傷害。


【發(fā)明內(nèi)容】

:
[0011]本發(fā)明的目的在于公開一種用手指直接控制光標(biāo)的鼠標(biāo)裝置。
[0012]為避免現(xiàn)有鼠標(biāo)的不足之處而提供一種與鍵盤融合的、用手指的移動直接控制顯示器屏幕上光標(biāo)移動的新型的鼠標(biāo)裝置，所要解決的技術(shù)問題是使鼠標(biāo)的使用和攜帶更加方便，從而更加實用。
[0013]本發(fā)明包括一個或多個攝像頭、左鍵、右鍵，其工作方法是，攝像頭連續(xù)拍攝手指的圖像，通過對圖像進行分析，基于立體視覺或視差原理或者投影法或者兩參照點法判斷出手指是否貼著工作平面，如果是，則在連續(xù)的視頻流中，根據(jù)手指圖像的位置變化，在攝像頭拍攝的連續(xù)圖像中，根據(jù)手指圖像的位置變化，控制光標(biāo)做相應(yīng)移動；如果否，則光標(biāo)不移動；或者用平行法判斷手指是否貼著鍵盤表面，如果是，則計算出手指位置，根據(jù)手指位置的移動，控制光標(biāo)移動。
[0014]工作平面是鍵盤表面。
[0015]鍵盤表面是平滑的。
[0016]指托安裝在鍵盤上相鄰的兩排按鍵之間，指托是起托放手指作用的固定支架。
[0017]左右鍵位于指托上，或者位于標(biāo)準(zhǔn)鍵盤空格鍵附近，左右鍵的作用和普通光電鼠標(biāo)中的一樣。
[0018]攝像頭可以是帶有多個分攝像頭的3d攝像頭，也可以是外接式或內(nèi)置式攝像頭。
[0019]攝像頭可以是紅外攝像頭。
[0020]可以用光源對手指進行照明，在黑暗環(huán)境中，使用光源進行照明。
[0021]判斷是否位于工作平面的方法是:
[0022]先確定工作平面。通過分析圖像，計算出距離或者坐標(biāo)，進而確定平面位置或者方程，或者攝像頭相對與平面的位置。取攝像頭坐標(biāo)系，在工作平面上取點，計算出點的坐標(biāo)。最少取不在直線上的三個點，根據(jù)三點確定一個平面的原理，確定平面的方程f。或者取平面坐標(biāo)系，確定攝像頭相對與平面的位置。
[0023]再判斷指尖是否位于工作平面上。確定手指指尖的位置，判斷手指指尖是否位于工作平面。
[0024]如果攝像頭與工作平面的位置是固定的，則在計算出平面位置后，只需重復(fù)判斷指尖是否位于平面。如果攝像頭的位置出現(xiàn)變化，則待攝像頭靜止后，重復(fù)上述兩個步驟，重新計算平面位置，并判斷指尖是否位于工作平面。
[0025]利用立體視覺法或視差原理判斷是否位于工作平面，通常包括圖像獲取、攝像機標(biāo)定、特征提取、圖像匹配、分析計算等步驟。立體視覺或視差法發(fā)展較為成熟，有比較多的應(yīng)用，有多種方法可以判斷是否位于工作平面，這里不一一列舉，下面給出兩種簡化、具體的計算方法。
[0026]攝像頭對準(zhǔn)工作平面上手指的運動區(qū)域，多個攝像頭同步工作，連續(xù)拍攝手指運動以及工作平面背景圖像。兩個攝像頭的光軸平行，內(nèi)部參數(shù)一致。從攝像頭的圖像中，識別出手指，并建立在多個攝像頭圖像中手指的對應(yīng)關(guān)系，由于多個攝像頭的角度不同，其提取出的圖像中，手指圖像存在一定差異，可以通過灰度分布的相關(guān)性或特征分布的相似性等方法找到彼此對應(yīng)的部分，例如指尖在多幀圖像中的對應(yīng)部分，然后計算出手指比如指尖與攝像頭的距離，并判斷出手指例如指尖是否位于工作平面上。
[0027]手指與攝像頭的距離的計算方法如圖2所示:設(shè)空間一點P(x，y, z)在兩個平行放置的完全相同的攝像機中的成像點分別是(Xl，yi)，0^，72)，則在知道基線長^8為兩攝像頭光軸的距離，以及焦距f的情況下，可以計算出P點與成像平面的距離
[0028]Z=f XB / (x2 — X1) =f XB / Δ χ
[0029]如果攝像頭相對工作平面的位置是固定的，那么圖像上的像點P’(X’，y’)，會對應(yīng)著鍵盤上的某個物點P(X，y)，P’與P的距離L是唯一，且固定的，圖像上每一個像點都有相應(yīng)的L,在鼠標(biāo)工作前,需要計算出每一個像點的對應(yīng)的L,作為已知量,保存在鼠標(biāo)內(nèi)部。每個像素點需要保存一個向量[X，y，I]，如果攝像頭有η個象素，就保存η個向量。
[0030]如果Z=L，則P點位于工作平面上；否則，P點不在工作平面上。
[0031]如果攝像頭與工作平面的相對位置是變化的，則待攝像頭靜止后，通過對攝像頭圖像進行分析，找到平面上的三個不在一條直線上的三個參照點，計算出參照點與攝像頭的距離，確定平面的方程，再計算出手指比如指尖與攝像頭的距離，從而判斷出手指指尖是否位于平面上。
[0032]另一種計算方法如圖3所示:
[0033]兩個攝像頭在同一平面上，內(nèi)部參數(shù)相投，兩攝像頭的投影中心連線的距離為B，焦距為f。設(shè)空間點坐標(biāo)為P(X，y，z)，分別在左右攝像頭上獲取點P的圖像，他們的坐標(biāo)分另1|為P1 (X1, y)和Pr(xr, yr)。P點的圖像坐標(biāo)Y相同，即Yzy1=Yrt5兩個圖像中，D=X1-Xrt5貝Ij可以計算出P點在空間的坐標(biāo)。
[0034]X=BX1 / D ；
[0035]y=By / D
[0036]z=Bf / D
[0037]用視差法或三維視覺方法還有很多，都可以使用，類似方法在此不一一贅述。
[0038]判斷是否位于工作平面的方法也可以是兩參照點法:
[0039]在平面上取兩個參照點，工作時,拍攝參照點和目標(biāo)點的圖像,從圖像上計算出兩個參照點和目標(biāo)點在圖像上的距離，比較兩個攝像頭所拍攝的圖像中，距離是否相同，如果相同，則目標(biāo)點位于工作平面上；或者通過像與物的對應(yīng)關(guān)系，從像的位置計算出目標(biāo)點的位置，如果從兩個攝像頭拍攝的圖像所計算出來的目標(biāo)點的位置相同，則目標(biāo)點位于工作平面上,否則不在平面上。
[0040]也可以便用投影法判斷手指是否貼著鍵盤表面，攝像頭拍攝到手指及其陰影的圖像，分析陰影的狀態(tài)，判斷手指是否位于工作平面上，如指尖陰影是否與指尖連接，如果是，則手指貼著鍵盤表面；如果否，則手指沒有接觸鍵盤表面。
[0041]平行交點法指的是攝像頭光軸與工作平面(如鍵盤)平行或者接近于平行，多個攝像頭位于工作平面邊緣，位置高于工作平面，能拍攝到平面或平面上方的物體。首先通過攝像頭的圖像，判斷手指是否貼著鍵盤表面，如果貼著鍵盤表面時，通過多個個攝像頭拍攝的圖像的交點，計算出手指的位置。平行交點法的實現(xiàn)方法有很多種:
[0042]當(dāng)物體靠近鍵盤表面時，它會在攝像頭的感光材料中，在一個平行于鍵盤表面的一個狹窄的區(qū)域成像，這個區(qū)域為有效成像區(qū)域。當(dāng)物體的位置離開鍵盤表面時，在感光材料中成像的區(qū)域偏離有效成像區(qū)域，離開鍵盤表面越遠，則距離有效成像區(qū)域越遠。
[0043]當(dāng)物體靠近鍵盤表面時，攝像頭所拍的圖像中，物體圖像位于圖像中的特定區(qū)域，稱為圖像有效區(qū)域，該區(qū)域通常是一個平行于鍵盤表面的線狀或狹長帶狀區(qū)域。物體離開鍵盤表面時，物體圖像位置不在有效區(qū)域，離開越遠，則物體圖像偏離有效區(qū)域越遠。通過分析手指圖像是否位于圖像有效區(qū)域，可以判斷出手指，通常是指尖，是否接觸鍵盤。
[0044]平行交點法判斷物體是否在鍵盤表面也可以采用其它方法，如通過一個發(fā)射機構(gòu)(如紅外光源)，發(fā)射出類似于紅外線的光線，光線(可見光或不可見光)平行并貼著鍵盤表面，當(dāng)鍵盤表面有物體時，物體反射光線，感光材料就會接受到反射光線。反過來，如果感光材料接收到這種光線，則表明有物體在鍵盤表面上。
[0045]通過多個攝像頭拍攝到的手指的圖像，圖像對應(yīng)的交點，在攝像頭位置和參數(shù)已知時，可以計算出手指的位置。如圖4所示是一種計算方法:
[0046]X / (B-y) =f/yl
[0047]x/y=f/y2
[0048]從這個方程中可以算出P點坐標(biāo)X，I。其中B為兩個攝像頭的距離，yl，y2為兩個攝像頭中P點圖像的距離。
[0049]平行交點法計算位置也可以采用另一種方法，如圖5所示，兩個攝像頭和物體P構(gòu)成一個三角形，其中兩個攝像頭的距離B是已知的，通過分析兩個攝像頭的圖像，可以確定夾角α、Θ，進一步能確定P的位置。
[0050]平行交點法也可以或者在鍵盤上貼有反射條，光線(可見光或不可見光)射到反射條上，反射條反射光線，在感光材料上形成一條亮線。當(dāng)手指貼著鍵盤表面時，光線被遮擋，在反射條上形成陰影，感光材料上形成的就不是一條亮線，而是被陰影或者手指遮擋切成一段段的亮線，根據(jù)陰影的位置，可以用三角函數(shù)出手指的位置。通過手指位置的變化，控制光標(biāo)移動。如果手指不貼著鍵盤表面，在反射條上沒有陰影，或者反射條沒有受到遮擋，在感光材料形成的就是一條亮線。反射條的位置一般是貼著鍵盤表面安裝。
[0051]或者攝像頭拍攝稍高于鍵盤表面的背景，當(dāng)背景被手指遮擋時，表明手指貼著鍵盤表面，通過背景被遮擋的位置，計算出手指的位置。通過手指位置的變化，控制光標(biāo)移動。
[0052]平行交點法計算位置的其它方法不一一列舉。當(dāng)物體(如手指指尖)貼在工作平面(如鍵盤)表面時，計算出物體的位置，然后根據(jù)位置變化，光標(biāo)做跟隨移動。
[0053]本發(fā)明的一個優(yōu)選方案中，取鍵盤表面為工作平面，取鍵盤上的三個按鍵:左上角的esc鍵、右上角的F12鍵、右下角的Ctrl鍵的右上角為參照點，取攝像頭為坐標(biāo)系，算出三個參照點的坐標(biāo)，進而確定鍵盤表面的平面方程。為了方便圖像特征提取，可以用三個鍵上的文字作為參照點特征，也可以使用文字直接作為參照點。
[0054]本發(fā)明的另一個優(yōu)選方案中，取鍵盤表面為工作平面，取鍵盤上的兩個參照點:左上角的esc鍵、右上角的F12鍵的右上角為參照點，匹配兩個攝像頭圖像中的參照點，同時匹配兩個攝像頭所拍攝圖像中的手指指尖的圖像，分別在兩個攝像頭拍攝的圖像中，測量出指尖與兩個參照點的距離，如果對應(yīng)的距離相同，則指尖位于工作平面上。否則，指尖不在工作平面上。在取參照點時，參照點需要滿足兩個條件:1、參照點位于工作平面上；2、手指指尖只在兩個參照點連線的一側(cè)運動。
[0055]如果手指(例如指尖)位于工作平面上，則通過同一攝像頭中兩幅連續(xù)圖像中的手指(例如指尖)位置的差異或者運動情況，控制光標(biāo)的運動。
[0056]多根手指同時貼著鍵盤表面移動時，不同的移動方式，可以定義不同的操作。例如左右食指同時向下，表示向下翻頁；左右食指反向移動，代表放大操作。

【專利附圖】

【附圖說明】
:
[0057]圖1與鍵盤融合的鼠標(biāo)的示意圖
[0058]I 左鍵
[0059]2 右鍵
[0060]3攝像頭
[0061]4攝像頭
[0062]5左攝像頭的視野
[0063]6右攝像頭的視野
[0064]7 指托
[0065]圖2計算方法示意圖
[0066]I左攝像頭的成像平面
[0067]2右攝像頭的成像平面
[0068]3左攝像頭的鏡頭
[0069]4右攝像頭的鏡頭
[0070]5左攝像頭的光軸
[0071]6右攝像頭的光軸
圖3另一種計算方法示意圖圖4平行交點法一種計算方法示意圖圖5平行交點法另一種計算方法示意圖

【具體實施方式】
[0072]實施例1與筆記本電腦鍵盤結(jié)合的手指鼠標(biāo)I
[0073]該手指鼠標(biāo)應(yīng)用與筆記本電腦，包括下列單元:
[0074]兩個攝像頭:攝像頭的參數(shù)相同，光軸平行。攝像頭位于筆記本電腦屏幕上方的邊框中，成左右排列。攝像頭向下對準(zhǔn)鍵盤中部，工作時，兩個攝像頭同步、連續(xù)拍攝，每秒拍攝100巾貞圖像。
[0075]左鍵、右鍵位于鍵盤空格鍵附近。
[0076]鍵盤表面是平滑的。
[0077]鍵盤表面可以視為一個平面。
[0078]指托安裝在鍵盤上相鄰的兩排按鍵之間的空隙位置，指托是起托放手指作用的固定支架，在手指運動時，為手掌提供支撐。
[0079]在三維坐標(biāo)系中，取鍵盤表面為xoy，屏幕旋轉(zhuǎn)軸為χ軸，鍵盤左上角為原點，攝像頭位于一個繞X軸旋轉(zhuǎn)的圓周上。對于一個筆記本電腦，其物理大小、攝像頭在筆記本上的位置、兩個攝像頭之間的距離等可以視為常量，所以攝像頭在三維坐標(biāo)系中的坐標(biāo)可以計算出來，根據(jù)屏幕的打開角度，可以計算出攝像頭在三維坐標(biāo)系中的坐標(biāo)，屏幕打開角度大小的計算方法可以使用一個角度傳感器來測量；也可以在鍵盤上取一個大小、位置已知的參照物，在不同角度時，參照物圖像大小或位置不同，在工作前，建立兩者的對應(yīng)關(guān)系，在工作時，攝像頭拍攝的參照物圖像，根據(jù)其大小或位置得到屏幕的角度，進一步算出攝像頭的坐標(biāo)。
[0080]用戶在每次打開筆記本時，屏幕打開的角度和上次打開的角度可能不一樣，所以每次使用前，要重新計算攝像頭的坐標(biāo)。在工作時，屏幕的位置通常是固定的，攝像頭坐標(biāo)不變。
[0081]上述計算可以直接或間接算出鍵盤表面每個點與攝像頭的距離Z，通過視差法或三維視覺，計算出指尖與攝像頭的距離L，Z=L，則指尖位于鍵盤表面。
[0082]或者取攝像頭坐標(biāo)系，左上角的esc鍵、右上角的F12鍵、右下角的Ctrl鍵的右上角為鍵盤表面的參照點，計算出攝像頭與參照點的距離，求出鍵盤表面的平面公式，再從圖像中找到指尖，通過視差法計算出指尖坐標(biāo)，判斷指尖是否位于平面。
[0083]用戶的鍵盤操作和鼠標(biāo)操作都在鍵盤上完成，手指在鍵盤上的運動分成三類:1、擊鍵動作:手指由上向下運動，方向和鍵盤表面大致垂直，同時，一般有按鍵被按下的電信號；2、有效動作:手指貼著鍵盤表面移動，一根手指貼著鍵盤表面移動為光標(biāo)動作，此時，手指的移動控制光標(biāo)的移動；多根手指貼著鍵盤表面移動時，根據(jù)不同的手勢，代表不同的操作，手勢的意義，可以自定義。如兩個手指同時向下移動，代表滾動條向下移動；四根手指向下移動，代表窗口最小化操作；兩根手指相向運動，表示關(guān)閉一個程序；兩根手指背向運動，表示打開一個程序。3、其他動作:除了垂直運動和貼著鍵盤表面運動之外的移動，這類動作常常是用戶的習(xí)慣動作或無意的動作。通過對用戶的使用習(xí)慣進行分析，用戶操作鍵盤的動作和無意的動作都不是貼著鍵盤表面的。
[0084]鼠標(biāo)需要判斷上述三種用戶動作，具體地說，是需要識別出第2類，有效動作。判斷方法是:判斷手指是否貼著鍵盤表面，如果是第2類有效動作，鼠標(biāo)進行響應(yīng)；對第一類或第三類無效動作，鼠標(biāo)不予響應(yīng)。
[0085]另外取一個時間作為無效閾值，進一步區(qū)分第I類動作和第2類動作，避免操作鍵盤時，鼠標(biāo)出現(xiàn)誤操作。當(dāng)手指按下鍵盤按鍵時，從這一時刻起到無效閾值期間，手指鼠標(biāo)停止響應(yīng)，光標(biāo)保持原來的位置。采用無效閾值，當(dāng)用戶在鍵盤上連續(xù)、快速按下按鍵時，鼠標(biāo)停止工作。無效閾值取值為0.2秒，也可以根據(jù)用戶的使用習(xí)慣進行調(diào)整，比如取0.1秒或0.5秒。無效閾值可以作為一個輔助手段，避免在用戶按鍵是，出現(xiàn)誤操作。當(dāng)用戶在按鍵輸入文字時，在一個較短時間內(nèi)，如0.2秒內(nèi)，鼠標(biāo)不會響應(yīng)?；蛘邫z測到手指的運動是上下運動時，時間閾值內(nèi)，光標(biāo)不響應(yīng)。
[0086]和普通鍵盤上各個按鍵之間存在間隙不同，本發(fā)明中鍵盤的表面是平滑的，以便于手指的移動。同時，在鍵盤中央的上下兩排按鍵之間安裝有起托放手指作用的固定支架，稱為指托，當(dāng)用戶的手指在鍵盤表面移動時，其它手指可放在指托上，這既能避免其它手指錯誤地按下按鍵，也為手指的移動提供了支撐點和著力點。左右鍵可以安裝在指托上，用食指、中指或無名指操作，也可安裝在標(biāo)準(zhǔn)鍵盤的空格鍵附近，由大拇指操作。
[0087]使用手指鼠標(biāo)時，用戶的鍵盤操作和鼠標(biāo)操作都在鍵盤上完成，當(dāng)使用鍵盤輸入時，用戶按正常的方式上下?lián)翩I，和普通鍵盤的使用方式一樣；當(dāng)使用鼠標(biāo)時，手不需要離開鍵盤，其它手指放在指托上保持靜止，食根手指貼著鍵盤表面移動，光標(biāo)會隨著食指移動，左右鍵的操作方式和普通鼠標(biāo)是一致的；需要手勢操作時，多根手指貼著鍵盤同時移動，即可執(zhí)行自定義的相應(yīng)操作。
[0088]手指鼠標(biāo)可以取代筆記本電腦上的觸摸板。
[0089]實施例2與筆記本電腦鍵盤結(jié)合的手指鼠標(biāo)2
[0090]包括一個攝像頭，一個光源，左鍵，右鍵。攝像頭安裝在筆記本屏幕上方的邊框的中間位置，對準(zhǔn)鍵盤中央；光源位于攝像頭旁邊，對準(zhǔn)鍵盤；左右鍵位于鍵盤空格鍵附近。
[0091]使用投影法判斷手指是否與鍵盤接觸。工作時，光源對準(zhǔn)鍵盤提供照明，使手指在鍵盤上形成陰影。攝像頭拍攝手指運動的連續(xù)圖像，每秒拍攝100幀圖像，在攝像頭拍攝的每一幀圖像中，識別出手指以及手指的陰影，進一步識別出手指指尖及其陰影，在圖像上計算手指的指尖和其的指尖兩者的距離，如果該距離小于一個閾值或者為0，則表明手指和鍵盤表面接觸。如果手指與鍵盤接觸，則從前后兩幀圖像中手指的位置變化，控制屏幕上光標(biāo)的運動。
[0092]實施例3與臺式電腦鍵盤結(jié)合的手指鼠標(biāo)I
[0093]如圖1所示。
[0094]在鍵盤上安裝一個支架，兩個攝像頭平行安裝于支架上，對準(zhǔn)鍵盤，支架與鍵盤的位置關(guān)系是已知的，且固定的，本實施例其它方面同實施例1。
[0095]實施例4與臺式電腦鍵盤結(jié)合的手指鼠標(biāo)2
[0096]兩個外接式攝像頭安裝在臺式機的屏幕上方的邊框中，成左右排列，對準(zhǔn)鍵盤，攝像頭之間的距離是已知量，攝像頭通過usb接口與系統(tǒng)連接。此例中，攝像頭和鍵盤表面的距離是不固定且變化無規(guī)律，應(yīng)通過三維測量、三維重建等技術(shù)計算出鍵盤平面位置，并測量手指指尖坐標(biāo)，基于雙目視覺的三維測量、三維重建技術(shù)已經(jīng)比較成熟，此處不一一列舉。判斷指尖是否貼著鍵盤表面，如果是，則判斷根據(jù)指尖的運動情況，控制光標(biāo)運動。
[0097]鼠標(biāo)左右鍵安裝在鍵盤空格鍵附近，由大拇指操作。
[0098]目前，臺式機的鍵盤和鼠標(biāo)以及屏幕是分離的，操作時，用戶的手需要在鍵盤和鼠標(biāo)之間來回移動，很不方便。筆記本電腦上用的鼠標(biāo)裝置一般是觸控桿或觸摸板，觸控桿占用的體積小，攜帶方便，但是使用方式和常規(guī)的鼠標(biāo)差異太大，使用不便。觸摸板占用的體積大，而其和鍵盤實際上也是分離的。本發(fā)明公開的鼠標(biāo)和鍵盤完美地融合起來，不占用鍵盤體積，攜帶非常方便，使用時手不需要離開鍵盤，同時，用手指直接控制光標(biāo)的移動，比常規(guī)鼠標(biāo)的使用方式更加方便。
[0099]實施例5與平板電腦外接鍵盤結(jié)合的手指鼠標(biāo)
[0100]在用平板電腦工作時，往往需要使用外接鍵盤，此時，使用手指鼠標(biāo)，能去掉通常的光電鼠標(biāo)，顯著提高便攜性和使用方便性。
[0101]在平板電腦的邊框，內(nèi)置安裝兩個攝像頭，兩個攝像頭的內(nèi)部參數(shù)一致，光軸平行。或者一個3D攝像頭。外接鍵盤的空格鍵外側(cè)安裝鼠標(biāo)左鍵右鍵，在外接鍵盤的左、右上角畫兩個小紅點為參照點，攝像頭的角度能拍攝整個鍵盤范圍的圖像。工作時，攝像頭拍攝手指和參照點圖像，測量出手指指尖和參照點的圖像距離，如果兩個攝像頭中對應(yīng)的距離相同，則手指指尖位于鍵盤表面。進一步分析連續(xù)圖像，通過指尖在連續(xù)圖像的相對位置的變化，控制屏幕光標(biāo)的位置移動；如果距離不同，則不作后續(xù)處理。左鍵右鍵的功能和普通光電鼠標(biāo)的功能一致。
[0102]鍵盤和平板電腦的相對位置可以是變化的。
[0103]實施例6與臺式電腦鍵盤結(jié)合的手指鼠標(biāo)3
[0104]鍵盤邊緣安裝兩個參數(shù)一致的攝像頭，一個位于F4鍵附近，一個位于F6鍵附近，攝像頭位置、光軸角度固定且已知，攝像頭光軸略高并緊貼著于鍵盤表面，光軸平行于鍵盤表面，兩個攝像頭光軸相互平行。左右鍵位于鍵盤空格鍵附近。
[0105]由于光軸平行于鍵盤表面，且緊貼著鍵盤表面，所以，鍵盤表面的物體成像于中心位置，則圖像有效區(qū)域是一個平行于鍵盤表面，位于圖像中心的帶狀水平(如果鍵盤水平放置)區(qū)域，設(shè)其高度為3個像素。
[0106]在圖像中，如果在這個3個像素高的圖像有效區(qū)域中有圖像時，表明手指在鍵盤表面，此時，在兩個攝像頭所成圖像中，取手指圖像的中心點，測量出其位置，則可以求出手指指尖所處的位置。
[0107]根據(jù)手指指尖位置的變化，控制光標(biāo)的移動。左右鍵的使用方法和普通鼠標(biāo)一致。
[0108]以上所述，僅是本發(fā)明的較佳實施例，并非對本發(fā)明做任何形式上的限制，任何熟悉本專業(yè)的技術(shù)人員，在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，可以利用上述揭示的方法及技術(shù)內(nèi)容做出些許的更改，但是凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明技術(shù)實質(zhì)對以上實施例所做的任何簡單修改、等同變化與修飾，均屬于本發(fā)明技術(shù)方案的范圍內(nèi)。
【權(quán)利要求】
1.一種用手指直接控制光標(biāo)的鼠標(biāo)裝置，包括一個或多個攝像頭、左鍵、右鍵，其工作方法是，攝像頭拍攝手指運動的連續(xù)圖像，通過對圖像進行分析，基于立體視覺或視差原理或者投影法或者兩參照點法判斷出手指是否貼著工作平面，如果是，則在攝像頭拍攝的連續(xù)圖像中，根據(jù)手指圖像的位置變化，控制光標(biāo)做相應(yīng)移動；如果否，則光標(biāo)不移動；或者采用平行交點法，判斷手指是否貼著鍵盤表面，如果是，則計算出手指位置，根據(jù)手指位置的移動，控制光標(biāo)移動。
2.根據(jù)權(quán)利要求1所述的鼠標(biāo)裝置，其特征是:工作平面是鍵盤表面。
3.根據(jù)權(quán)利要求2所述的鼠標(biāo)裝置，其特征是:鍵盤表面是平滑的。
4.根據(jù)權(quán)利要求2所述的鼠標(biāo)裝置，其特征是:在鍵盤上相鄰的兩排按鍵之間安裝指托，指托是起托放手指作用的固定支架。
5.根據(jù)權(quán)利要求1所述的鼠標(biāo)裝置，其特征是:左右鍵位于指托上，或者位于鍵盤空格鍵附近。
6.根據(jù)權(quán)利要求1所述的鼠標(biāo)裝置，其特征是:安裝有反射條。
7.根據(jù)權(quán)利要求1所述的鼠標(biāo)裝置，其特征是:攝像頭是紅外攝像頭，或者帶有多個分攝像頭的3D攝像頭，或者是外接式攝像頭，或者是內(nèi)嵌式攝像頭。
8.根據(jù)權(quán)利要求1所述的鼠標(biāo)裝置，其特征是:用光源對手指進行照明。
9.根據(jù)權(quán)利要求1所述的鼠標(biāo)裝置，其特征是:當(dāng)檢測到按鍵被按下時，或者是手指做上下運動時，取一段時間閾值，處于該閾值內(nèi)，光標(biāo)不響應(yīng)，時間閾值取值為0.1秒-0.5秒。
10.根據(jù)權(quán)利要求1所述的鼠標(biāo)裝置，其特征是:多根手指同時貼著鍵盤表面移動時，不同的移動方式，定義不同的操作。
【文檔編號】G06F3/01GK104049747SQ201410109161
【公開日】2014年9月17日 申請日期:2014年3月17日 優(yōu)先權(quán)日:2014年1月24日
【發(fā)明者】胡世曦 申請人:胡世曦