專利名稱:一種實現(xiàn)鍵盤輸入的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及人機交互技術(shù)領(lǐng)域,特別是涉及一種實現(xiàn)鍵盤輸入的方法及系統(tǒng)。
背景技術(shù):
計算機操作系統(tǒng)的人機交互功能是決定計算機系統(tǒng)“友善性”的一個重要因素。人機交互功能主要依靠可輸入輸出的外部設(shè)備和相應(yīng)的軟件來完成。通常,可供人機交互使用的設(shè)備主要有鍵盤、鼠標、各種模式識別設(shè)備、顯示器等。與這些設(shè)備相應(yīng)的軟件就是操作系統(tǒng)提供人機交互功能的部分。人機交互部分的主要作用是控制有關(guān)設(shè)備的運行和理解并執(zhí)行通過人機交互設(shè)備傳來的有關(guān)的各種命令和要求。最為常用的人機交互設(shè)施是鍵盤顯示器,具體的,操作員通過鍵盤輸入命令,操作系統(tǒng)接到命令后立即執(zhí)行,并將執(zhí)行結(jié)果通過顯示器顯示。操作人員通過鍵盤輸入命令時,需要操作人員使用手指按下鍵盤上的按鍵,然后操作系統(tǒng)才能夠正確地解釋出相應(yīng)的命令并執(zhí)行。然而,在現(xiàn)實生活中,很多人由于各種原因可能失去了雙手,使得其不方便甚至不能使用計算機,以至于與信息社會相隔離,能夠像雙手健全的人一樣使用計算機一直是這部分人的夢想。因此,本領(lǐng)域技術(shù)人員需要解決的一個技術(shù)問題就是,如何能夠提供一種模擬鍵盤輸入的方法,使得失去雙手的殘疾人士也能夠方便地通過鍵盤實現(xiàn)人機交互。
發(fā)明內(nèi)容
本發(fā)明提供一種實現(xiàn)鍵盤輸入的方法及系統(tǒng),能夠?qū)崿F(xiàn)非接觸式的鍵盤輸入,方便失去雙手的殘疾人士進行人機交互。本發(fā)明提供了如下方案一種實現(xiàn)鍵盤輸入的方法,包括預(yù)先對鍵盤位置及各個鍵位進行建模;跟蹤帶有殘指或相關(guān)接長手指部位的雙手的運動;當(dāng)根據(jù)所述跟蹤結(jié)果判斷出通過所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作時,確定做出所述示意動作時所在的位置;根據(jù)所述示意動作所在位置,以及所述鍵盤位置、各個鍵位的建模結(jié)果,確定所述示意動作所在位置對應(yīng)的鍵位;模擬按下該鍵位的操作,以便操作系統(tǒng)接收到按下該鍵位的事件,并通過顯示設(shè)備顯示相應(yīng)的操作結(jié)果。優(yōu)選的,所述跟蹤殘指或相關(guān)接長手指部位的運動包括利用至少三個跟蹤裝置記錄所述殘指或相關(guān)接長手指部位在各個維度上的位置信息;所述確定做出所述示意動作時所在的位置包括根據(jù)各個維度上的位置信息,計算得到所述殘指或相關(guān)接長手指部位在空間中的絕對位置。優(yōu)選的,所述主動跟蹤裝置包括攝像頭。
優(yōu)選的,所述殘指或相關(guān)接長手指部位帶有信號發(fā)出裝置,所述跟蹤殘指或相關(guān)接長手指部位的運動包括利用至少三個跟蹤裝置接收所述信號發(fā)出裝置發(fā)出的信號,記錄所述殘指或相關(guān)接長手指部位在各個維度上的位置信息;所述確定做出所述示意動作時所在的位置包括根據(jù)各個維度上的位置信息,計算得到所述殘指或相關(guān)接長手指部位在空間中的絕對位置。優(yōu)選的,所述信號發(fā)出裝置包括點光源。優(yōu)選的,所述記錄所述殘指或相關(guān)接長手指部位在各個維度上的位置信息包括記錄各個跟蹤裝置與所述殘指或相關(guān)接長手指部位之間分別形成的夾角;所述根據(jù)各個維度上的位置信息,計算得到所述殘指或相關(guān)接長手指部位在空間中的絕對位置包括根據(jù)所述夾角,利用立體幾何中的公式計算得出所述殘指或相關(guān)接長手指部位在空間中的絕對位置。優(yōu)選的,通過以下方式判斷是否做出按下鍵位的示意動作當(dāng)所述帶有殘指或相關(guān)接長手指部位的雙手運動的加速度及位移都達到預(yù)置條件時,確定所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作。一種實現(xiàn)鍵盤輸入的系統(tǒng),包括建模單元,用于預(yù)先對鍵盤位置及各個鍵位進行建模;跟蹤單元,用于跟蹤帶有殘指或相關(guān)接長手指部位的雙手的運動;定位單元,用于當(dāng)根據(jù)所述跟蹤結(jié)果判斷出通過所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作時,確定做出所述示意動作時所在的位置;鍵位確定單元,用于根據(jù)所述示意動作所在位置,以及所述鍵盤位置、各個鍵位的建模結(jié)果,確定所述示意動作所在位置對應(yīng)的鍵位;操作模擬單元,用于模擬按下該鍵位的操作,以便操作系統(tǒng)接收到按下該鍵位的事件,并通過顯示設(shè)備顯示相應(yīng)的操作結(jié)果。優(yōu)選的,所述跟蹤單元包括主動跟蹤單元,用于利用至少三個跟蹤裝置記錄所述殘指或相關(guān)接長手指部位在各個維度上的位置信息;所述定位單元具體用于根據(jù)各個維度上的位置信息,計算得到所述殘指或相關(guān)接長手指部位在空間中的絕對位置。優(yōu)選的,所述主動跟蹤裝置包括攝像頭。優(yōu)選的,還包括信號發(fā)出裝置,位于所述殘指或相關(guān)接長手指部位上,用于發(fā)出信號;所述跟蹤單元包括被動跟蹤單元,用于利用至少三個跟蹤裝置接收所述信號發(fā)出裝置發(fā)出的信號,記錄所述殘指或相關(guān)接長手指部位在各個維度上的位置信息;所述定位單元具體用于,根據(jù)各個維度上的位置信息,計算得到所述殘指或相關(guān)接長手指部位在空間中的絕對位置。優(yōu)選的,所述信號發(fā)出裝置包括點光源。優(yōu)選的,所述跟蹤單元包括記錄子單元,用于記錄各個跟蹤裝置與所述殘指或相關(guān)接長手指部位之間分別形成的夾角;
5
所述定位單元包括計算子單元,用于根據(jù)所述夾角,利用立體幾何中的公式計算得出所述殘指或相關(guān)接長手指部位在空間中的絕對位置。優(yōu)選的,所述定位單元包括動作確定子單元,用于當(dāng)所述帶有殘指或相關(guān)接長手指部位的雙手運動的加速度及位移都達到預(yù)置條件時,確定所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作。根據(jù)本發(fā)明提供的具體實施例,本發(fā)明公開了以下技術(shù)效果本發(fā)明能夠跟蹤殘指或相關(guān)接長手指部位的運動,當(dāng)所述殘指或相關(guān)接長手指部位做出敲擊鍵盤的示意動作時,確定所述示意動作所在位置對應(yīng)的鍵位,然后模擬按下該鍵位的操作,以便操作系統(tǒng)接收到按下該鍵位的事件,并通過顯示設(shè)備顯示相應(yīng)的操作結(jié)果。通過本發(fā)明,在實現(xiàn)人機交互的過程中不需要接觸鍵盤,便能夠完成鍵盤輸入,因此,即使失去雙手的殘疾人士,只要具有部分殘指,或者帶有相關(guān)接長手指,就可以像健全人一樣方便地進行人機交互。
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。圖1是本發(fā)明實施例提供的方法的流程圖;圖2是本發(fā)明實施例提供的主動跟蹤系統(tǒng)的示意圖;圖3是本發(fā)明實施例提供的被動跟蹤系統(tǒng)的示意圖;圖4是本發(fā)明實施例提供的系統(tǒng)的示意圖。
具體實施例方式下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。參見圖1,本發(fā)明實施例提供的實現(xiàn)鍵盤輸入的方法包括以下步驟SlOl 預(yù)先對鍵盤位置及各個鍵位進行建模;該步驟是一個預(yù)先學(xué)習(xí)與分析的步驟,可以在用戶進行具體的鍵盤輸入之前進行,在完成該建模的步驟之后,用戶就可以進行具體的鍵盤輸入。當(dāng)然,在完成建模之后,可以保存該模型信息,下次用戶再進行鍵盤輸入時,只要鍵盤的位置沒有改變,就可以直接使用上次建立的模型,否則,如果鍵盤的位置發(fā)生了改變,則需要重新進行建模的步驟,關(guān)于具體如何進行建模,后文中有詳細的介紹。S102 跟蹤帶有殘指或相關(guān)接長手指部位的雙手的運動;S103:當(dāng)根據(jù)所述跟蹤結(jié)果判斷出通過所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作時,確定做出所述示意動作時所在的位置;本發(fā)明實施例提供的方法,適用于手部殘疾的人士,如果手上具有殘指,則可以利
6用該殘指完成鍵盤輸入,如果完全沒有手指,則可以在手上安裝相關(guān)接長手指部位。該殘指或相關(guān)接長手指部位并不需要直接接觸鍵盤,只要在鍵盤上方移動,在需要的按鍵上方做出按下鍵位的示意動作即可。具體實現(xiàn)時,該示意動作可以有多種表現(xiàn)形式,例如,正常的移動時,殘指或相關(guān)接長手指部位的運動軌跡可以保持基本水平,當(dāng)需要按下某個按鍵時,向下做一個點擊的示意動作;或者,還可以讓用戶移動到自己需要敲擊的鍵位上之后,停留一段時間,對于系統(tǒng)而言,當(dāng)用戶的殘指或相關(guān)接長手指部位在某處停留超過預(yù)置時間之后,就可以認為該用戶需要按下該處的按鍵。當(dāng)判斷出用戶做出按下鍵位的示意動作之后,就可以確定做出所述示意動作時所在的位置信息。具體實現(xiàn)時,具體的確定示意動作所在位置信息的方法,可以與跟蹤的方法相關(guān),即取決于跟蹤的方法,關(guān)于具體的實現(xiàn)可以有多種,后文中會有詳細地介紹。S104 根據(jù)所述示意動作所在位置,以及所述鍵盤位置、各個鍵位的建模結(jié)果,確定所述示意動作所在位置對應(yīng)的鍵位;所述的“示意動作所在位置”可能是一個坐標值等信息,該信息是在步驟S103中獲得的,該步驟S104的目的就是根據(jù)該坐標值,確定出示意動作所在位置對應(yīng)的鍵位,只有知道具體是哪個鍵位,才可以輔助用戶完成鍵盤輸入。S105 模擬按下該鍵位的操作,以便操作系統(tǒng)接收到按下該鍵位的事件,并通過顯示設(shè)備顯示相應(yīng)的操作結(jié)果。由于確定了用戶按下鍵位的示意動作對應(yīng)的鍵位,因此,就可以模擬按下該鍵位的操作,這樣,系統(tǒng)就會顯示出相應(yīng)的操作結(jié)果,例如,將用戶按下的鍵位對應(yīng)的字母或符號等顯示在當(dāng)前的應(yīng)用程序中,等等。如前文所述,步驟S102的具體實現(xiàn)方式可以有多種,下面介紹具有代表性的兩種。
具體實施方式
一在該具體實施方式
一中,可以采用主動軌跡跟蹤的方式,即從人手的至少三個維度由外向內(nèi)跟蹤,例如,可以使用至少三個相機對人手的位置進行跟蹤。下面以三個相機為例,對本發(fā)明實施例的具體實現(xiàn)進行詳細地介紹。參見圖2,為了實現(xiàn)本發(fā)明實施例提供的方法,系統(tǒng)中需要具有以下設(shè)備計算機顯示裝置201、主動跟蹤裝置202、203、204 (例如,如圖2中所示,可以是三個攝像頭)、手指操作計算分析裝置205(該手指操作計算分析裝置205可以承載在一種有計算能力的裝置上)、計算機鍵盤206,以上這些裝置可以通過有線或無線等方式連接在一起,互相傳遞信息,共同配合輔助用戶使用殘指或相關(guān)接長手指部位完成鍵盤輸入。其中,當(dāng)使用圖2所描述的系統(tǒng)輔助進行鍵盤輸入時,在假設(shè)已經(jīng)完成建模的前提下,可以采用以下步驟實現(xiàn)步驟1 當(dāng)帶有殘指或相關(guān)接長手指部位的雙手以計算機鍵盤206為參照物運動時,主動跟蹤裝置202、203、204對帶有殘指或相關(guān)接長手指部位的雙手進行跟蹤(例如可以通過攝像頭取得圖像數(shù)據(jù)),當(dāng)通過所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作時,獲得雙手的絕對位置信息;步驟2 所獲得的絕對位置信息被送到手指操作計算分析裝置205,通過分析計算
7人手上的殘指可以被定位;具體的,手指操作計算分析裝置205通過對比前次位置以及預(yù)先建立的模型就可以確定出殘指或相關(guān)接長手指部位敲擊的是計算機鍵盤206上哪個鍵位;步驟3 確定所敲擊的計算機鍵盤206的鍵位后,手指操作計算分析裝置205就可以模擬按下該鍵位的操作,然后,應(yīng)用的操作結(jié)果就可以在計算機顯示裝置201上顯示。其中,在步驟2中進行定位的方法可以包括以下步驟1)假設(shè)圖2中的207和208分別為用戶的帶有殘指或相關(guān)接長手指部位的兩只手Handl、Hand2,主動跟蹤裝置202、203、204對帶有殘指或相關(guān)接長手指部位的Handl207 進行跟蹤時,主動跟蹤裝置202、203、204與Handl207的A節(jié)點之間可以形成相應(yīng)的夾角 (如圖2所示);2)手指操作計算分析裝置205在獲得所述夾角信息之后,可以根據(jù)立體幾何中的公式進行計算,最后得出Handl207的A節(jié)點在三維空間中的絕對位置;其中,為了進行三維空間定位,可以在建模時建立一個三維直角坐標系,然后由三個維度的追蹤裝置分別獲取各自維度的數(shù)據(jù),由于所有的追蹤裝置都指向一個點(手),所以獲取的數(shù)據(jù)必然在坐標系中相交于一個點(可以想象房屋的四個角,每個角都相當(dāng)于是這樣一個點),由此確定出手上的A點在三維空間的絕對位置。當(dāng)然,如果只考慮手的起始、 終止位置,則可以計算出手移動的距離,如果再計算上時間因素(手指靜止到運動再到停止所經(jīng)過的時間),可以計算出速度,加速度等信息,由于考慮到每次移動的速度可能不一樣,在人機交互的過程中統(tǒng)計速度與加速度,分別得出相應(yīng)的概率。3)手指操作計算分析裝置205根據(jù)Handl207的A節(jié)點在三維空間里的絕對位置以及預(yù)先對計算機鍵盤206上的鍵位進行的建模結(jié)果,就可以得出Handl207的A節(jié)點是在哪個鍵位的上方。
具體實施方式
二在該具體實施方式
二中,可以采用被動軌跡跟蹤的方式,即從人手的至少三個維度由內(nèi)向外跟蹤,例如,在人的殘指上涂有發(fā)射物質(zhì),計算機的鍵盤和屏幕通過接收所發(fā)射的射線進行位置跟蹤,等等。下面以三個維度為例,對本發(fā)明實施例的具體實現(xiàn)進行詳細地介紹。參見圖3,為了實現(xiàn)本發(fā)明實施例提供的方法,系統(tǒng)中需要具有以下設(shè)備計算機顯示裝置301、被動跟蹤裝置302、303、304(例如,可以是三個光線接收器等)、手指操作計算分析裝置305(該手指操作計算分析裝置305可以承載在一種有計算能力的裝置上)、計算機鍵盤306,同樣,以上這些裝置可以通過有線或無線等方式連接在一起,互相傳遞信息, 共同配合輔助用戶使用殘指或相關(guān)接長手指部位完成鍵盤輸入。當(dāng)使用圖3所描述的系統(tǒng)輔助進行鍵盤輸入時,在假設(shè)已經(jīng)完成建模的前提下, 可以采用以下步驟實現(xiàn)步驟1 當(dāng)帶有殘指或相關(guān)接長手指部位的雙手以計算機鍵盤306為參照物運動時,帶有信號發(fā)出裝置的殘指或相關(guān)接長手指部位可以發(fā)出信號,被動跟蹤裝置302、303、 304對帶有殘指或相關(guān)接長手指部位的雙手進行跟蹤(例如,信號發(fā)出裝置可以是點光源, 使得殘指或相關(guān)接長手指部位可以發(fā)出的光線),當(dāng)通過所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作時,獲得雙手的絕對位置信息;
8
步驟2 所獲得的絕對位置信息被送到手指操作計算分析裝置305,通過分析計算人手上的殘指或相關(guān)接長手指部位可以被定位;具體的,手指操作計算分析裝置305通過對比前次位置以及預(yù)先建立的模型就可以確定出殘指或相關(guān)接長手指部位敲擊的是計算機鍵盤306上哪個鍵位;步驟3 確定所敲擊的計算機鍵盤306的鍵位后,手指操作計算分析裝置305就可以模擬按下該鍵位的操作,然后,應(yīng)用的操作結(jié)果就可以在計算機顯示裝置301上顯示。從以上描述可以看出,被動跟蹤與主動跟蹤的不同之處僅在于跟蹤裝置獲取雙手位置的方式不同,即主動、被動只是獲取坐標的方式不同,獲取到雙手的位置信息之后,手指操作計算分析裝置305進行的操作與手指操作計算分析裝置305進行的操作是相同的, 在步驟2中進行定位的方法,也與主動跟蹤方式中的相同,這里不再贅述。當(dāng)然,無論是采用主動跟蹤還是被動跟蹤的實現(xiàn)方式,準確地確定出用戶的擊鍵動作都是非常重要的。具體實現(xiàn)時,為了提高判斷的準確度,可以采用如下方式步驟1 當(dāng)帶有殘指或相關(guān)接長手指部位的雙手運動時,根據(jù)跟蹤裝置反饋的相關(guān)信息,手指操作計算分析裝置可以對運動的速度和加速進行計算;步驟2 如果加速度大于某預(yù)置的閾值a時,進入步驟3 ;其中,該預(yù)置的閾值a為通過機器學(xué)習(xí)獲得的參數(shù)。例如a = S*a’ *X,其中S是判斷為擊鍵動作基本加速度,X是上次成功判斷的概率;其中a是經(jīng)過此次計算后新的a值,a’是上個閾值,即閾值不是固定的,而是根據(jù)每次輸入變化的。閾值的初始值可以是人機交互建模時得到的。S是判斷基本加速度,X是成功判斷的概率。X = c/d,其中,c是判斷成功的次數(shù),d是總共判斷次數(shù)。步驟3 如果殘指或相關(guān)接長手指部位運動時,判斷移動的位移是否大于或等于b 倍歷史擊鍵動作的位移時,如果是,進入步驟4 ;其中,b是通過機器學(xué)習(xí)獲得的參數(shù)。例如 b = D*b’ *(1+Y),其中D是判斷為擊鍵動作基本移動距離,Y是上次成功判斷的概率;其中,b是經(jīng)過此次計算后新的閾值,b’是上個閾值,同樣,閾值的初始值可以是由人機交互建模時得到的,D是判斷為擊鍵動作的基本位移,Y是成功判斷的概率。其中,Y =e/f, e是判斷成功的次數(shù),f是總的判斷次數(shù)。步驟4 將當(dāng)前操作判斷為擊鍵動作,即通過所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作。以上對具體的鍵盤輸入實現(xiàn)方法進行了介紹,但是在假設(shè)已經(jīng)完成建模的前提下介紹的,下面對具體的建模方法進行簡單地介紹。如前文所述,在本發(fā)明實施例中,由于需要依靠用戶的殘指或相關(guān)接長手指部位的移動距離,來確定用戶需要按下哪個按鍵,因此,需要預(yù)先進行學(xué)習(xí)與分析,對鍵盤位置及各個鍵位進行建模,即建立各個鍵位所在位置的相對關(guān)系。建立該相對關(guān)系的方法可以有多種,例如,可以確定一個基準鍵位,然后分別確定其他鍵位與該基準鍵位之間的位置關(guān)系,該位置關(guān)系包括各鍵位到基準鍵位的方向及距離,由于所有按鍵都在鍵盤所在的同一平面上,因此,最終可以以基準鍵位為原點,建立起二維坐標系,并且可以得到各個鍵位在該坐標系中的坐標;當(dāng)然,由于每個按鍵并不是一個點,而是占有一定的面積,并且可以預(yù)先獲知各個鍵位所占的面積,因此,每個按鍵在該坐標系中的坐標可以是一個范圍,當(dāng)獲得的按鍵所在位置落入某按鍵的坐標范圍時,就認為
9用戶是要按下該按鍵。具體對鍵盤位置及各個鍵位進行建模時,也需要用戶使用帶有殘指或相關(guān)接長手指部位的雙手做出按下鍵位的示意動作,并且需要對雙手的運動進行跟蹤,確定出各個示意動作對應(yīng)的位置信息(具體的方法與前文所述的相同,可以分為主動跟蹤或被動跟蹤的方式)。其中,可以使用人機對話的方式引導(dǎo)用戶按鍵,由用戶進行按下相應(yīng)鍵位的示意動作,直至輸入完鍵盤上的所有鍵位。如有輸入錯誤則重新進行上次輸入。例如,可以首先引導(dǎo)用戶按下基準鍵位,然后引導(dǎo)用戶按下鍵盤上的下一鍵位,并跟蹤殘指或相關(guān)接長手指部位的運動,當(dāng)所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作時,確定做出所述示意動作時所在的位置,根據(jù)從基準鍵位到該下一鍵位的方向、距離,以及案件所占的面積,確定出該下一鍵位在該坐標系中的坐標范圍,其他各個鍵位也都可以利用相同的方法確定出各自的坐標范圍,所有按鍵全部確定完坐標范圍之后,就完成了建模的步驟。以上所述對本發(fā)明實施例提供的實現(xiàn)鍵盤輸入的方法進行了詳細地描述,可以看出,本發(fā)明實施例通過建模、跟蹤、定位、模擬操作等幾個步驟輔助用戶實現(xiàn)了鍵盤輸入,換而言之,相當(dāng)于利用跟蹤裝置、定位裝置等相關(guān)裝置實現(xiàn)了一種“虛擬手指”,利用該“虛擬手指”,即使用戶的雙手殘疾,也可以方便地進行鍵盤輸入,使得殘疾人士能夠像雙手健全的人一樣使用計算機。與本發(fā)明實施例提供的實現(xiàn)鍵盤輸入的方法相對應(yīng),本發(fā)明實施例還提供了一種實現(xiàn)鍵盤輸入的系統(tǒng),參見圖4,該系統(tǒng)包括以下單元建模單元401,用于預(yù)先對鍵盤位置及各個鍵位進行建模;跟蹤單元402,用于跟蹤帶有殘指或相關(guān)接長手指部位的雙手的運動;定位單元403,用于當(dāng)根據(jù)所述跟蹤結(jié)果判斷出通過所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作時,確定做出所述示意動作時所在的位置;鍵位確定單元404,用于根據(jù)所述示意動作所在位置,以及所述鍵盤位置、各個鍵位的建模結(jié)果,確定所述示意動作所在位置對應(yīng)的鍵位;操作模擬單元405,用于模擬按下該鍵位的操作,以便操作系統(tǒng)接收到按下該鍵位的事件,并通過顯示設(shè)備顯示相應(yīng)的操作結(jié)果。其中,可以采用主動跟蹤的方式實現(xiàn),此時,跟蹤單元402可以包括主動跟蹤單元,用于利用至少三個跟蹤裝置記錄所述殘指或相關(guān)接長手指部位在各個維度上的位置信息;相應(yīng)的,定位單元403具體用于根據(jù)各個維度上的位置信息,計算得到所述殘指或相關(guān)接長手指部位在空間中的絕對位置。具體實現(xiàn)時,所述主動跟蹤裝置包括攝像頭?;蛘?,也可以采用被動跟蹤的方式實現(xiàn),此時,該系統(tǒng)還包括信號發(fā)出裝置,位于所述殘指或相關(guān)接長手指部位上,用于發(fā)出信號;此時,跟蹤單元402可以包括被動跟蹤單元,用于利用至少三個跟蹤裝置接收所述信號發(fā)出裝置發(fā)出的信號,記錄所述殘指或相關(guān)接長手指部位在各個維度上的位置信息;相應(yīng)的,定位單元403具體用于,根據(jù)各個維度上的位置信息,計算得到所述殘指或相關(guān)接長手指部位在空間中的絕對位置。
10
具體實現(xiàn)時,所述信號發(fā)出裝置可以為點光源。無論是采用主動跟蹤還是被動跟蹤的方式,具體在進行跟蹤時,跟蹤單元402可以包括記錄子單元,用于記錄各個跟蹤裝置與所述殘指或相關(guān)接長手指部位之間分別形成的夾角;相應(yīng)的,定位單元403可以包括計算子單元,用于根據(jù)所述夾角,利用立體幾何中的公式計算得出所述殘指或相關(guān)接長手指部位在空間中的絕對位置。為了準確地判斷出擊鍵動作,減小誤判的可能,定位單元403可以包括動作確定子單元,用于當(dāng)所述帶有殘指或相關(guān)接長手指部位的雙手運動的加速度及位移都達到預(yù)置條件時,確定所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作。以上對本發(fā)明所提供的一種實現(xiàn)鍵盤輸入的方法及系統(tǒng),進行了詳細介紹,本文中應(yīng)用了具體個例對本發(fā)明的原理及實施方式進行了闡述,以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想;同時,對于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明的思想,在具體實施方式
及應(yīng)用范圍上均會有改變之處。綜上所述,本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
權(quán)利要求
1.一種實現(xiàn)鍵盤輸入的方法,其特征在于,包括 預(yù)先對鍵盤位置及各個鍵位進行建模;跟蹤帶有殘指或相關(guān)接長手指部位的雙手的運動;當(dāng)根據(jù)所述跟蹤結(jié)果判斷出通過所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作時,確定做出所述示意動作時所在的位置;根據(jù)所述示意動作所在位置,以及所述鍵盤位置、各個鍵位的建模結(jié)果,確定所述示意動作所在位置對應(yīng)的鍵位;模擬按下該鍵位的操作,以便操作系統(tǒng)接收到按下該鍵位的事件,并通過顯示設(shè)備顯示相應(yīng)的操作結(jié)果。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述跟蹤殘指或相關(guān)接長手指部位的運動包括利用至少三個跟蹤裝置記錄所述殘指或相關(guān)接長手指部位在各個維度上的位置信息;所述確定做出所述示意動作時所在的位置包括根據(jù)各個維度上的位置信息,計算得到所述殘指或相關(guān)接長手指部位在空間中的絕對位置。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述主動跟蹤裝置包括攝像頭。
4.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述殘指或相關(guān)接長手指部位帶有信號發(fā)出裝置,所述跟蹤殘指或相關(guān)接長手指部位的運動包括利用至少三個跟蹤裝置接收所述信號發(fā)出裝置發(fā)出的信號,記錄所述殘指或相關(guān)接長手指部位在各個維度上的位置信息;所述確定做出所述示意動作時所在的位置包括根據(jù)各個維度上的位置信息,計算得到所述殘指或相關(guān)接長手指部位在空間中的絕對位置。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述信號發(fā)出裝置包括點光源。
6.根據(jù)權(quán)利要求2或4所述的方法,其特征在于,所述記錄所述殘指或相關(guān)接長手指部位在各個維度上的位置信息包括記錄各個跟蹤裝置與所述殘指或相關(guān)接長手指部位之間分別形成的夾角; 所述根據(jù)各個維度上的位置信息,計算得到所述殘指或相關(guān)接長手指部位在空間中的絕對位置包括根據(jù)所述夾角,利用立體幾何中的公式計算得出所述殘指或相關(guān)接長手指部位在空間中的絕對位置。
7.根據(jù)權(quán)利要求1至5任一項所述的方法,其特征在于,通過以下方式判斷是否做出按下鍵位的示意動作當(dāng)所述帶有殘指或相關(guān)接長手指部位的雙手運動的加速度及位移都達到預(yù)置條件時, 確定所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作。
8.一種實現(xiàn)鍵盤輸入的系統(tǒng),其特征在于,包括 建模單元,用于預(yù)先對鍵盤位置及各個鍵位進行建模;跟蹤單元,用于跟蹤帶有殘指或相關(guān)接長手指部位的雙手的運動; 定位單元,用于當(dāng)根據(jù)所述跟蹤結(jié)果判斷出通過所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作時,確定做出所述示意動作時所在的位置;鍵位確定單元,用于根據(jù)所述示意動作所在位置,以及所述鍵盤位置、各個鍵位的建模結(jié)果,確定所述示意動作所在位置對應(yīng)的鍵位;操作模擬單元,用于模擬按下該鍵位的操作,以便操作系統(tǒng)接收到按下該鍵位的事件, 并通過顯示設(shè)備顯示相應(yīng)的操作結(jié)果。
9.根據(jù)權(quán)利要求8所述的系統(tǒng),其特征在于,所述跟蹤單元包括主動跟蹤單元,用于利用至少三個跟蹤裝置記錄所述殘指或相關(guān)接長手指部位在各個維度上的位置信息;所述定位單元具體用于根據(jù)各個維度上的位置信息,計算得到所述殘指或相關(guān)接長手指部位在空間中的絕對位置。
10.根據(jù)權(quán)利要求9所述的系統(tǒng),其特征在于,所述主動跟蹤裝置包括攝像頭。
11.根據(jù)權(quán)利要求8所述的系統(tǒng),其特征在于,還包括信號發(fā)出裝置,位于所述殘指或相關(guān)接長手指部位上,用于發(fā)出信號;所述跟蹤單元包括被動跟蹤單元,用于利用至少三個跟蹤裝置接收所述信號發(fā)出裝置發(fā)出的信號,記錄所述殘指或相關(guān)接長手指部位在各個維度上的位置信息;所述定位單元具體用于,根據(jù)各個維度上的位置信息,計算得到所述殘指或相關(guān)接長手指部位在空間中的絕對位置。
12.根據(jù)權(quán)利要求11所述的系統(tǒng),其特征在于,所述信號發(fā)出裝置包括點光源。
13.根據(jù)權(quán)利要求9或11所述的系統(tǒng),其特征在于,所述跟蹤單元包括記錄子單元, 用于記錄各個跟蹤裝置與所述殘指或相關(guān)接長手指部位之間分別形成的夾角;所述定位單元包括計算子單元,用于根據(jù)所述夾角,利用立體幾何中的公式計算得出所述殘指或相關(guān)接長手指部位在空間中的絕對位置。
14.根據(jù)權(quán)利要求8至12任一項所述的系統(tǒng),其特征在于,所述定位單元包括動作確定子單元,用于當(dāng)所述帶有殘指或相關(guān)接長手指部位的雙手運動的加速度及位移都達到預(yù)置條件時,確定所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作。
全文摘要
本發(fā)明公開了一種實現(xiàn)鍵盤輸入的方法及系統(tǒng),其中,所述方法包括預(yù)先對鍵盤位置及各個鍵位進行建模;跟蹤帶有殘指或相關(guān)接長手指部位的雙手的運動;當(dāng)根據(jù)所述跟蹤結(jié)果判斷出通過所述殘指或相關(guān)接長手指部位做出按下鍵位的示意動作時,確定做出所述示意動作時所在的位置;根據(jù)所述示意動作所在位置,以及所述鍵盤位置、各個鍵位的建模結(jié)果,確定所述示意動作所在位置對應(yīng)的鍵位;模擬按下該鍵位的操作,以便操作系統(tǒng)接收到按下該鍵位的事件,并通過顯示設(shè)備顯示相應(yīng)的操作結(jié)果。通過本發(fā)明,在實現(xiàn)人機交互的過程中不需要接觸鍵盤,便能夠完成鍵盤輸入。
文檔編號G06F3/023GK102214009SQ20101014395
公開日2011年10月12日 申請日期2010年4月8日 優(yōu)先權(quán)日2010年4月8日
發(fā)明者曹重英, 楊博杰 申請人:深圳市閃聯(lián)信息技術(shù)有限公司