專利名稱：虛擬鼠標(biāo)的驅(qū)動方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種虛擬鼠標(biāo)驅(qū)動方法，更具體而言，涉及一種利用從成像攝像機(jī)獲取的手圖像信息的虛擬鼠標(biāo)驅(qū)動方法。
背景技術(shù)：
根據(jù)顯示裝置到智能系統(tǒng)的技術(shù)演變，與顯示裝置交互正變得更加重要。類似于計算機(jī)，智能顯示裝置需要具有基于顯示裝置屏幕上的位置的命令輸入。作為輸入裝置，鼠標(biāo)是具有這種命令輸入的最常用的方法。此外，在最新流行的智能手機(jī)中，可以利用觸摸屏基于屏幕的位置來輸入命令。在利用觸摸屏的現(xiàn)有輸入方法中，為了實現(xiàn)基于位置的命令，存在很多限制，因為命令是通過與顯示裝置接觸而傳送的。就是說，僅在顯示裝置在手接觸距離之內(nèi)時才有可能。此外，就其物理尺寸和形狀而言，鼠標(biāo)不是一種智能輸入裝置。近年來，正在發(fā)布一些可以通過非接觸方式向顯示裝置發(fā)送命令的輸入裝置，例如虛擬鼠標(biāo)。具體而言，在游戲領(lǐng)域中正在開發(fā)利用3D攝像機(jī)識別手勢的命令方法。在使用3D攝像機(jī)的方法中，可以在輸入圖像中容易地將執(zhí)行手勢的對象圖像與背景圖像分開，但該方法需要價格高昂而復(fù)雜的輸入裝置。此外，由于分辨率低，該方法非常不方便，因為命令輸入需要來自用戶的大量手勢。在韓國未審專利申請公開N0.2007-0030398、韓國專利N0.0687737和韓國未審專利申請公開N0.2008-0050218中披露了與虛擬鼠標(biāo)相關(guān)的現(xiàn)有技術(shù)。在這些專利公開的方法中，從攝像機(jī)輸入的圖像中識別出的一只手或兩只手的手勢具有虛擬鼠標(biāo)的功能。在這些識別方法中，由于通常通過手指的停止形狀來識別特定命令，所以為了識別手指的停止形狀，必須要有將手指與背景圖像分開的過程。因此，利用手的色彩信息將手部區(qū)域與背景圖像分開的過程是重要的。在這種情況下，由于每個人手的顏色差異，在使用手顏色的絕對值時，必須要有復(fù)雜的模型配準(zhǔn)過程和識別過程。在背景類似于手的顏色時，或背景亮度不恒定時，難以將手區(qū)分開。結(jié)果，在具有干擾的一般環(huán)境中難以實施，這與設(shè)計良好的實驗室環(huán)境相反。因此，需要開發(fā)一種新型虛擬鼠標(biāo)驅(qū)動方法，其與個體的膚色無關(guān)并能夠在具有干擾的一般環(huán)境中實施。

發(fā)明內(nèi)容
技術(shù)問題考慮到上述問題而做出了本發(fā)明，本發(fā)明的目的是提供一種新型虛擬鼠標(biāo)驅(qū)動方法，其與個體的膚色無關(guān)，并能夠在具有一定程度干擾的一般環(huán)境中實施。技術(shù)方案為了實現(xiàn)上述目的，通過改變手形來控制驅(qū)動虛擬鼠標(biāo)的方法的根據(jù)本發(fā)明的虛擬鼠標(biāo)驅(qū)動方法包括:輸入步驟，接收由成像攝像機(jī)在彼此不同的時間點拍攝的多幅圖像；區(qū)別圖像提取步驟，在多幅圖像中提取區(qū)別圖像；以及基于所提取的區(qū)別圖像的虛擬鼠標(biāo)驅(qū)動步驟。根據(jù)本發(fā)明，優(yōu)選從區(qū)別圖像提取關(guān)于用戶大拇指和食指之間接觸和分開的運動信息，并將所述運動信息用作虛擬鼠標(biāo)的點擊信號。此外，根據(jù)本發(fā)明，優(yōu)選從所述多幅圖像連續(xù)地提取區(qū)別圖像，并通過分析連續(xù)的區(qū)別圖像中大拇指或食指的位置變化來提取運動信息。此外，根據(jù)本發(fā)明，優(yōu)選將所識別的大拇指和食指之間接觸又分開的次數(shù)用作特定命令信號。發(fā)明的有益效果利用這樣的配置，可以實現(xiàn)一種虛擬鼠標(biāo)系統(tǒng)，其與個體的膚色無關(guān)，并在具有一定程度干擾的一般環(huán)境中被精確地驅(qū)動。附圖簡要說明

圖1是示意圖，示出了根據(jù)本發(fā)明實施例的用于實施虛擬鼠標(biāo)驅(qū)動方法的裝置的配置。圖2是示意流程圖，用于解釋圖1中所示的手勢識別單元的過程。圖3是用于解釋區(qū)別圖像的示意圖。圖4和5是示出了連續(xù)的圖像及其區(qū)別圖像的示意圖。
具體實施例方式在下文中，將參考附圖詳細(xì)描述根據(jù)本發(fā)明示范性實施例的虛擬鼠標(biāo)驅(qū)動方法。圖1是示意圖，示出了根據(jù)本發(fā)明實施例用于實施虛擬鼠標(biāo)驅(qū)動方法的裝置的配置。圖2是示意流程圖，用于解釋圖1中所示的手勢識別單元的過程。圖3是用于解釋區(qū)別圖像的示意圖。圖4和5是示出了連續(xù)的圖像及其對應(yīng)區(qū)別圖像的示意圖。參考圖1到5，在虛擬鼠標(biāo)系統(tǒng)中實施根據(jù)實施例的虛擬鼠標(biāo)驅(qū)動方法。虛擬鼠標(biāo)系統(tǒng)100包括攝像機(jī)10、圖像輸入單元20、手勢識別單元30和命令發(fā)送單元40。攝像機(jī)10通過諸如CXD或CMOS等成像裝置拍攝從透鏡輸入的圖像，并輸出所述圖像。例如，可以由數(shù)字?jǐn)z像機(jī)實現(xiàn)攝像機(jī)，其拍攝用戶手的圖像并向圖像輸入單元發(fā)送所述圖像。圖像輸入單元20實時接收攝像機(jī)所拍攝的圖像。手勢識別單元30從圖像輸入單元中所輸入的圖像提取區(qū)別圖像。區(qū)別圖像是圖像處理方法之一，用于將對象與2D圖像分開，并且是僅顯示兩幅圖像之間變化部分的圖像。具體而言，比較圖3A和3B，僅食指的位置發(fā)生改變，圖3A和3B之間的區(qū)別圖像被表示為圖3C。然后，提取用戶大拇指和食指之間的接觸和分開的運動信息，并將這種運動信息發(fā)送到命令發(fā)送單元。在這種情況下，如圖3中所示，在僅僅使用從兩幅圖像獲取的一個區(qū)別圖像時，難以識別大拇指和食指在分開之后是否接觸或在接觸之后是否分開。因此，圖4B中所示的四幅連續(xù)的區(qū)別圖像是從多個屏幕(圖像)獲得的，例如，在圖4A所示的五個時間點所拍攝的手形圖像，然后，通過比較這幅區(qū)別圖像中食指的位置變化，可以識別大拇指和食指是接觸還是分開。在圖4B中，食指的位置改變到下側(cè)(大拇指一側(cè))。在這種情況下，判定大拇指和食指在分開之后接觸。另一方面，如圖5B所示，由于食指的位置變到上側(cè)，所以判定大拇指和食指在接觸之后分開。通過這種方式，利用多個連續(xù)的區(qū)別圖像，可以獲取關(guān)于大拇指和食指的更精確的運動信息。此外，由于通過多幅區(qū)別圖像確定手指運動的方向，所以可以排除一些外界干擾，因此可以獲取精確的運動信息(可以排除干擾是因為它不像手指那樣有方向性，并且可以基于形式分析，例如區(qū)別圖像的尺寸、角度和形狀，進(jìn)行排除干擾)。同時，可以獲得基于手指手勢的不同類型區(qū)別圖像，但實施例使用大拇指和食指在接觸后分開的圖像。原因如下。首先，由于在一般情況下幾乎不會發(fā)生大拇指和食指彼此接觸的手勢，所以可以容易地與其他一般手勢區(qū)分，并且識別錯誤低。此外，由于產(chǎn)生的明顯的區(qū)別圖像，所以適于進(jìn)行圖像處理。另外，由于手勢簡單，即使當(dāng)用戶長時間連續(xù)執(zhí)行重復(fù)操作時，也不會疲勞或費勁。此外，手勢識別單元30持續(xù)跟蹤整個手或手的一部分的圖像以便實施鼠標(biāo)運動操作。在一般的圖像跟蹤方法中，將整個或手的一部分的圖像設(shè)置成跟蹤區(qū)，設(shè)置可移動空間，在發(fā)現(xiàn)相似性最高的位置時計算手移動的位置，并且重復(fù)這些過程，從而實現(xiàn)用于虛擬鼠標(biāo)移動操作的移動信號。這種虛擬鼠標(biāo)移動方法是一種公知的方法，將不再重復(fù)對其進(jìn)行描述。命令發(fā)送單元40輸出與信息對應(yīng)的驅(qū)動信號，具體而言，該信息是從手勢識別單元輸出的手部運動(鼠標(biāo)位置移動)和手指的運動信息(鼠標(biāo)點擊)，由此驅(qū)動虛擬鼠標(biāo)。例如，在手指接觸之后再分開的手勢數(shù)目是一個時，輸出用于點擊鼠標(biāo)的點擊信號。在手指接觸之后再分開的手勢數(shù)目是兩個時，將其用作表示輸入裝置的初始啟動點的信號。具體而言，難以定義用來實現(xiàn)基于手勢識別的輸入裝置的初始啟動點。在現(xiàn)有方法中，為了找到初始啟動點，預(yù)先在屏幕上設(shè)置顯示區(qū)域，并且當(dāng)手在這個顯示區(qū)中匹配時，識別初始啟動點。不過，在上述方法中，要將用戶的手放在屏幕上顯示區(qū)中的復(fù)雜手勢是必要的，這導(dǎo)致啟動系統(tǒng)要大量時間。不過，根據(jù)實施例，可以基于將大拇指和食指接觸并分開的手勢執(zhí)行兩次的時間來迅速識別初始啟動點。此外，為了在點擊鼠標(biāo)時移動的拖動手勢和無點擊的移動手勢之間加以區(qū)分，識別出大拇指和食指是在接觸狀態(tài)移動還是在未接觸狀態(tài)移動，并相應(yīng)地輸出驅(qū)動信號。就是說，可以執(zhí)行拖動手勢，從而將點擊虛擬鼠標(biāo)按鈕時的移動狀態(tài)識別為在手指接觸時的移動手勢，并將不點擊虛擬鼠標(biāo)按鈕的移動狀態(tài)識別為分開手指時的移動手勢。此外，為了有效地控制顯示裝置，除了 一般鼠標(biāo)操作之外的手勢可能是必要的。例如，音量控制或返回主菜單屏幕可能是必要的。在這種情況下，可以基于點擊手勢(手指在接觸之后分開的手勢)的數(shù)目來定義不同的命令。例如，在執(zhí)行點擊手勢三次時，可以返回主菜單屏幕。如上所述，根據(jù)實施例的虛擬鼠標(biāo)驅(qū)動方法基本根據(jù)區(qū)別圖像來提取關(guān)于手的運動信息。由于它不受膚色的影響，所以無需關(guān)于用戶的模型配準(zhǔn)，并且沒有因為種族導(dǎo)致的識別錯誤問題。此外，它不受周圍環(huán)境顏色或背光亮度的影響。因此，可以在具有一定程度干擾的一般環(huán)境中有效地實施虛擬鼠標(biāo)系統(tǒng)。利用大拇指和食指的運動，即使當(dāng)用戶連續(xù)地執(zhí)行重復(fù)操作時，也不會疲勞或費勁。由于可以容易將所述運動與其他一般手勢區(qū)分開，所示識別錯誤的可能性低。
上文已經(jīng)描述了本發(fā)明的示范性實施例，但本發(fā)明不限于上述實施例。本領(lǐng)域的技術(shù)人員在不脫離本發(fā)明的范圍和精神的情況下可以對本發(fā)明做出各種修改和變化，但所有對應(yīng)的修改都落在由所附權(quán)利要求界定的本發(fā)明范圍之內(nèi)。
權(quán)利要求
1.一種虛擬鼠標(biāo)的驅(qū)動方法，其中通過改變手形來控制所述虛擬鼠標(biāo)，所述方法包括: 輸入由攝像機(jī)在彼此不同的時間點拍攝的多幅圖像； 在所述多幅圖像中提取區(qū)別圖像；以及 基于所提取的區(qū)別圖像驅(qū)動所述虛擬鼠標(biāo)。
2.根據(jù)權(quán)利要求1所述的虛擬鼠標(biāo)驅(qū)動方法，其中，從所述區(qū)別圖像提取用戶的大拇指和另一手指的一部分接觸又分開的運動信息，并將所述運動信息用作所述虛擬鼠標(biāo)的點擊信號。
3.根據(jù)權(quán)利要求2所述的虛擬鼠標(biāo)驅(qū)動方法，其中，所述運動信息是所述大拇指和食指接觸又分開的信息。
4.根據(jù)權(quán)利要求3所述的虛擬鼠標(biāo)驅(qū)動方法，其中，所述區(qū)別圖像是從所述多幅圖像連續(xù)地提取的，并且所述運動信息是通過分析連續(xù)的區(qū)別圖像中大拇指或食指的位置變化來提取的。
5.根據(jù)權(quán)利要求3所述的虛擬鼠標(biāo)驅(qū)動方法，其中，將所識別的大拇指和食指之間接觸又分開的次數(shù)用作特定命令信號。
6.根據(jù)權(quán)利要求3所述的虛擬鼠標(biāo)驅(qū)動方法，其中，計算所述用戶的手的位置移動，并將所述手的位置移動用作所述虛擬鼠標(biāo)的移動信號，從而將大拇指和食指接觸時的移動用作點擊所述虛擬鼠標(biāo)按鈕時的移動信號，并且將大拇指和食指不接觸時的移動用作不點擊所述虛擬鼠標(biāo)按鈕的移動信號。
全文摘要
本發(fā)明涉及一種新型的虛擬鼠標(biāo)驅(qū)動方法，其運行與個體的膚色無關(guān)并能夠在具有程度干擾的一般環(huán)境中運行?；诟淖兪中蝸砜刂频母鶕?jù)本發(fā)明的虛擬鼠標(biāo)驅(qū)動方法包括接收由攝像機(jī)在彼此不同的時間點拍攝的多幅圖像；在所述多幅圖像中提取區(qū)別圖像；以及基于所提取的區(qū)別圖像驅(qū)動虛擬所述鼠標(biāo)。
文檔編號G06F3/01GK103201706SQ201180053496
公開日2013年7月10日 申請日期2011年10月31日 優(yōu)先權(quán)日2010年11月4日
發(fā)明者李吉宰 申請人:株式會社Macron