專利名稱：人機(jī)互動(dòng)系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人機(jī)互動(dòng)技術(shù)，特別是涉及一種人機(jī)互動(dòng)系統(tǒng)和方法。
背景技術(shù)：
人機(jī)互動(dòng)技術(shù)已廣泛應(yīng)用于人們的日常生活和工作中。例如，體感游戲以及電器 設(shè)備的控制等等。尤其是人機(jī)互動(dòng)技術(shù)中的體感游戲由于其兼有健身和娛樂(lè)的目的而倍受 人們的喜愛(ài)。
目前現(xiàn)有的人機(jī)互動(dòng)技術(shù)通常是基于控制裝置來(lái)實(shí)現(xiàn)的，例如，體感游戲通常是 通過(guò)計(jì)算機(jī)和體感控制裝置來(lái)實(shí)現(xiàn)或者是通過(guò)電視機(jī)、機(jī)頂盒以及體感控制裝置來(lái)實(shí)現(xiàn)。 體感控制裝置如游戲手柄等，體感控制裝置通常會(huì)被用戶單手或者雙手握于手中，并進(jìn)行 控制操作。
發(fā)明人在實(shí)現(xiàn)本發(fā)明過(guò)程中發(fā)現(xiàn)人機(jī)互動(dòng)中的控制裝置通常是一個(gè)物理實(shí)體設(shè) 備，且通常由多個(gè)按鍵、搖桿、光源、重力加速度傳感器以及小屏幕等元件組成。然而，目前 人機(jī)互動(dòng)技術(shù)已經(jīng)可以不限于物理的實(shí)體設(shè)備來(lái)實(shí)現(xiàn)了，而且，現(xiàn)有的人機(jī)互動(dòng)的實(shí)現(xiàn)方 式有待于進(jìn)一步的豐富。
有鑒于上述現(xiàn)有的人機(jī)互動(dòng)技術(shù)存在的需求，本發(fā)明人基于從事此類產(chǎn)品設(shè)計(jì)制 造多年豐富的實(shí)務(wù)經(jīng)驗(yàn)及專業(yè)知識(shí)，并配合學(xué)理的運(yùn)用，積極加以研究創(chuàng)新，以期創(chuàng)設(shè)一種 新的人機(jī)互動(dòng)系統(tǒng)和方法，能夠滿足現(xiàn)有的人機(jī)互動(dòng)技術(shù)存在的需求，使其更具有實(shí)用性。 經(jīng)過(guò)不斷的研究設(shè)計(jì)，并經(jīng)過(guò)反復(fù)試作樣品及改進(jìn)后，終于創(chuàng)設(shè)出確具實(shí)用價(jià)值的本發(fā)明。發(fā)明內(nèi)容
本發(fā)明的目的在于，滿足人機(jī)互動(dòng)技術(shù)存在的需求，而提供一種新的人機(jī)互動(dòng)系 統(tǒng)和方法，所要解決的技術(shù)問(wèn)題是，使人機(jī)互動(dòng)技術(shù)的實(shí)現(xiàn)方式多元化，非常適于實(shí)用。
本發(fā)明的目的以及解決其技術(shù)問(wèn)題可以采用以下的技術(shù)方案來(lái)實(shí)現(xiàn)。
依據(jù)本發(fā)明提出的一種人機(jī)互動(dòng)系統(tǒng)，所述系統(tǒng)包括視頻捕捉裝置和控制裝置； 所述視頻捕捉裝置，用于實(shí)時(shí)攝取圖像，并輸出；所述控制裝置包括接收模塊，用于接收 所述視頻捕捉裝置傳輸來(lái)的圖像；手部提取模塊，用于從所述接收模塊接收到的圖像中提 取用戶手部圖像信息，并根據(jù)所述手部圖像信息確定用戶的手部姿勢(shì)信息；存儲(chǔ)模塊，用于 預(yù)先存儲(chǔ)手部姿勢(shì)信息與控制裝置的輸入信息的對(duì)應(yīng)關(guān)系信息；控制模塊，用于將所述手 部提取模塊確定的手部姿勢(shì)信息在所述存儲(chǔ)模塊中存儲(chǔ)的對(duì)應(yīng)關(guān)系信息中進(jìn)行匹配查找， 以確定手部提取模塊確定出的手部姿勢(shì)信息對(duì)應(yīng)的控制裝置的輸入信息；執(zhí)行模塊，用于 根據(jù)所述控制模塊確定出的輸入信息執(zhí)行相應(yīng)的操作。
本發(fā)明的目的以及解決其技術(shù)問(wèn)題還可以采用以下的技術(shù)措施來(lái)進(jìn)一步實(shí)現(xiàn)。
較佳的，前述的人機(jī)互動(dòng)系統(tǒng)，其中所述視頻捕捉裝置與所述控制裝置集成設(shè)置 于同一電子設(shè)備中。
較佳的，前述的人機(jī)互動(dòng)系統(tǒng)，其中所述電子設(shè)備包括計(jì)算機(jī)、游戲機(jī)、移動(dòng)電話、平板電腦、機(jī)頂盒、電視機(jī)頂盒一體機(jī)或者電視機(jī)。
較佳的，前述的人機(jī)互動(dòng)系統(tǒng)，其中所述視頻捕捉裝置與所述控制裝置獨(dú)立分離 設(shè)置，且所述視頻捕捉裝置與所述控制裝置之間通過(guò)有線方式連接、或者通過(guò)無(wú)線方式連 接。
較佳的，前述的人機(jī)互動(dòng)系統(tǒng)，其中所述控制裝置設(shè)置于計(jì)算機(jī)、游戲機(jī)、移動(dòng)電 話、平板電腦、機(jī)頂盒、電視機(jī)頂盒一體機(jī)或者電視機(jī)中。
本發(fā)明還提供一種人機(jī)互動(dòng)方法，所述方法包括實(shí)時(shí)攝取圖像；從所述攝取的 圖像中提取用戶手部圖像信息；根據(jù)所述手部圖像信息確定用戶的手部姿勢(shì)信息；將所述 手部姿勢(shì)信息在預(yù)先存儲(chǔ)的手部姿勢(shì)信息與控制裝置的輸入信息的對(duì)應(yīng)關(guān)系信息中匹配 查找，以確定所述用戶的手部姿勢(shì)信息對(duì)應(yīng)的控制裝置的輸入信息；根據(jù)所述確定出的輸 入信息執(zhí)行相應(yīng)的操作。
借由上述技術(shù)方案，本發(fā)明的人機(jī)互動(dòng)系統(tǒng)和方法至少具有下列優(yōu)點(diǎn)及有益效 果本發(fā)明通過(guò)利用視頻捕捉裝置攝取圖像、手部提取模塊確定攝取的圖像中的用戶手部 圖像并確定用戶的手部姿勢(shì)信息，使控制模塊可以根據(jù)該手部姿勢(shì)信息和存儲(chǔ)模塊中存儲(chǔ) 的對(duì)應(yīng)關(guān)系確定出控制裝置的輸入信息，這樣，執(zhí)行模塊可以根據(jù)該輸入信息執(zhí)行相應(yīng)的 操作，以實(shí)現(xiàn)基于手部姿勢(shì)信息的人機(jī)互動(dòng)，從而使人機(jī)互動(dòng)的實(shí)現(xiàn)方式多元化，非常適于 實(shí)用。
綜上所述，本發(fā)明在技術(shù)上有顯著的進(jìn)步，具有明顯的積極效果，誠(chéng)為一新穎、進(jìn) 步、實(shí)用的新設(shè)計(jì)。
上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段， 而可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其他目的、特征和優(yōu)點(diǎn)能夠 更明顯易懂，以下特舉較佳實(shí)施例，并配合附圖詳細(xì)說(shuō)明如下。


圖1為本發(fā)明的人機(jī)互動(dòng)系統(tǒng)示意圖2為本發(fā)明的人機(jī)互動(dòng)方法流程圖。
具體實(shí)施方式
為更進(jìn)一步闡述本發(fā)明為達(dá)成預(yù)定發(fā)明目的所采取的技術(shù)手段及功效，以下結(jié)合 附圖及較佳實(shí)施例，對(duì)依據(jù)本發(fā)明提出的人機(jī)互動(dòng)系統(tǒng)和方法其具體實(shí)施方式
、結(jié)構(gòu)、特 征、流程及其功效，詳細(xì)說(shuō)明如后。
實(shí)施例一、人機(jī)互動(dòng)系統(tǒng)。該系統(tǒng)如附圖1所示。
圖1示出的人機(jī)互動(dòng)系統(tǒng)包括視頻捕捉裝置I和控制裝置2。其中的控制裝置2 包括接收模塊21、手部提取模塊22、存儲(chǔ)模塊23、控制模塊24以及執(zhí)行模塊25。接收模 塊21與手部提取模塊22連接，控制模塊24與手部提取模塊22、存儲(chǔ)模塊23以及執(zhí)行模塊 25均連接。
視頻捕捉裝置I主要用于實(shí)時(shí)攝取圖像，并將其攝取到的圖像向控制裝置2發(fā)送。 這里的實(shí)時(shí)攝取如視頻捕捉裝置I按照預(yù)定采樣頻率進(jìn)行圖像采樣。該視頻捕捉裝置I可 以與控制裝置2集成設(shè)置，也可以與控制裝置2相互分離獨(dú)立設(shè)置。在視頻捕捉裝置I與控制裝置2相互分離獨(dú)立設(shè)置的情況下，視頻捕捉裝置I可以與控制裝置2采用有線連接 方式連接或者采用無(wú)線連接方式連接，即視頻捕捉裝置通過(guò)有線或者無(wú)線的方式將其攝取 到的圖像傳輸給控制裝置2。
視頻捕捉裝置I可以采用現(xiàn)有的攝像頭、以及攝像機(jī)等攝像設(shè)備，如RGB彩色攝像 頭或者3D深度感應(yīng)器等。本發(fā)明不限制視頻捕捉裝置I的具體類型。
控制裝置2主要用于根據(jù)視頻捕捉裝置I實(shí)時(shí)攝取的圖像、以及其預(yù)先存儲(chǔ)的手 部姿勢(shì)信息與控制裝置的輸入信息的對(duì)應(yīng)關(guān)系信息確定出攝取到的圖像中顯示出的用戶 的手部姿勢(shì)信息對(duì)應(yīng)的控制裝置的輸入信息，控制裝置2通過(guò)根據(jù)該輸入信息執(zhí)行相應(yīng)的 操作，從而實(shí)現(xiàn)了基于用戶手部姿勢(shì)的人機(jī)互動(dòng)。
由于本發(fā)明提供的人機(jī)互動(dòng)系統(tǒng)僅僅是基于用戶的手部姿勢(shì)來(lái)實(shí)現(xiàn)人機(jī)互動(dòng)，因 此，用戶完全可以坐在桌前或者站在桌前或者位于其它近距離的地方來(lái)進(jìn)行人機(jī)互動(dòng)如體 感游戲或者設(shè)備控制等，從而可以實(shí)現(xiàn)近距離體感游戲，并可以使用戶在游戲過(guò)程中進(jìn)行 手部運(yùn)動(dòng)以及左右腦的反應(yīng)訓(xùn)練，增強(qiáng)用戶對(duì)身體鍛煉的興趣。
控制裝置2中的接收模塊21主要用于接收視頻捕捉裝置I傳輸來(lái)的圖像序列。在 視頻捕捉裝置I與控制裝置2獨(dú)立分離設(shè)置的情況下，接收模塊21可以通過(guò)有線或者無(wú)線 方式接收到視頻捕捉裝置I傳輸來(lái)的圖像。一個(gè)具體的例子接收模塊21可以通過(guò)藍(lán)牙、2.4GHz、WIF1、紅外傳輸、以及USB等傳輸方式接收視頻捕捉裝置I傳輸來(lái)的圖像，即接收模 塊21可以為藍(lán)牙模塊、2. 4GHz模塊、WIFI模塊、紅外模塊、或者USB模塊。在視頻捕捉裝置 I與控制裝置2集成設(shè)置在同一電子設(shè)備的情況下，接收模塊21可以為緩存介質(zhì)。本發(fā)明 不限制接收模塊21的具體實(shí)現(xiàn)方式。
控制裝置2中的手部提取模塊22主要用于從接收模塊21接收到的圖像中提取用 戶的手部圖像，并進(jìn)一步判斷出該手部圖像對(duì)應(yīng)的手部姿勢(shì)信息(如OK手勢(shì)或者剪刀手勢(shì) 或者表示I的手勢(shì)等等)，之后，手部提取模塊22向控制模塊24輸出其確定出的手部姿勢(shì) 信息。這里的手部姿勢(shì)信息可以為一個(gè)手部姿勢(shì)信息的索引號(hào)或者標(biāo)識(shí)符等，以便于控制 模塊23進(jìn)行匹配查找。
本發(fā)明中的手部提取模塊22可以采用相似度比較方式來(lái)確定用戶的手部姿勢(shì)信 息，一個(gè)具體的例子，手部提取模塊22中預(yù)先存儲(chǔ)有多個(gè)手部輪廓圖像，手部提取模塊22 可以先從視頻捕捉裝置I傳輸來(lái)的圖像信息中提取出手部圖像信息，然后從該手部圖像信 息中摳取出手部輪廓(如采用現(xiàn)有的圖像摳取技術(shù)摳取出手部輪廓)，并將摳取出的該手 部輪廓進(jìn)行進(jìn)行縮放處理，以便于和其存儲(chǔ)的手部輪廓圖像的大小相近似，之后，手部提取 模塊22將縮放處理后的手部輪廓與其預(yù)先存儲(chǔ)的多個(gè)手部輪廓圖像進(jìn)行相似度比較，確 定出與摳取出的手部輪廓相似度最高的手部輪廓圖像，該圖像對(duì)應(yīng)的圖像編號(hào)即為上述手 部提取模塊22傳輸給控制模塊23的手部姿勢(shì)信息。
需要說(shuō)明的是，手部提取模塊22在接收到視頻捕捉裝置I傳輸來(lái)的圖像后，可以 先對(duì)其接收到的圖像進(jìn)行優(yōu)化處理操作，之后，再進(jìn)行提取用戶的手部圖像信息以及確定 手部姿勢(shì)信息的操作。上述對(duì)接收到的圖像進(jìn)行的優(yōu)化處理操作可以包括去除無(wú)效信息 處理、去除干擾信息處理、糾正鏡頭畸變處理、以及增強(qiáng)有效信息處理等操作中的一個(gè)或者 多個(gè)操作。
另外，手部提取模塊22在提取用戶的手部圖像信息的過(guò)程中，可以先將視頻捕捉裝置I傳輸來(lái)的圖像轉(zhuǎn)換為黑白圖像，從而手部提取模塊22可以根據(jù)黑白圖像中的像素的 灰度值，提取出用戶的手部圖像信息(如手部輪廓信息)。
控制裝置2中的存儲(chǔ)模塊23主要用于存儲(chǔ)手部姿勢(shì)信息與控制裝置的輸入信息 的對(duì)應(yīng)關(guān)系信息，例如，存儲(chǔ)模塊23中存儲(chǔ)有手部姿勢(shì)的索引號(hào)與控制裝置2的輸入信息 的對(duì)應(yīng)關(guān)系信息。上述輸入信息可以包括針對(duì)控制裝置2的某具體應(yīng)用的控制命令，例如 電視機(jī)換臺(tái)、瀏覽照片翻頁(yè)、關(guān)閉正在瀏覽的網(wǎng)頁(yè)或者體感游戲中的游戲命令等等。上述 輸入信息也可以包括游戲輸入信息，例如，控制裝置2中的石頭剪子布游戲根據(jù)該輸入信 息獲知用戶此時(shí)作了個(gè)剪子的手勢(shì)，從而該游戲可以對(duì)該剪子與游戲中的手勢(shì)進(jìn)行輸贏判 斷；再例如，控制裝置2中的手練習(xí)游戲根據(jù)該輸入信息判斷用戶此時(shí)作的手勢(shì)是否與屏 幕上顯示的手勢(shì)相同，該手練習(xí)游戲通過(guò)對(duì)屏幕上顯示的手勢(shì)進(jìn)行快速變化，來(lái)鍛煉用戶 的手和腦的反映速度。
本發(fā)明可以動(dòng)態(tài)的設(shè)置存儲(chǔ)模塊23中存儲(chǔ)的對(duì)應(yīng)關(guān)系信息，一個(gè)具體的例子首 先，開(kāi)啟視頻捕捉裝置1，視頻捕捉裝置I開(kāi)始攝像操作，視頻捕捉裝置I攝取到的包含用戶 手部的圖片被顯示在控制裝置2所在設(shè)備的顯示屏上，控制裝置2可以在顯示屏上顯示手 部區(qū)域位置范圍，用戶可以通過(guò)調(diào)整其坐姿或者站位等使視頻捕捉裝置I攝取到的用戶手 部位于該手部區(qū)域位置范圍內(nèi)，之后，用戶點(diǎn)擊攝取圖片對(duì)應(yīng)的按鍵(該按鍵如計(jì)算機(jī)鍵 盤(pán)上的回車(chē)鍵或者屏幕上顯示的注冊(cè)鍵或者遙控器上的確定鍵等)；控制裝置2在監(jiān)測(cè)到 由該按鍵產(chǎn)生的攝取圖片的命令之后，獲取包含有用戶手部區(qū)域的圖片，該圖片可以是黑 白圖片或者彩色圖片，然后，控制裝置2基于該圖片確定手部姿勢(shì)，并確定出該手部姿勢(shì)索 引值，之后，將該手部姿勢(shì)索引值和當(dāng)前需要設(shè)置的控制裝置2的輸入信息以表中記錄的 形式對(duì)應(yīng)存儲(chǔ)到存儲(chǔ)模塊23中。
當(dāng)然，本發(fā)明中的控制裝置2也可以采用其它操作過(guò)程在存儲(chǔ)模塊23中存儲(chǔ)手部 姿勢(shì)信息和控制裝置2的輸入信息之間的對(duì)應(yīng)關(guān)系信息，本發(fā)明不限制在存儲(chǔ)模塊23存儲(chǔ) 手部姿勢(shì)信息和控制裝置2的輸入信息之間的對(duì)應(yīng)關(guān)系信息的具體實(shí)現(xiàn)方式。
控制裝置2中的控制模塊24主要用于基于存儲(chǔ)模塊23中存儲(chǔ)的對(duì)應(yīng)關(guān)系信息將 手部提取模塊22傳輸來(lái)的手部姿勢(shì)信息轉(zhuǎn)換為相應(yīng)的輸入信息，并將該輸入信息提供給 控制裝置2中的執(zhí)行模塊25，以實(shí)現(xiàn)人機(jī)交互如體感游戲等。一個(gè)具體的例子控制模塊 24可以利用手部提取模塊22輸出的手部姿勢(shì)信息在存儲(chǔ)模塊23中存儲(chǔ)的對(duì)應(yīng)關(guān)系信息 中進(jìn)行匹配查找，匹配到的記錄中的輸入信息即為其接收到的手部姿勢(shì)信息對(duì)應(yīng)的輸入信 肩、O
控制裝置2中的執(zhí)行模塊25主要用于接收控制模塊24傳輸來(lái)的輸入信息，并根 據(jù)該輸入信息執(zhí)行相應(yīng)的操作，例如，根據(jù)該輸入信息進(jìn)行游戲的判分，再例如，根據(jù)該輸 入信息打開(kāi)相應(yīng)的菜單等等。
控制裝置2還可以包括顯示屏以及電源模塊等元件。顯示屏主要用于顯示畫(huà)面 (如游戲畫(huà)面、以及視頻捕捉裝置I攝取獲得的圖像等)。該顯示屏可以為計(jì)算機(jī)的顯示屏、 移動(dòng)電話的顯示屏、電視機(jī)顯示屏、平板電腦顯示屏、或者游戲機(jī)顯示屏等。電源模塊主要 用于為控制裝置2中的各用電元件(如控制裝置2中的各模塊、或者視頻捕捉裝置I和控 制裝置2中的各模塊等)提供電力資源，該電源模塊可以為計(jì)算機(jī)、移動(dòng)電話、電視機(jī)、平板 電腦、或者游戲機(jī)等電子設(shè)備本身自帶的電源模塊，也可以為專為本發(fā)明中的人機(jī)互動(dòng)系統(tǒng)設(shè)置的電源模塊。
上述實(shí)施例中記載的人機(jī)互動(dòng)系統(tǒng)的設(shè)置方式可以為如下兩種形式
第一種形式為整個(gè)人機(jī)互動(dòng)系統(tǒng)集成設(shè)置在同一個(gè)電子設(shè)備中，從而整個(gè)人機(jī) 互動(dòng)系統(tǒng)成為一個(gè)電子設(shè)備的一部分，該電子設(shè)備可以具體為計(jì)算機(jī)、移動(dòng)電話、電視機(jī)、 平板電腦、機(jī)頂盒、電視機(jī)機(jī)頂盒一體機(jī)或者游戲機(jī)等。一個(gè)具體的例子在人機(jī)互動(dòng)系統(tǒng) 集成設(shè)置在計(jì)算機(jī)中的情況下，視頻捕捉裝置I集成設(shè)置在計(jì)算機(jī)顯示屏的左上角，而控 制裝置2集成設(shè)置在計(jì)算機(jī)的主機(jī)的內(nèi)部電路中。
第二種形式為人機(jī)互動(dòng)系統(tǒng)中的視頻捕捉裝置I與控制裝置2獨(dú)立分離設(shè)置， 且視頻捕捉裝置I與控制裝置2之間可以通過(guò)有線(如USB)或者無(wú)線(如藍(lán)牙或者Wifi 或者紅外等)的方式連接。具體的，視頻捕捉裝置I可以為攝像頭或者攝像機(jī)等獨(dú)立的設(shè) 備，控制裝置2則可以集成設(shè)置在計(jì)算機(jī)、移動(dòng)電話、電視機(jī)、平板電腦(PAD)、機(jī)頂盒、電視 機(jī)機(jī)頂盒一體機(jī)或者游戲機(jī)等電子設(shè)備中。
實(shí)施例二、人機(jī)互動(dòng)方法。該方法的流程如附圖2所示。
圖2中示出的人機(jī)互動(dòng)方法包括如下步驟
S200、實(shí)時(shí)攝取圖像。具體的，可以按照預(yù)定采樣頻率進(jìn)行圖像采樣。
S210、從實(shí)時(shí)攝取的圖像中提取用戶手部圖像信息。
具體的，本發(fā)明可以采用現(xiàn)有的圖像定位截取技術(shù)來(lái)提取用戶手部圖像信息，例 如，用戶的手指上帶有發(fā)光源設(shè)備，從而可以根據(jù)該發(fā)光源截取該發(fā)光源周邊預(yù)定大小區(qū) 域的圖像。需要說(shuō)明的是，本發(fā)明可以先對(duì)實(shí)時(shí)攝取的圖像進(jìn)行優(yōu)化處理操作，之后，再進(jìn) 行提取用戶的手部圖像信息的操作。上述對(duì)實(shí)時(shí)攝取的圖像進(jìn)行的優(yōu)化處理操作可以包 括去除無(wú)效信息處理、去除干擾信息處理、糾正鏡頭畸變處理、以及增強(qiáng)有效信息處理等 操作中的一個(gè)或者多個(gè)操作。另外，在提取用戶的手部圖像信息的過(guò)程中，可以先將實(shí)時(shí)采 集到的圖像轉(zhuǎn)換為黑白圖像，從而可以根據(jù)黑白圖像中的像素的灰度值，提取出用戶的手 部圖像信息(如手部輪廓信息)。
S220、根據(jù)提取的用戶手部圖像信息確定用戶的手部姿勢(shì)信息。
具體的，本發(fā)明可以采用相似度比較方式來(lái)確定用戶的手部姿勢(shì)信息，一個(gè)具體 的例子，預(yù)先存儲(chǔ)有多個(gè)手部輪廓圖像，先從提取出的手部圖像信息中摳取出手部輪廓，并 將摳取出的該手部輪廓進(jìn)行進(jìn)行縮放處理，以便于和預(yù)先存儲(chǔ)的手部輪廓圖像的大小相近 似，之后，將縮放處理后的手部輪廓與預(yù)先存儲(chǔ)的多個(gè)手部輪廓圖像進(jìn)行相似度比較，確定 出與摳取出的手部輪廓相似度最高的手部輪廓圖像，該圖像對(duì)應(yīng)的圖像編號(hào)即為手部姿勢(shì) 信息。
S230、將上述確定出的手部姿勢(shì)信息在預(yù)先存儲(chǔ)的手部姿勢(shì)信息與控制裝置的輸 入信息的對(duì)應(yīng)關(guān)系信息中匹配查找，以確定用戶的手部姿勢(shì)信息對(duì)應(yīng)的控制裝置的輸入信肩、O
具體的，預(yù)先存儲(chǔ)的對(duì)應(yīng)關(guān)系信息可以為手部姿勢(shì)的索引號(hào)與控制裝置的輸入信 息的對(duì)應(yīng)關(guān)系信息。上述輸入信息可以包括針對(duì)控制裝置的某具體應(yīng)用的控制命令，例如 電視機(jī)換臺(tái)、瀏覽照片翻頁(yè)、關(guān)閉正在瀏覽的網(wǎng)頁(yè)或者體感游戲中的游戲命令等等。上述輸 入信息也可以包括游戲輸入信息，例如，控制裝置中的石頭剪子布游戲根據(jù)該輸入信息獲 知用戶此時(shí)作了個(gè)剪子的手勢(shì)，從而該游戲可以對(duì)該剪子與游戲中的手勢(shì)進(jìn)行輸贏判斷；再例如，控制裝置中的手練習(xí)游戲根據(jù)該輸入信息判斷用戶此時(shí)作的手勢(shì)是否與屏幕上顯 示的手勢(shì)相同，該手練習(xí)游戲通過(guò)對(duì)屏幕上顯示的手勢(shì)進(jìn)行快速變化，來(lái)鍛煉用戶的手和 腦的反映速度。
本發(fā)明可以動(dòng)態(tài)的設(shè)置并存儲(chǔ)該對(duì)應(yīng)關(guān)系信息，一個(gè)具體的例子首先，開(kāi)啟視頻 捕捉裝置，視頻捕捉裝置開(kāi)始攝像操作，視頻捕捉裝置攝取到的包含用戶手部的圖片被顯 示在控制裝置所在設(shè)備的顯示屏上，控制裝置可以在顯示屏上顯示手部區(qū)域位置范圍，用 戶可以通過(guò)調(diào)整其坐姿或者站位等使視頻捕捉裝置攝取到的用戶手部位于該手部區(qū)域位 置范圍內(nèi)，之后，用戶點(diǎn)擊攝取圖片對(duì)應(yīng)的按鍵(該按鍵如計(jì)算機(jī)鍵盤(pán)上的回車(chē)鍵或者屏 幕上顯示的注冊(cè)鍵或者遙控器上的確定鍵等)；控制裝置在監(jiān)測(cè)到由該按鍵產(chǎn)生的攝取圖 片的命令之后，獲取包含有用戶手部區(qū)域的圖片，該圖片可以是黑白圖片或者彩色圖片，然 后，控制裝置基于該圖片確定手部姿勢(shì)，并確定出該手部姿勢(shì)索引值，之后，將該手部姿勢(shì) 索引值和當(dāng)前需要設(shè)置的控制裝置2的輸入信息以表中記錄的形式對(duì)應(yīng)存儲(chǔ)到存儲(chǔ)介質(zhì) 中。
當(dāng)然，本發(fā)明也可以采用其它操作過(guò)程來(lái)存儲(chǔ)手部姿勢(shì)信息和控制裝置的輸入信 息之間的對(duì)應(yīng)關(guān)系信息，本發(fā)明不限制在存儲(chǔ)手部姿勢(shì)信息和控制裝置的輸入信息之間的 對(duì)應(yīng)關(guān)系信息的具體實(shí)現(xiàn)方式。
上述匹配查找的一個(gè)的例子利用上述步驟中確定出的手部姿勢(shì)信息在預(yù)先存儲(chǔ) 的對(duì)應(yīng)關(guān)系信息中進(jìn)行精確匹配查找，精確匹配到的記錄中的輸入信息即為確定出的用戶 的手部姿勢(shì)信息對(duì)應(yīng)的控制裝置的輸入信息。
S240、根據(jù)上述確定出的輸入信息執(zhí)行相應(yīng)的操作。
一個(gè)具體的例子，控制裝置根據(jù)該輸入信息進(jìn)行游戲的判分；另一個(gè)具體的例子， 控制裝置根據(jù)該輸入信息打開(kāi)相應(yīng)的菜單等等。
以上所述僅是本發(fā)明的較佳實(shí)施例而已，并非對(duì)本發(fā)明作任何形式上的限制，雖 然本發(fā)明已以較佳實(shí)施例揭露如上，然而并非用以限定本發(fā)明，任何熟悉本專業(yè)的技術(shù)人 員在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，當(dāng)可利用上述揭示的技術(shù)內(nèi)容作出些許更動(dòng)或修飾為 等同變化的等效實(shí)施例，但凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì) 以上實(shí)施例所作的任何簡(jiǎn)單修改、等同變化與修飾，均仍屬于本發(fā)明技術(shù)方案的范圍內(nèi)。
權(quán)利要求
1.一種人機(jī)互動(dòng)系統(tǒng)，其特征在于，所述系統(tǒng)包括視頻捕捉裝置和控制裝置； 所述視頻捕捉裝置，用于實(shí)時(shí)攝取圖像，并輸出； 所述控制裝置包括 接收模塊，用于接收所述視頻捕捉裝置傳輸來(lái)的圖像； 手部提取模塊，用于從所述接收模塊接收到的圖像中提取用戶手部圖像信息，并根據(jù)所述手部圖像信息確定用戶的手部姿勢(shì)信息； 存儲(chǔ)模塊，用于預(yù)先存儲(chǔ)手部姿勢(shì)信息與控制裝置的輸入信息的對(duì)應(yīng)關(guān)系信息； 控制模塊，用于將所述手部提取模塊確定的手部姿勢(shì)信息在所述存儲(chǔ)模塊中存儲(chǔ)的對(duì)應(yīng)關(guān)系信息中進(jìn)行匹配查找，以確定手部提取模塊確定出的手部姿勢(shì)信息對(duì)應(yīng)的控制裝置的輸入信息； 執(zhí)行模塊，用于根據(jù)所述控制模塊確定出的輸入信息執(zhí)行相應(yīng)的操作。
2.如權(quán)利要求1所述的人機(jī)互動(dòng)系統(tǒng)，其特征在于，所述視頻捕捉裝置與所述控制裝置集成設(shè)置于同一電子設(shè)備中。
3.如權(quán)利要求2所述的人機(jī)互動(dòng)系統(tǒng)，其特征在于，所述電子設(shè)備包括計(jì)算機(jī)、游戲機(jī)、移動(dòng)電話、平板電腦、機(jī)頂盒、電視機(jī)頂盒一體機(jī)或者電視機(jī)。
4.如權(quán)利要求1所述的人機(jī)互動(dòng)系統(tǒng)，其特征在于，所述視頻捕捉裝置與所述控制裝置獨(dú)立分離設(shè)置，且所述視頻捕捉裝置與所述控制裝置之間通過(guò)有線方式連接、或者通過(guò)無(wú)線方式連接。
5.如權(quán)利要求4所述的人機(jī)互動(dòng)系統(tǒng)，其特征在于，所述控制裝置設(shè)置于計(jì)算機(jī)、游戲機(jī)、移動(dòng)電話、平板電腦、機(jī)頂盒、電視機(jī)頂盒一體機(jī)或者電視機(jī)中。
6.一種人機(jī)互動(dòng)方法，其特征在于，所述方法包括 實(shí)時(shí)攝取圖像； 從所述攝取的圖像中提取用戶手部圖像信息； 根據(jù)所述手部圖像信息確定用戶的手部姿勢(shì)信息； 將所述手部姿勢(shì)信息在預(yù)先存儲(chǔ)的手部姿勢(shì)信息與控制裝置的輸入信息的對(duì)應(yīng)關(guān)系信息中匹配查找，以確定所述用戶的手部姿勢(shì)信息對(duì)應(yīng)的控制裝置的輸入信息； 根據(jù)所述確定出的輸入信息執(zhí)行相應(yīng)的操作。
全文摘要
本發(fā)明是有關(guān)于一種人機(jī)互動(dòng)系統(tǒng)和方法。其中的系統(tǒng)包括視頻捕捉裝置和控制裝置；視頻捕捉裝置用于實(shí)時(shí)攝取圖像并輸出；控制裝置包括接收模塊，用于接收?qǐng)D像；手部提取模塊，用于從接收模塊接收到的圖像中提取用戶手部圖像信息，確定用戶的手部姿勢(shì)信息；存儲(chǔ)模塊，用于預(yù)先存儲(chǔ)手部姿勢(shì)信息與控制裝置的輸入信息的對(duì)應(yīng)關(guān)系信息；控制模塊，用于將手部提取模塊確定的手部姿勢(shì)信息在存儲(chǔ)的對(duì)應(yīng)關(guān)系信息中進(jìn)行匹配查找，以確定手部提取模塊確定出的手部姿勢(shì)信息對(duì)應(yīng)的控制裝置的輸入信息；執(zhí)行模塊，用于根據(jù)接收到的輸入信息執(zhí)行相應(yīng)的操作。本發(fā)明提供的技術(shù)方案能夠基于用戶面部表情實(shí)現(xiàn)人機(jī)互動(dòng)，從而使人機(jī)互動(dòng)的實(shí)現(xiàn)方式多元化。
文檔編號(hào)G06F3/01GK103034322SQ20111029457
公開(kāi)日2013年4月10日 申請(qǐng)日期2011年9月30日 優(yōu)先權(quán)日2011年9月30日
發(fā)明者董德福, 吳冠廷 申請(qǐng)人:德信互動(dòng)科技(北京)有限公司