人機(jī)交互式虛擬觸控裝置、系統(tǒng)及方法
【專利摘要】本發(fā)明提供一種人機(jī)交互式虛擬觸控裝置、系統(tǒng)及方法，該方法包括：利用攝像頭采集用戶單手圖像數(shù)據(jù)確定手部中心點(diǎn)在圖像中的位置，并結(jié)合攝像頭的像素解析度將手部中心點(diǎn)像素位置分別轉(zhuǎn)換為XZ坐標(biāo)面與YZ坐標(biāo)面的二維坐標(biāo)值。根據(jù)手部中心點(diǎn)像素位置在XZ坐標(biāo)面和YZ坐標(biāo)面的二維坐標(biāo)值計(jì)算手部中心點(diǎn)在XYZ三維坐標(biāo)系中的坐標(biāo)值，判斷用戶手部中心點(diǎn)對(duì)應(yīng)的鼠標(biāo)位置以及判斷用戶的虛擬鼠標(biāo)點(diǎn)擊操作，根據(jù)該判斷結(jié)果繪制出模擬鼠標(biāo)出現(xiàn)在對(duì)應(yīng)的XZ面的位置以及做出特定響應(yīng)形成的操作圖像，顯示該繪制的操作圖像供用戶觀看。利用本發(fā)明，方便用戶隨時(shí)隨地通過(guò)虛擬鼠標(biāo)進(jìn)行自如的人機(jī)交互操作。
【專利說(shuō)明】人機(jī)交互式虛擬觸控裝置、系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及虛擬觸控【技術(shù)領(lǐng)域】，尤其涉及一種人機(jī)交互式虛擬觸控裝置、系統(tǒng)及方法。
【背景技術(shù)】
[0002]鼠標(biāo)是現(xiàn)有技術(shù)的人機(jī)交互中的重要組成部分，現(xiàn)有的鼠標(biāo)輸入都依賴于實(shí)體設(shè)備，也就是說(shuō)，必須要有一個(gè)實(shí)際存在的鼠標(biāo)才能夠完成人機(jī)交互，這樣就大大限制了進(jìn)行人機(jī)交互的場(chǎng)所范圍和條件。
【發(fā)明內(nèi)容】
[0003]鑒于上述問(wèn)題，本發(fā)明提供一種克服上述問(wèn)題或者至少部分解決上述問(wèn)題的人機(jī)交互式虛擬觸控裝置、系統(tǒng)及方法。
[0004]本發(fā)明提供一種人機(jī)交互式虛擬觸控裝置，包括顯示控制單元與顯示單元，該裝置包括:
[0005]視圖識(shí)別單元，用于對(duì)攝像頭采集的用戶手部的圖像數(shù)據(jù)進(jìn)行手部識(shí)別，以確定手部中心點(diǎn)在圖像中的位置。
[0006]水平面二維坐標(biāo)建立單元，用于根據(jù)該視圖識(shí)別單元識(shí)別出的手部中心點(diǎn)位置在圖像中的位置與攝像頭的像素解析度，將手部中心點(diǎn)像素位置轉(zhuǎn)換為XZ坐標(biāo)面的二維坐標(biāo)值。
[0007]垂直面二維坐標(biāo)建立單元，用于根據(jù)該視圖識(shí)別單元識(shí)別出的手部中心點(diǎn)位置在圖像中的位置與攝像頭的像素解析度，將手部中心點(diǎn)像素位置轉(zhuǎn)換為YZ坐標(biāo)面的二維坐標(biāo)值。
[0008]三維坐標(biāo)計(jì)算單元，用于根據(jù)該水平面二維坐標(biāo)建立單元和垂直面二維坐標(biāo)建立單元分別確定的手部中心點(diǎn)像素位置在XZ坐標(biāo)面和YZ坐標(biāo)面的二維坐標(biāo)值計(jì)算手部中心點(diǎn)在XYZ三維坐標(biāo)系中的坐標(biāo)值。
[0009]動(dòng)作判斷單元，用于根據(jù)該三維坐標(biāo)計(jì)算單元計(jì)算的手部中心點(diǎn)的三維坐標(biāo)值判斷用戶手部中心點(diǎn)對(duì)應(yīng)的鼠標(biāo)位置以及判斷用戶的虛擬鼠標(biāo)點(diǎn)擊操作。以及
[0010]圖形繪制單元，用于根據(jù)該動(dòng)作判斷單元的判斷結(jié)果繪制出模擬鼠標(biāo)出現(xiàn)在對(duì)應(yīng)的XZ面的位置以及做出特定響應(yīng)形成的操作圖像，并調(diào)用該顯示控制單元控制該顯示單元顯示該操作圖像。
[0011]本發(fā)明還提供一種人機(jī)交互式虛擬觸控系統(tǒng)，包括如上任意一項(xiàng)所述的人機(jī)交互式虛擬觸控裝置以及與該裝置通信連接的兩個(gè)攝像設(shè)備。
[0012]本發(fā)明還提供一種人機(jī)交互式虛擬觸控方法，該方法包括:
[0013]用戶將手部懸空平放于圖像捕捉區(qū)域中，對(duì)攝像頭采集的用戶手部的圖像數(shù)據(jù)進(jìn)行手部識(shí)別，以確定手部中心點(diǎn)在圖像中的位置。
[0014]根據(jù)識(shí)別出的手部中心點(diǎn)位置在圖像中的位置與攝像頭的像素解析度，將手部中心點(diǎn)像素位置分別轉(zhuǎn)換為XZ坐標(biāo)面與YZ坐標(biāo)面的二維坐標(biāo)值。
[0015]根據(jù)手部中心點(diǎn)像素位置在XZ坐標(biāo)面和YZ坐標(biāo)面的二維坐標(biāo)值計(jì)算手部中心點(diǎn)在XYZ三維坐標(biāo)系中的坐標(biāo)值。
[0016]根據(jù)該計(jì)算的手部中心點(diǎn)的三維坐標(biāo)值判斷用戶手部中心點(diǎn)對(duì)應(yīng)的鼠標(biāo)位置以及判斷用戶的虛擬鼠標(biāo)點(diǎn)擊操作。
[0017]根據(jù)該判斷結(jié)果繪制出模擬鼠標(biāo)出現(xiàn)在對(duì)應(yīng)的XZ面的位置以及做出特定響應(yīng)形成的操作圖像。以及
[0018]顯示該繪制的操作圖像供用戶觀看。
[0019]本發(fā)明提供的一種人機(jī)交互式虛擬觸控裝置、系統(tǒng)及方法，由攝像頭抓取圖像并識(shí)別手部中心點(diǎn)的位置以及手部姿勢(shì)，由得到的手部中心點(diǎn)坐標(biāo)直接映射為對(duì)虛擬鼠標(biāo)的操作動(dòng)作，并在顯示器上顯示出來(lái)反饋給用戶，通過(guò)智能眼鏡和智能手環(huán)，或者智能便攜移動(dòng)設(shè)備上的攝像設(shè)備快速搭建虛擬鼠標(biāo)輸入環(huán)境，不再需要實(shí)體設(shè)備，方便用戶隨時(shí)隨地通過(guò)虛擬鼠標(biāo)進(jìn)行人機(jī)交互操作。
【專利附圖】
【附圖說(shuō)明】
[0020]圖1為本發(fā)明實(shí)施方式中的人機(jī)交互式虛擬觸控系統(tǒng)的硬件架構(gòu)示意圖；
[0021]圖2為本發(fā)明實(shí)施方式中的人機(jī)交互式虛擬觸控裝置的功能模塊示意圖；
[0022]圖3為本發(fā)明實(shí)施方式中的二維坐標(biāo)值的轉(zhuǎn)換原理示意圖；
[0023]圖4為本發(fā)明實(shí)施方式中的人機(jī)交互式虛擬觸控方法的流程示意圖。
[0024]標(biāo)號(hào)說(shuō)明:
[0025]系統(tǒng)100
[0026]裝置10
[0027]環(huán)境亮度傳感單元101
[0028]視圖識(shí)別單元102
[0029]縱向視圖識(shí)別子單元103
[0030]橫向視圖識(shí)別子單元104
[0031]水平面二維坐標(biāo)建立單元105
[0032]垂直面二維坐標(biāo)建立單元106
[0033]三維坐標(biāo)計(jì)算單元107
[0034]動(dòng)作判斷單元108
[0035]圖形繪制單元109
[0036]顯示控制單元110
[0037]顯示單元111
[0038]鼠標(biāo)重映射單元112
[0039]攝像設(shè)備20
[0040]第一攝像頭201
[0041]第二攝像頭202
[0042]顯示設(shè)備21
【具體實(shí)施方式】
[0043]為詳細(xì)說(shuō)明本發(fā)明的技術(shù)內(nèi)容、構(gòu)造特征、所實(shí)現(xiàn)目的及效果，以下結(jié)合實(shí)施方式并配合附圖詳予說(shuō)明。
[0044]請(qǐng)參閱圖1，為本發(fā)明實(shí)施方式中的人機(jī)交互式虛擬觸控系統(tǒng)的硬件架構(gòu)示意圖，該系統(tǒng)100包括人機(jī)交互式虛擬觸控裝置10、兩個(gè)攝像設(shè)備20以及顯示設(shè)備21，用于對(duì)用戶手勢(shì)的檢測(cè)實(shí)現(xiàn)觸控輸入。
[0045]請(qǐng)同時(shí)參閱圖2，為本發(fā)明實(shí)施方式中的人機(jī)交互式虛擬觸控裝置的功能模塊示意圖。該裝置10包括環(huán)境亮度傳感單元101、視圖識(shí)別單元102、水平面二維坐標(biāo)建立單元105、垂直面二維坐標(biāo)建立單元106、三維坐標(biāo)計(jì)算單元107、動(dòng)作判斷單元108、圖形繪制單元109、顯示控制單元110、顯示單元111以及鼠標(biāo)重映射單元112。該裝置10可以應(yīng)用諸如照相機(jī)、手機(jī)、平板電腦等電子設(shè)備中，該攝像設(shè)備20通過(guò)網(wǎng)絡(luò)與該裝置10進(jìn)行通信連接，該網(wǎng)絡(luò)的傳輸介質(zhì)可以是藍(lán)牙、zigbee、WIFI等無(wú)線傳輸介質(zhì)。
[0046]每個(gè)攝像設(shè)備20均包括第一攝像頭201以及第二攝像頭202，分別作為縱向攝像設(shè)備和橫向攝像設(shè)備。其中，作為縱向攝像設(shè)備的第一攝像頭201可以為智能眼鏡等可以處于用戶手部上方的移動(dòng)便攜式電子設(shè)備，作為橫向攝像設(shè)備的第二攝像頭202可以為智能手環(huán)等可以放置于用戶前方的移動(dòng)便攜式電子設(shè)備。進(jìn)一步地，每個(gè)攝像設(shè)備20的第一攝像頭201和第二攝像頭202分別為普通攝像頭和紅外攝像頭。其中，普通攝像頭可以在光線條件較好的情況下，對(duì)用戶操作動(dòng)作進(jìn)行圖像采集并送往裝置10分析。紅外攝像頭可以在光線條件較差的情況下，對(duì)用戶操作動(dòng)作進(jìn)行圖像采集并送往裝置10分析。該視圖識(shí)別單元102包括縱向視圖識(shí)別子單元103以及橫向視圖識(shí)別子單元104，分別對(duì)應(yīng)作為縱向攝像設(shè)備和橫向攝像設(shè)備的第一攝像頭201以及第二攝像頭202設(shè)置，用于對(duì)其采集的圖像進(jìn)行識(shí)別處理。
[0047]在初始狀態(tài)時(shí)，兩對(duì)攝像頭(一對(duì)普通攝像頭和一對(duì)紅外攝像頭)配合使用，攝像方向設(shè)置為互相垂直，可以同時(shí)捕捉手部垂直方向和水平方向的動(dòng)作行為。通常，智能眼鏡中兩個(gè)攝像頭(一個(gè)普通攝像頭和一個(gè)紅外攝像頭)朝下擺放，智能手環(huán)或者智能手機(jī)上的兩個(gè)攝像頭(一個(gè)普通攝像頭和一個(gè)紅外攝像頭)水平擺放。并且，由兩對(duì)攝像頭的可拍攝的矩形區(qū)域共同形成圖像捕捉區(qū)域。
[0048]該環(huán)境亮度傳感單元101感應(yīng)環(huán)境的亮度值，并把環(huán)境亮度值傳送到該視圖識(shí)別單元102中。該視圖識(shí)別單元102根據(jù)預(yù)先設(shè)置的亮度門(mén)限值判斷使用普通攝像頭還是紅外攝像頭。例如，亮度感應(yīng)范圍為I?100，門(mén)限值為50，則環(huán)境亮度值超過(guò)50時(shí)確定使用普通攝像頭，當(dāng)環(huán)境亮度值低于50時(shí)使用紅外攝像頭圖像。
[0049]根據(jù)環(huán)境亮度值確定使用的攝像頭類(lèi)型后，開(kāi)始初始定位操作，具體如下。該裝置10在進(jìn)行初始定位操作時(shí)，用戶將雙手中需要操作的單手懸空平放于兩組選定的攝像頭可以拍攝到的位置，即，圖像捕捉區(qū)域，并保持一定時(shí)間的靜止，以完成用戶手部位置初始化流程，便于裝置10識(shí)別和定位出手部中心點(diǎn)的初始位置，以便后續(xù)的操作。該裝置10識(shí)別和定位手部中心點(diǎn)位置的原理將在下文進(jìn)行詳細(xì)描述。
[0050]在進(jìn)行交互式操作時(shí)，用戶將單手懸空平放于圖像捕捉區(qū)域中，該縱向視圖識(shí)別子單元103根據(jù)該環(huán)境亮度傳感單元101偵測(cè)到的環(huán)境亮度值判斷使用普通攝像頭還是紅外攝像頭，并當(dāng)確定使用的攝像頭后對(duì)處于單手上方作為縱向攝像設(shè)備的普通攝像頭或者紅外攝像頭采集的圖像數(shù)據(jù)進(jìn)行手部識(shí)別，以確定手部中心點(diǎn)在圖像中的位置。該橫向視圖識(shí)別子單元104根據(jù)該環(huán)境亮度傳感單元101偵測(cè)到的環(huán)境亮度值判斷使用普通攝像頭還是紅外攝像頭，并當(dāng)確定使用的攝像頭后對(duì)處于單手前方作為橫向攝像設(shè)備的普通攝像頭或者紅外攝像頭采集的圖像數(shù)據(jù)進(jìn)行手部識(shí)別，以確定手部中心點(diǎn)在圖像中的位置。
[0051]其中，該縱向視圖識(shí)別子單元103確定的手部中心點(diǎn)在圖像中的位置為在XZ坐標(biāo)面的手部中心點(diǎn)像素在圖像中的位置，例如，該縱向識(shí)別子單元103識(shí)別出手部中心點(diǎn)像素位于XZ面圖像的a行b列。該橫向視圖識(shí)別子單元104確定的手部中心點(diǎn)在圖像中的位置為在YZ坐標(biāo)面的手部中心點(diǎn)像素在圖像中的位置。
[0052]進(jìn)一步地，通過(guò)普通攝像頭判斷手部中心點(diǎn)的方法包括單色背景法和顏色手套法。其中，單色背景法具體為:雙手操作的環(huán)境背景需要顏色相對(duì)簡(jiǎn)單和單一，這樣可以直接通過(guò)人體膚色的顏色區(qū)間范圍直接把手部影像提取出來(lái)，然后根據(jù)提取出的手部圖像區(qū)域中最高點(diǎn)與最低點(diǎn)的平均值得到中心點(diǎn)的行數(shù)，通過(guò)最左點(diǎn)與最右點(diǎn)的平均值得到中心點(diǎn)的列數(shù)。顏色手套輔助法具體為:用戶佩戴專用的純紅色手套，由于普通攝像頭都是RGB(紅綠藍(lán)三基色)采樣，可以直接提取出純紅色區(qū)域位置，也可以使用綠色或者藍(lán)色作為手套手部中心點(diǎn)顏色，根據(jù)提取出的手部圖像區(qū)域中最高點(diǎn)與最低點(diǎn)的平均值得到中心點(diǎn)的行數(shù)，通過(guò)最左點(diǎn)與最右點(diǎn)的平均值得到中心點(diǎn)的列數(shù)。
[0053]通過(guò)紅外攝像頭判斷單手中心點(diǎn)的方法包括溫度濾除法和顏色手套輔助法。其中，溫度濾除法具體地為:雙手操作可以直接通過(guò)人體表面溫度相對(duì)環(huán)境溫度較高的特點(diǎn)直接把溫度較高的手部影像提取出來(lái)，然后根據(jù)提取出的手部圖像區(qū)域中最高點(diǎn)與最低點(diǎn)的平均值得到中心點(diǎn)的行數(shù)，通過(guò)最左點(diǎn)與最右點(diǎn)的平均值得到中心點(diǎn)的列數(shù)。顏色手套輔助法具體為:用戶佩戴專用手套，手套的表面有加熱效果，這樣可以直接提取出圖像中的熱點(diǎn)區(qū)域，然后根據(jù)提取出的手部圖像區(qū)域中最高點(diǎn)與最低點(diǎn)的平均值得到中心點(diǎn)的行數(shù)，通過(guò)最左點(diǎn)與最右點(diǎn)的平均值得到中心點(diǎn)的列數(shù)。
[0054]該水平面二維坐標(biāo)建立單元105根據(jù)該縱向視圖識(shí)別子單元103識(shí)別出的手部中心點(diǎn)位置在圖像中的位置與攝像頭的像素解析度，將手部中心點(diǎn)像素位置轉(zhuǎn)換為XZ坐標(biāo)面的二維坐標(biāo)值。該垂直面二維坐標(biāo)建立單元106根據(jù)該橫向視圖識(shí)別子單元104識(shí)別出的手部中心點(diǎn)位置在圖像中的位置與攝像頭的像素解析度，將手部中心點(diǎn)像素位置轉(zhuǎn)換為YZ坐標(biāo)面的二維坐標(biāo)值。
[0055]請(qǐng)參閱圖3,其中,將手部中心點(diǎn)像素位置轉(zhuǎn)換為XZ坐標(biāo)面的二維坐標(biāo)值的轉(zhuǎn)換原理具體地為:將圖像左下角像素點(diǎn)設(shè)置為二維坐標(biāo)系的起始點(diǎn)0，根據(jù)圖像解析度和轉(zhuǎn)換為二維坐標(biāo)后的坐標(biāo)值范圍計(jì)算出坐標(biāo)值范圍相對(duì)每個(gè)圖像的行數(shù)和列數(shù)的比例。例如，XZ坐標(biāo)面圖像解析度寬高為2000*1000，二維XZ平面坐標(biāo)系的坐標(biāo)值范圍為X軸為I到150、Z軸為I到100，則Z軸坐標(biāo)值范圍相對(duì)圖像的行數(shù)比例為100/1000，X軸坐標(biāo)值范圍相對(duì)圖像的列數(shù)比例150/2000 O將手部中心點(diǎn)的像素位置乘以計(jì)算得到的坐標(biāo)范圍相對(duì)圖像行、列數(shù)的比例，從而得到轉(zhuǎn)換為二維坐標(biāo)后的端點(diǎn)二維坐標(biāo)值。例如，某個(gè)手部中心點(diǎn)的像素位置為300行200列，則該手部中心點(diǎn)的Z軸坐標(biāo)為300*100/1000 = 30，該手部中心點(diǎn)的X軸坐標(biāo)為200*150/2000 = 15。將手部中心點(diǎn)像素位置轉(zhuǎn)換為YZ坐標(biāo)面的二維坐標(biāo)值的轉(zhuǎn)換原理同上，在此不加贅述。
[0056]該三維坐標(biāo)計(jì)算單元107根據(jù)該水平面二維坐標(biāo)建立單元105和垂直面二維坐標(biāo)建立單元106分別確定的手部中心點(diǎn)像素位置在XZ坐標(biāo)面和YZ坐標(biāo)面的二維坐標(biāo)值計(jì)算手部中心點(diǎn)在XYZ三維坐標(biāo)系中的坐標(biāo)值。
[0057]其中，計(jì)算手部中心點(diǎn)在XYZ三維坐標(biāo)系中的坐標(biāo)值的工作原理具體為:由于XZ坐標(biāo)面和YZ坐標(biāo)面有共同的Z軸，所以將XZ坐標(biāo)面中每個(gè)坐標(biāo)端點(diǎn)的Z值與YZ坐標(biāo)面中每個(gè)坐標(biāo)端點(diǎn)的Z值都提取出來(lái)進(jìn)行比較，Z軸坐標(biāo)值一致或者最接近的坐標(biāo)端點(diǎn)會(huì)被認(rèn)為是同一個(gè)端點(diǎn)，然后將被判斷為同一端點(diǎn)的XZ坐標(biāo)面的坐標(biāo)值與YZ坐標(biāo)面的坐標(biāo)值合并為一個(gè)坐標(biāo)端點(diǎn)，以作為XYZ三維坐標(biāo)系的坐標(biāo)值。因?yàn)閆值有可能不一樣，所以新產(chǎn)生的三維坐標(biāo)的Z值為XZ坐標(biāo)面的坐標(biāo)Z值加上YZ坐標(biāo)面的坐標(biāo)Z值然后除以2的運(yùn)算結(jié)果，三維坐標(biāo)系中的X、Y坐標(biāo)值分別等于XZ坐標(biāo)面和YZ坐標(biāo)面的X坐標(biāo)值與Y坐標(biāo)值。
[0058]該鼠標(biāo)重映射單元112根據(jù)手部中心點(diǎn)在XZ平面的坐標(biāo)與鼠標(biāo)靈敏度配置信息，重新把鼠標(biāo)的XZ坐標(biāo)進(jìn)行映射，以實(shí)現(xiàn)鼠標(biāo)靈敏度的調(diào)整。
[0059]其中，該鼠標(biāo)重映射單元112進(jìn)行鼠標(biāo)靈敏度的調(diào)整，具體為:預(yù)先設(shè)置一重映射系數(shù)，并在裝置10開(kāi)始工作前被寫(xiě)入。當(dāng)裝置10開(kāi)始工作后，該鼠標(biāo)重映射單元112將手部中心點(diǎn)的XZ面的X軸坐標(biāo)值和Z軸坐標(biāo)值乘以該重映射系數(shù)以得到重映射之后的坐標(biāo)值。例如，手部中心點(diǎn)的XZ面坐標(biāo)為X = 30,z = 50,當(dāng)希望靈敏度加強(qiáng)時(shí),則設(shè)置重映射系數(shù)大于1，例如設(shè)置重映射系數(shù)為1.5,因此重映射后的坐標(biāo)為X = 30*1.5 = 45, z =50*1.5 = 75。當(dāng)希望靈敏度減小時(shí)，則設(shè)置重映射系數(shù)小于1，例如設(shè)置重映射系數(shù)為0.5，因此重映射后的坐標(biāo)為X = 30*0.5 = 15, z = 50*0.5 = 25。如果不希望做靈敏度調(diào)整，則設(shè)置重映射系數(shù)為I。
[0060]該動(dòng)作判斷單元108根據(jù)該三維坐標(biāo)計(jì)算單元107計(jì)算的手部中心點(diǎn)的三維坐標(biāo)值判斷用戶手部中心點(diǎn)對(duì)應(yīng)的鼠標(biāo)位置以及是否進(jìn)行了鼠標(biāo)點(diǎn)擊操作。
[0061]在本實(shí)施方式中，在手部位置初始化階段時(shí)，該動(dòng)作判斷單元108根據(jù)手部中心點(diǎn)的三維坐標(biāo)值中垂直方向的最低端點(diǎn)(也就是Y軸的最小坐標(biāo)值)作為點(diǎn)擊判定平面Y軸值，把手部中心點(diǎn)的三維坐標(biāo)值映射到鼠標(biāo)可控制區(qū)域上，然后根據(jù)手部中心點(diǎn)的位置以及是否出現(xiàn)點(diǎn)擊動(dòng)作確定用戶的操作信息。
[0062]由于是手部位置初始化階段，該動(dòng)作判斷單元108利用Y值設(shè)定點(diǎn)擊判定面的初始值，所以手部坐標(biāo)的Y值都大于或等于點(diǎn)擊判定面的判定值。并且，當(dāng)用戶移動(dòng)手部進(jìn)行正常工作模式下的操作時(shí)，每次該動(dòng)作判斷單元108接收到手部中心點(diǎn)的三維坐標(biāo)后，不再重新設(shè)置該點(diǎn)擊判定平面Y軸值，而是直接根據(jù)該點(diǎn)擊判定平面Y軸值來(lái)判斷是否虛擬觸控屏出現(xiàn)有效點(diǎn)擊動(dòng)作。
[0063]其中，將手部中心點(diǎn)的三維坐標(biāo)值映射到鼠標(biāo)可控制區(qū)域上，具體為:設(shè)置鼠標(biāo)可控制區(qū)域?yàn)閄Z平面上的坐標(biāo)值范圍，經(jīng)過(guò)重映射的手部中心點(diǎn)在XZ面的坐標(biāo)可以直接映射為該鼠標(biāo)可控制區(qū)域中的鼠標(biāo)位置坐標(biāo)。
[0064]根據(jù)手部中心點(diǎn)的三維坐標(biāo)值判斷點(diǎn)擊動(dòng)作，具體為:當(dāng)選定了點(diǎn)擊判定平面Y軸值后，只要手部中心點(diǎn)三維坐標(biāo)中的Y值低于該點(diǎn)擊判定平面Y軸值，則判定該端點(diǎn)穿越的了該點(diǎn)擊判定平面，即該單手出現(xiàn)點(diǎn)擊行為，然后結(jié)合手部中心點(diǎn)在哪個(gè)區(qū)域判斷用戶最終是對(duì)哪個(gè)位置進(jìn)行了點(diǎn)擊操作。
[0065]該圖形繪制單元109根據(jù)該動(dòng)作判斷單元108的判斷結(jié)果，即，手部中心點(diǎn)在哪個(gè)區(qū)域上的哪個(gè)位置進(jìn)行了點(diǎn)擊操作，繪制出模擬鼠標(biāo)圖標(biāo)出現(xiàn)在對(duì)應(yīng)XZ面的位置，然后根據(jù)出現(xiàn)點(diǎn)擊行為的位置區(qū)域做出特定響應(yīng)，例如高亮，或者進(jìn)入某一選中的應(yīng)用程序。
[0066]該顯示控制單元110把由該圖形繪制單元109繪制的圖像轉(zhuǎn)換為顯示設(shè)備21可以顯示的時(shí)序，調(diào)用該顯示單元111將操作虛擬鼠標(biāo)的圖像顯示到顯示設(shè)備21上供用戶觀看，用戶根據(jù)反饋可以得知當(dāng)前的手部中心點(diǎn)對(duì)應(yīng)的虛擬鼠標(biāo)在控制區(qū)域中的位置。
[0067]請(qǐng)參閱圖4，為本發(fā)明實(shí)施方式中的人機(jī)交互式虛擬觸控方法的流程示意圖，該方法包括:
[0068]步驟S30，該環(huán)境亮度傳感單元101感應(yīng)環(huán)境的亮度值，該視圖識(shí)別單元102根據(jù)預(yù)先設(shè)置的亮度門(mén)限值以及該環(huán)境亮度傳感單元101感應(yīng)到的環(huán)境亮度值判斷使用普通攝像頭還是紅外攝像頭。
[0069]在初始狀態(tài)時(shí)，兩對(duì)攝像頭(一對(duì)普通攝像頭和一對(duì)紅外攝像頭)配合使用，攝像方向設(shè)置為互相垂直，可以同時(shí)捕捉手部垂直方向和水平方向的動(dòng)作行為。通常，智能眼鏡中兩個(gè)攝像頭(一個(gè)普通攝像頭和一個(gè)紅外攝像頭)朝下擺放，智能手環(huán)或者智能手機(jī)上的兩個(gè)攝像頭(一個(gè)普通攝像頭和一個(gè)紅外攝像頭)水平擺放。并且，由兩對(duì)攝像頭的可拍攝的矩形區(qū)域共同形成圖像捕捉區(qū)域。
[0070]步驟S31，用戶將雙手中需要操作的單手懸空平放于圖像捕捉區(qū)域中并保持一定時(shí)間的靜止，由裝置10識(shí)別和定位出單手的初始位置，完成用戶單手位置初始化。
[0071]該裝置10識(shí)別和定位單手位置的原理將在下文進(jìn)行詳細(xì)描述。
[0072]步驟S32，用戶將雙手中需要操作的單手懸空平放于圖像捕捉區(qū)域中，該縱向視圖識(shí)別子單元103根據(jù)處于單手上方作為縱向攝像設(shè)備的普通攝像頭或者是紅外攝像頭采集的圖像數(shù)據(jù)進(jìn)行手部識(shí)別，以確定手部中心點(diǎn)在圖像中的位置。該橫向視圖識(shí)別子單元104根據(jù)處于單手前方作為橫向攝像設(shè)備中的普通攝像頭或者紅外攝像頭采集的圖像數(shù)據(jù)進(jìn)行手部識(shí)別，以確定手部中心點(diǎn)在圖像中的位置。
[0073]具體地，該縱向視圖識(shí)別子單元103確定的手部中心點(diǎn)在圖像中的位置為在XZ坐標(biāo)面的手部中心點(diǎn)像素在圖像中的位置，例如，該縱向識(shí)別子單元103識(shí)別出手部中心點(diǎn)像素位于XZ面圖像的a行b列。該橫向視圖識(shí)別子單元104確定的手部中心點(diǎn)在圖像中的位置為在YZ坐標(biāo)面的手部中心點(diǎn)像素在圖像中的位置。
[0074]進(jìn)一步地，通過(guò)普通攝像頭判斷手部中心點(diǎn)的方法包括單色背景法和顏色手套法。其中，單色背景法具體為:雙手操作的環(huán)境背景需要顏色相對(duì)簡(jiǎn)單和單一，這樣可以直接通過(guò)人體膚色的顏色區(qū)間范圍直接把手部影像提取出來(lái)，然后根據(jù)提取出的手部圖像區(qū)域中最高點(diǎn)與最低點(diǎn)的平均值得到中心點(diǎn)的行數(shù)，通過(guò)最左點(diǎn)與最右點(diǎn)的平均值得到中心點(diǎn)的列數(shù)。顏色手套輔助法具體為:用戶佩戴專用的純紅色手套，由于普通攝像頭都是RGB(紅綠藍(lán)三基色)采樣，可以直接提取出純紅色區(qū)域位置，也可以使用綠色或者藍(lán)色作為手套手部中心點(diǎn)顏色，根據(jù)提取出的手部圖像區(qū)域中最高點(diǎn)與最低點(diǎn)的平均值得到中心點(diǎn)的行數(shù)，通過(guò)最左點(diǎn)與最右點(diǎn)的平均值得到中心點(diǎn)的列數(shù)。
[0075]通過(guò)紅外攝像頭判斷單手中心點(diǎn)的方法包括溫度濾除法和顏色手套輔助法。其中，溫度濾除法具體地為:雙手操作可以直接通過(guò)人體表面溫度相對(duì)環(huán)境溫度較高的特點(diǎn)直接把溫度較高的手部影像提取出來(lái)，然后根據(jù)提取出的手部圖像區(qū)域中最高點(diǎn)與最低點(diǎn)的平均值得到中心點(diǎn)的行數(shù)，通過(guò)最左點(diǎn)與最右點(diǎn)的平均值得到中心點(diǎn)的列數(shù)。顏色手套輔助法具體為:用戶佩戴專用手套，手套的表面有加熱效果，這樣可以直接提取出圖像中的熱點(diǎn)區(qū)域，然后根據(jù)提取出的手部圖像區(qū)域中最高點(diǎn)與最低點(diǎn)的平均值得到中心點(diǎn)的行數(shù)，通過(guò)最左點(diǎn)與最右點(diǎn)的平均值得到中心點(diǎn)的列數(shù)。
[0076]步驟S33，該水平面二維坐標(biāo)建立單元105根據(jù)該縱向視圖識(shí)別子單元103識(shí)別出的手部中心點(diǎn)位置在圖像中的位置與攝像頭的像素解析度，將手部中心點(diǎn)像素位置轉(zhuǎn)換為XZ坐標(biāo)面的二維坐標(biāo)值。該垂直面二維坐標(biāo)建立單元106根據(jù)該橫向視圖識(shí)別子單元104識(shí)別出的手部中心點(diǎn)位置在圖像中的位置與攝像頭的像素解析度，將手部中心點(diǎn)像素位置轉(zhuǎn)換為YZ坐標(biāo)面的二維坐標(biāo)值。
[0077]請(qǐng)參閱圖4，將手部中心點(diǎn)像素位置轉(zhuǎn)換為XZ坐標(biāo)面的二維坐標(biāo)值的轉(zhuǎn)換原理具體地為:將圖像左下角像素點(diǎn)設(shè)置為二維坐標(biāo)系的起始點(diǎn)0，根據(jù)圖像解析度和轉(zhuǎn)換為二維坐標(biāo)后的坐標(biāo)值范圍計(jì)算出坐標(biāo)值范圍相對(duì)每個(gè)圖像的行數(shù)和列數(shù)的比例。例如，XZ坐標(biāo)面圖像解析度寬高為2000*1000，二維XZ平面坐標(biāo)系的坐標(biāo)值范圍為X軸為I到150、Z軸為I到100，則Z軸坐標(biāo)值范圍相對(duì)圖像的行數(shù)比例為100/1000，X軸坐標(biāo)值范圍相對(duì)圖像的列數(shù)比例150/2000。將手部中心點(diǎn)的像素位置乘以計(jì)算得到的坐標(biāo)范圍相對(duì)圖像行、列數(shù)的比例，從而得到轉(zhuǎn)換為二維坐標(biāo)后的端點(diǎn)二維坐標(biāo)值。例如，某個(gè)手部中心點(diǎn)的像素位置為300行200列，則該手部中心點(diǎn)的Z軸坐標(biāo)為300*100/1000 = 30，該手部中心點(diǎn)的X軸坐標(biāo)為200*150/2000 = 15。將手部中心點(diǎn)像素位置轉(zhuǎn)換為YZ坐標(biāo)面的二維坐標(biāo)值的轉(zhuǎn)換原理同上，在此不加贅述。
[0078]步驟S34，該三維坐標(biāo)計(jì)算單元107根據(jù)該水平面二維坐標(biāo)建立單元105和垂直面二維坐標(biāo)建立單元106分別確定的手部中心點(diǎn)像素位置在XZ坐標(biāo)面和YZ坐標(biāo)面的二維坐標(biāo)值計(jì)算手部中心點(diǎn)在XYZ三維坐標(biāo)系中的坐標(biāo)值。
[0079]其中，計(jì)算手部中心點(diǎn)在XYZ三維坐標(biāo)系中的坐標(biāo)值的方法具體為:由于XZ坐標(biāo)面和YZ坐標(biāo)面有共同的Z軸，所以將XZ坐標(biāo)面中每個(gè)坐標(biāo)端點(diǎn)的Z值與YZ坐標(biāo)面中每個(gè)坐標(biāo)端點(diǎn)的Z值都提取出來(lái)進(jìn)行比較，Z軸坐標(biāo)值一致或者最接近的坐標(biāo)端點(diǎn)會(huì)被認(rèn)為是同一個(gè)端點(diǎn)，然后將被判斷為同一端點(diǎn)的XZ坐標(biāo)面的坐標(biāo)值與YZ坐標(biāo)面的坐標(biāo)值合并為一個(gè)坐標(biāo)端點(diǎn)，以作為XYZ三維坐標(biāo)系的坐標(biāo)值。因?yàn)閆值有可能不一樣，所以新產(chǎn)生的三維坐標(biāo)的Z值為XZ坐標(biāo)面的坐標(biāo)Z值加上YZ坐標(biāo)面的坐標(biāo)Z值然后除以2的運(yùn)算結(jié)果，三維坐標(biāo)系中的X、Y坐標(biāo)值分別等于XZ坐標(biāo)面和YZ坐標(biāo)面的X坐標(biāo)值與Y坐標(biāo)值。
[0080]步驟S35，該鼠標(biāo)重映射單元112根據(jù)手部中心點(diǎn)在XZ平面的坐標(biāo)與鼠標(biāo)靈敏度配置信息，重新把鼠標(biāo)的XZ坐標(biāo)進(jìn)行映射，以實(shí)現(xiàn)鼠標(biāo)靈敏度的調(diào)整。
[0081]其中，該鼠標(biāo)重映射單元112進(jìn)行鼠標(biāo)靈敏度的調(diào)整，具體為:預(yù)先設(shè)置一重映射系數(shù)，并在裝置10開(kāi)始工作前被寫(xiě)入。當(dāng)裝置10開(kāi)始工作后，該鼠標(biāo)重映射單元112將手部中心點(diǎn)的XZ面的X軸坐標(biāo)值和Z軸坐標(biāo)值乘以該重映射系數(shù)以得到重映射之后的坐標(biāo)值。例如，手部中心點(diǎn)的XZ面坐標(biāo)為X = 30,z = 50,當(dāng)希望靈敏度加強(qiáng)時(shí),則設(shè)置重映射系數(shù)大于1，例如設(shè)置重映射系數(shù)為1.5,因此重映射后的坐標(biāo)為X = 30*1.5 = 45, z =50*1.5 = 75。當(dāng)希望靈敏度減小時(shí)，則設(shè)置重映射系數(shù)小于1，例如設(shè)置重映射系數(shù)為0.5，因此重映射后的坐標(biāo)為X = 30*0.5 = 15, z = 50*0.5 = 25。如果不希望做靈敏度調(diào)整，則設(shè)置重映射系數(shù)為I。
[0082]步驟S36，該動(dòng)作判斷單元108根據(jù)該三維坐標(biāo)計(jì)算單元107計(jì)算的手部中心點(diǎn)的三維坐標(biāo)值判斷用戶手部中心點(diǎn)對(duì)應(yīng)的鼠標(biāo)位置以及是否進(jìn)行了鼠標(biāo)點(diǎn)擊操作。
[0083]在本實(shí)施方式中，在手部位置初始化階段時(shí)，該動(dòng)作判斷單元108根據(jù)手部中心點(diǎn)的三維坐標(biāo)值中垂直方向的最低端點(diǎn)(也就是Y軸的最小坐標(biāo)值)作為點(diǎn)擊判定平面Y軸值，把手部中心點(diǎn)的三維坐標(biāo)值映射到鼠標(biāo)可控制區(qū)域上，然后根據(jù)手部中心點(diǎn)的位置以及是否出現(xiàn)點(diǎn)擊動(dòng)作確定用戶的操作信息。
[0084]由于是手部位置初始化階段，該動(dòng)作判斷單元108利用Y值設(shè)定點(diǎn)擊判定面的初始值，所以手部坐標(biāo)的Y值都大于或等于點(diǎn)擊判定面的判定值。并且，當(dāng)用戶移動(dòng)手部進(jìn)行正常工作模式下的操作時(shí)，每次該動(dòng)作判斷單元108接收到手部中心點(diǎn)的三維坐標(biāo)后，不再重新設(shè)置該點(diǎn)擊判定平面Y軸值，而是直接根據(jù)該點(diǎn)擊判定平面Y軸值來(lái)判斷是否虛擬觸控屏出現(xiàn)有效點(diǎn)擊動(dòng)作。
[0085]其中，將手部中心點(diǎn)的三維坐標(biāo)值映射到鼠標(biāo)可控制區(qū)域上，具體為:設(shè)置鼠標(biāo)可控制區(qū)域?yàn)閄Z平面上的坐標(biāo)值范圍，經(jīng)過(guò)重映射的手部中心點(diǎn)在XZ面的坐標(biāo)可以直接映射為該鼠標(biāo)可控制區(qū)域中的鼠標(biāo)位置坐標(biāo)。
[0086]根據(jù)手部中心點(diǎn)的三維坐標(biāo)值判斷點(diǎn)擊動(dòng)作，具體為:當(dāng)選定了點(diǎn)擊判定平面Y軸值后，只要手部中心點(diǎn)三維坐標(biāo)中的Y值低于該點(diǎn)擊判定平面Y軸值，則判定該端點(diǎn)穿越的了該點(diǎn)擊判定平面，即該單手出現(xiàn)點(diǎn)擊行為，然后結(jié)合手部中心點(diǎn)在哪個(gè)區(qū)域判斷用戶最終是對(duì)哪個(gè)位置進(jìn)行了點(diǎn)擊操作。
[0087]步驟S37，該圖形繪制單元109根據(jù)該動(dòng)作判斷單元108的判斷結(jié)果，即，手部中心點(diǎn)在哪個(gè)區(qū)域上的哪個(gè)位置進(jìn)行了點(diǎn)擊操作，繪制出模擬鼠標(biāo)圖標(biāo)出現(xiàn)在對(duì)應(yīng)XZ面的位置，然后根據(jù)出現(xiàn)點(diǎn)擊行為的位置區(qū)域做出特定響應(yīng)，例如高亮，或者進(jìn)入某一選中的應(yīng)用程序。
[0088]步驟S38，該顯示控制單元110把由該圖形繪制單元109繪制的圖像轉(zhuǎn)換為顯示設(shè)備21可以顯示的時(shí)序，調(diào)用該顯示單元111將操作虛擬鼠標(biāo)的圖像顯示到顯示設(shè)備21上供用戶觀看，用戶根據(jù)反饋可以得知當(dāng)前的手部中心點(diǎn)對(duì)應(yīng)的虛擬鼠標(biāo)在控制區(qū)域中的位置。
[0089]本發(fā)明提供的一種人機(jī)交互式虛擬觸控裝置、系統(tǒng)及方法，由攝像頭抓取圖像并識(shí)別手部中心點(diǎn)的位置以及手部姿勢(shì)，由得到的手部中心點(diǎn)坐標(biāo)直接映射為對(duì)虛擬鼠標(biāo)的操作動(dòng)作，并在顯示器上顯示出來(lái)反饋給用戶，通過(guò)智能眼鏡和智能手環(huán)，或者智能便攜移動(dòng)設(shè)備上的攝像設(shè)備快速搭建虛擬鼠標(biāo)輸入環(huán)境，不再需要實(shí)體設(shè)備，方便用戶隨時(shí)隨地通過(guò)虛擬鼠標(biāo)進(jìn)行人機(jī)交互操作。
[0090]以上所述僅為本發(fā)明的實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的【技術(shù)領(lǐng)域】，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。
【權(quán)利要求】
1.一種人機(jī)交互式虛擬觸控裝置，包括顯示控制單元與顯示單元，其特征在于，所述裝置包括: 視圖識(shí)別單元，用于對(duì)攝像頭采集的用戶手部的圖像數(shù)據(jù)進(jìn)行手部識(shí)別，以確定手部中心點(diǎn)在圖像中的位置； 水平面二維坐標(biāo)建立單元，用于根據(jù)所述視圖識(shí)別單元識(shí)別出的手部中心點(diǎn)位置在圖像中的位置與攝像頭的像素解析度，將手部中心點(diǎn)像素位置轉(zhuǎn)換為XZ坐標(biāo)面的二維坐標(biāo)值； 垂直面二維坐標(biāo)建立單元，用于根據(jù)所述視圖識(shí)別單元識(shí)別出的手部中心點(diǎn)位置在圖像中的位置與攝像頭的像素解析度，將手部中心點(diǎn)像素位置轉(zhuǎn)換為YZ坐標(biāo)面的二維坐標(biāo)值； 三維坐標(biāo)計(jì)算單元，用于根據(jù)所述水平面二維坐標(biāo)建立單元和垂直面二維坐標(biāo)建立單元分別確定的手部中心點(diǎn)像素位置在XZ坐標(biāo)面和YZ坐標(biāo)面的二維坐標(biāo)值計(jì)算手部中心點(diǎn)在XYZ三維坐標(biāo)系中的坐標(biāo)值； 動(dòng)作判斷單元，用于根據(jù)所述三維坐標(biāo)計(jì)算單元計(jì)算的手部中心點(diǎn)的三維坐標(biāo)值判斷用戶手部中心點(diǎn)對(duì)應(yīng)的鼠標(biāo)位置以及判斷用戶的虛擬鼠標(biāo)點(diǎn)擊操作；以及 圖形繪制單元，用于根據(jù)所述動(dòng)作判斷單元的判斷結(jié)果繪制出模擬鼠標(biāo)出現(xiàn)在對(duì)應(yīng)的XZ面的位置以及做出特定響應(yīng)形成的操作圖像，并調(diào)用所述顯示控制單元控制所述顯示單元顯示所述操作圖像。
2.如權(quán)利要求1所述的人機(jī)交互式虛擬觸控裝置，其特征在于，還包括環(huán)境亮度傳感單元，用于感應(yīng)環(huán)境的亮度值； 所述視圖識(shí)別單元包括: 縱向視圖識(shí)別子單元，用于根據(jù)所述環(huán)境亮度傳感單元偵測(cè)到的環(huán)境亮度值判斷使用普通攝像頭還是紅外攝像頭，并當(dāng)確定使用的攝像頭后對(duì)所述采集的圖像數(shù)據(jù)進(jìn)行手部識(shí)另IJ，以確定在XZ坐標(biāo)面的手部中心點(diǎn)像素在圖像中的位置；以及 橫向視圖識(shí)別子單元，用于根據(jù)所述環(huán)境亮度傳感單元偵測(cè)到的環(huán)境亮度值判斷使用普通攝像頭還是紅外攝像頭，并當(dāng)確定使用的攝像頭后對(duì)所述采集的圖像數(shù)據(jù)進(jìn)行手部識(shí)另IJ，以確定在YZ坐標(biāo)面的手部中心點(diǎn)像素在圖像中的位置。
3.如權(quán)利要求1所述的人機(jī)交互式虛擬觸控裝置，其特征在于，所述水平面二維坐標(biāo)建立單元將手部中心點(diǎn)像素位置轉(zhuǎn)換為XZ坐標(biāo)面的二維坐標(biāo)值，以及所述垂直面二維坐標(biāo)建立單元將手部中心點(diǎn)像素位置轉(zhuǎn)換為YZ坐標(biāo)面的二維坐標(biāo)值，具體為:將圖像左下角像素點(diǎn)設(shè)置為二維坐標(biāo)系的起始點(diǎn)O,根據(jù)圖像解析度和轉(zhuǎn)換為二維坐標(biāo)后的坐標(biāo)值范圍計(jì)算出坐標(biāo)值范圍相對(duì)每個(gè)圖像的行數(shù)和列數(shù)的比例。
4.如權(quán)利要求1所述的人機(jī)交互式虛擬觸控裝置，其特征在于，還包括鼠標(biāo)重映射單元，用于根據(jù)手部中心點(diǎn)在XZ平面的坐標(biāo)與鼠標(biāo)靈敏度配置信息計(jì)算鼠標(biāo)的XZ坐標(biāo)，以實(shí)現(xiàn)鼠標(biāo)靈敏度的調(diào)整。
5.如權(quán)利要求1所述的人機(jī)交互式虛擬觸控裝置，其特征在于，所述動(dòng)作判斷單元還用于在手部位置初始化階段時(shí)根據(jù)手部中心點(diǎn)的三維坐標(biāo)值中垂直方向的最低端點(diǎn)作為點(diǎn)擊判定平面Y軸值，把手部中心點(diǎn)的三維坐標(biāo)值映射到鼠標(biāo)可控制區(qū)域上。
6.如權(quán)利要求5所述的人機(jī)交互式虛擬觸控裝置，其特征在于，所述動(dòng)作判斷單元將手部中心點(diǎn)的三維坐標(biāo)值映射到鼠標(biāo)可控制區(qū)域上，具體為:設(shè)置鼠標(biāo)可控制區(qū)域?yàn)閄Z平面上的坐標(biāo)值范圍，經(jīng)過(guò)重映射的手部中心點(diǎn)在XZ面的坐標(biāo)可以直接映射為鼠標(biāo)可控制區(qū)域中的鼠標(biāo)位置坐標(biāo)。
7.如權(quán)利要求5所述的人機(jī)交互式虛擬觸控裝置，其特征在于，所述動(dòng)作判斷單元根據(jù)手部中心點(diǎn)的三維坐標(biāo)值判斷點(diǎn)擊動(dòng)作，具體為:當(dāng)選定點(diǎn)擊判定平面Y軸值后，當(dāng)手部中心點(diǎn)三維坐標(biāo)中的Y值低于所述點(diǎn)擊判定平面Y軸值時(shí)，則判定所述手部中心點(diǎn)穿越了所述點(diǎn)擊判定平面，并結(jié)合手部中心點(diǎn)對(duì)應(yīng)的鼠標(biāo)可控制區(qū)域判斷用戶進(jìn)行點(diǎn)擊操作的位置。
8.—種人機(jī)交互式虛擬觸控系統(tǒng)，其特征在于，包括如權(quán)利要求1-7任意一項(xiàng)所述的人機(jī)交互式虛擬觸控裝置以及與所述裝置通信連接的兩個(gè)攝像設(shè)備。
9.如權(quán)利要求8所述的人機(jī)交互式虛擬觸控系統(tǒng)，其特征在于，所述攝像設(shè)備包括第一攝像頭以及第二攝像頭，分別作為縱向攝像設(shè)備和橫向攝像設(shè)備，攝像方向設(shè)置為互相垂直。
10.如權(quán)利要求9所述的人機(jī)交互式虛擬觸控系統(tǒng)，其特征在于，所述第一攝像頭和第二攝像頭分別為普通攝像頭和紅外攝像頭。
11.一種人機(jī)交互式虛擬觸控方法，其特征在于，所述方法包括: 用戶將手部懸空平放于圖像捕捉區(qū)域中，對(duì)攝像頭采集的用戶手部的圖像數(shù)據(jù)進(jìn)行手部識(shí)別，以確定手部中心點(diǎn)在圖像中的位置； 根據(jù)識(shí)別出的手部中心點(diǎn)位置在圖像中的位置與攝像頭的像素解析度，將手部中心點(diǎn)像素位置分別轉(zhuǎn)換為XZ坐標(biāo)面與YZ坐標(biāo)面的二維坐標(biāo)值； 根據(jù)手部中心點(diǎn)像素位置在XZ坐標(biāo)面和YZ坐標(biāo)面的二維坐標(biāo)值計(jì)算手部中心點(diǎn)在XYZ三維坐標(biāo)系中的坐標(biāo)值； 根據(jù)所述計(jì)算的手部中心點(diǎn)的三維坐標(biāo)值判斷用戶手部中心點(diǎn)對(duì)應(yīng)的鼠標(biāo)位置以及判斷用戶的虛擬鼠標(biāo)點(diǎn)擊操作； 根據(jù)所述判斷結(jié)果繪制出模擬鼠標(biāo)出現(xiàn)在對(duì)應(yīng)的XZ面的位置以及做出特定響應(yīng)形成的操作圖像；以及 顯示所述繪制的操作圖像供用戶觀看。
12.如權(quán)利要求11所述的人機(jī)交互式虛擬觸控方法，其特征在于，所述用戶將手部懸空平放于圖像捕捉區(qū)域中，對(duì)攝像頭采集的用戶手部的圖像數(shù)據(jù)進(jìn)行手部識(shí)別，以確定手部中心點(diǎn)在圖像中的位置的步驟之前，包括: 根據(jù)感應(yīng)的環(huán)境亮度值與預(yù)先設(shè)置的亮度門(mén)限值判斷使用普通攝像頭還是紅外攝像頭; 用戶將雙手中需要操作的手部懸空平放于圖像捕捉區(qū)域中并保持一定時(shí)間的靜止，由選定的攝像頭識(shí)別和定位出手部的初始位置。
13.如權(quán)利要求11所述的人機(jī)交互式虛擬觸控方法，其特征在于，所述根據(jù)識(shí)別出的手部中心點(diǎn)位置在圖像中的位置與攝像頭的像素解析度，將手部中心點(diǎn)像素位置分別轉(zhuǎn)換為XZ坐標(biāo)面與YZ坐標(biāo)面的二維坐標(biāo)值的步驟具體為: 將圖像左下角像素點(diǎn)設(shè)置為二維坐標(biāo)系的起始點(diǎn)0，根據(jù)圖像解析度和轉(zhuǎn)換為二維坐標(biāo)后的坐標(biāo)值范圍計(jì)算出坐標(biāo)值范圍相對(duì)每個(gè)圖像的行數(shù)和列數(shù)的比例。
14.如權(quán)利要求11所述的人機(jī)交互式虛擬觸控方法，其特征在于，所述根據(jù)手部中心點(diǎn)像素位置在XZ坐標(biāo)面和YZ坐標(biāo)面的二維坐標(biāo)值計(jì)算手部中心點(diǎn)在XYZ三維坐標(biāo)系中的坐標(biāo)值的步驟之后，還包括: 根據(jù)手部中心點(diǎn)在XZ平面的坐標(biāo)與鼠標(biāo)靈敏度配置信息計(jì)算鼠標(biāo)的XZ坐標(biāo)，以實(shí)現(xiàn)鼠標(biāo)靈敏度的調(diào)整。
15.如權(quán)利要求11所述的人機(jī)交互式虛擬觸控方法，其特征在于，所述由選定的攝像頭識(shí)別和定位出手部的初始位置的步驟之后還包括: 根據(jù)手部中心點(diǎn)的三維坐標(biāo)值中垂直方向的最低端點(diǎn)作為點(diǎn)擊判定平面Y軸值，把手部中心點(diǎn)的三維坐標(biāo)值映射到鼠標(biāo)可控制區(qū)域上。
【文檔編號(hào)】G06F3/01GK104199549SQ201410436863
【公開(kāi)日】2014年12月10日 申請(qǐng)日期:2014年8月29日 優(yōu)先權(quán)日:2014年8月29日
【發(fā)明者】廖裕民 申請(qǐng)人:福州瑞芯微電子有限公司