專(zhuān)利名稱(chēng)：基于投影屏幕的多點(diǎn)觸控檢測(cè)方法及多點(diǎn)觸控系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，特別涉及一種基于投影屏幕的多點(diǎn)觸控檢測(cè)方法及多點(diǎn)觸控系統(tǒng)。
背景技術(shù)：
人們渴望隨時(shí)隨地與數(shù)字世界進(jìn)行溝通，因此伴隨電子產(chǎn)品微型化的趨勢(shì)，智能手機(jī)、平板電腦等移動(dòng)便攜式數(shù)字產(chǎn)品受到了消費(fèi)者的青睞。手機(jī)、移動(dòng)電腦的體積越來(lái)越小，性能越來(lái)越高、功能越來(lái)越多。如今大量的傳感器，例如加速度計(jì)、陀螺儀、圖像傳感器等已經(jīng)廣泛的應(yīng)用于智能手機(jī)、平板電腦中。隨著微電子技術(shù)的高速發(fā)展，可以預(yù)計(jì)將會(huì)有越來(lái)越多的傳感器嵌入到智能手機(jī)、平板電腦等便攜式微型設(shè)備中。
如今的電子產(chǎn)品多采用LED顯示器、CRT顯示器、液晶顯示屏(IXD)等作為顯示設(shè)備，采用物理鍵盤(pán)、觸控面板(Touch Panel)等作為輸入設(shè)備，從而實(shí)現(xiàn)人機(jī)交互。前面提到的電子產(chǎn)品的微型化從本質(zhì)上并不希望看到人機(jī)交互界面的微型化。人機(jī)交互界面的小型化在很多應(yīng)用環(huán)境中只會(huì)影響人機(jī)交互的便捷性、舒適性——比如，人們更愿意在物理鍵盤(pán)上打字、更愿意在大屏幕的顯示器上瀏覽信息。因此人機(jī)交互的便捷性、舒適性要求輸入設(shè)備適合人手操作、顯示界面適合信息瀏覽。這與電子產(chǎn)品的微型化成為了一對(duì)矛盾。而采用現(xiàn)有的人機(jī)交互方式，電子產(chǎn)品的微型化必然會(huì)導(dǎo)致交互界面的小型化。例如，現(xiàn)在的手機(jī)尺寸過(guò)小，導(dǎo)致顯示屏幕小，不適合人觀察，鍵盤(pán)太小，也非常不方便用戶操作。
為了克服傳統(tǒng)輸入輸出設(shè)備的缺陷，近年來(lái)出現(xiàn)了一些新的人機(jī)交互系統(tǒng)。專(zhuān)利 CN 101881921A、專(zhuān)利CN 102063618A以及專(zhuān)利US 2011/0197147A1中采用投影裝置顯示圖像，然后通過(guò)投影平面上的手勢(shì)實(shí)現(xiàn)人機(jī)交互——系統(tǒng)中定義若干手勢(shì)，每種手勢(shì)與指令相對(duì)應(yīng)，存儲(chǔ)在指令數(shù)據(jù)庫(kù)中。比如，利用手勢(shì)可以實(shí)現(xiàn)比如翻頁(yè)、放大、縮小等操作。該系統(tǒng)最大的缺陷是手勢(shì)定義的指令數(shù)量有限。一方面，指令數(shù)的增加必然會(huì)加大用戶的學(xué)習(xí)難度，很難被普通用戶接受；另外一方面，即使指令數(shù)量增加到一定程度也很難實(shí)現(xiàn)字符、 數(shù)字輸入的功能。最近，賽路恩公司推出了一款鐳射虛擬鍵盤(pán)(VKB)。該產(chǎn)品采用激光在桌面上投影出一個(gè)虛擬鍵盤(pán)，紅外傳感器判斷手指是否敲擊鍵盤(pán)。該產(chǎn)品投影出的鍵盤(pán)圖像色彩單調(diào)，也只能完成字符、數(shù)字輸入的功能，而不能實(shí)現(xiàn)色彩豐富圖形界面投影與操作。發(fā)明內(nèi)容
(一)要解決的技術(shù)問(wèn)題
本發(fā)明要解決的技術(shù)問(wèn)題是如何實(shí)現(xiàn)微型移動(dòng)便攜式設(shè)備的方便、舒適、快速、 準(zhǔn)確以及穩(wěn)定的人機(jī)交互。
( 二 )技術(shù)方案
為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于投影屏幕的多點(diǎn)觸控檢測(cè)方法，包括以下步驟
Sl 測(cè)定投影平面、計(jì)算所述投影平面參數(shù)，并對(duì)所述投影平面進(jìn)行背景模型訓(xùn)4練，形成背景圖像；
S2:向投影平面投影圖形界面后并判斷是否開(kāi)始監(jiān)測(cè)觸控操作，若沒(méi)有觸控操作， 則繼續(xù)監(jiān)測(cè)；
S3 采集觸控操作的圖像s ；
S4:依據(jù)所述背景圖像對(duì)步驟S3中采集的圖像s進(jìn)行背景分割，提取出前景圖像， 該前景圖像中至少包括了指尖、手掌、手臂以及各自形成的陰影；
S5 從前景圖像中提取出指尖，濾除手掌、手臂以及相應(yīng)的陰影；
S6 根據(jù)提取出的指尖的三維信息判斷接觸點(diǎn)；
S7:如果指尖與投影平面接觸，那么判定為一次有效的觸控操作，并返回接觸點(diǎn)的位置坐標(biāo)。
其中，所述步驟Sl中的平面參數(shù)計(jì)算包括如下步驟
采用結(jié)構(gòu)光方法檢測(cè)出投影平面上N個(gè)點(diǎn)，N >=3，非N點(diǎn)共線，在圖像傳感器坐標(biāo)系的坐標(biāo)(Xi Yi Zi)T，i = 1，2···，Ν，當(dāng)N= 3時(shí)，通過(guò)如下公式計(jì)算平面參數(shù)
否則，通過(guò)最小二乘法估計(jì)投影平面參數(shù)，其中α、β、Y為所述投影平面的方程系數(shù)，滿足平面方程α χ+ β y+ Υ ζ = 1。
其中，所述步驟S4中分割背景圖像的方式為遍歷圖像s中每一個(gè)像素點(diǎn)，將偏離背景圖像統(tǒng)計(jì)均值大于第一門(mén)限值的像素判斷為前景圖像；將偏離背景圖像統(tǒng)計(jì)均值小于第二門(mén)限值的像素判定為背景圖像，根據(jù)該像素值更新背景圖像；偏離在第一門(mén)限值和第二門(mén)限值之間的像素判定為背景圖像，但不更新背景圖像，所述第一門(mén)限值大于所述第二門(mén)限值。
其中，所述步驟S4中，在遍歷之前通過(guò)投影圖像四個(gè)角的坐標(biāo)計(jì)算采集圖像平面上對(duì)應(yīng)的四個(gè)坐標(biāo)，以確定在圖像s中的投影圖像的區(qū)域，遍歷時(shí)只遍歷圖像s中的投影圖像所在區(qū)域。
其中，所述步驟S5具體包括
(1)判斷像素點(diǎn)是否為前景圖像，若不為前景圖像，則結(jié)束對(duì)該像素點(diǎn)的處理；
(2)若為前景圖像，則判斷是否為陰影，如果該像素點(diǎn)為陰影，結(jié)束對(duì)該像素點(diǎn)的處理，否則斷定所述像素點(diǎn)為指尖；
(3)按上述(1)42)遍歷圖像s的每一個(gè)像素點(diǎn)。
其中，所述步驟S5具體包括
(1)判斷像素點(diǎn)是否為前景圖像，若不為前景圖像，則結(jié)束對(duì)該像素點(diǎn)的處理；
(2)若為前景圖像，則判斷是否為陰影，如果所述像素點(diǎn)為陰影，則結(jié)束對(duì)所述像素點(diǎn)的處理；
(3)計(jì)算所述像素點(diǎn)的像素斜率；
(4)判斷同一斜率上是否有陰影點(diǎn)，如果與所述像素點(diǎn)相同斜率上存在陰影點(diǎn)，則斷定所述像素點(diǎn)所在區(qū)域不與投影屏幕接觸，結(jié)束對(duì)該像素點(diǎn)的處理，否則斷定所述像素點(diǎn)為指尖；
(5)按上述(1)-(4)遍歷圖像s的每一個(gè)像素點(diǎn)。
其中，所述步驟S6具體包括
將結(jié)構(gòu)光投影到指尖區(qū)域，并捕獲失真的結(jié)構(gòu)光圖案；
查找指尖區(qū)域中投影結(jié)構(gòu)光圖像與失真結(jié)構(gòu)光圖案的像素點(diǎn)映射關(guān)系；
計(jì)算指尖到投影平面的距離，通過(guò)結(jié)構(gòu)光的方法得到指尖在圖像傳感器坐標(biāo)系的坐標(biāo)為(Xi Yi Zi)T，那么指尖與投影平面之間的距離為
權(quán)利要求
1.一種基于投影屏幕的多點(diǎn)觸控檢測(cè)方法，其特征在于，包括以下步驟51測(cè)定投影平面、計(jì)算所述投影平面參數(shù)，并對(duì)所述投影平面進(jìn)行背景模型訓(xùn)練，形成背景圖像；52向投影平面投影圖形界面后并判斷是否開(kāi)始監(jiān)測(cè)觸控操作，若沒(méi)有觸控操作，則繼續(xù)監(jiān)測(cè)；S3:采集觸控操作的圖像s;S4:依據(jù)所述背景圖像對(duì)步驟S3中采集的圖像s進(jìn)行背景分割，提取出前景圖像，該前景圖像中至少包括了指尖、手掌、手臂以及各自形成的陰影；55從前景圖像中提取出指尖，濾除手掌、手臂以及相應(yīng)的陰影；56根據(jù)提取出的指尖的三維信息判斷接觸點(diǎn)；57如果指尖與投影平面接觸，那么判定為一次有效的觸控操作，并返回接觸點(diǎn)的位置坐標(biāo)。
2.如權(quán)利要求1所述的基于投影屏幕的多點(diǎn)觸控檢測(cè)方法，其特征在于，所述步驟Sl 中的平面參數(shù)計(jì)算包括如下步驟采用結(jié)構(gòu)光方法檢測(cè)出投影平面上N個(gè)點(diǎn)，N >= 3，非N點(diǎn)共線，在圖像傳感器坐標(biāo)系的坐標(biāo)(Xi Yi Zi)T，i = 1，2···，Ν，當(dāng)N= 3時(shí)，通過(guò)如下公式計(jì)算平面參數(shù)
3.如權(quán)利要求1所述的基于投影屏幕的多點(diǎn)觸控檢測(cè)方法，其特征在于，所述步驟S4 中分割背景圖像的方式為遍歷圖像s中每一個(gè)像素點(diǎn)，將偏離背景圖像統(tǒng)計(jì)均值大于第一門(mén)限值的像素判斷為前景圖像；將偏離背景圖像統(tǒng)計(jì)均值小于第二門(mén)限值的像素判定為背景圖像，根據(jù)該像素值更新背景圖像；偏離在第一門(mén)限值和第二門(mén)限值之間的像素判定為背景圖像，但不更新背景圖像，所述第一門(mén)限值大于所述第二門(mén)限值。
4.如權(quán)利要求3所述的基于投影屏幕的多點(diǎn)觸控檢測(cè)方法，其特征在于，所述步驟S4 中，在遍歷之前通過(guò)投影圖像四個(gè)角的坐標(biāo)計(jì)算采集圖像平面上對(duì)應(yīng)的四個(gè)坐標(biāo)，以確定在圖像s中的投影圖像的區(qū)域，遍歷時(shí)只遍歷圖像s中的投影圖像所在區(qū)域。
5.如權(quán)利要求1所述的基于投影屏幕的多點(diǎn)觸控檢測(cè)方法，其特征在于，所述步驟S5 具體包括(1)判斷像素點(diǎn)是否為前景圖像，若不為前景圖像，則結(jié)束對(duì)該像素點(diǎn)的處理；(2)若為前景圖像，則判斷是否為陰影，如果該像素點(diǎn)為陰影，結(jié)束對(duì)該像素點(diǎn)的處理， 否則斷定所述像素點(diǎn)為指尖；(3)按上述(1)42)遍歷圖像s的每一個(gè)像素點(diǎn)。
6.如權(quán)利要求1所述的基于投影屏幕的多點(diǎn)觸控檢測(cè)方法，其特征在于，所述步驟S5 具體包括(1)判斷像素點(diǎn)是否為前景圖像，若不為前景圖像，則結(jié)束對(duì)該像素點(diǎn)的處理；(2)若為前景圖像，則判斷是否為陰影，如果所述像素點(diǎn)為陰影，則結(jié)束對(duì)所述像素點(diǎn)的處理；(3)計(jì)算所述像素點(diǎn)的像素斜率；(4)判斷同一斜率上是否有陰影點(diǎn)，如果與所述像素點(diǎn)相同斜率上存在陰影點(diǎn)，則斷定所述像素點(diǎn)所在區(qū)域不與投影屏幕接觸，結(jié)束對(duì)該像素點(diǎn)的處理，否則斷定所述像素點(diǎn)為指尖；(5)按上述(1)44)遍歷圖像s的每一個(gè)像素點(diǎn)。
7.如權(quán)利要求1所述的基于投影屏幕的多點(diǎn)觸控檢測(cè)方法，其特征在于，所述步驟S6 具體包括將結(jié)構(gòu)光投影到指尖區(qū)域，并捕獲失真的結(jié)構(gòu)光圖案； 查找指尖區(qū)域中投影結(jié)構(gòu)光圖像與失真結(jié)構(gòu)光圖案的像素點(diǎn)映射關(guān)系； 計(jì)算指尖到投影平面的距離，通過(guò)結(jié)構(gòu)光的方法得到指尖在圖像傳感器坐標(biāo)系的坐標(biāo)為(Xi Yi Zi)T，那么指尖與投影平面之間的距離為 ,axi +Pyj+Yzi , = —ι判斷接觸點(diǎn)，如果Cli > thresholcLl，則指尖不與投影平面接觸，否則指尖與投影平面接觸，其中，threshold_l為預(yù)定閾值。
8.如權(quán)利要求1所述的基于投影屏幕的多點(diǎn)觸控檢測(cè)方法，其特征在于，所述步驟S6 具體包括向指尖區(qū)域投影結(jié)構(gòu)光條紋，并捕獲結(jié)構(gòu)光圖像；檢測(cè)捕獲結(jié)構(gòu)光圖像中條紋上邊緣像素橫坐標(biāo)X1和下邊緣像素橫坐標(biāo)& ； 計(jì)算條紋中心ip; 判斷指尖是否與投影平面接觸，如果 xc< threshold—2，那么斷定指尖與投影平面接觸，其中^為指尖中心橫坐標(biāo)，threshold_2為預(yù)定閾值。
9.一種基于投影屏幕的多點(diǎn)觸控系統(tǒng)，包括投影儀、圖像傳感器、I/O端口、輸入設(shè)備、存儲(chǔ)設(shè)備及中央控制器，所述投影儀圖像傳感器、I/O端口、輸入設(shè)備、存儲(chǔ)設(shè)備均與所述中央控制器相連，其特征在于，所述I/O端口用于連接移動(dòng)終端，所述投影儀用于將移動(dòng)終端顯示的圖像和操作界面投影到投影平面；所述圖像傳感器用于捕獲投影屏幕上手勢(shì)； 所述中央控制器用于解析所述手勢(shì)的觸控操作，并將解析出的觸控信息反饋給移動(dòng)終端， 所述輸入設(shè)備用于輸入配置信息及指令。
10.如權(quán)利要求9所述的基于投影屏幕的多點(diǎn)觸控系統(tǒng)，其特征在于，所述輸入設(shè)備包括感光傳感器，用于檢測(cè)環(huán)境光的亮度，所述中央控制器根據(jù)感光傳感器的輸出值調(diào)節(jié)投影儀的亮度。
全文摘要
本發(fā)明公開(kāi)了基于投影屏幕的多點(diǎn)觸控檢測(cè)方法，涉及人機(jī)交互技術(shù)領(lǐng)域，包括測(cè)定投影平面、計(jì)算投影平面參數(shù)，并對(duì)投影平面進(jìn)行背景模型訓(xùn)練，形成背景圖像；向投影平面投影圖形界面后并判斷是否開(kāi)始監(jiān)測(cè)觸控操作；采集觸控操作的圖像s；依據(jù)背景圖像采集的圖像s進(jìn)行背景分割，提取出前景圖像；從前景圖像中提取出指尖，濾除手掌、手臂以及相應(yīng)的陰影；根據(jù)提取出的指尖的空間三維信息判斷接觸點(diǎn)；如果指尖與投影平面接觸，那么判定為一次有效的觸控操作，并返回接觸點(diǎn)的位置坐標(biāo)。還公開(kāi)了一種基于投影屏幕的多點(diǎn)觸控系統(tǒng)。本發(fā)明實(shí)現(xiàn)了一種便捷、舒適、精確、實(shí)時(shí)和穩(wěn)定的人機(jī)交互方式。
文檔編號(hào)G06F3/041GK102508574SQ20111035351
公開(kāi)日2012年6月20日 申請(qǐng)日期2011年11月9日 優(yōu)先權(quán)日2011年11月9日
發(fā)明者劉金, 李國(guó)林, 王志華, 胡軍, 謝翔 申請(qǐng)人:清華大學(xué)