專利名稱：一種用戶界面的控制方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，尤其涉及一種用戶界面的控制方法及裝置。
背景技術(shù)：
隨著科技的發(fā)展，人們在人性化和智能化上對多媒體設(shè)備要求越來越高，越來越多的多媒體設(shè)備置有手勢控制功能，手勢控制功能使用戶僅僅通過手勢動作便能對多媒體 設(shè)備下達(dá)控制指令。目前，手勢控制裝置大體分為兩類一類是采用攝像頭來識別手勢動作，該類裝置需要識別手的投影是否符合特定形狀(每ー種特定形狀對應(yīng)ー種指令) ’另一類是采用需要用戶佩戴的傳感器來識別手勢動作。這兩類裝置的共性是代表控制命令的手勢固定且單一，并且需要用戶熟記各種手勢所對應(yīng)的控制指令，當(dāng)指令過多時，很容易讓人混淆，使得用戶體驗不佳。

發(fā)明內(nèi)容
本發(fā)明實施例所要解決的技術(shù)問題在于，提供一種用戶界面的控制方法及裝置?？梢宰層脩綮`活和方便的控制用戶界面，提高用戶體驗。為了解決上述技術(shù)問題，本發(fā)明實施例提供了一種用戶界面的控制方法，包括 采集用戶手部的三維空間信息；
根據(jù)所述采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動作一致的三維虛擬
手;
檢測所述三維虛擬手對所述用戶界面的操作，并根據(jù)所述檢測到的操作，執(zhí)行相應(yīng)的功能。其中，所述采集用戶手部動作的三維空間信息包括
周期性獲取用戶的手心面上的點在參考坐標(biāo)系中的空間坐標(biāo)。其中，所述根據(jù)所述采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動作一致的三維虛擬手包括
根據(jù)用戶手心面上的點的三維空間坐標(biāo)的變化，構(gòu)建出與用戶手心面動作一致的虛擬手心面；
根據(jù)所述與用戶手心面動作一致的虛擬手心面，構(gòu)建出與用戶手背面動作一致的虛擬手背面。其中，所述三維虛擬手對用戶界面的操作包括旋轉(zhuǎn)所述用戶界面的操作、拖拽所述用戶界面的操作、縮小所述用戶界面的操作和放大所述用戶界面的操作中的至少ー項。其中，所述用戶界面還包括至少ー個三維式的功能選項；
所述三維虛擬手對用戶界面的操作還包括用于請求執(zhí)行所述功能選項所對應(yīng)的功能的操作。相應(yīng)地，本發(fā)明實施例還提供了一種用戶界面的控制裝置，包括
采集模塊，用于采集用戶手部的三維空間信息；三維虛擬手構(gòu)建模塊，用于根據(jù)所述采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動作一致的三維虛擬手；
處理模塊，用于檢測所述三維虛擬手對所述用戶界面的操作，并根據(jù)所述檢測到的操作，執(zhí)行相應(yīng)的功能。其中，所述采集模塊包括
坐標(biāo)獲取単元，用于周期性獲取用戶的手心面上的點在參考坐標(biāo)系中的空間坐標(biāo)。其中，所述三維虛擬手構(gòu)建模塊包括
手心面構(gòu)建單元，用于根據(jù)用戶手心面上的點的三維空間坐標(biāo)的變化，構(gòu)建出與用戶手心面動作一致的虛擬手心面；
手背面構(gòu)建單元，用于根據(jù)所述與用戶手心面動作一致的虛擬手心面，構(gòu)建出與用戶手背面動作一致的虛擬手背面。其中，所述三維虛擬手對用戶界面的操作包括旋轉(zhuǎn)所述用戶界面的操作、拖拽所述用戶界面的操作、縮小所述用戶界面的操作和放大所述用戶界面的操作中的至少ー項。其中，所述用戶界面還包括至少ー個三維式的功能選項；
所述三維虛擬手對用戶界面的操作還包括用于請求執(zhí)行所述功能選項所對應(yīng)的功能的操作。實施本發(fā)明實施例，具有如下有益效果
本發(fā)明的實施例通過在用戶界面上構(gòu)建出與用戶手部動作一致的三維虛擬手，使得用戶可以通過用戶界面中的三維虛擬手直接控制用戶界面，操作方法簡單且靈活，由于用戶通過三維虛擬手操作控制用戶界面，因此可以同時提高用戶觸覺和視覺的真實度，大大提聞了用戶體驗。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖I是本發(fā)明的用戶界面的控制方法的第一實施例的流程示意 圖2是本發(fā)明的用戶界面的控制方法的第二實施例的流程示意 圖3是本發(fā)明的用戶界面的控制裝置的實施例的結(jié)構(gòu)示意 圖4是圖3所示的采集模塊的實施例的結(jié)構(gòu)示意 圖5是圖3所示的三維虛擬手構(gòu)建模塊的實施例的結(jié)構(gòu)示意 圖6是本發(fā)明的雙目立體視覺的基本原理圖。
具體實施例方式下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
請參照圖I，是本發(fā)明的用戶界面控制方法的第一實施例的流程示意圖。所述方法包括
步驟S11，采集用戶手部的三維空間信息。用戶手部的三維空間信息可以是用戶手心面或手背面的三維空間信息，也可以是整只手的三維空間信息。為了減少數(shù)據(jù)處理量，可以只獲取用戶手心面的三維空間信息。三維空間信息可以通過三維超聲儀、三維攝像機、或者包含激光分光掃描器與兩個攝像機的三維采集裝置來獲取。其中，包含激光分光掃描器與兩個攝像機的三維采集裝置是基于雙目立體視覺技術(shù)的。雙目立體視覺方法就是利用兩個攝像機模擬人眼雙眼處理景物的方式，從兩個視點觀察同一場景，獲得不同視角下的兩個圖像，然后通過計算圖像對應(yīng)點間的位置偏差，便能 推斷出場景中目標(biāo)物體或目標(biāo)點的三維空間信息。具體地，激光分光掃描器包括分光鏡和紅激光管。激光分光掃描器用于標(biāo)定用戶手部上的需要采集三維空間信息的點。分光鏡可以將紅激光管產(chǎn)生的紅激光束分散成多條平行于X軸方向的光線和多條平行于Y軸方向的光線，并且通常情況下，這些光線是肉眼不可見的。這些光線互相交織，形成在三維空間上有序排列的光線交點(這些光線交織點不止排布在XY平面上，在整個三維空間均有排布)。當(dāng)用戶的手部進(jìn)入該光線交織區(qū)域時，位于用戶手心面上的光線交織點即為需要采集三維空間信息的點。雙目立體視覺的基本原理如圖6所示。圖中分別以下標(biāo)I和r標(biāo)注左、右攝像機的相應(yīng)參數(shù)。位于用戶手心面上某一光線交織點A(X，Y，Z)在左右攝像機的成像面Cl和Cr上的像點分別為al(ul，vl)和ar(Ur，Vr)。這兩個像點是A點的像，稱為“共軛點”。分別作出這兩個共軛像點與各自相機的光心01和Or的連線，即投影線alOl和arOr，它們的交點即為A點。在01、0r、al、ar四點已確定的前提下，通過計算便能得到A點在現(xiàn)實空間的三維坐標(biāo)。步驟S12，根據(jù)采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動作一致的三維虛擬手。為了更好的提高用戶的視覺體驗，用戶界面可以設(shè)計成為虛擬三維式的。應(yīng)該注意的是，三維虛擬手在虛擬三維式的用戶界面中動作幅度與用戶手部動作幅度一致或是等比例縮放。用戶手部的三維空間信息可以是用戶手心面和/或手背面上的點在預(yù)設(shè)的參考坐標(biāo)系中的三維空間坐標(biāo)。在構(gòu)建三維虛擬手時，可以根據(jù)獲取的手心面和/或手背面上的點的三維空間坐標(biāo)，在三維的用戶界面中構(gòu)建出與用戶手部具有相同或等比例縮放的位置坐標(biāo)的三維虛擬手，值得注意的是，構(gòu)建出的三維虛擬手與用戶手部形狀、大小相同或是其的等比例縮放。為了能夠獲取用戶手部的動作信息，步驟Sll中的三維空間信息的采集過程是周期性的，并且這個周期的時長很短，例如可以每0.01秒采集一次用戶手心面和/或手背面的上點的三維空間坐標(biāo)。根據(jù)多次采集的三維空間坐標(biāo)，在用戶界面中重復(fù)性構(gòu)建出三維虛擬手，由于三維虛擬手的構(gòu)建周期很短，這就使得用戶在用戶界面中看到的三維虛擬手的畫面就是連續(xù)的，且三維虛擬手的動作與用戶手部動作完全一致。
步驟S13，檢測三維虛擬手對用戶界面的操作，井根據(jù)檢測到的操作，執(zhí)行相應(yīng)的功能。通常三維虛擬手對用戶界面的操作包括旋轉(zhuǎn)用戶界面的操作、拖拽用戶界面的操作、縮小用戶界面的操作和放大用戶界面的操作等。此外，用戶界面還包括至少ー個三維式的功能選項。相應(yīng)地，三維虛擬手對用戶界面的操作還包括旋轉(zhuǎn)三維式功能選項的操作、拖拽三維式功能選項的操作、縮小三維式功能選項的操作和放大三維式功能選項的操作、以及用于請求執(zhí)行功能選項所對應(yīng)的功能的操作。其中，三維式的功能選項可以是三維立體圖形，每個三維立體圖形可以對應(yīng)ー個或多個功能選項。用于請求執(zhí)行功能選項所對應(yīng)的功能的操作包括拖拽、點擊、按等。通常情況下，用戶通過三維虛擬手對用戶界面的各種操作都會有其特有的動作特征，通過提取三維虛擬手的當(dāng)前操作的動作特征信息，并將其與數(shù)據(jù)庫中預(yù)存的動作特征(數(shù)據(jù)庫中每ー動作特征都會對應(yīng)ー控制命令)進(jìn)行匹配，從而確定用戶對用戶界面下達(dá)的控制命令。在檢測三維虛擬手對用戶界面的操作時，可以定期性將獲取的手心面和/或手背面上的點的三維空間坐標(biāo)進(jìn)行抽樣對比(例如每隔O. 05秒將當(dāng)前采集的三維空間坐標(biāo)和前O. 05秒采集的三維空間坐標(biāo)進(jìn)行比較)，從而確定用戶手部的動作趨勢，再根據(jù)確定的用戶手部動作趨勢，來提取三維虛擬手的當(dāng)前操作的動作特征信息。例如，用戶在旋轉(zhuǎn)用戶界面時，其特有的動作特征通常會是手掌心抬起，五指指尖繞著手掌心轉(zhuǎn)動。其相應(yīng)的動作特征信息可以從周期性采集的三維空間坐標(biāo)的來提取，通過將不同時間獲取的用戶手心面和/或手背面的三維空間坐標(biāo)進(jìn)行分析和對比，可以判定用戶手部的動作趨勢，進(jìn)而確定用戶期望旋轉(zhuǎn)用戶界面的方向及弧度。用戶在拖拽用戶界面時，其特有的動作特征通常會是一根或幾根手指做按住狀或捏住狀沿某一方向直線運動，同樣得可以根據(jù)周期性采集的三維空間坐標(biāo)來獲取用戶手指的移動方向和移動距離，進(jìn)而依此來確定用戶期望拖拽用戶界面的方向及拖拽距離。用戶在縮小用戶界面吋，其特有的動作特征通常會是掌心抬起，五指指尖收攏，同樣得可以根據(jù)周期性采集的三維空間坐標(biāo)來獲取用戶手指的收攏幅度，進(jìn)而依此來確定用戶期望縮小用戶界面的幅度。用戶在放大用戶界面時，其特有的動作特征通常會是掌心抬起，五指指尖向外張開，同樣得可以根據(jù)周期性采集的三維空間坐標(biāo)來獲取用戶手指的張開幅度，進(jìn)而依此來確定用戶期望放大用戶界面的幅度。當(dāng)用戶需要對用戶界面中的某一三維式功能選項做出操作時，通常情況下，用戶 會通過手部動作將用戶界面中的三維虛擬手放在或靠近該三維式功能選項所在的位置。由此，當(dāng)用戶通過手部動作將用戶界面中的三維虛擬手移放在或者靠近三維式功能選項所在的位置吋，則認(rèn)為用戶期望的是對該三維式功能選項進(jìn)行操作。用戶旋轉(zhuǎn)、拖拽、放大、縮小三維式功能選項的操作與用戶旋轉(zhuǎn)、拖拽、放大、縮小用戶界面的操作大致相同，不同之處只在于動作幅度的大小，可以根據(jù)動作幅度的大小來區(qū)分是對整個用戶界面或只是某一三維式功能選項的操作。例如，用戶在旋轉(zhuǎn)用戶界面時，通常五指張開的幅度較大，而用戶在旋轉(zhuǎn)用戶界面中的某一三維式功能選項時，通常五指張開的幅度較小，同樣的通過分析手部的三維空間坐標(biāo)便能準(zhǔn)確獲取用戶五指張開的幅度，如此可以將該幅度值與預(yù)設(shè)的幅度值進(jìn)行比較，大于預(yù)設(shè)幅度值時，則認(rèn)為用戶期望的是旋轉(zhuǎn)整個用戶界面；小于預(yù)設(shè)幅度值時，則認(rèn)為用戶期望的是旋轉(zhuǎn)三維式功能選項。通常用戶在請求執(zhí)行三維式功能選項所對應(yīng)的功能的操作包括點擊、按等。當(dāng)用戶期望執(zhí)行某一三維式功能選項所對應(yīng)的功能時，通常會通過移動手部將用戶界面中的三維虛擬手置于或靠近該三維式功能選項所在的位置，依此，便可以確定用戶期望是對該三維式選項進(jìn)行操作。當(dāng)用戶做出點擊動作時，其特有的動作特征通常會是食指或中指抬起再放下，而手掌心和其它手指固定不動，由此，根據(jù)該操作其特有的動作特征，便可以確定用戶期望執(zhí)行該三維式功能選項所對應(yīng)的功能。本發(fā)明的實施例通過在用戶界面上構(gòu)建出與用戶手部動作一致的三維虛擬手，使得用戶可以通過用戶界面中的三維虛擬手直接控制用戶界面，用戶不需要牽記特定的手勢，也不需要佩戴傳感器。并且由于用戶通過三維虛擬手操作控制用戶界面，因此可以同時提聞用戶視覺和觸覺的真實度，提聞用戶體驗度。請參照圖2，是本發(fā)明的用戶界面控制方法的第二實施例的流程示意圖。所述方法包括
步驟S21，判斷所需采集三維空間信息的物體的形狀是否符合手型，如果判斷結(jié)果為是則進(jìn)入步驟S23，如果判斷結(jié)果為否則進(jìn)入步驟S22。步驟S22，停止采集該物體的三維空間信息，并在用戶界面上作出相應(yīng)的提示。步驟S23，周期性獲取用戶的手心面上的點在參考坐標(biāo)系中的空間坐標(biāo)。三維空間坐標(biāo)可以通過三維超聲儀、三維攝像機、或者包含激光分光掃描器與兩個攝像機的三維采集裝置來獲取。其中，包含激光分光掃描器與兩個攝像機的三維采集裝置是基于雙目立體視覺技術(shù)的。雙目立體視覺方法就是利用兩個攝像機模擬人眼雙眼處理景物的方式，從兩個視點觀察同一場景，獲得不同視角下的兩個圖像，然后通過計算圖像對應(yīng)點間的位置偏差，便能推斷出場景中目標(biāo)物體或目標(biāo)點的三維空間信息。具體地，激光分光掃描器包括分光鏡和紅激光管。激光分光掃描器用于標(biāo)定用戶手部上的需要采集三維空間信息的點。分光鏡可以將紅激光管產(chǎn)生的紅激光束分散成多條平行于X軸方向的光線和多條平行于Y軸方向的光線，并且通常情況下，這些光線是肉眼不可見的。這些光線互相交織，形成在三維空間上有序排列的光線交點(這些光線交織點不止排布在XY平面上，在整個三維空間均有排布)。當(dāng)用戶的手部進(jìn)入該光線交織區(qū)域時，位于用戶手心面上的光線交織點即為需要采集三維空間信息的點。雙目立體視覺的基本原理如圖6所示。圖中分別以下標(biāo)I和r標(biāo)注左、右攝像機的相應(yīng)參數(shù)。位于用戶手心面上某一光線交織點A(X，Y，Z)在左右攝像機的成像面Cl和Cr上的像點分別為al(ul，vl)和ar(Ur，Vr)。這兩個像點是A點的像，稱為“共軛點”。分別作出這兩個共軛像點與各自攝像機的光心01和Or的連線，即投影線alOl和arOr，它們的交點即為A點。因此在01、0r、al、ar四點已確定的前提下，通過計算便能得到A點在現(xiàn)實空間的三維坐標(biāo)。 步驟S24，根據(jù)用戶手心面上的點的三維空間坐標(biāo)的變化，構(gòu)建出與用戶手心面動作一致的虛擬手心面；根據(jù)與用戶手心面動作一致的虛擬手心面，構(gòu)建出與用戶手背面動作一致的虛擬手背面。步驟S25，檢測三維虛擬手對用戶界面的操作，井根據(jù)檢測到的操作，執(zhí)行相應(yīng)的功能。通常三維虛擬手對用戶界面的操作包括旋轉(zhuǎn)用戶界面的操作、拖拽用戶界面的操作、縮小用戶界面的操作和放大用戶界面的操作等。此外，用戶界面還包括至少ー個三維式的功能選項。相應(yīng)地，三維虛擬手對用戶界面的操作還包括旋轉(zhuǎn)三維式功能選項的 操作、拖拽三維式功能選項的操作、縮小三維式功能選項的操作和放大三維式功能選項的操作、以及用于請求執(zhí)行功能選項所對應(yīng)的功能的操作。其中，三維式的功能選項可以是三維立體圖形，每個三維立體圖形可以對應(yīng)ー個或多個功能選項。用于請求執(zhí)行功能選項所對應(yīng)的功能的操作包括拖拽、點擊、按等。通常情況下，用戶通過三維虛擬手對用戶界面的各種操作都會有其特有的動作特征，通過提取三維虛擬手的當(dāng)前操作的動作特征信息，并將其與數(shù)據(jù)庫中預(yù)存的動作特征(數(shù)據(jù)庫中每ー動作特征都會對應(yīng)ー控制命令)進(jìn)行匹配，從而確定用戶對用戶界面下達(dá)的控制命令。在檢測三維虛擬手對用戶界面的操作時，可以定期性將獲取的手心面和/或手背面上的點的三維空間坐標(biāo)進(jìn)行抽樣對比(例如每隔O. 05秒將當(dāng)前采集的三維空間坐標(biāo)和前O. 05秒采集的三維空間坐標(biāo)進(jìn)行比較)，從而確定用戶手部的動作趨勢，再根據(jù)確定的用戶手部動作趨勢，來提取三維虛擬手的當(dāng)前操作的動作特征信息。發(fā)明的實施例通過在用戶界面上構(gòu)建出與用戶手部動作一致的三維虛擬手，使得用戶可以通過用戶界面中的三維虛擬手直接控制用戶界面，用戶不需要牽記特定的手勢，也不需要佩戴傳感器。并且由于用戶通過三維虛擬手操作控制用戶界面，因此可以同時提高用戶視覺和觸覺的真實度，提高用戶體驗度。圖I至圖2對用戶界面的控制方法的實施例進(jìn)行了詳細(xì)闡述后，下面將繼續(xù)結(jié)合附圖，對相應(yīng)于上述方法流程的裝置進(jìn)行說明。請參照圖3，是本發(fā)明的用戶界面的控制裝置的實施例的結(jié)構(gòu)示意圖。所述控制裝置100包括
采集模塊110，用于采集用戶手部的三維空間信息。其中，采集模塊110的功能可以由三維超聲儀、三維攝像機、或者包含激光分光掃描器與攝像機的三維采集裝置來實現(xiàn)。三維虛擬手構(gòu)建模塊120，用于根據(jù)采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動作一致的三維虛擬手。為了更好的提高用戶的視覺體驗，用戶界面可以設(shè)計成為虛擬三維式的。應(yīng)該注意的是，三維虛擬手在虛擬三維式的用戶界面中動作幅度與用戶手部動作幅度一致或是等比例縮放。用戶手部的三維空間信息可以是用戶手心面和/或手背面上的點在預(yù)設(shè)的參考坐標(biāo)系中的三維空間坐標(biāo)。在構(gòu)建三維虛擬手時，可以根據(jù)獲取的手心面和/或手背面上的點的三維空間坐標(biāo)，在三維的用戶界面中構(gòu)建出與用戶手部具有相同或等比例縮放的位置坐標(biāo)的三維虛擬手，值得注意的是，構(gòu)建出的三維虛擬手與用戶手部形狀、大小相同或是其的等比例縮放。為了能夠獲取用戶手部的動作信息，三維空間信息的采集過程是周期性的，并且這個周期的時長很短，例如可以每O. Ol秒采集一次用戶手心面和/或手背面的上點的三維空間坐標(biāo)。根據(jù)多次采集的三維空間坐標(biāo)，在用戶界面中重復(fù)性構(gòu)建出三維虛擬手，由于三維虛擬手的構(gòu)建周期很短，這就使得用戶在用戶界面中看到的三維虛擬手的畫面就是連續(xù)的，且三維虛擬手的動作與用戶手部動作完全一致。
處理模塊130，用于檢測三維虛擬手對用戶界面的操作，井根據(jù)檢測到的操作，執(zhí)行相應(yīng)的功能。通常三維虛擬手對用戶界面的操作包括旋轉(zhuǎn)用戶界面的操作、拖拽用戶界面的操作、縮小用戶界面的操作和放大用戶界面的操作等。此外，用戶界面還包括至少ー個三維式的功能選項。相應(yīng)地，三維虛擬手對用戶界面的操作還包括旋轉(zhuǎn)三維式功能選項的操作、拖拽三維式功能選項的操作、縮小三維式功能選項的操作和放大三維式功能選項的操作、以及用于請求執(zhí)行功能選項所對應(yīng)的功能的操作。其中，三維式的功能選項可以是三維立體圖形，每個三維立體圖形可以對應(yīng)ー個或多個功能選項。用于請求執(zhí)行功能選項所對應(yīng)的功能的操作包括拖拽、點擊、按等。通常情況下，用戶通過三維虛擬手對用戶界面的各種操作都會有其特有的動作特征，通過提取三維虛擬手的當(dāng)前操作的動作特征信息，并將其與數(shù)據(jù)庫中預(yù)存的動作特征(數(shù)據(jù)庫中每ー動作特征都會對應(yīng)ー控制命令)進(jìn)行匹配，從而確定用戶對用戶界面下達(dá)的控制命令。在檢測三維虛擬手對用戶界面的操作時，可以定期性將獲取的手心面和/或手背面上的點的三維空間坐標(biāo)進(jìn)行抽樣對比(例如每隔O. 05秒將當(dāng)前采集的三維空間坐標(biāo)和前O. 05秒采集的三維空間坐標(biāo)進(jìn)行比較)，從而確定用戶手部的動作趨勢，再根據(jù)確定的用戶手部動作趨勢，來提取三維虛擬手的當(dāng)前操作的動作特征信息。例如，用戶在旋轉(zhuǎn)用戶界面時，其特有的動作特征通常會是手掌心抬起，五指指尖繞著手掌心轉(zhuǎn)動。其相應(yīng)的動作特征信息可以從周期性采集的三維空間坐標(biāo)的來提取，通過將不同時間獲取的用戶手心面和/或手背面的三維空間坐標(biāo)進(jìn)行分析和對比，可以判定用戶手部的動作趨勢，進(jìn)而確定用戶期望旋轉(zhuǎn)用戶界面的方向及弧度。用戶在拖拽用戶界面時，其特有的動作特征通常會是一根或幾根手指做按住狀或捏住狀沿某一方向直線運動，同樣得可以根據(jù)周期性采集的三維空間坐標(biāo)來獲取用戶手指的移動方向和移動距離，進(jìn)而依此來確定用戶期望拖拽用戶界面的方向及拖拽距離。用戶在縮小用戶界面吋，其特有的動作特征通常會是掌心抬起，五指指尖收攏，同樣得可以根據(jù)周期性采集的三維空間坐標(biāo)來獲取用戶手指的收攏幅度，進(jìn)而依此來確定用戶期望縮小用戶界面的幅度。用戶在放大用戶界面時，其特有的動作特征通常會是掌心抬起，五指指尖向外張開，同樣得可以根據(jù)周期性采集的三維空間坐標(biāo)來獲取用戶手指的張開幅度，進(jìn)而依此來確定用戶期望放大用戶界面的幅度。當(dāng)用戶需要對用戶界面中的某一三維式功能選項做出操作時，通常情況下，用戶會通過手部動作將用戶界面中的三維虛擬手放在或靠近該三維式功能選項所在的位置。由此，當(dāng)用戶通過手部動作將用戶界面中的三維虛擬手移放在或者靠近三維式功能選項所在的位置吋，則認(rèn)為用戶期望的是對該三維式功能選項進(jìn)行操作。用戶旋轉(zhuǎn)、拖拽、放大、縮小三維式功能選項的操作與用戶旋轉(zhuǎn)、拖拽、放大、縮小用戶界面的操作大致相同，不同之處只在于動作幅度的大小，可以根據(jù)動作幅度的大小來區(qū)分是對整個用戶界面或只是某一三維式功能選項的操作。例如，用戶在旋轉(zhuǎn)用戶界面時，通常五指張開的幅度較大，而用戶在旋轉(zhuǎn)用戶界面中的某一三維式功能選項時，通常五指張開的幅度較小，同樣的通過分析手部的三維空間坐標(biāo)便能準(zhǔn)確獲取用戶五指張開的幅度，如此可以將該幅度值與預(yù)設(shè)的幅度值進(jìn)行比較，大于預(yù)設(shè)幅度值時，則認(rèn)為用戶期望的是旋轉(zhuǎn)整個用戶界面；小于預(yù)設(shè)幅度值時，則認(rèn)為用戶期望的是旋轉(zhuǎn)三維式功能選項。通常用戶 在請求執(zhí)行三維式功能選項所對應(yīng)的功能的操作包括點擊、按等。當(dāng)用戶期望執(zhí)行某一三維式功能選項所對應(yīng)的功能時，通常會通過移動手部將用戶界面中的三維虛擬手置于或靠近該三維式功能選項所在的位置，依此，便可以確定用戶期望是對該三維式選項進(jìn)行操作。當(dāng)用戶做出點擊動作時，其特有的動作特征通常會是食指或中指抬起再放下，而手掌心和其它手指固定不動，由此，根據(jù)該操作其特有的動作特征，便可以確定用戶期望執(zhí)行該三維式功能選項所對應(yīng)的功能。發(fā)明的實施例通過在用戶界面上構(gòu)建出與用戶手部動作一致的三維虛擬手，使得用戶可以通過用戶界面中的三維虛擬手直接控制用戶界面，用戶不需要牽記特定的手勢，也不需要佩戴傳感器。并且由于用戶通過三維虛擬手操作控制用戶界面，因此可以同時提高用戶視覺和觸覺的真實度，提高用戶體驗度。請參照圖4，是圖3所示的采集模塊的實施例的結(jié)構(gòu)示意圖。所述三維手型采集模塊110包括
判斷単元111，用于判斷所需采集三維空間信息的物體的形狀是否符合手型，如果符合手型，則采集用戶手部動作的三維空間信息；如不符合手型，則在用戶界面中作出相應(yīng)的提
/Jn ο坐標(biāo)獲取単元112，用于周期性獲取用戶的手心面上的點在參考坐標(biāo)系中的空間坐標(biāo)。其中，坐標(biāo)獲取単元112可以由三維超聲儀、三維攝像機、或者包含激光分光掃描器與兩個攝像機的三維采集裝置來實現(xiàn)。其中，包含激光分光掃描器與兩個攝像機的三維采集裝置是基于雙目立體視覺技術(shù)的。雙目立體視覺方法就是利用兩個攝像機模擬人眼雙眼處理景物的方式，從兩個視點觀察同一場景，獲得不同視角下的兩個圖像，然后通過計算圖像對應(yīng)點間的位置偏差，便能推斷出場景中目標(biāo)物體或目標(biāo)點的三維空間信息。用戶手部的三維空間信息可以是用戶手心面或手背面的三維空間信息，也可以是整只手的三維空間信息。為了減少數(shù)據(jù)處理量，可以只獲取用戶手心面的三維空間信息。具體地，激光分光掃描器包括分光鏡和紅激光管。激光分光掃描器用于標(biāo)定用戶手部上的需要采集三維空間信息的點。分光鏡可以將紅激光管產(chǎn)生的紅激光束分散成多條平行于X軸方向的光線和多條平行于Y軸方向的光線，并且通常情況下，這些光線是肉眼不可見的。這些光線互相交織，形成在三維空間上有序排列的光線交點(這些光線交織點不止排布在XY平面上，在整個三維空間均有排布)。當(dāng)用戶的手部進(jìn)入該光線交織區(qū)域時，位于用戶手心面上的光線交織點即為需要采集三維空間信息的點。雙目立體視覺的基本原理如圖6所示。圖中分別以下標(biāo)I和r標(biāo)注左、右攝像機的相應(yīng)參數(shù)。位于用戶手心面上某一光線交織點A(X，Y，Z)在左右攝像機的成像面Cl和Cr上的像點分別為al(ul，vl)和ar(Ur，Vr)。這兩個像點是A點的像，稱為“共軛點”。分別作出這兩個共軛像點與各自攝像機的光心Ol和Or的連線，即投影線alOl和arOr，它們的交點即為A點。因此在01、0r、al、ar四點已確定的前提下，通過計算便能得到A點在現(xiàn)實空間的三維坐標(biāo)請參照圖5，是圖3所示的三維虛擬手構(gòu)建模塊的實施例的結(jié)構(gòu)示意圖。所述三維虛擬手構(gòu)建模塊120包括
手心面構(gòu)建單元121，用于根據(jù)用戶手心面上的點的三維空間坐標(biāo)的變化，構(gòu)建出與用戶手心面動作一致的虛擬手心面；
手背面構(gòu)建單元122，用于根據(jù)與用戶手心面動作一致的虛擬手心面，構(gòu)建出與用戶手背面動作一致的虛擬手背面。由于三維手型采集模塊只是獲取手心面上部分點的空間坐標(biāo)，在構(gòu)建虛擬手心面時，手心面構(gòu)建單元121會根據(jù)用戶手心面上已獲取的點的空間坐標(biāo)來模擬重現(xiàn)手心面上其它點的坐標(biāo)，從而得到完整的手心面。本發(fā)明在上述實施例中所提及的旋轉(zhuǎn)、拖拽、縮小、放大、點擊等操作都只是作為舉例說明，在本發(fā)明的實施例中，還可以包括其它界面操作。本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分流程，是可以通過計算機程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory, ROM)或隨機存儲記憶體(Random AccessMemory, RAM)等。以上所揭露的僅為本發(fā)明ー種較佳實施例而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍，本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例的全部或部分流程，并依本發(fā)明權(quán)利要求所作的等同變化，仍屬于發(fā)明所涵蓋的范圍。
權(quán)利要求
1.一種用戶界面控制方法，其特征在于，包括 采集用戶手部的三維空間信息； 根據(jù)所述采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動作一致的三維虛擬手; 檢測所述三維虛擬手對所述用戶界面的操作，并根據(jù)所述檢測到的操作，執(zhí)行相應(yīng)的功能。
2.如權(quán)利要求I所述的方法，其特征在于，所述采集用戶手部動作的三維空間信息包括 周期性獲取用戶的手心面上的點在參考坐標(biāo)系中的空間坐標(biāo)。
3.如權(quán)利要求2所述方法，其特征在于，所述根據(jù)所述采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動作一致的三維虛擬手包括 根據(jù)用戶手心面上的點的三維空間坐標(biāo)的變化，構(gòu)建出與用戶手心面動作一致的虛擬手心面； 根據(jù)所述與用戶手心面動作一致的虛擬手心面，構(gòu)建出與用戶手背面動作一致的虛擬手背面。
4.如權(quán)利要求I所述的方法，其特征在于，所述三維虛擬手對用戶界面的操作包括旋轉(zhuǎn)所述用戶界面的操作、拖拽所述用戶界面的操作、縮小所述用戶界面的操作和放大所述用戶界面的操作中的至少ー項。
5.如權(quán)利要求4所述的方法，其特征在于，所述用戶界面還包括至少ー個三維式的功能選項； 所述三維虛擬手對用戶界面的操作還包括用于請求執(zhí)行所述功能選項所對應(yīng)的功能的操作。
6.一種用戶界面的操作控制裝置，其特征在于，包括 采集模塊，用于采集用戶手部的三維空間信息； 三維虛擬手構(gòu)建模塊，用于根據(jù)所述采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動作一致的三維虛擬手； 處理模塊，用于檢測所述三維虛擬手對所述用戶界面的操作，并根據(jù)所述檢測到的操作，執(zhí)行相應(yīng)的功能。
7.如權(quán)利要求6所述的裝置，其特征在于，所述采集模塊包括 坐標(biāo)獲取単元，用于周期性獲取用戶的手心面上的點在參考坐標(biāo)系中的空間坐標(biāo)。
8.如權(quán)利要求7所述的裝置，其特征在于，所述三維虛擬手構(gòu)建模塊包括 手心面構(gòu)建單元，用于根據(jù)用戶手心面上的點的三維空間坐標(biāo)的變化，構(gòu)建出與用戶手心面動作一致的虛擬手心面； 手背面構(gòu)建單元，用于根據(jù)所述與用戶手心面動作一致的虛擬手心面，構(gòu)建出與用戶手背面動作一致的虛擬手背面。
9.如權(quán)利要求6所述的裝置，其特征在于，所述三維虛擬手對用戶界面的操作包括旋轉(zhuǎn)所述用戶界面的操作、拖拽所述用戶界面的操作、縮小所述用戶界面的操作和放大所述用戶界面的操作中的至少ー項。
10.如權(quán)利要求9所述的裝置，其特征在于，所述用戶界面還包括至少ー個三維式的功能選項； 所述三維虛 擬手對用戶界面的操作還包括用于請求執(zhí)行所述功能選項所對應(yīng)的功能的操作。
全文摘要
本發(fā)明實施例公開了一種用戶界面的控制方法，包括采集用戶手部的三維空間信息；根據(jù)采集的三維空間信息，在用戶界面上構(gòu)建出與用戶手部動作一致的三維虛擬手；檢測三維虛擬手對用戶界面的操作，并根據(jù)檢測到的操作，執(zhí)行相應(yīng)的功能。本發(fā)明實施例還公開了一種用戶界面的控制裝置。采用本發(fā)明，可以讓用戶靈活和方便的控制用戶界面，提高用戶體驗。
文檔編號G06F3/048GK102650906SQ20121009884
公開日2012年8月29日 申請日期2012年4月6日 優(yōu)先權(quán)日2012年4月6日
發(fā)明者于洋, 王曉暉, 趙健章 申請人:深圳創(chuàng)維數(shù)字技術(shù)股份有限公司, 深圳市創(chuàng)維軟件有限公司