一種用戶交互系統(tǒng)和方法
【專利摘要】本發(fā)明實施方式公開了一種用戶交互系統(tǒng)和方法。該系統(tǒng)包括界面顯示模塊、三維定位模塊和運算處理模塊，其中：界面顯示模塊，用于向用戶提供交互界面；三維定位模塊，用于捕獲用戶場景的三維定位信息，并將所述用戶場景的三維定位信息發(fā)送到運算處理模塊；運算處理模塊，用于基于所述用戶場景的三維定位信息計算用戶眼睛與用戶手相對于三維定位模塊的三維空間相對位置，并基于所述三維空間相對位置以及所述三維定位模塊與交互界面的相對位置關系，確定交互界面中的交互熱點位置。
【專利說明】一種用戶交互系統(tǒng)和方法
【技術領域】
[0001]本發(fā)明涉及電子應用(application)【技術領域】,特別地,涉及一種用戶交互系統(tǒng)和方法。
【背景技術】
[0002]1959年美國學者B.Shackel首次提出了人機交互工程學的概念。20世紀90年代后期以來，隨著高速處理芯片，多媒體技術和互聯(lián)網(wǎng)技術的迅速發(fā)展和普及，人機交互的研究重點放在了智能化交互、多模態(tài)(多通道)_多媒體交互、虛擬交互以及人機協(xié)同交互等方面，也就是放在以人為在中心的人機交互技術方面。
[0003]人們對于現(xiàn)存的人機交互方式并不滿足，人們期望新一代的人機交互能像人與人交互一樣自然、準確和快捷。在20世紀90年代人機交互的研究進到了多模態(tài)階段，稱為人機自然交互(Human-Computer Nature Interaction, HCNI 或 Human-Machine NatureInteraction, HMNI)。
[0004]用戶交互界面(User Interface, UI)設計是指對軟件的人機交互、操作邏輯、界面美觀的整體設計。在人和機器互動獲取信息、體驗的過程中，有一個媒介，即可視化的人機交互界面，以及相應于該人機交互界面的交互設備及方法。舉例來講，觸摸屏手機的出現(xiàn)把觸摸交互方式帶給了廣大消費大眾。與此同時，傳統(tǒng)鼠標、鍵盤的交互界面迅速轉(zhuǎn)向了適應于觸摸交互方式的交互界面。以蘋果的IOS以及Google的Android為例，用戶可以通過觸摸屏點擊或拖動屏幕上顯示的圖標，以進行相應的交互操作?？梢钥吹揭环N新的用戶交互界面及交互方法需要相應硬件及軟件的支持。
[0005]以目前主流智能手機、平板電腦為代表的平面觸摸交互設備讓人們可以通過觸摸這種所見即所得的方式與平面圖形交互界面進行交互。例如，用戶可以直接點擊界面中的方形應用圖標以進入該應用程序；可以按住某個應用程序圖標在屏幕上滑動以對該圖標進行平移拖拽操作等等。隨著3D顯示技術以及一些傳感器技術的不斷進步和成熟，人機交互界面從平面圖形交互界面到三維立體交互界面轉(zhuǎn)變的時代已經(jīng)到來，與此相對應的，人機交互方式也將變得更加便捷自然，例如空中手勢，語音，甚至表情都可以作為人機交互的輸入方式。
[0006]目前，微軟配合旗下游戲主機Xbox發(fā)布的體感交互附件Kinect使人機交互向著自然體感交互的方式邁了很大的一步。通過Kinect，用戶可以通過手勢與電視中顯示的交互界面進行自然地交互。交互界面中有一個圓形的圖標代表用戶的手的位置，用戶可以通過移動手來移動交互界面中的圓形圖標，當用戶通過移動手將交互界面中的圓形圖標移動到某一個應用圖標上并停留一定的時間，這將觸發(fā)一個類似于確認、進入、選擇的交互命令，從而進入該應用程序。
[0007]通常來講圖形交互界面的交互熱點位置處有指針元素(如window系統(tǒng)中的鼠標指針)表征，反饋給用戶當前的交互熱點位置。然而，在目前的人機交互中，難以確定交互熱點位置。
【發(fā)明內(nèi)容】

[0008]有鑒于此，本發(fā)明實施方式提出一種用戶交互系統(tǒng)，以確定交互熱點位置。
[0009]本發(fā)明實施方式還提出一種用戶交互方法，以確定交互熱點位置。
[0010]本發(fā)明技術方案如下:
[0011]一種用戶交互系統(tǒng)，該系統(tǒng)包括界面顯示模塊、三維定位模塊和運算處理模塊，其中:
[0012]界面顯示模塊，用于向用戶提供交互界面；
[0013]三維定位模塊，用于捕獲用戶場景的三維定位信息，并將所述用戶場景的三維定位信息發(fā)送到運算處理模塊；
[0014]運算處理模塊，用于基于所述用戶場景的三維定位信息計算用戶眼睛與用戶手相對于三維定位模塊的三維空間相對位置，并基于所述三維空間相對位置以及所述三維定位模塊與交互界面的相對位置關系，確定所述交互界面中的交互熱點位置。
[0015]所述交互界面為三維交互界面或二維交互界面。
[0016]所述交互界面為二維交互界面；
[0017]三維定位模塊，用于捕獲用戶圖像的時序列幀數(shù)據(jù)；
[0018]所述運算處理模塊，用于對所述時序列幀數(shù)據(jù)進行模式識別分析，提取出用戶眼睛及手的有效像素區(qū)域范圍，并通過所述有效像素區(qū)域范圍在所述時序列幀數(shù)據(jù)中的位置、有效像素區(qū)域像素的數(shù)據(jù)值，以及三維定位模塊的視場角信息計算得到用戶眼睛及手相對三維定位模塊的三維空間位置坐標；并根據(jù)用戶眼睛及手相對三維定位模塊的三維空間位置坐標，計算得到用戶的視線指向；再根據(jù)三維定位模塊與該二維交互界面的相對位置關系，計算得到用戶的視線指向在該二維交互界面上的投影位置，即為所述交互熱點位置。
[0019]所述交互界面為三維交互界面；
[0020]三維定位模塊，用于捕獲用戶圖像的時序列幀數(shù)據(jù)；
[0021]所述運算處理模塊，用于對所述時序列幀數(shù)據(jù)進行模式識別分析，提取出用戶眼睛及手的有效像素區(qū)域范圍，并通過所述有效像素區(qū)域范圍在所述時序列幀數(shù)據(jù)中的位置、有效像素區(qū)域像素的數(shù)據(jù)值，以及三維定位模塊的視場角信息計算得到用戶眼睛及手相對三維定位模塊的三維空間位置坐標；并根據(jù)用戶眼睛及手相對三維定位模塊的三維空間位置坐標，計算得到用戶的視線指向；并基于用戶眼睛與手在所述視線指向上的空間距離值，確定在視線指向上從三維交互界面前基準面交點處向內(nèi)深入的第一距離值，在視線指向上該三維交互界面上該第一距離值處的位置即為所述交互熱點位置。
[0022]三維定位模塊，進一步用于捕獲用戶手的形態(tài)信息和/或運動信息；
[0023]運算處理模塊，進一步用于基于所述用戶手的形態(tài)信息和/或運動信息確定用戶手的形態(tài)和/或運動軌跡，識別出具有預定特征的手的形態(tài)代表的交互手勢操作和/或具有預定特征的手的運動軌跡代表的手勢操作。
[0024]所述運算處理模塊為移動終端、智能電視、計算機或基于云計算的信息服務平臺。
[0025]所述界面顯示模塊包括:平面顯示器、平面顯示器陣列、投影儀、投影儀組、頭戴式平面顯示器、頭戴式3D顯示器、3D電視3D投影儀或3D全息顯示裝置。[0026]所述三維定位模塊包括:深度攝像傳感器、深度攝像傳感器與RGB攝像傳感器的結(jié)合實體、超聲波定位傳感模塊、熱成像定位傳感模塊或電磁定位傳感模塊。
[0027]運算處理模塊，進一步用于在交互界面上該交互熱點位置處顯示空間虛擬指針元素，所述空間虛擬指針元素在交互界面上的運動軌跡與用戶瀏覽該交互界面做出的手勢移動軌跡保持一致，而且所述空間虛擬指針元素在交互界面上的手勢形態(tài)與用戶瀏覽該交互界面做出的手勢形態(tài)保持一致。
[0028]所述空間虛擬指針元素為手型點云形態(tài)、手型實體模型或手型透明輪廓。
[0029]一種用戶交互方法，包括:
[0030]向用戶提供交互界面；
[0031]三維定位模塊捕獲用戶場景的三維定位信息；
[0032]基于所述用戶場景的三維定位信息計算用戶眼睛與用戶手相對于三維定位模塊的三維空間相對位置，并基于所述三維空間相對位置以及所述三維定位模塊與交互界面的相對位置關系，確定所述交互界面中的交互熱點位置。
[0033]交互界面為二維交互界面；該方法包括:
[0034]捕獲用戶圖像的時序列幀數(shù)據(jù)；
[0035]對所述時序列幀數(shù)據(jù)進行模式識別分析，提取出用戶眼睛及手的有效像素區(qū)域范圍，并通過所述有效像素區(qū)域范圍在所述時序列幀數(shù)據(jù)中的位置、有效像素區(qū)域像素的數(shù)據(jù)值，以及三維定位模塊的視場角信息計算得到用戶眼睛及手相對三維定位模塊的三維空間位置坐標；并根據(jù)用戶眼睛及手相對三維定位模塊的三維空間位置坐標，計算得到用戶的視線指向；再根據(jù)三維定位模塊與該二維交互界面的相對位置關系，計算得到用戶的視線指向在該二維交互界面上的投影位置，即為所述交互熱點位置。
[0036]交互界面為三維交互界面；該方法包括:
[0037]捕獲用戶圖像的時序列幀數(shù)據(jù)；
[0038]對所述時序列幀數(shù)據(jù)進行模式識別分析，提取出用戶眼睛及手的有效像素區(qū)域范圍，并通過所述有效像素區(qū)域范圍在所述時序列幀數(shù)據(jù)中的位置、有效像素區(qū)域像素的數(shù)據(jù)值，以及三維定位模塊的視場角信息計算得到用戶眼睛及手相對三維定位模塊的三維空間位置坐標；并根據(jù)用戶眼睛及手相對三維定位模塊的三維空間位置坐標，計算得到用戶的視線指向；并基于用戶眼睛與手在所述視線指向上的空間距離值，確定在視線指向上從三維交互界面前基準面交點處向內(nèi)深入的第一距離值，視線指向上該三維交互界面上該第一距離值處的位置即為所述交互熱點位置。
[0039]從上述技術方案中可以看出，在本發(fā)明實施方式中，該系統(tǒng)包括界面顯示模塊、三維定位模塊和運算處理模塊，其中:界面顯示模塊，用于向用戶提供交互界面；三維定位模塊，用于捕獲用戶圖像的時序列幀數(shù)據(jù)，并將所述用戶場景的三維定位信息發(fā)送到運算處理模塊；運算處理模塊，用于基于所述用戶場景的三維定位信息計算用戶眼睛與用戶手相對于三維定位模塊的三維空間相對位置，并基于所述三維空間相對位置以及所述三維定位模塊與交互界面的相對位置關系，確定交互界面中的交互熱點位置。
[0040]本發(fā)明實施方式揭露了一種用戶交互系統(tǒng)以及通過空中手勢對人機圖形交互界面進行交互的方法。特別的，涉及一種確定圖形交互界面中與用戶手對應的交互熱點位置的方式。通過本申請披露的方法，用戶可以直接用空中手勢與各種類型的圖形交互界面進行自然方便準確的交互操作，提升用戶的交互體驗。
[0041]而且，本發(fā)明實施的交互方式非常自然，符合人性的基本肢體動作(比如手勢)交互模式，而且降低了用戶對操作設備的學習成本，符合人體自然地交互操控與便攜信息處理硬件設備的分體設計，使人能夠更集中精力于其所關注的信息而不是硬件設備本身。
[0042]而且，本發(fā)明實施方式還提出了一種自然交互技術的虛擬信息自然交互界面，該交互界面包含眾多可進行自然交互的元素。通過本發(fā)明實施方式所提出的解決方案，用戶可以自然地用手控制上述虛擬信息自然交互界面中對應于用戶手的虛擬指針，對虛擬信息自然交互界面進行自然交互。
[0043]另外，本發(fā)明實施方式的獨特顯示方式使其受環(huán)境影響較小，給人提供高品質(zhì)的感官體驗，并能夠保護信息的私密性。本發(fā)明實施方式通過直接視網(wǎng)膜掃描投影顯示方式可以將虛擬信息與現(xiàn)實實景融合在一起，給人提供增強現(xiàn)實的感官體驗，從而基于此可以衍生出大量的有意義的應用，進一步極大地提高用戶體驗。
[0044]不僅于此，本發(fā)明實施方式可以應用與任何人機交互信息設備，其通用性將給人們帶來極大便利。
【專利附圖】

【附圖說明】
[0045]圖1為根據(jù)本發(fā)明實施方式的用戶交互系統(tǒng)結(jié)構(gòu)示意圖；
[0046]圖2為根據(jù)本發(fā)明實施方式的用戶交互方法流程示意圖；
[0047]圖3為根據(jù)本發(fā)明實 施方式的點云形式指針元素示意圖；
[0048]圖4為根據(jù)本發(fā)明實施方式的輪廓形式指針元素示意圖；
[0049]圖5為根據(jù)本發(fā)明實施方式的二維交互界面的熱點位置確定示意圖。
[0050]圖6為根據(jù)本發(fā)明實施方式的三維交互界面的熱點位置確定示意圖。
[0051]圖7為根據(jù)本發(fā)明實施方式的頭戴式設備所實施的用戶交互系統(tǒng)示意圖。
【具體實施方式】
[0052]為使本發(fā)明實施方式的目的、技術方案和優(yōu)點表達得更加清楚明白，下面結(jié)合附圖及具體實施例對本發(fā)明實施方式再作進一步詳細的說明。
[0053]為了描述上的簡潔和直觀,下文通過描述若干代表性的實施方式來對本發(fā)明的方案進行闡述。實施方式中大量的細節(jié)僅用于幫助理解本發(fā)明的方案。但是很明顯，本發(fā)明的技術方案實現(xiàn)時可以不局限于這些細節(jié)。為了避免不必要地模糊了本發(fā)明的方案，一些實施方式?jīng)]有進行細致地描述，而是僅給出了框架。下文中，“包括”是指“包括但不限于”，“根據(jù)……”是指“至少根據(jù)……，但不限于僅根據(jù)……”。由于漢語的語言習慣，下文中沒有特別指出一個成分的數(shù)量時，意味著該成分可以是一個也可以是多個，或可理解為至少一個。
[0054]在本發(fā)明實施方式中，針對現(xiàn)有技術下各種電子設備(諸如便攜式電子設備)采用交互界面所導致的各種缺陷，提出了一種確定熱點交互位置的用戶交互解決方案。
[0055]用戶與圖形交互界面進行交互的過程中，圖形交互界面中一般會存在相應的交互熱點位置，例如windows的鼠標指針在屏幕交互界面中的位置，觸摸屏上用戶手接觸到的界面中的位置等等，用戶可以通過一些操作(例如移動鼠標)控制交互熱點位置到交互界面中希望被交互的可交互元素(例如交互界面中的按鈕)處，進行相應的交互操作(如點擊選擇等)。
[0056]在本發(fā)明實施方式中，揭露了一種用戶交互系統(tǒng)以及通過空中手勢對人機圖形交互界面進行交互的方法。特別的，涉及一種確定圖形交互界面中與用戶手對應的交互熱點位置的方式。通常來講圖形交互界面的交互熱點位置處有指針元素(如window系統(tǒng)中的鼠標指針)表征，反饋給用戶當前的交互熱點位置。通過本申請披露的方法，用戶可以直接用空中手勢與各種類型的圖形交互界面進行自然方便準確的交互操作，提升用戶的交互體驗。
[0057]在本發(fā)明實施方式中，可以使用多種方式產(chǎn)生實際的二維屏幕界面或虛擬三維屏幕界面，而且產(chǎn)生的虛擬三維屏幕界面還可作為對現(xiàn)實實景的增強，能夠廣泛應用于增強現(xiàn)實(Augment Reality)技術。
[0058]另外，本發(fā)明實施方式同時針對前述交互界面提出一種基于對人肢體動作(優(yōu)選為人的手勢)識別的人性化交互方案，此交互方案能夠無縫融合前述虛擬三維界面與人體的肢體動作操控信息。類似地，通過對一些基本的典型的操作識別進行優(yōu)化處理，形成一個穩(wěn)定的交互開發(fā)平臺，供開發(fā)者開發(fā)各式各樣應用。
[0059]圖1為根據(jù)本發(fā)明實施方式的用戶交互系統(tǒng)結(jié)構(gòu)示意圖。
[0060]如圖1所示，該系統(tǒng)包括界面顯示模塊101、三維定位模塊102和運算處理模塊103。
[0061]用于向用戶提供交互界面；
[0062]三維定位模塊102，用于捕獲用戶場景的三維定位信息，并將所述用戶場景的三維定位信息發(fā)送到運算處理模塊；
[0063]運算處理模塊103，用于基于所述用戶場景的三維定位信息計算用戶眼睛與用戶手相對于三維定位模塊的三維空間相對位置，并基于所述三維空間相對位置以及所述三維定位模塊與交互界面的相對位置關系，確定所述交互界面中的交互熱點位置。
[0064]三維定位模塊102用于獲取定位用戶眼睛和用于交互的手相對于圖形交互界面的三維空間位置的相關數(shù)據(jù)。三維定位模塊102既可以是一個整體的傳感模塊，也可以是分布式的傳感模塊組合。
[0065]優(yōu)選的，三維定位模塊102可以是一種深度圖像傳感器，這種傳感器可以實時獲得包含其視場范圍內(nèi)用戶環(huán)境的三維位置坐標信息的圖像幀數(shù)據(jù)。三維定位模塊102還可以是其他形式的三維空間定位傳感裝置。例如:利用超聲波技術的定位傳感模塊，熱成像技術定位傳感模塊，電磁場技術定位傳感模塊等等。
[0066]在一個實施方式中:所述交互界面為三維交互界面或二維交互界面。
[0067]在一個實施方式中:所述交互界面為二維交互界面；
[0068]三維定位模塊102，用于捕獲用戶圖像的時序列幀數(shù)據(jù)；
[0069]所述運算處理模塊103，用于對所述時序列幀數(shù)據(jù)進行模式識別分析，提取出用戶眼睛及手的有效像素區(qū)域范圍，并通過所述有效像素區(qū)域范圍在所述時序列幀數(shù)據(jù)中的位置、有效像素區(qū)域像素的數(shù)據(jù)值，以及三維定位模塊的視場角信息計算得到用戶眼睛及手相對三維定位模塊的三維空間位置坐標；并根據(jù)用戶眼睛及手相對三維定位模塊的三維空間位置坐標，計算得到用戶的視線指向；再根據(jù)三維定位模塊102與該二維交互界面的相對位置關系，計算得到用戶的視線指向在該二維交互界面上的投影位置，即為所述交互熱點位置。
[0070]在一個實施方式中:所述交互界面為三維交互界面；三維定位模塊102，用于捕獲用戶圖像的時序列幀數(shù)據(jù)；
[0071]所述運算處理模塊103，用于對所述時序列幀數(shù)據(jù)進行模式識別分析，提取出用戶眼睛及手的有效像素區(qū)域范圍，并通過所述有效像素區(qū)域范圍在所述時序列幀數(shù)據(jù)中的位置、有效像素區(qū)域像素的數(shù)據(jù)值，以及三維定位模塊的視場角信息計算得到用戶眼睛及手相對三維定位模塊102的三維空間位置坐標；并根據(jù)用戶眼睛及手相對三維定位模塊的三維空間位置坐標，計算得到用戶的視線指向；并基于用戶眼睛與手在所述視線指向上的空間距離值，確定在視線指向上從三維交互界面前基準面交點處向內(nèi)深入的第一距離值，在視線指向上該三維交互界面上該第一距離值處的位置即為所述交互熱點位置。
[0072]在一個實施方式中:
[0073]三維定位模塊102，進一步用于捕獲用戶手的形態(tài)信息和/或運動信息；
[0074]運算處理模塊103，進一步用于基于所述用戶手的形態(tài)信息和/或運動信息確定用戶手的形態(tài)和/或運動軌跡，識別出具有預定特征的手的形態(tài)代表的交互手勢操作和/或具有預定特征的手的運動軌跡代表的手勢操作。
[0075]在一個實施方式中:所述運算處理模塊103為移動終端、智能電視、計算機或基于云計算的信息服務平臺，等等。
[0076]在一個實施方式中:所述界面顯示模塊101包括:平面顯示器、平面顯示器陣列、投影儀、投影儀組、頭戴式平面顯示器、頭戴式3D顯示器、3D電視3D投影儀或3D全息顯示
姑習坐坐
[0077]在一個實施方式中:所述三維定位模塊102包括:深度攝像傳感器、深度攝像傳感器與RGB攝像傳感器的結(jié)合實體、超聲波定位傳感模塊、熱成像定位傳感模塊或電磁定位傳感模塊，等等。
[0078]在一個實施方式中:
[0079]運算處理模塊103，進一步用于在交互界面上該交互熱點位置處顯示空間虛擬指針元素，所述空間虛擬指針元素在交互界面上的運動軌跡與用戶瀏覽該交互界面做出的手勢移動軌跡保持一致，而且所述空間虛擬指針元素在交互界面上的手勢形態(tài)與用戶瀏覽該交互界面做出的手勢形態(tài)保持一致。
[0080]在一個實施方式中:
[0081]所述空間虛擬指針元素為手型點云形態(tài)、手型實體模型或手型透明輪廓
[0082]具體地，運算處理模塊103可以是具備計算能力的任意裝置。比如移動終端、計算機，甚至是基于云計算的信息服務平臺等。
[0083]運算處理模塊103可以將交互界面上的交互熱點位置處的空間點設置為交互點，當用戶手移動到與該交互點之間的距離滿足預先設定的距離門限值，而且手勢形態(tài)滿足預先設置的狀態(tài)切換條件時，確定相對應的交互操作命令，并將執(zhí)行該交互操作命令后的三維交互結(jié)果界面發(fā)送給界面顯示模塊101;界面顯示模塊101，進一步用于向用戶顯示所述交互結(jié)果界面。
[0084]在一個實施方式中，預先設置的狀態(tài)切換條件可以包括:用戶的一只手在狀態(tài)一(例如手掌狀態(tài))下移動到某個特定位置，并轉(zhuǎn)變?yōu)闋顟B(tài)二 (例如握拳狀態(tài))，保持手在狀態(tài)二下向特定的方向(如上、下、左、右、前、后、左前，右前等等)或沿特定軌跡(如:閉合軌跡，擺動軌跡)下移動。當滿足了這種狀態(tài)切換條件后，可以觸發(fā)某種交互操作，實現(xiàn)特定的交互意圖。
[0085]界面顯示模塊101可以接受運算處理模塊103或其他交互信號提供源所提供的交互界面顯示信號，并向用戶交互界面。交互界面顯示模塊101還可以具備顯示三維立體內(nèi)容的能力，具體可以是3D電視、3D頭戴式顯示器、3D投影設備或3D全息顯示裝置，等等。
[0086]優(yōu)選地，運算處理模塊103與界面顯示模塊101之間的通信方式可以有多種具體實施形式，包括但是不局限于:無線寬帶傳輸、藍牙傳輸、紅外傳輸、移動通信傳輸或者有線傳輸?shù)鹊取?br> [0087]在一個實施方式中:界面顯示模塊101通過上述通訊方式從任意的三維信號提供源接收三維交互界面顯示信號之后，對三維交互界面顯示信號進行調(diào)制解碼后，將三維交互界面顯示圖像直接投影到用戶視網(wǎng)膜上，使用戶感覺到前方出現(xiàn)一個虛擬的三維界面(優(yōu)選為增廣的屏幕)。用戶感興趣的信息將通過這個虛擬三維界面得以展現(xiàn)。
[0088]界面顯示模塊101可以通過多種方式產(chǎn)生這個虛擬三維界面。比如，界面顯示模塊101具體可以是用戶頭戴式眼鏡式顯示器。該用戶頭戴式眼鏡式顯示器有兩個超微顯示屏對應于人的左右眼，通過精密光學透鏡放大超微顯示屏上的圖像，進而呈現(xiàn)于觀看者眼中虛擬增廣的屏幕圖像。
[0089]此外，界面顯示模塊101還可以通過視網(wǎng)膜直接投影的方式產(chǎn)生虛擬三維界面。比如，界面顯示模塊101具體可以為直接視網(wǎng)膜投影裝置。在這種方式中，利用人的視覺暫留原理，界面顯示模塊101 (即直接視網(wǎng)膜投影裝置)中的顯示芯片接收三維交互界面顯示信號，進而對界面顯示模塊101中的微型激光發(fā)生器產(chǎn)生的紅綠藍激光進行調(diào)制，讓低功率激光快速地按指定順序在水平和垂直兩個方向上循環(huán)掃描，撞擊視網(wǎng)膜的一小塊區(qū)域使其產(chǎn)生光感，使人們感覺到三維圖像的存在，此種顯示方式可以不影響背景視場，三維虛擬屏幕疊加在真實視場上，進而可以提供增強現(xiàn)實的感官體驗。
[0090]在一個實施方式中，當三維虛擬交互界面出現(xiàn)以后，用戶瀏覽三維虛擬交互界面，并且通過手勢來觸發(fā)交互過程。
[0091]綜上可知，本發(fā)明提出一種手勢交互系統(tǒng)以及一種用來確定圖形交互界面(⑶I)中與用戶人機交互操作的手對應的交互熱點位置或與用戶人機交互操作的手對應的指針元素在圖形交互界面中的位置的方法。
[0092]具體來講，本發(fā)明通過三維定位模塊102定位得到用戶眼睛的三維空間相對位置以及用戶用來進行人機交互操作的手的三維空間相對位置，利用上述得到的三維空間相對位置以及三維定位傳感器與用戶所看到的圖形交互界面的相對位置關系，通過一定的軟件算法來確定圖形交互界面(GUI)中與用戶用來進行人機交互操作的手對應的交互熱點位置，進而可以控制圖形交互界面中用來對應用戶進行交互操作的手的指針元素在圖形交互界面上的位置。
[0093]界面顯示模塊101用于顯示圖形交互界面(Graphic User Interface)給用戶，圖形交互界面可以是2D平面的呈現(xiàn)形式，也可以是3D立體的呈現(xiàn)形式。界面顯示模塊101具體可以是平面顯示器或平面顯示器陣列，投影儀或投影儀組，頭戴式平面顯示器，頭戴式3D顯示器等等可以將圖形交互界面信息顯示給用戶的設備，等等。[0094]三維定位模塊102用于獲取定位目標物體相對于圖形交互界面的三維空間位置的相關數(shù)據(jù)。在本申請中，目標物體包括用戶的眼睛以及用戶交互操作的手。用來定位用戶的眼睛的三維定位模塊102與用來定位用戶用來進行交互操作的手的三維定位模塊102可以是一個整體的傳感模塊，也可以是分布式的傳感模塊組合。
[0095]優(yōu)選的，三維定位模塊102可以是深度攝像傳感器或深度攝像傳感器與RGB攝像傳感器的結(jié)合形式，還可以是其他形式的三維空間定位裝置。例如:超聲波定位傳感模塊，熱成像定位傳感模塊，電磁定位傳感模塊等等。
[0096]運算處理模塊103通過有線或無線的方式接收三維定位模塊102得到的相關數(shù)據(jù)，并對接收到的數(shù)據(jù)進行算法處理，從而得到用戶眼睛與用戶用來進行交互操作的手的三維空間相對位置，利用上述得到的三維空間相對位置以及三維定位傳感器與用戶所看到的圖形交互界面的相對位置關系，通過一定的軟件算法來確定圖形交互界面(GUI)中與用戶用來進行人機交互操作的手對應的交互熱點位置，進而可以控制圖形交互界面中用來對應用戶進行交互操作的手的指針元素在圖形交互界面上的位置。
[0097]當圖形交互界面是3D立體形式時，可以進一步通過用戶用來進行交互操作的手與用戶兩個眼睛的三維空間相對位置的距離大小來控制3D圖形交互界面中用來對應用戶進行交互操作的手的指針元素在3D圖形交互界面空間中的前后位置。
[0098]此外，如果三維定位模塊102采集到的數(shù)據(jù)包括用戶手的形態(tài)相關信息，運算處理模塊103還可以基于這些數(shù)據(jù)分析用戶的手的形態(tài)及運動軌跡，識別出一些具有特征的手的形態(tài)代表的交互手勢操作以及具有一定特征的手的運動軌跡代表的手勢操作，例如手的打開五指和并攏五指的狀態(tài)，勝利V型手勢，大拇指朝上等手勢，以及手指尖的點擊動作，畫叉動作，對號動作，畫圈動作，畫三角動作等等手勢操作，根據(jù)識別到的手勢操作結(jié)果結(jié)合當前交互熱點位置處對應的圖形交互界面中的交互對象實施相應意義的交互操作意圖，從而得到經(jīng)過用戶交互操作后的圖形交互界面的反饋結(jié)果，運算處理模塊103經(jīng)過上述過程得到的運算結(jié)果通過有線或無線的方式發(fā)送給界面顯示模塊103。運算處理模塊102具體可以是桌面電腦，移動智能終端，智能電視，云計算平臺等等具備數(shù)據(jù)運算處理能力的設備。
[0099]界面顯示模塊103根據(jù)運算處理模塊102的運算結(jié)果渲染出新的一幀圖形交互界面的顯示信號，并予以顯示。
[0100]上述系統(tǒng)各個模塊可以是全部集成在一起的整體裝置，也可以是部分模塊集成在一起部分獨立的形式，還可以是全部獨立的形式。模塊之間通過有線或無線方式進行數(shù)據(jù)鏈接。例如一款智能電視、一體機，頭戴式智能眼鏡等形態(tài)的產(chǎn)品可以集成上述各個模塊為一個整體。還例如一種頭戴式智能眼鏡式產(chǎn)品可以集成顯示模塊與三維定位傳感模塊為一體，通過有線或無線的方式與運算處理模塊和交互界面渲染模塊進行數(shù)據(jù)通信。
[0101]基于上述詳細分析，本發(fā)明還提出了一種用戶交互方法。
[0102]圖2為根據(jù)本發(fā)明實施方式的用戶交互方法流程示意圖。
[0103]如圖2所示，該方法包括:
[0104]步驟201:向用戶提供交互界面；
[0105]步驟202:三維定位模塊捕獲用戶場景的三維定位信息；
[0106]步驟203:基于所述用戶場景的三維定位信息計算用戶眼睛與用戶手相對于三維定位模塊的三維空間相對位置，并基于所述三維空間相對位置以及所述三維定位模塊與交互界面的相對位置關系，確定所述交互界面中的交互熱點位置。
[0107]在一個實施方式中:
[0108]交互界面為二維交互界面；該方法包括:
[0109]捕獲用戶圖像的時序列幀數(shù)據(jù)；
[0110]對所述時序列幀數(shù)據(jù)進行模式識別分析，提取出用戶眼睛及手的有效像素區(qū)域范圍，并通過所述有效像素區(qū)域范圍在所述時序列幀數(shù)據(jù)中的位置、有效像素區(qū)域像素的數(shù)據(jù)值，以及三維定位模塊的視場角信息計算得到用戶眼睛及手相對三維定位模塊的三維空間位置坐標；并根據(jù)用戶眼睛及手相對三維定位模塊的三維空間位置坐標，計算得到用戶的視線指向；再根據(jù)三維定位模塊與該二維交互界面的相對位置關系，計算得到用戶的視線指向在該二維交互界面上的投影位置，即為所述交互熱點位置。
[0111]在一個實施方式中:
[0112]交互界面為三維交互界面；該方法包括:
[0113]捕獲用戶圖像的時序列幀數(shù)據(jù):
[0114]對所述時序列幀數(shù)據(jù)進行模式識別分析，提取出用戶眼睛及手的有效像素區(qū)域范圍，并通過所述有效像素區(qū)域范圍在所述時序列幀數(shù)據(jù)中的位置、有效像素區(qū)域像素的數(shù)據(jù)值，以及三維定位模塊的視場角信息計算得到用戶眼睛及手相對三維定位模塊的三維空間位置坐標；并根據(jù)用戶眼睛及手相對三維定位模塊的三維空間位置坐標，計算得到用戶的視線指向；并基于用戶眼睛與手在所述視線指向上的空間距離值，確定在視線指向上從三維交互界面前基準面交點處向內(nèi)深入的第一距離值，視線指向上該三維交互界面上該第一距離值處的位置即為所述交互熱點位置。
[0115]圖3為根據(jù)本發(fā)明實施方式的點云形式指針元素示意圖；圖4為根據(jù)本發(fā)明實施方式的輪廓形式指針元素示意圖。
[0116]在一個實施方式中，所述手勢形態(tài)信息滿足預先設置的狀態(tài)切換條件包括:
[0117]該手勢形態(tài)信息從第一狀態(tài)切換到不同于該第一狀態(tài)的第二狀態(tài)，所述第一狀態(tài)和第二狀態(tài)都從手勢狀態(tài)組中選擇，而且所述手勢狀態(tài)組包括:
[0118]單手握拳、單手掌心朝上手掌伸開、單手掌心朝下手掌伸開、單手伸出單個手指、單手伸出任意兩個手指、單手伸出任意三個手指、單手伸出任意四個手指、雙手握拳、雙手掌心朝上手掌伸開、雙手掌心朝下手掌伸開、雙手伸出單個手指、雙手伸出任意兩個手指、雙手伸出任意三個手指、雙手伸出任意四個手指、雙手伸出任意五個手指、雙手伸出任意六個手指、雙手伸出任意七個手指、雙手伸出任意八個手指和雙手伸出任意九個手指。
[0119]圖5為根據(jù)本發(fā)明實施方式的二維交互界面的熱點位置確定示意圖。
[0120]如圖5所示，桌上顯示器形狀的設備集成了界面顯示模塊和運算處理模塊以及位于顯示屏幕上方的一種深度圖像傳感器形式的三維定位模塊。
[0121 ] 界面顯示模塊呈現(xiàn)二維交互界面。當用戶的眼睛和用于交互操作的手在深度圖像傳感器的傳感范圍內(nèi)時，深度圖像傳感器即可獲得包含目標物體的實時連續(xù)的時序列幀數(shù)據(jù)，并將該時序列幀數(shù)據(jù)發(fā)送給運算處理模塊，運算處理模塊通過對時序列幀數(shù)據(jù)進行一些預定處理以及模式識別算法分析，可以提取出用戶眼睛以及用戶用于交互操作的手在深度圖像中的有效像素區(qū)域范圍，進而通過有效像素區(qū)域范圍在深度圖像幀中的位置、有效像素區(qū)域像素的數(shù)據(jù)值以及深度圖像傳感器的視場角等信息，綜合計算得到用戶眼睛(t匕如兩個眼睛的中點)的三維空間位置坐標(XI，Yl, Zl)以及用戶用于交互操作的手相對深度圖像傳感器的三維空間位置坐標(X2，Y2，Z2)。
[0122]然后，根據(jù)得到的用戶用于操作的手以及用戶的眼睛的三維空間位置坐標，可以計算得到用戶的視線指向(比如兩個眼睛的中點與用戶用于操作的手之間的直線)，再計算得到用戶的視線指向在圖形交互界面上的投影位置，即圖形交互界面中用戶交互意圖所對應的交互熱點位置，也就是圖形交互界面中對應用戶用于交互操作的手的指針元素應該出現(xiàn)的位置。這時用戶的手在前述視線指向方向做點擊操作，通過對用戶手的三維空間位置軌跡的分析，可以識別出用戶點擊操作的軌跡手勢，從而得到用戶的交互意圖是點擊交互熱點位置處的可交互元素(圖中黑色線條的片)，從而執(zhí)行用戶的交互操作并對應的渲染計算生成新的圖形反饋交互界面信號，新的交互界面顯示信號傳給顯示模塊，顯示模塊將新的圖形交互界面顯示給用戶，從而實現(xiàn)了一個完整的用戶手勢交互過程。
[0123]此外，通過對圖像幀序列數(shù)據(jù)分析還可以得到用戶的手的形態(tài)信息，進而通過軟件算法得到用戶手的形態(tài)信息所代表的一些特定手勢操作意圖，例如手指聚攏狀態(tài)，手指分開打開狀態(tài)，大拇指朝上握拳或朝下握拳狀態(tài)，V手勢等等，這些手勢結(jié)合定位得到的交互熱點位置可用于用戶與圖形交互界面的手勢交互過程。
[0124]圖6為根據(jù)本發(fā)明實施方式的三維交互界面的熱點位置確定示意圖。
[0125]如圖6所示，桌上顯示器形狀的設備集成了顯示模塊和運算處理模塊以及位于顯示屏幕上方的一種深度圖像傳感器形式的三維定位傳感模塊。
[0126]界面顯示模塊呈現(xiàn)三維交互界面。當用戶的眼睛和用于交互操作的手在深度圖像傳感器的傳感范圍內(nèi)時，深度圖像傳感器即可獲得包含目標物體的實時連續(xù)的時序列幀數(shù)據(jù)，并將數(shù)據(jù)發(fā)送給運算處理模塊，運算處理模塊通過對時序列幀數(shù)據(jù)進行一些預定處理以及模式識別算法分析，可以提取出用戶眼睛以及用戶用于交互操作的手在深度圖像中的有效像素區(qū)域范圍，進而通過有效像素區(qū)域范圍在深度圖像幀中的位置、有效像素區(qū)域像素的數(shù)據(jù)值以及深度圖像傳感器的視場角等信息，綜合計算得到用戶眼睛(比如兩個眼睛的中點)的三維空間位置坐標(XI，Yl, Zl)以及用戶用于交互操作的手相對深度圖像傳感器的三維空間位置坐標(X2，Y2，Z2)。
[0127]然后，根據(jù)得到的用戶用于操作的手以及用戶的眼睛的三維空間相對位置，從而可以計算得到用戶的視線指向(比如兩個眼睛的中點到用戶用于操作的手的直線)?？梢岳糜脩粞劬?比如兩個眼睛的中點)與用戶用于交互操作的手的空間距離d的大小進一步精確確定三維交互界面空間中的三維交互熱點位置。
[0128]示范性地,如圖6所示,通過距離d來計算表示交互熱點位置的指針元素在圖形交互界面中視線指向方向上，自用戶眼睛與用于交互的手連線的視線指向與三維交互界面前基準面交點處向內(nèi)深入的距離dl的大小。例如，dl與d呈線性正比關系。此時，用戶體驗到的效果為:用戶的手遠離眼睛，則交互熱點位置(指針元素所在位置)在圖形交互界面中沿用戶視線指向方向遠離用戶。通過上面方法就確定了圖形交互界面中對應于用戶用于交互操作的手的交互熱點位置(或指針元素所在位置)的三維空間位置，從而與對應位置上的可交互元素進行相應的互動操作，例如抓取移動圖形交互界面中某空間位置上的虛擬物體
坐坐寸寸ο[0129]可以通過多種方式實施本發(fā)明實施方式。
[0130]圖7為根據(jù)本發(fā)明實施方式的頭戴式設備所實施的用戶交互系統(tǒng)示意圖。
[0131]如圖7所示，展示了本專利方案以頭戴式設備形式的一種實施方式。如圖所示，用戶戴的眼鏡式設備中集成了顯示模塊和三維定位模塊，通過顯示模塊用戶在視場中將看到一個二維或三維立體的虛擬圖形交互界面，三維定位模塊102可以提供包含用于確定用戶用于交互操作的手的相對三維空間坐標信息的相關數(shù)據(jù)給運算處理模塊。
[0132]運算處理模塊可以是與眼鏡設備無線聯(lián)接的云計算平臺也可以是直接集成于眼鏡式設備中的本地運算處理模塊，還可以是與眼鏡設備無線或有線聯(lián)接的PC、智能手機等具備一定運算處理能力的設備。
[0133]運算處理模塊通過一定的算法確定用戶用于交互操作的手的三維空間相對位置，由于用戶眼睛相對三維定位傳感模塊的相對位置也是已知固定的，從而根據(jù)上述確定的三維空間相對位置信息可以推算出用戶視線指向方向在用戶所看到的圖形交互界面上的投影關系，進而利用上面兩個示例中提到的方法確定交互熱點位置，或?qū)甘窘换狳c的指針元素在圖形交互界面中應在的位置，引導用戶完成相應的交互操作。
[0134]綜上所述，在本發(fā)明實施方式中，用戶交互系統(tǒng)，包括界面顯示模塊、三維定位模塊和運算處理模塊，其中:界面顯示模塊，用于向用戶提供交互界面；三維定位模塊，用于捕獲用戶圖像的時序列幀數(shù)據(jù)，并將所述用戶場景的三維定位信息發(fā)送到運算處理模塊；運算處理模塊，用于基于所述用戶場景的三維定位信息計算用戶眼睛與用戶手相對于三維定位模塊的三維空間相對位置，并基于所述三維空間相對位置以及所述三維定位模塊與交互界面的相對位置關系，確定所述交互界面中的交互熱點位置。本發(fā)明實施方式揭露了一種用戶交互系統(tǒng)以及通過空中手勢對人機圖形交互界面進行交互的方法。特別的，涉及一種確定圖形交互界面中與用戶手對應的交互熱點位置的方式。通過本申請披露的方法，用戶可以直接用空中手勢與各種類型的圖形交互界面進行自然方便準確的交互操作，提升用戶的交互體驗。
[0135]本發(fā)明實施方式通過交互界面與用戶手勢之間的交互，實現(xiàn)了一種用戶與硬件設備之間交互與獲取信息的方式，極大地增強了用戶體驗。
[0136]而且，本發(fā)明實施的交互方式非常自然，符合人性的基本肢體動作(比如手勢)交互模式，而且降低了用戶對操作設備的學習成本，符合人體自然地交互操控與便攜信息處理硬件設備的分體設計，使人能夠更集中精力于其所關注的信息而不是硬件設備本身。
[0137]而且，本發(fā)明實施方式還提出了一種自然交互技術的三維立體虛擬信息自然交互界面，該交互界面包含眾多三維立體可進行自然交互的元素。通過本發(fā)明實施方式所提出的解決方案，用戶可以自然地用手控制上述三維立體虛擬信息自然交互界面中對應于用戶手的虛擬指針，對三維立體虛擬信息自然交互界面進行自然交互。
[0138]另外，本發(fā)明實施方式的獨特顯示方式使其受環(huán)境影響較小，給人提供高品質(zhì)的感官體驗，并能夠保護信息的私密性。本發(fā)明實施方式通過直接視網(wǎng)膜掃描投影顯示方式可以將三維虛擬信息與現(xiàn)實實景融合在一起，給人提供增強現(xiàn)實的感官體驗，從而基于此可以衍生出大量的有意義的應用，進一步極大地提高用戶體驗。
[0139]不僅于此，本發(fā)明實施方式可以應用與任何人機交互信息設備，其通用性將給人們帶來極大便利。[0140]需要說明的是，上述各流程和各結(jié)構(gòu)圖中不是所有的步驟和模塊都是必須的，可以根據(jù)實際的需要忽略某些步驟或模塊。各步驟的執(zhí)行順序不是固定的，可以根據(jù)需要進行調(diào)整。各模塊的劃分僅僅是為了便于描述采用的功能上的劃分，實際實現(xiàn)時，一個模塊可以分由多個模塊實現(xiàn)，多個模塊的功能也可以由同一個模塊實現(xiàn)，這些模塊可以位于同一個設備中，也可以位于不同的設備中。
[0141]各實施方式中的硬件模塊可以以機械方式或電子方式實現(xiàn)。例如，一個硬件模塊可以包括專門設計的永久性電路或邏輯器件(如專用處理器，如FPGA或ASIC)用于完成特定的操作。硬件模塊也可以包括由軟件臨時配置的可編程邏輯器件或電路(如包括通用處理器或其它可編程處理器)用于執(zhí)行特定操作。至于具體采用機械方式，或是采用專用的永久性電路，或是采用臨時配置的電路(如由軟件進行配置)來實現(xiàn)硬件模塊，可以根據(jù)成本和時間上的考慮來決定。
[0142]本發(fā)明還提供了 一種機器可讀的存儲介質(zhì)，存儲用于使一機器執(zhí)行如本文所述方法的指令。具體地，可以提供配有存儲介質(zhì)的系統(tǒng)或者裝置，在該存儲介質(zhì)上存儲著實現(xiàn)上述實施方式中任一實施方式的功能的軟件程序代碼，且使該系統(tǒng)或者裝置的計算機(或CPU或MPU)讀出并執(zhí)行存儲在存儲介質(zhì)中的程序代碼。此外，還可以通過基于程序代碼的指令使計算機上操作的操作系統(tǒng)等來完成部分或者全部的實際操作。還可以將從存儲介質(zhì)讀出的程序代碼寫到插入計算機內(nèi)的擴展板中所設置的存儲器中或者寫到與計算機相連接的擴展單元中設置的存儲器中，隨后基于程序代碼的指令使安裝在擴展板或者擴展單元上的CPU等來執(zhí)行部分和全部實際操作，從而實現(xiàn)上述實施方式中任一實施方式的功能。
[0143]用于提供程序代碼的存儲介質(zhì)實施方式包括軟盤、硬盤、磁光盤、光盤(如⑶-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁帶、非易失性存儲卡和 ROM?？蛇x擇地，可以由通信網(wǎng)絡從服務器計算機上下載程序代碼。
[0144]綜上所述，在本發(fā)明實施方式中，本發(fā)明實施方式揭露了一種用戶交互系統(tǒng)以及通過空中手勢對人機圖形交互界面進行交互的方法。用戶可以直接用空中手勢與各種類型的圖形交互界面進行自然方便準確的交互操作，提升用戶的交互體驗。
[0145]以上所述，僅為本發(fā)明實施方式的較佳實施例而已，并非用于限定本發(fā)明實施方式的保護范圍。凡在本發(fā)明實施方式的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明實施方式的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種用戶交互系統(tǒng)，其特征在于，該系統(tǒng)包括界面顯示模塊、三維定位模塊和運算處理模塊，其中: 界面顯示模塊，用于向用戶提供交互界面； 三維定位模塊，用于捕獲用戶場景的三維定位信息，并將所述用戶場景的三維定位信息發(fā)送到運算處理模塊； 運算處理模塊，用于基于所述用戶場景的三維定位信息計算用戶眼睛與用戶手相對于三維定位模塊的三維空間相對位置，并基于所述三維空間相對位置以及所述三維定位模塊與交互界面的相對位置關系，確定所述交互界面中的交互熱點位置。
2.根據(jù)權(quán)利要求1所述的用戶交互系統(tǒng)，其特征在于，所述交互界面為三維交互界面或二維交互界面。
3.根據(jù)權(quán)利要求1所述的用戶交互系統(tǒng)，其特征在于，所述交互界面為二維交互界面； 三維定位模塊，用于捕獲用戶圖像的時序列幀數(shù)據(jù)； 所述運算處理模塊，用于對所述時序列幀數(shù)據(jù)進行模式識別分析，提取出用戶眼睛及手的有效像素區(qū)域范圍，并通過所述有效像素區(qū)域范圍在所述時序列幀數(shù)據(jù)中的位置、有效像素區(qū)域像素的數(shù)據(jù)值，以及三維定位模塊的視場角信息計算得到用戶眼睛及手相對三維定位模塊的三維空間位置坐標；并根據(jù)用戶眼睛及手相對三維定位模塊的三維空間位置坐標，計算得到用戶的視線指向；再根據(jù)三維定位模塊與該二維交互界面的相對位置關系，計算得到用戶的視線指向在該二維交互界面上的投影位置，即為所述交互熱點位置。
4.根據(jù)權(quán)利要求1所述的用戶交互系統(tǒng)，其特征在于，所述交互界面為三維交互界面； 三維定位模塊，用于捕獲用戶圖像的時序列幀數(shù)據(jù)； 所述運算處理模塊，用于對所述時序列幀數(shù)據(jù)進行模式識別分析，提取出用戶眼睛及手的有效像素區(qū)域范圍，并通過所述有效像素區(qū)域范圍在所述時序列幀數(shù)據(jù)中的位置、有效像素區(qū)域像素的數(shù)據(jù)值，以及三維定位模塊的視場角信息計算得到用戶眼睛及手相對三維定位模塊的三維空間位置坐標；并根據(jù)用戶眼睛及手相對三維定位模塊的三維空間位置坐標，計算得到用戶的視線指向；并基于用戶眼睛與手在所述視線指向上的空間距離值，確定在視線指向上從三維交互界面前基準面交點處向內(nèi)深入的第一距離值，在視線指向上該三維交互界面上該第一距離值處的位置即為所述交互熱點位置。
5.根據(jù)權(quán)利要求1所述的用戶交互系統(tǒng)，其特征在于， 三維定位模塊，進一步用于捕獲用戶手的形態(tài)信息和/或運動信息； 運算處理模塊，進一步用于基于所述用戶手的形態(tài)信息和/或運動信息確定用戶手的形態(tài)和/或運動軌跡，識別出具有預定特征的手的形態(tài)代表的交互手勢操作和/或具有預定特征的手的運動軌跡代表的手勢操作。
6.根據(jù)權(quán)利要求1所述的用戶交互 系統(tǒng)，其特征在于，所述運算處理模塊為移動終端、智能電視、計算機或基于云計算的信息服務平臺。
7.根據(jù)權(quán)利要求1所述的用戶交互系統(tǒng)，其特征在于，所述界面顯示模塊包括:平面顯示器、平面顯示器陣列、投影儀、投影儀組、頭戴式平面顯示器、頭戴式3D顯示器、3D電視3D投影儀或3D全息顯示裝置。
8.根據(jù)權(quán)利要求1所述的用戶交互系統(tǒng)，其特征在于，所述三維定位模塊包括:深度攝像傳感器、深度攝像傳感器與RGB攝像傳感器的結(jié)合實體、超聲波定位傳感模塊、熱成像定位傳感模塊或電磁定位傳感模塊。
9.根據(jù)權(quán)利要求1所述的用戶交互系統(tǒng)，其特征在于， 運算處理模塊，進一步用于在交互界面上該交互熱點位置處顯示空間虛擬指針元素，所述空間虛擬指針元素在交互界面上的運動軌跡與用戶瀏覽該交互界面做出的手勢移動軌跡保持一致，而且所述空間虛擬指針元素在交互界面上的手勢形態(tài)與用戶瀏覽該交互界面做出的手勢形態(tài)保持一致。
10.根據(jù)權(quán)利要求9所述的用戶交互系統(tǒng)，其特征在于，所述空間虛擬指針元素為手型點云形態(tài)、手型實體模型或手型透明輪廓。
11.一種用戶交互方法，其特征在于，包括: 向用戶提供交互界面； 三維定位模塊捕獲用戶場景的三維定位信息； 基于所述用戶場景的三維定位信息計算用戶眼睛與用戶手相對于三維定位模塊的三維空間相對位置，并基于所述三維空間相對位置以及所述三維定位模塊與交互界面的相對位置關系，確定所述交互界面中的交互熱點位置。
12.根據(jù)權(quán)利要求11的用戶交互方法，其特征在于，交互界面為二維交互界面；該方法包括: 捕獲用戶圖像的時序列幀數(shù)據(jù)； 對所述時序列幀數(shù)據(jù)進行模式識別分析，提取出用戶眼睛及手的有效像素區(qū)域范圍，并通過所述有效像素區(qū)域范圍在所述時序列幀數(shù)據(jù)中的位置、有效像素區(qū)域像素的數(shù)據(jù)值，以及三維定位模塊的視場角信息計算得到用戶眼睛及手相對三維定位模塊的三維空間位置坐標；并根據(jù)用戶眼睛及手相對三維定位模塊的三維空間位置坐標，計算得到用戶的視線指向；再根據(jù)三維定位模塊與該二維交互界面的相對位置關系，計算得到用戶的視線指向在該二維交互界面上的投影位置，即為所述交互熱點位置。
13.根據(jù)權(quán)利要求11的用戶交互方法，其特征在于，所述交互界面為三維交互界面；該方法包括: 捕獲用戶圖像的時序列幀數(shù)據(jù)； 對所述時序列幀數(shù)據(jù)進行模式識別分析，提取出用戶眼睛及手的有效像素區(qū)域范圍，并通過所述有效像素區(qū)域范圍在所述時序列幀數(shù)據(jù)中的位置、有效像素區(qū)域像素的數(shù)據(jù)值，以及三維定位模塊的視場角信息計算得到用戶眼睛及手相對三維定位模塊的三維空間位置坐標；并根據(jù)用戶眼睛及手相對三維定位模塊的三維空間位置坐標，計算得到用戶的視線指向；并基于用戶眼睛與手在所述視線指向上的空間距離值，確定在視線指向上從三維交互界面前基準面交點處向內(nèi)深入的第一距離值，視線指向上該三維交互界面上該第一距離值處的位置即為所述交互熱點位置。
【文檔編號】G06F3/01GK103793060SQ201410051963
【公開日】2014年5月14日 申請日期:2014年2月14日 優(yōu)先權(quán)日:2014年2月14日
【發(fā)明者】楊智 申請人:楊智