一種用于群體人機(jī)交互的系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及虛擬現(xiàn)實(shí)和人機(jī)交互技術(shù)領(lǐng)域，具體地說，本發(fā)明涉及一種用于群體 人機(jī)交互的系統(tǒng)。
【背景技術(shù)】
[0002] 近些年來虛擬現(xiàn)實(shí)和人機(jī)交互技術(shù)得到了較快發(fā)展，各類結(jié)合使用這兩種技術(shù)為 人類提供便利的系統(tǒng)層出不窮。此類技術(shù)在科普教育，軍事指揮，游戲娛樂等領(lǐng)域得到了廣 泛應(yīng)用。
[0003] 雖然此類系統(tǒng)具有逼真效果和高沉浸性的優(yōu)點(diǎn)，但在涉及群體交互的場合，目前 其體驗(yàn)者大多只能以觀看電影的形式作為被動(dòng)的接受者進(jìn)行體驗(yàn)，而不能夠參與其中。在 很多應(yīng)用中，如果所有的體驗(yàn)者都能與系統(tǒng)進(jìn)行互動(dòng)，體驗(yàn)者之間可以進(jìn)行競爭或合作，將 可以衍生出更有趣或更有意義的應(yīng)用，比如，在一些兒童互動(dòng)科普教育的人機(jī)互動(dòng)應(yīng)用中， 如果可以讓兒童更樂意參與其中，將會給其留下的更深刻的印象或記憶，達(dá)到更好的應(yīng)用 效果。因此，如果在此類系統(tǒng)中加入群體交互，除了會讓體驗(yàn)者有身臨其境的體驗(yàn)外，還能 讓他們之間以及他們與系統(tǒng)之間建立互動(dòng)的通道，顯著提高觀眾參與的積極性和系統(tǒng)的應(yīng) 用范圍。但是，目前可以與用戶互動(dòng)的人機(jī)交互系統(tǒng)或設(shè)備多面向于單人或少數(shù)幾人在小 范圍內(nèi)進(jìn)行使用，比如，leapmotion，kinect等，或者只能對簡單的群體行為進(jìn)行響應(yīng)，無法 分別響應(yīng)來自不同用戶的交互指令（比如中國專利CN103533445B)，已經(jīng)不能滿足虛擬現(xiàn) 實(shí)系統(tǒng)中進(jìn)行自然群體交互的互動(dòng)需要。
[0004] 目前，現(xiàn)有技術(shù)的主要問題在于：采用單一且高度集成化的數(shù)據(jù)采集裝置，使得數(shù) 據(jù)采集的范圍相對較小，限制了交互的參與人數(shù)，而且在群體交互情況下，由于數(shù)據(jù)量大， 信號存在干擾、時(shí)延等因素，無法實(shí)現(xiàn)多人同步定位和對復(fù)雜用戶指令的識別，以及無法分 別響應(yīng)來自不同用戶的交互指令。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是提供一種能夠克服上述技術(shù)問題的解決方案。
[0006] 本發(fā)明提供了一種用于群體人機(jī)交互的系統(tǒng)，包括：數(shù)據(jù)采集裝置和交互控制裝 置，其中，所述數(shù)據(jù)采集裝置，包括至少兩類分布式布置的傳感器，用于采集關(guān)于人機(jī)交互 的原始信息，其中，第一類傳感器用于采集所述用戶的動(dòng)作信息，第二類傳感器用于采集帶 有用戶身份標(biāo)注的信息；所述交互控制裝置，用于接收來自所述數(shù)據(jù)采集裝置的所述原始 信息，并按照用戶身份對其進(jìn)行分類以獲取相應(yīng)用戶的交互控制信息，進(jìn)而獲得相應(yīng)的交 互控制指令。
[0007] 優(yōu)選地，所述數(shù)據(jù)采集裝置還包括：第三類傳感器，用于采集帶有用戶身份標(biāo)注的 所述用戶的動(dòng)作信息。
[0008] 優(yōu)選地，所述數(shù)據(jù)采集裝置還包括：同步器，用于接收并同步來自全部或部分所述 傳感器的數(shù)據(jù)。
[0009] 優(yōu)選地，所述交互控制裝置包括：用戶區(qū)分模塊和指令識別模塊，其中，所述用戶 區(qū)分模塊，用于根據(jù)來自不同類傳感器的原始信息之中的同種參數(shù)對所述原始信息進(jìn)行分 類，將相應(yīng)的信息與與之對應(yīng)的所述用戶相關(guān)聯(lián)，形成用戶信息；所述指令識別模塊，用于 根據(jù)所述用戶信息中的交互控制信息，獲取與其對應(yīng)的交互控制指令。
[0010] 優(yōu)選地，所述交互控制裝置還包括用戶定位模塊，用于根據(jù)所述用戶信息確定各 個(gè)用戶相對于指定坐標(biāo)系的空間位置。
[0011] 優(yōu)選地，所述交互控制裝置還包括：數(shù)據(jù)有效性判斷模塊，用于從所述用戶信息中 的交互控制信息中區(qū)分出有效的交互控制信息和無效的交互控制信息；以及所述指令識別 模塊，用于根據(jù)所述用戶信息中的有效的交互控制信息，獲取與其對應(yīng)的交互控制指令。
[0012] 優(yōu)選地，所述交互控制裝置還包括：數(shù)據(jù)預(yù)處理模塊，用于對來自數(shù)據(jù)采集裝置的 所述原始信息進(jìn)行噪點(diǎn)處理。
[0013] 優(yōu)選地，所述系統(tǒng)還包括：顯示裝置，用于接收來自所述交互控制裝置的所述交互 控制指令，并根據(jù)所述交互控制指令完成對相應(yīng)圖像的呈現(xiàn)。
[0014] 優(yōu)選地，所述顯示裝置包括：渲染模塊和顯示模塊，其中，所述渲染模塊，用于根據(jù) 預(yù)設(shè)的所述交互控制指令和不同的渲染任務(wù)之間的映射關(guān)系，根據(jù)其接收到的來自所述交 互控制裝置的所述交互控制指令，執(zhí)行對應(yīng)的渲染任務(wù)；所述顯示模塊，用于根據(jù)所述渲染 模塊渲染完成的內(nèi)容完成對相應(yīng)圖像的呈現(xiàn)。
[0015] 與現(xiàn)有技術(shù)相比，本發(fā)明提出的技術(shù)方案具有以下優(yōu)點(diǎn)：可以在群體交互的情況 下，進(jìn)行大范圍、多種類的數(shù)據(jù)采集，增加允許參與交互的用戶數(shù)量；實(shí)現(xiàn)多人同步定位和 對復(fù)雜的用戶指令中的有效用戶指令的準(zhǔn)確識別；根據(jù)不同用戶的指令對呈現(xiàn)的內(nèi)容實(shí)時(shí) 地做出改變。
【附圖說明】
[0016] 為了更清楚地說明本發(fā)明的技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖 作簡單地介紹，顯而易見地，下面描述中的附圖不構(gòu)成對于本發(fā)明的限制。
[0017] 圖1是根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)結(jié)構(gòu)的示意圖；
[0018] 圖2是根據(jù)本發(fā)明的實(shí)施例的數(shù)據(jù)采集裝置的示意圖；
[0019] 圖3是根據(jù)本發(fā)明的實(shí)施例的交互控制裝置的示意圖；
[0020]圖4是根據(jù)本發(fā)明的實(shí)施例的數(shù)據(jù)有效性判斷的流程示意圖。
【具體實(shí)施方式】
[0021] 下面結(jié)合附圖和具體實(shí)施例對本發(fā)明做進(jìn)一步地描述。
[0022] 圖1示出了根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)結(jié)構(gòu)示意圖。如圖1所示，根據(jù)本發(fā)明的一 個(gè)實(shí)施例，群體交互系統(tǒng)100包括，數(shù)據(jù)采集裝置102、交互控制裝置104和顯示裝置110。 其中，數(shù)據(jù)采集裝置102用于采集關(guān)于人機(jī)交互的原始信息；交互控制裝置104用于接收、 處理，并分析來自數(shù)據(jù)采集裝置102的原始信息，尤其是其中的用戶身份關(guān)系，從中獲取用 戶發(fā)出的交互控制指令，其中，所述用戶身份關(guān)系包括相應(yīng)的信息與與之對應(yīng)的用戶之間 的關(guān)系，以及各個(gè)用戶之間的相對位置關(guān)系；顯示裝置110用于接收來自交互控制裝置104 的交互控制指令，并根據(jù)所述指令完成對相應(yīng)圖像的顯示。
[0023] 如圖2所示，根據(jù)本發(fā)明的一個(gè)實(shí)施例，數(shù)據(jù)采集裝置102包括數(shù)據(jù)處理模塊202、 同步器204、光學(xué)傳感器群206、加速度傳感器群212,以及壓力傳感器或傳感器群214 (以下 簡稱壓力傳感器214)。
[0024] 光學(xué)傳感器群206包括多組光學(xué)傳感器。優(yōu)選地，所述光學(xué)傳感器是智能光學(xué)攝 像機(jī)。多組智能光學(xué)攝像機(jī)通過支架架設(shè)至預(yù)定位置以使群體交互空間中的任意一點(diǎn)在至 少兩個(gè)智能光學(xué)攝像機(jī)的檢測覆蓋范圍內(nèi)。所述架設(shè)完成之后，通過離線或在線相機(jī)標(biāo)定 技術(shù)對所述智能光學(xué)攝像機(jī)進(jìn)行相機(jī)標(biāo)定。所述標(biāo)定完成之后，多組智能光學(xué)攝像機(jī)同時(shí) 從不同角度采集同一群體交互空間的圖像信息，進(jìn)而采用圖像識別技術(shù)從獲得的圖像信息 中采集不帶有用戶標(biāo)注信息的用戶的特定肢體部位的位置信息。以用戶的手部為例，每個(gè) 智能光學(xué)攝像機(jī)通過圖像識別技術(shù)對其單獨(dú)獲取到的圖像信息中的用戶的手部進(jìn)行識別， 將識別后得到帶有時(shí)間戳參數(shù)t的數(shù)據(jù)發(fā)送給同步器204。同步器204將來自不同的智能 光學(xué)攝像機(jī)的數(shù)據(jù)，根據(jù)其中的時(shí)間戳參數(shù)t進(jìn)行分組和對齊，以消除不同傳感器之間的 時(shí)延以及數(shù)據(jù)丟幀對數(shù)據(jù)的不良影響，進(jìn)而有效提高數(shù)據(jù)采集的效果。同步器204的實(shí)現(xiàn) 屬于現(xiàn)有技術(shù)，可以通過軟件編程實(shí)現(xiàn)，也可以是一個(gè)獨(dú)立的用于數(shù)據(jù)同步的硬件設(shè)備，故 其技術(shù)細(xì)節(jié)在此不予贅述。同步器204對所述數(shù)據(jù)進(jìn)行上述處理之后將其發(fā)送給數(shù)據(jù)處理 模塊202。數(shù)據(jù)處理模塊202通過計(jì)算同步后來自不同的智能光學(xué)攝像機(jī)的圖像識別結(jié)果 之間的差異性進(jìn)而確定群體交互空間中的相應(yīng)手部的三維空間位置信息（X，y，z，t)，并將 該信息發(fā)送給交互控制裝置104。所述位置信息為用戶的手部上的某一點(diǎn)，優(yōu)選地，可以為 用戶手部的中心點(diǎn)。優(yōu)選地，在用戶持有標(biāo)志物的情況下，所述位置信息為所述標(biāo)志物的空 間位置信息。所述位置信息中的X，y，z為用戶的手部相對于指定原點(diǎn)的空間位置，t為當(dāng) 前時(shí)刻的時(shí)間戳。由于現(xiàn)有的智能攝像機(jī)系統(tǒng)均對所述相機(jī)定標(biāo)和對于識別對象的三維空 間位置的確定方法進(jìn)行了封裝，這兩處所涉及的計(jì)算方法屬于現(xiàn)有技術(shù)，故在此其不再贅 述。在同一時(shí)間段內(nèi)，光學(xué)傳感器群206采集到的手部的位置信息（x，y，z，t)可能有一組 到多組，是不帶有用戶標(biāo)記的手部的運(yùn)動(dòng)軌跡信息。根據(jù)本發(fā)明的一個(gè)實(shí)施例，在適當(dāng)?shù)臈l 件下，可以使用紅外深度傳感器部分或全部替代所述光學(xué)傳感器。
[0025] 加速度傳感器群212包括多個(gè)或者多組加速度傳感器。加速度傳感器群212用于 采集帶有用戶標(biāo)注信息的用戶的特定肢體部位的加速度信息（m，a，t)，其中m為用戶序號， a為加速度，t為當(dāng)前時(shí)間的時(shí)間戳。以用戶的手部為例，所述加速度傳感器由用戶手持。 在同一時(shí)刻，加速度傳感器群212采集到的用戶的手部的加速度信息（m，a，t)可能有一個(gè) 到多個(gè)，分別是與參與交互的不同用戶一一對應(yīng)的的手部運(yùn)動(dòng)的加速度信息。如圖2所示， 加速度傳感器群212直接將其采集到的上述原始數(shù)據(jù)發(fā)送給數(shù)據(jù)處理模塊202。數(shù)據(jù)處理 模塊202接收該數(shù)據(jù)，并將其發(fā)送給交互控制裝置104。
[0026] 壓力傳感器214類似于地毯的形式平鋪并布滿于群體交互空間的區(qū)域內(nèi)，使該區(qū) 域成為壓力傳感器214的檢測區(qū)域。壓力傳感器214根據(jù)用戶首次進(jìn)入該檢測區(qū)域中時(shí)的 初始位置標(biāo)注用戶信息，跟蹤并記錄用戶活動(dòng)過程，得到連續(xù)的用戶活動(dòng)軌跡。壓力傳感器 214采集到的是帶有用戶信息標(biāo)注的用戶位置信息（m，x'，y'，t)，其中m為用戶序號，X'， y'為用戶相對于指定原點(diǎn)的平面位置，t為當(dāng)前時(shí)間的時(shí)間戳。在同一時(shí)刻，壓力傳感器 214采集到的用戶位置信息（m，x'，y'，t)可能有一個(gè)到多個(gè)，分別是參與交互的不同用戶 在所述檢測區(qū)域中當(dāng)前時(shí)刻所處的位置的信息。如圖2所示，壓力傳感器214直接將其采 集到的上述原始數(shù)據(jù)發(fā)送給數(shù)據(jù)處理模塊202。數(shù)據(jù)處理模塊202接收該數(shù)據(jù)，并將其發(fā)送 給交互控制裝置104。
[0027] 通過分布式布置的多組傳感器，可以有效擴(kuò)大數(shù)據(jù)采集的范圍，進(jìn)而滿足多人同 時(shí)參與人機(jī)交互的要求。通過使用多種傳感器，可以采集關(guān)于人機(jī)交互的多方面的信息，以 使群體交互系統(tǒng)100能夠更加準(zhǔn)確地對用戶發(fā)出的相對復(fù)雜的交互控制信息進(jìn)行識別，提 高群體交互的自然性。
[0028] 圖3示出了根據(jù)本發(fā)明的實(shí)施例的交互控制裝置的示意圖。如圖3所示，根據(jù)本 發(fā)明的一個(gè)實(shí)施例，交互控制裝置104包括用戶區(qū)分模塊302、用戶定位模塊304、數(shù)據(jù)有效 性判斷模塊306和指令識別模塊308。
[0029] 根據(jù)本發(fā)明的一個(gè)實(shí)施例，用戶區(qū)分模塊302結(jié)合來自加速度傳感器群212和光 學(xué)傳感器群206的信息完成對所述原始數(shù)據(jù)的用戶區(qū)分。為敘述方便，仍以傳感器以用戶 的手部作為其采集數(shù)據(jù)所針對的用戶的特定