虛擬現(xiàn)實(shí)智能投影手勢互動(dòng)一體機(jī)及互動(dòng)實(shí)現(xiàn)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明公開了虛擬現(xiàn)實(shí)智能投影手勢互動(dòng)一體機(jī)及互動(dòng)實(shí)現(xiàn)方法。
【背景技術(shù)】
[0002] 當(dāng)代家庭，物質(zhì)生活很豐富。從剛生下來，到10來歲的孩子，家里都堆滿了各種各 樣的玩具。兒童的教育和娛樂主要來自書籍和普通的玩具。很枯燥，占空間很大。淘汰和 更新都比較麻煩。涂鴉是兒童的天性，但會(huì)損壞墻壁，浪費(fèi)紙張。普通的玩具和書籍是死板 的，無法幫助孩子開發(fā)想象和聯(lián)想的能力。無法給孩子呈現(xiàn)一個(gè)生動(dòng)地環(huán)境。孩子也很難 自學(xué)。有條件的家庭，孩子都開始玩平板電腦，平板電腦以及上面的游戲教育軟件給孩子一 個(gè)比較現(xiàn)代的娛樂教育。但平板電腦孩子用起來很不方便。需要自己拿手捧著，或者趴在 床上看。長時(shí)間近距離得看平板電腦的顯示器也會(huì)損害兒童的視力。兒童用平板電腦等觸 摸的交互方式時(shí)只是虛擬的2維交互，和真實(shí)的三維交互非常不同，影響兒童手和大腦的 發(fā)育。目前沒有電子交互系統(tǒng)可以讓兒童能用超出2維觸摸的方式進(jìn)行交互基于顯示屏的 系統(tǒng)（電視，平板電腦，顯示屏+觸摸框）有安全隱患：兒童近距離接觸會(huì)擊碎屏幕造成人 身傷害，顯示屏的輻射對(duì)健康不利，對(duì)視覺造成影響很多家長和幼教老師都在尋找新的教 學(xué)方式。另外，目前的投影儀大都只是一種簡單的投影顯示設(shè)備。不是一種智能終端，沒有 操作系統(tǒng)，也沒有任何的人機(jī)交互方式。開始有智能投影儀出現(xiàn)，就只是先投影機(jī)上做出電 視的功能?？梢灾苯佑猛队皟x看影視。

【發(fā)明內(nèi)容】

[0003] 針對(duì)上述技術(shù)缺陷，本發(fā)明提出虛擬現(xiàn)實(shí)智能投影手勢互動(dòng)一體機(jī)及互動(dòng)實(shí)現(xiàn)方 法，該裝置用投影來做顯示設(shè)備，把一面墻變成一個(gè)生動(dòng)的世界；通過三維手勢及物體識(shí)別 相結(jié)合的智能系統(tǒng)，使用者和電腦進(jìn)行二維，二點(diǎn)五維和三維的互動(dòng)，通過終端，可以利用 現(xiàn)有的應(yīng)用軟件（比如安卓的現(xiàn)有軟件），也可以用為這個(gè)系統(tǒng)專門開發(fā)的軟件，本發(fā)明的 裝置解決了上面提到的所有問題，提供全新的，現(xiàn)代化的娛樂，教育的平臺(tái)。
[0004] 為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：
[0005] 虛擬現(xiàn)實(shí)智能投影手勢互動(dòng)一體機(jī)，包括微型計(jì)算機(jī)、與微型計(jì)算機(jī)相連接的3D 物體和人體動(dòng)作探測裝置、投影設(shè)備；所述3D物體和人體動(dòng)作探測裝置用于物體的感測， 并進(jìn)行三維物體和手勢的識(shí)別，將識(shí)別信號(hào)輸入至微型計(jì)算機(jī)，投影設(shè)備用于顯示微型計(jì) 算機(jī)需要顯示的內(nèi)容；所述一體機(jī)設(shè)置在墻壁上。
[0006] 進(jìn)一步的，所述微型計(jì)算機(jī)在互動(dòng)內(nèi)容庫中，根據(jù)識(shí)別信號(hào)對(duì)互動(dòng)內(nèi)容進(jìn)行選擇 和執(zhí)行，通過投影進(jìn)行顯示。
[0007] 虛擬現(xiàn)實(shí)智能投影手勢互動(dòng)實(shí)現(xiàn)方法，包括如下步驟：
[0008] 31)用戶做標(biāo)準(zhǔn)動(dòng)作，3D物體和人體動(dòng)作探測裝置進(jìn)行三維手勢識(shí)別，探測手和 手指的三維信息；
[0009] 32) 3D物體和人體動(dòng)作探測裝置采集一段時(shí)間內(nèi)的手和手指的運(yùn)動(dòng)信息，將其存 儲(chǔ)為模板；
[0010] 33)用戶做動(dòng)作，3D物體和人體動(dòng)作探測裝置進(jìn)行三維手勢識(shí)別，探測手和手指 的二維彳目息；
[0011] 34)將步驟33)探測到的手和手指的三維信息和步驟32)中的模板進(jìn)行比較，通過 設(shè)定閾值來判斷步驟33)中的動(dòng)作與步驟31)的動(dòng)作是否規(guī)范。
[0012] 進(jìn)一步的，當(dāng)同一個(gè)標(biāo)準(zhǔn)動(dòng)作記錄了大量模板，用機(jī)器學(xué)習(xí)方法訓(xùn)練出運(yùn)動(dòng)模型， 所述運(yùn)動(dòng)模型用于判斷用戶的手勢動(dòng)作是否規(guī)范。
[0013] 進(jìn)一步的，還包括建立三維渲染引擎和三維物理模擬引擎，從而建立虛擬三維世 界，三維渲染引擎把虛擬三維世界轉(zhuǎn)換為影像，利用微型計(jì)算機(jī)控制，通過投影設(shè)備進(jìn)行顯 示，所述三維渲染引擎渲染包括手在內(nèi)的虛擬現(xiàn)實(shí)世界中的所有物體；三維物理模擬引擎 用來計(jì)算驅(qū)動(dòng)虛擬三維世界中的物體的運(yùn)動(dòng)，模擬現(xiàn)實(shí)中的物體受力和運(yùn)動(dòng)；根據(jù)三維手 勢識(shí)別系統(tǒng)探測出的手和手指的三維形態(tài)，在虛擬三維世界中建立三維的手部模型，通過 三維物理模擬引擎計(jì)算手和虛擬物體的接觸，改變虛擬三維物體的運(yùn)動(dòng)，實(shí)現(xiàn)手指與虛擬 物體之間的互動(dòng)。
[0014] 進(jìn)一步的，還包括識(shí)別物體的步驟，選擇如下步驟的1種或者多種；
[0015] a)預(yù)先采集物體多個(gè)方向拍攝的二維圖像，并在每張圖像中都提取圖像中的信 息，將該信息保存于數(shù)據(jù)庫，每種物體均同樣采集多方向的圖象，并保存于數(shù)據(jù)庫中；采集 用戶物體的實(shí)時(shí)視頻，視頻是圖片流，其中每一張圖片用特征獲取的方法轉(zhuǎn)化為特征信息； 在數(shù)據(jù)庫中搜索最類似與用戶物體的信息條，得到在t時(shí)刻最匹配的物體x_t，在之前，處 理前η幀的時(shí)候得出了最匹配物體（x_t-n, x_t-n-l,…，x_t-l)，通過比較x_t和之前最匹 配的序列，得到更穩(wěn)定的匹配結(jié)果，物體y;當(dāng)前圖片的特征信息和數(shù)據(jù)庫中物體y的各個(gè) 不同方向的圖片進(jìn)行比較，找出最匹配的方向，并和前m幀得出的物體方向進(jìn)行比較，得出 更穩(wěn)定的方向，
[0016] 通過比較圖中物體的大小和數(shù)據(jù)庫中物體的大小得出物體的真實(shí)大小。
[0017] b)對(duì)于參考物體采集三維圖像得到的是深度圖，轉(zhuǎn)化為三維空間點(diǎn)陣保存于數(shù)據(jù) 庫中，對(duì)于用戶物體，同樣采集深度圖，與數(shù)據(jù)庫中的物體進(jìn)行匹配，找到最接近的物體和 最接近的旋轉(zhuǎn)角度。
[0018] c)將二維碼圖形貼在物體上，采用二維相機(jī)采集圖像，通過識(shí)別二維碼的序列號(hào)， 得出物體的種類，分析二維碼在圖像中的位置和大小，旋轉(zhuǎn)，變形來得出二維碼在真實(shí)物理 世界中的三維位置和三維方向，以此得出物體的三維位置和方向。
[0019] 進(jìn)一步的，三維手勢識(shí)別包括墻面和地面自動(dòng)檢測方法，具體包括將實(shí)體標(biāo)記物 放置在3D物體和人體動(dòng)作探測裝置的識(shí)別區(qū)，3D物體和人體動(dòng)作探測裝置的成像傳感器 拍攝實(shí)體標(biāo)記物的圖像并識(shí)別標(biāo)記，從而得到接觸交互表面校準(zhǔn)數(shù)據(jù)。
[0020] 進(jìn)一步的，3D物體和人體動(dòng)作探測裝置的三維交互方法包括使用面部識(shí)別和追蹤 算法來識(shí)別眼睛在感測裝置的坐標(biāo)系中的3D位置E (X，y，z)，識(shí)別手在感測裝置的坐標(biāo)系 中的3D位置T (X，y，z)及手的動(dòng)作，在校正階段，3D物體和人體動(dòng)作探測裝置感測并記錄投 影后的屏幕在感測裝置的坐標(biāo)系中的3D信息，將眼睛的3D位置從感測裝置的坐標(biāo)系中轉(zhuǎn) 換到屏幕所使用的坐標(biāo)系，以呈現(xiàn)虛擬3D對(duì)象，Es (X，y，z)，并將這些信息發(fā)送給微型計(jì)算 機(jī)和3D交互應(yīng)用，3D交互式應(yīng)用根據(jù)用戶的眼睛的3D位置Es (X，y, z)呈現(xiàn)該虛擬3D對(duì) 象，此外，3D物體和人體動(dòng)作探測裝置將手的3D位置從感測裝置的坐標(biāo)系轉(zhuǎn)換到屏幕所使 用的坐標(biāo)系，以呈現(xiàn)虛擬3D對(duì)象Ts (X，y，z)，并將這些信息發(fā)送給微型計(jì)算機(jī)和3D交互應(yīng) 用，3D交互應(yīng)用使用Ts (X，y，z)信息，以允許用戶與虛擬3D對(duì)象進(jìn)行交互。
[0021] 本發(fā)明的有益效果在于：本發(fā)明的裝置具有感測手，手指，筆的三維動(dòng)作；感測手 指和筆在平面（墻）上的2. 運(yùn)動(dòng)，以及其他物體的三維感測，比如玩具；以及用投影實(shí)現(xiàn) 虛擬和現(xiàn)實(shí)的融合，可以實(shí)現(xiàn)手和筆和顯示出的2D界面的交互，和3D虛擬物體的交互，在 終端可以運(yùn)行多種軟件，比如教育軟件，娛樂軟件管理教育，娛樂軟件集，按年齡等分類的 教育軟件庫，教育軟件分發(fā)平臺(tái)，教師和學(xué)生遠(yuǎn)程信息獲取，內(nèi)容更新和實(shí)時(shí)交互。該系統(tǒng) 解決了傳統(tǒng)教學(xué)過程中電視和屏幕的顯示設(shè)備傷眼睛以及沉迷于二維的顯示中，沒有人機(jī) 之間的交互，會(huì)影響孩子的動(dòng)手能力，影響大腦的發(fā)育的缺點(diǎn)。
【附圖說明】
[0022] 圖1為本發(fā)明安裝設(shè)置圖；
[0023] 圖2為本發(fā)明結(jié)構(gòu)以及原理框架圖；
[0024] 圖3為本發(fā)明結(jié)構(gòu)連接圖；
[0025] 圖4為本發(fā)明安裝設(shè)置及探測區(qū)域圖；
[0026] 圖5為本發(fā)明探測流程圖；
[0027] 圖6為基于深度圖的識(shí)別方法流程圖；
[0028] 圖7為多視角三維成像系統(tǒng)的硬件設(shè)計(jì)；
[0029] 圖8為多視角三維成像系統(tǒng)的硬件的另一種設(shè)計(jì) [0030] 圖9為二維圖像中提取手和手指的信息流程圖；
[0031] 圖10為示意性示出了根據(jù)一示例性實(shí)施例的用于對(duì)于每一個(gè)成像傳感器尋找前 景對(duì)象和識(shí)別前景對(duì)象的二維結(jié)構(gòu)的過程；
[0032] 圖11為是根據(jù)一示例性實(shí)施例的用于計(jì)算前景對(duì)象和前景對(duì)象的子部分的的三 維信息的過程的高級(jí)流程圖；
[0033] 圖12為顯示了根據(jù)一示例性實(shí)施例的各個(gè)手指之間的關(guān)聯(lián)；
[0034] 圖13為顯示了關(guān)聯(lián)兩個(gè)骨架線的一個(gè)實(shí)施例；
[0035] 圖14為顯示了根據(jù)一示例性實(shí)施例獲得的3D骨架；
[0036] 圖15為顯示了基于由兩個(gè)不同的成像傳感器拍到的兩個(gè)2D圖像中的手掌的2D 邊界所進(jìn)行的對(duì)手掌的3D邊界的計(jì)算；
[0037] 圖16為顯示了手骨架計(jì)算的示例性輸出；
[0