本發(fā)明涉及多媒體領(lǐng)域，具體涉及一種混合現(xiàn)實實境演示方法。

背景技術(shù)：

增強現(xiàn)實（AR），是一種實時地計算攝影機影像的位置及角度并加上相應(yīng)圖像的技術(shù)，這種技術(shù)的目標是在屏幕上把虛擬世界套在現(xiàn)實世界并進行互動，達到真實的環(huán)境和虛擬的物體實時地疊加到了同一個畫面或空間的目的。

虛擬現(xiàn)實（VR），是指采用以計算機為核心的現(xiàn)代高科技手段生成的逼真的視覺，聽覺，觸覺，嗅覺，味覺等一體化的虛擬環(huán)境，用戶借助一些特殊的輸入，輸出設(shè)備，采用自然的方式與虛擬世界的物體進行交互，相互影響，從而產(chǎn)生親臨真實環(huán)境的感覺和體驗?，F(xiàn)有的VR技術(shù)，主要是通過兩個方向來實現(xiàn)的。第一種是通過硬件設(shè)備處理好圖像，用戶佩戴VR眼鏡，VR眼鏡僅提供顯示功能；第二種是對手機、平板等移動設(shè)備進行分為左右雙屏并同時顯示的處理，用戶佩戴上VR眼鏡，透過VR眼鏡觀看移動設(shè)備的方式實現(xiàn)虛擬現(xiàn)實的功能的。

混合現(xiàn)實（MR），是虛擬現(xiàn)實技術(shù)的進一步發(fā)展，該技術(shù)通過在虛擬環(huán)境中引入現(xiàn)實場景信息，在虛擬世界、現(xiàn)實世界和用戶之間搭起一個交互反饋的信息回路，以增強用戶體驗的真實感。

這三種技術(shù)的目的都是為了給用戶帶來與現(xiàn)實世界不同的體驗。增強現(xiàn)實而言，是在現(xiàn)實世界的基礎(chǔ)上加載虛擬的物體；虛擬現(xiàn)實，是讓用戶置身在一個完全虛擬的世界；混合現(xiàn)實，是完全模糊虛擬世界和現(xiàn)實世界的界限，以增強用戶體驗的真實感。

例如，Curiscope公司的一種名為“Virtuali-Tee”的智能服裝，在各大眾籌平臺都擁有不錯的成績。這種T恤看上去更像是一種增強現(xiàn)實配件，即用戶可以通過專用智能手機軟件，來掃描T恤上的圖形并觀看到增強現(xiàn)實內(nèi)容，如內(nèi)臟等，面向教育領(lǐng)域，通過這種形式更形象地實現(xiàn)教學(xué)。

這樣的方式存在，用戶的沉浸感不強（由于虛擬的圖案是顯示在智能手機上的，只有當智能手機完全遮擋住T恤時，用戶才能獲得較好的觀看體驗），而且需要特定的T恤作為配件,由此導(dǎo)致用戶的體驗單一的缺點。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是針對用戶在使用現(xiàn)有設(shè)備時，沉浸感不強的技術(shù)問題，提供了一種混合現(xiàn)實實境演示方法。

本方案提供的基礎(chǔ)方案為：混合現(xiàn)實實境演示方法，主要用于使智能設(shè)備擁有混合現(xiàn)實的功能，包括如下步驟：

預(yù)設(shè)步驟，選取自帶有顯示模塊、拍攝模塊和處理模塊的智能設(shè)備，向該智能設(shè)備中添加識別特征庫和3D模型庫，識別特征庫內(nèi)的特征信息均有對應(yīng)編碼，識別特征庫內(nèi)的特征信息和3D模型庫內(nèi)的3D模型相關(guān)聯(lián)；

識別步驟，智能設(shè)備在將拍攝到的實景畫面與識別特征庫內(nèi)的特征信息進行匹配，當拍攝模塊拍攝到的實景畫面中的某一部分與識別特征庫內(nèi)的特征信息匹配程度超過預(yù)設(shè)閾值時，智能設(shè)備會記錄特征信息的編碼，智能設(shè)備根據(jù)編碼提取3D模型庫內(nèi)與特征信息相關(guān)聯(lián)的3D模型，實景畫面中能與識別特征庫內(nèi)的特征信息匹配的部分定義為標識；

匹配步驟，處理模塊在識別區(qū)域根據(jù)標識的姿態(tài)及大小構(gòu)建三維的跟蹤坐標系，智能設(shè)備在跟蹤坐標系中加載被智能設(shè)備提取的3D模型，顯示模塊顯示實景畫面與3D模型相交互的畫面，定義此時智能設(shè)備顯示的畫面為交互畫面；

分雙屏步驟，處理模塊將交互畫面進行為分左右雙屏處理，左右屏顯示可通過VR眼鏡實現(xiàn)3D效果的畫面，顯示模塊顯示分左右雙屏后的畫面；

觀看步驟，將智能設(shè)備置于VR眼鏡中，用戶佩戴VR眼鏡對智能設(shè)備進行觀看。

本方案的工作原理：首先，選取帶有顯示模塊、拍攝模塊和處理模塊的智能設(shè)備，并向智能設(shè)備中添加識別特征庫和3D模型庫。識別特征庫內(nèi)的特征信息和3D模型庫內(nèi)的3D模型相關(guān)聯(lián)。即一條特征信息與一個3D模型對應(yīng)，特性信息包括圖像信息。即在匹配步驟中，處理模塊可根據(jù)特征信息構(gòu)建一個平面，然后再構(gòu)建一條與該平面垂直的Z軸，平面內(nèi)根據(jù)特征信息的姿態(tài)構(gòu)建一個平面坐標系，平面坐標系與Z軸共同組成一個三維的跟蹤坐標系。

用戶在佩戴上安裝有智能設(shè)備的VR眼鏡后，用戶可通過VR眼鏡看到智能設(shè)備拍攝到的實景畫面，此時的實景畫面是經(jīng)過分雙屏處理之后的畫面。

雖然正常的3D視屏的構(gòu)建是需要兩臺攝影機，拍攝人的雙眼在兩個視角觀看到的畫面，本發(fā)明中的智能設(shè)備在僅有一個攝像頭的情況下，將一個攝像頭拍攝到的畫面，先均分成兩個相同的視角，然后在將左半屏的畫面略微向右移動，右半屏的畫面略微向左移動，這樣兩個半屏的畫面在顯示時，略微角度的差異達到在用戶的觀看角度實現(xiàn)3D立體的效果。

當智能設(shè)備在拍攝到實景畫面中的某一部分與識別特征庫內(nèi)的圖像匹配程度超過預(yù)設(shè)閾值時，智能設(shè)備將3D模型加載到實景畫面中，此時，智能設(shè)備的顯示模塊顯示實景畫面和虛擬動畫交互的畫面，此時顯示模塊顯示的畫面定義為交互畫面。

用戶頭部在移動的過程中，由于智能設(shè)備方位的改變，會讓智能設(shè)備與跟蹤坐標系的相對位置發(fā)生改變，3D模型是加載在跟蹤坐標系上的，跟蹤坐標系的單位長度是根據(jù)標識的大小確定的，因此在用戶在移動過程中，3D模型的大小也會隨著標識的大小改變。模擬出用戶靠近會遠離3D模型的效果，讓用戶感覺到3D模型被“固定”在標識上。

交互畫面經(jīng)過處理模塊處理，進行分雙屏步驟。此時智能設(shè)備是通過VR眼鏡佩戴在用戶頭上的，用戶通過VR眼鏡看到虛擬動畫具有立體感，實景畫面本身也具有立體感，用戶此時能夠得到沉浸式的體驗。

優(yōu)選方案一：作為基礎(chǔ)方案的優(yōu)選方案，預(yù)設(shè)步驟中，向該智能設(shè)備添加的3D模型庫內(nèi)的3D模型是經(jīng)過分雙屏步驟處理后的3D模型，在識別步驟前，智能設(shè)備將拍攝到的實景畫面進行分左右雙屏處理，顯示模塊顯示分左右雙屏后的實景畫面，然后再進行識別步驟、匹配步驟、觀看步驟。3D模型庫內(nèi)的動畫先經(jīng)過分雙屏處理，在匹配步驟之后直接調(diào)用，能夠減輕處理模塊的負擔(dān)以及智能設(shè)備的相應(yīng)時間。

優(yōu)選方案二：作為優(yōu)選方案一的優(yōu)選方案：還包括識別步驟前的預(yù)處理步驟，智能設(shè)備會將拍攝到的實景畫面進行灰度化、二值化處理。預(yù)處理步驟能夠提高識別步驟的識別效率。

優(yōu)選方案三：作為優(yōu)選方案二的優(yōu)選方案：識別步驟和匹配步驟的刷新速率為每秒30-120次。在實際應(yīng)用過程中，人眼的識別為每秒24幀，識別步驟和匹配步驟的刷新速率為每秒30-120次，能夠流暢的顯示3D模型庫內(nèi)的動畫，為用戶提供更好的沉浸式體驗。

優(yōu)選方案四：作為方案三的優(yōu)選方案：預(yù)設(shè)步驟中選取的智能設(shè)備還具有姿態(tài)感應(yīng)模塊，預(yù)設(shè)步驟還包括向智能設(shè)備的顯示模塊中添加功能按鍵。姿態(tài)感應(yīng)模塊包括加速計、陀螺儀，姿態(tài)感應(yīng)模塊能夠判斷智能設(shè)備在空間中所處的姿態(tài)，用戶能夠通過擺動頭部，選中顯示模塊中的功能按鍵，達到不需要取下VR眼鏡，也能對智能設(shè)備進行操作的目的，更加方便用戶使用。

優(yōu)選方案五：作為優(yōu)選方案四的優(yōu)選方案：分雙屏步驟是根據(jù)智能設(shè)備的顯示模塊的分辨率均分為左右雙屏。根據(jù)顯示模塊的分辨率分雙屏，能夠更好的將顯示模塊均分為兩塊分別顯示，用戶在使用時能夠獲得更好的觀看體驗。

優(yōu)選方案六：作為優(yōu)選方案五的優(yōu)選方案：匹配步驟中，智能設(shè)備根據(jù)識別區(qū)域的尺寸調(diào)整播放區(qū)域的尺寸。智能識別拍攝到的某一部分的尺寸與該部分與智能設(shè)備的距離相關(guān)，用戶在使過程中，如果用戶與該部分的相對距離發(fā)生變化，播放區(qū)域的尺寸也發(fā)生變化，用戶在使用時能夠獲得跟更好的沉浸式體驗。

附圖說明

圖1是本發(fā)明混合現(xiàn)實實境演示方法實施例使用示意圖；

圖2是本發(fā)明未識別到特定圖像時的示意圖；

圖3是本發(fā)明識別到特定圖像時的示意圖。

具體實施方式

下面通過具體實施方式對本發(fā)明作進一步詳細的說明：

說明書附圖中的附圖標記包括：智能手機1、暴風(fēng)魔鏡2、實景畫面3、展品31、虛擬畫面32、功能按鍵4。

實施例1

用戶在參觀博物館或者名勝古跡前，向用戶的智能手機1（還可以是平板電腦等可移動式智能設(shè)備，由于智能手機1的普及性，本實施例選用智能手機1）中添加識別特征庫和3D模型庫，添加識別特征庫和3D模型庫的步驟，可通過用戶下載手機APP的方式添加的用戶的智能手機1中。識別特征庫內(nèi)的圖像均有對應(yīng)的編碼，將一些特定物體圖像和與特定圖像相關(guān)的動畫添加手機中。如參觀故宮博物館時，將故宮博物館內(nèi)的展品31的圖像添加到識別特征庫內(nèi)，與該展品31關(guān)聯(lián)的動畫說明添加到3D模型庫內(nèi)。

用戶在使用時，佩戴上VR眼鏡，市面上關(guān)于VR眼鏡的產(chǎn)品非常多，從普通的紙盒組裝到包裝精美的暴風(fēng)魔鏡2，本實施例中選用的是暴風(fēng)魔鏡2。然后將智能手機1放置在暴風(fēng)魔鏡2中（如圖1所示）。

在未拍攝到特定的識別圖像時，智能手機1分雙屏顯示拍攝到的實景畫面3，用戶此時通過暴風(fēng)魔鏡2觀看到的是手機里顯示的實景畫面3（如圖2所示）。此時，不影響用戶的正常行走。智能手機1會將拍攝到的實景畫面3進行灰度化、二值化處理。

當用戶需要觀看展品31時，用戶實質(zhì)上是在通過智能手機1在觀看展品31，智能手機1會通過將灰度化、二值化的圖像與識別特征庫內(nèi)的圖像進行對比，對比速率為每秒60次，當拍攝到的畫面中的某一部分與識別特征庫內(nèi)的圖像匹配程度超過預(yù)設(shè)閾值時，智能手機1會記錄識別特征庫內(nèi)該圖像的編碼，并在識別出該展品31后播放與該展品31相關(guān)聯(lián)的動畫，此時智能手機1是分雙屏顯示實景畫面3與虛擬畫面32相交互的景象（如圖3所示）。

3D模型的大小可根據(jù)標識的大小而調(diào)節(jié)。虛擬畫面32會隨著用戶的移動而發(fā)生變化，增強了用戶的沉浸式體驗。

使用過程中，用戶的眼睛接收到的畫面均是智能手機1的屏幕通過暴風(fēng)魔鏡2展示給用戶的，無論是實景畫面3還是實景畫面3與虛擬畫面32相交互的景象都是同樣的路徑傳遞到用戶眼睛里，并且借用VR眼鏡，這樣可使得用戶獲得更好的沉浸式體驗，將實景畫面3與虛擬畫面32的界限更加模糊化。

實施例2

與實施1相比，不同之處在于，還包括在手機APP中添加功能按鍵4。利用智能手機1電子羅盤的功能，用戶可通過擺動頭部選取功能按鍵4。如在手機APP中添加詳細說明的功能按鍵4，用戶在觀看展品31時，可駐足在展品31前，然后擺動頭部，智能手機1的電子羅盤感應(yīng)到手機的姿態(tài)發(fā)生改變，然后，用戶選取到功能按鍵4，智能手機1開始顯示該展品31的詳細說明。

實施例3

與實施例1、2相比，不同之處在于，本發(fā)明應(yīng)用在機械設(shè)計討論會議中，用戶通過在智能手機中1中下載APP的方式完成添加識別特征庫和3D模型庫，本實施例中的標識是機械設(shè)計中的平面圖紙，3D模型是該平面圖紙的3D模型。

用戶圍坐在會議桌上，平面圖紙放置在會議桌上，用戶可通過佩戴好VR眼鏡之后，可觀看到機械設(shè)計的3D模型，但是不影響正常會議，并且用戶還能正常的手寫記錄會議內(nèi)容。

在智能手機丟失標識后，即智能手機的攝像頭未拍攝到標識，智能手機此時現(xiàn)實的是實景畫面，當再次拍攝到標識時，該標識對應(yīng)的3D模型會重新加載，此時3D模型的姿態(tài)會根據(jù)標識的姿態(tài)加載。

實施例4

與實施例1-3相比，不同之處在于，在本實施例中，還包括一種調(diào)整瞳距的方法，因每個人的瞳距均有細微的差異，在使用本發(fā)明的方法體驗混合現(xiàn)實時，容易出現(xiàn)因瞳距不匹配而頭暈、惡心的情況。因此在本實施例中公開一種調(diào)整瞳距的方法。

用戶獲得最佳觀看體驗的情況是，用戶的瞳孔、鏡片和畫面的中心三點一線，鏡片的調(diào)節(jié)可直接通過物理方式調(diào)節(jié)。兩塊鏡片分別嵌入兩個弧形的滑槽內(nèi)，兩個弧形滑槽呈“八”字形分布，在兩塊鏡片的一側(cè)上分別設(shè)有連桿，兩根連桿之間鉸接，兩根連桿的長度之和大于兩塊鏡片的間距，兩根連桿的鉸接點處設(shè)有調(diào)節(jié)螺栓，調(diào)節(jié)螺栓與兩根連桿形成一個倒置的“Y”型。調(diào)節(jié)鏡片的間距時，僅需要擰動調(diào)節(jié)螺栓，就能調(diào)節(jié)兩塊鏡片的距離，更好的適應(yīng)用戶的瞳距。

還包括一種調(diào)節(jié)手機顯示瞳距的方法，第一步，在手機分雙屏之后，分別在兩塊屏幕的中心顯示紅點；第二步，調(diào)節(jié)手機屏幕的大小，使得紅點之間的間距與兩塊鏡片之間的間距相等。即用戶調(diào)節(jié)到觀看紅點時，兩個紅點不會產(chǎn)生重影。這樣讓用戶能夠根據(jù)自身情況，先調(diào)節(jié)手機畫面的間距，然后調(diào)節(jié)鏡片，這樣就保證了用戶不會因瞳距不適應(yīng)而出現(xiàn)頭暈的情況。

當然滑動鏡片的調(diào)節(jié)方式可能在使用時，用戶操作較為復(fù)雜，還提供一種簡易的調(diào)節(jié)瞳距的VR眼鏡，包括兩塊鏡片、外殼以及調(diào)節(jié)架，調(diào)節(jié)架包括左鏡框和右鏡框，左鏡框和右鏡框鉸接，兩塊鏡片分別固定在左鏡框和右鏡框上，外殼上設(shè)有滑槽，滑槽內(nèi)設(shè)有與滑槽滑動方向垂直的第一橫條紋，左鏡框和右鏡框的鉸接點處設(shè)有連接桿，滑槽處設(shè)有供連接桿穿過的條形孔，滑槽內(nèi)設(shè)有滑塊，滑塊上設(shè)有與第二橫條紋，連接桿與滑塊固定連接。兩塊鏡片是采用的紅藍鏡片，本發(fā)明分雙屏的步驟后，還對兩個屏幕中間的畫面做了分別剔除紅藍色并自動還原的步驟。通過調(diào)節(jié)兩塊鏡片相互之間的傾斜角度，達到調(diào)節(jié)瞳距的目的，最重要的是還不會影響觀看的畫質(zhì)體驗。

實施例5

本發(fā)明應(yīng)用在戶外社交游戲中，將各類標識分布在城市的各個角落，或者直接利用街景、商家的LOGO作為標識，本實施例中的智能設(shè)備為市面上的智能手機1（如iPhone5），用戶通過下載APP的方式，向智能手機1中添加識別特征庫和3D模型庫，并且向智能手機1添加各個標識在GPS定位系統(tǒng)中的位置。當用戶拿智能手機1接近這些標識時，智能手機1通過GPS定位系統(tǒng)確定手機與標識之間的距離，并提醒用戶。

用戶帶上暴風(fēng)魔鏡，通過智能手機的顯示觀看不同的標識的實景畫面3時，會在智能手機中調(diào)用與該標識對應(yīng)的虛擬畫面32，并一起顯示給用戶。用戶之間還可基于GPS定位系統(tǒng)查看各自的位置，方便用戶在線下進行交流。

以上所述的僅是本發(fā)明的實施例，方案中公知的具體結(jié)構(gòu)及特性等常識在此未作過多描述。應(yīng)當指出，對于本領(lǐng)域的技術(shù)人員來說，在不脫離本發(fā)明結(jié)構(gòu)的前提下，還可以作出若干變形和改進，這些也應(yīng)該視為本發(fā)明的保護范圍，這些都不會影響本發(fā)明實施的效果和專利的實用性。本申請要求的保護范圍應(yīng)當以其權(quán)利要求的內(nèi)容為準，說明書中的具體實施方式等記載可以用于解釋權(quán)利要求的內(nèi)容。