增強(qiáng)現(xiàn)實(shí)圖書(shū)、基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的教育系統(tǒng)和方法
【專利摘要】本發(fā)明公開(kāi)了一種增強(qiáng)現(xiàn)實(shí)圖書(shū)、基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的教育系統(tǒng)和方法，其中，所述增強(qiáng)現(xiàn)實(shí)圖書(shū)包括圖書(shū)本體和設(shè)置在圖書(shū)本體上的識(shí)別標(biāo)記圖案，在外部裝置的配合下，所述增強(qiáng)現(xiàn)實(shí)圖書(shū)能夠顯示三維模型。所述基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的教育系統(tǒng)包括增強(qiáng)現(xiàn)實(shí)圖書(shū)、智能展示終端，以及服務(wù)器。本發(fā)明通過(guò)移動(dòng)設(shè)備跟實(shí)體書(shū)刊的交互使用，不僅提高了兒童教育的趣味性，也增加了父母與孩子之間的互動(dòng)。本發(fā)明讓家長(zhǎng)孩子與書(shū)籍中的人物積極互動(dòng)起來(lái)，通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)建立父母與孩子之間的溝通紐帶。
【專利說(shuō)明】
増強(qiáng)現(xiàn)實(shí)圖書(shū)、基于増強(qiáng)現(xiàn)實(shí)圖書(shū)的教育系統(tǒng)和方法
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其是增強(qiáng)現(xiàn)實(shí)技術(shù)在教育中的應(yīng)用。
【背景技術(shù)】
[0002]20世紀(jì)70年代，以虛擬現(xiàn)實(shí)技術(shù)為基礎(chǔ)的增強(qiáng)現(xiàn)實(shí)技術(shù)(Augmented Reality ,AR)從軍事實(shí)驗(yàn)室、高校實(shí)驗(yàn)室發(fā)端，經(jīng)歷30余年的市場(chǎng)探索期。
[0003]近年來(lái)，隨著智能手機(jī)、平板電腦等移動(dòng)智能設(shè)備和移動(dòng)互聯(lián)網(wǎng)快速發(fā)展，以移動(dòng)端應(yīng)用為載體的增強(qiáng)現(xiàn)實(shí)應(yīng)用不斷落地，增強(qiáng)現(xiàn)實(shí)技術(shù)逐漸被大眾知曉。2007年開(kāi)始，AR技術(shù)被應(yīng)用在手機(jī)中，消費(fèi)級(jí)領(lǐng)域的商業(yè)化開(kāi)啟。
[0004]但是，將現(xiàn)實(shí)增強(qiáng)技術(shù)用于圖書(shū)中，實(shí)現(xiàn)交互性教育的系統(tǒng)尚處于探索階段，當(dāng)前的各種技術(shù)方案還存在不少的問(wèn)題。例如，如何描述“真實(shí)”的場(chǎng)景是當(dāng)前亟待解決的技術(shù)問(wèn)題。
【發(fā)明內(nèi)容】
[0005]發(fā)明目的:一個(gè)目的是提供一種增強(qiáng)現(xiàn)實(shí)圖書(shū)，以至少解決現(xiàn)有技術(shù)存在的部分問(wèn)題。進(jìn)一步的目的是提供一種基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的教育系統(tǒng)和教育方法。
[0006]技術(shù)方案:增強(qiáng)現(xiàn)實(shí)圖書(shū)，包括圖書(shū)本體和設(shè)置在圖書(shū)本體上的識(shí)別標(biāo)記圖案，在外部裝置的配合下，所述增強(qiáng)現(xiàn)實(shí)圖書(shū)能夠顯示三維模型。
[0007]基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的教育系統(tǒng)，包括增強(qiáng)現(xiàn)實(shí)圖書(shū)、智能展示終端，以及服務(wù)器，其中，所述增強(qiáng)現(xiàn)實(shí)圖書(shū)設(shè)置有識(shí)別標(biāo)識(shí)圖案，
所述智能展示終端，其設(shè)置有圖像識(shí)別模塊和動(dòng)畫(huà)交互與聲音設(shè)別模塊，并設(shè)置或通信連接攝像頭單元，所述攝像頭單元用于獲取增強(qiáng)現(xiàn)實(shí)圖書(shū)中的圖案，所述圖像識(shí)別模塊用于按照預(yù)定的方式從圖案中提出像素信息，制作成貼圖，并附加到模型的材質(zhì)球上，獲得具有預(yù)期顏色的模型，并顯示于智能展示終端的屏幕上，所述動(dòng)畫(huà)交互與聲音識(shí)別模塊用于拼圖的交互和語(yǔ)音資源的播放；
所述服務(wù)器，用于部署交互程序和存儲(chǔ)相關(guān)數(shù)據(jù)信息。
[0008]優(yōu)選的，所述智能展示終端包括手機(jī)和平板電腦。
[0009]優(yōu)選的，所述圖像識(shí)別模塊進(jìn)一步包括用于制作三維模型的子模塊，用于制作材質(zhì)貼圖的子模塊，用于根據(jù)三維模型和材質(zhì)貼圖制作場(chǎng)景的子模塊，用于提取顏色的子模塊，以及用于將識(shí)別到的顏色貼到模型的子模塊。
[0010]基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的互動(dòng)教育方法，包括如下步驟:
訪問(wèn)服務(wù)器，獲取與增強(qiáng)現(xiàn)實(shí)圖書(shū)配套的信息；
調(diào)整攝像頭單元與增強(qiáng)現(xiàn)實(shí)圖書(shū)的位置，使增強(qiáng)現(xiàn)實(shí)圖書(shū)位于攝像頭的視野內(nèi)；
智能終端獲取圖片的識(shí)別信息，并從圖片中提取出像素信息，并制成預(yù)定格式的貼圖，附加到材質(zhì)球中，獲得展示模型并顯示于智能終端的顯示屏上。
[0011 ]進(jìn)一步的，上述互動(dòng)教育方法還包括拼圖步驟:拖動(dòng)破碎的圖塊至某個(gè)區(qū)域時(shí)，智能終端顯示該圖塊或發(fā)出提示。
[0012]有益效果:本發(fā)明通過(guò)移動(dòng)設(shè)備跟實(shí)體書(shū)刊的交互使用，不僅提高了兒童教育的趣味性，也增加了父母與孩子之間的互動(dòng)。本發(fā)明讓家長(zhǎng)孩子與書(shū)籍中的人物積極互動(dòng)起來(lái)，通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)建立父母與孩子之間的溝通紐帶。
【附圖說(shuō)明】
[0013]圖1是本發(fā)明的實(shí)現(xiàn)原理圖。
[0014]圖2是本發(fā)明的結(jié)構(gòu)框圖。
[0015]圖3是本發(fā)明的原理圖。
【具體實(shí)施方式】
[0016]如圖1至圖3所示，本發(fā)明的基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的教育系統(tǒng)，包括增強(qiáng)現(xiàn)實(shí)圖書(shū)、智能展示終端，以及服務(wù)器。
[0017]其中，所述增強(qiáng)現(xiàn)實(shí)圖書(shū)設(shè)置有識(shí)別標(biāo)識(shí)圖案，
所述智能展示終端，其設(shè)置或通信連接有攝像頭單元、并設(shè)置有圖像識(shí)別模塊和動(dòng)畫(huà)交互與聲音設(shè)別模塊，所述攝像頭單元用于獲取增強(qiáng)現(xiàn)實(shí)圖書(shū)中的圖案，所述圖像識(shí)別模塊用于按照預(yù)定的方式從圖案中提出像素信息，制作成貼圖，并附加到模型的材質(zhì)球上，獲得具有預(yù)期顏色的模型，并顯示于智能展示終端的屏幕上，所述動(dòng)畫(huà)交互與聲音識(shí)別模塊用于拼圖的交互和語(yǔ)音資源的播放；
所述服務(wù)器，用于部署交互程序和存儲(chǔ)相關(guān)數(shù)據(jù)信息。
[0018]在外部裝置(智能展示終端和服務(wù)器)的配合下，所述增強(qiáng)現(xiàn)實(shí)圖書(shū)能夠顯示三維模型。
[0019]在本發(fā)明中，通過(guò)視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)的交互實(shí)現(xiàn)更深層次的感知體驗(yàn)。達(dá)到了孩子在成長(zhǎng)過(guò)程中發(fā)現(xiàn)新世界的各種需求，極大限度的虛擬出一個(gè)內(nèi)容完滿、方便體驗(yàn)的教育場(chǎng)景和背景?；赨nity3D軟件進(jìn)行的AR APP程序的開(kāi)發(fā)、制作和發(fā)布，可以同時(shí)在1S系統(tǒng)和Andr1d系統(tǒng)開(kāi)發(fā)產(chǎn)品。經(jīng)過(guò)移動(dòng)設(shè)備跟實(shí)體書(shū)刊的交互使用，不但提高了兒童教育的趣味性，也增加了父母與孩子之間的互動(dòng)。以教育體驗(yàn)性來(lái)說(shuō)，AR產(chǎn)品的互動(dòng)性是許多實(shí)體書(shū)刊跟普通電子書(shū)刊沒(méi)有的體驗(yàn)。讓家長(zhǎng)孩子與書(shū)籍中的人物積極互動(dòng)起來(lái)，通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)建立父母與孩子之間的溝通紐帶。
[0020]基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的互動(dòng)教育方法，包括如下步驟:
訪問(wèn)服務(wù)器，獲取與增強(qiáng)現(xiàn)實(shí)圖書(shū)配套的信息；
調(diào)整攝像頭單元與增強(qiáng)現(xiàn)實(shí)圖書(shū)的位置，使增強(qiáng)現(xiàn)實(shí)圖書(shū)位于攝像頭的視野內(nèi)；
智能終端獲取圖片的識(shí)別信息，并從圖片中提取出像素信息，并制成預(yù)定格式的貼圖，附加到材質(zhì)球中，獲得展示模型并顯示于智能終端的顯示屏上。
[0021]進(jìn)一步的，上述互動(dòng)教育方法還包括拼圖步驟:拖動(dòng)破碎的圖塊至某個(gè)區(qū)域時(shí)，智能終端顯示該圖塊或發(fā)出提示。
[0022]因此，在使用過(guò)程中，可以根據(jù)用戶的需要進(jìn)行深入的人機(jī)互動(dòng)，例如控制對(duì)象的大小和位置，使對(duì)象運(yùn)動(dòng)或發(fā)出聲音。
[0023]需要說(shuō)明的是，如果該互動(dòng)教育方法中的相關(guān)步驟沒(méi)有邏輯上或時(shí)間上的必然聯(lián)系，則其順序可以根據(jù)用戶的操作/使用情況進(jìn)行調(diào)整。
[0024]一種基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的互動(dòng)教育方法，
當(dāng)用戶給增強(qiáng)現(xiàn)實(shí)圖書(shū)中的圖案上色時(shí)，智能終端通過(guò)攝像頭獲取圖案的形狀和顏色，并將其疊加到相應(yīng)的三維模型中，通過(guò)智能終端的顯示屏顯示。
[0025]進(jìn)一步的，在顯示三維模型時(shí)，播放音頻或展示動(dòng)畫(huà)。
[0026]因此，在使用過(guò)程中，用戶可以實(shí)時(shí)觀察到三維模型的狀態(tài)，更加具有趣味性。
[0027]本發(fā)明主要包括以下幾方面的內(nèi)容:
一、J L童4D繪本的角色立體化;二、顏色實(shí)時(shí)識(shí)別系統(tǒng);三、三維動(dòng)畫(huà)交互與聲音系統(tǒng)識(shí)別。
[0028]本發(fā)明利用AR技術(shù)實(shí)現(xiàn)，讓原本靜止的二維圖書(shū)變成可實(shí)時(shí)涂色進(jìn)行顏色識(shí)別的三維角色，再配合動(dòng)畫(huà)，聲音，特效，實(shí)現(xiàn)人機(jī)交互等功能。讓小朋友處在一個(gè)虛擬與現(xiàn)實(shí)相結(jié)合的場(chǎng)景下認(rèn)知、學(xué)習(xí)、玩耍。
[0029]兒童4D繪本的角色立體化。其主要技術(shù)原理是:分別設(shè)計(jì)了12個(gè)未來(lái)職業(yè)角色與12個(gè)交通工具作為圖書(shū)的設(shè)計(jì)主體，通過(guò)MAYA三維動(dòng)畫(huà)制作軟件把角色轉(zhuǎn)化成三維角色并賦予角色動(dòng)畫(huà)，通過(guò)角色搭配相應(yīng)的英文單詞知識(shí)、中文書(shū)寫(xiě)、拼音及對(duì)于角色所編寫(xiě)的兒歌，通過(guò)書(shū)籍的文字以及APP的語(yǔ)音的雙重效果來(lái)讓少兒通過(guò)書(shū)籍及語(yǔ)音系統(tǒng)對(duì)職業(yè)進(jìn)行認(rèn)知。
[0030]顏色實(shí)時(shí)識(shí)別系統(tǒng)。其主要技術(shù)原理在于:圖像識(shí)別技術(shù)基本原理:使用高通SDK利用手機(jī)攝像頭獲取識(shí)別卡片影像，再結(jié)合ShanderLab將獲取的影影像信息按照預(yù)先制定好的四個(gè)頂點(diǎn)位置，將圖片里面的像素信息提取出來(lái)制作成一張512*512的材質(zhì)貼圖，并附加到模型的材質(zhì)球上，從而實(shí)現(xiàn)將在圖紙上繪制的顏色添加到出現(xiàn)的模型上，最終顯示在設(shè)備屏幕上。
[0031]三維動(dòng)畫(huà)交互與聲音識(shí)別系統(tǒng)。使用C#語(yǔ)言編程，制作手機(jī)APP，將攝像機(jī)識(shí)別到的圖像信息進(jìn)行處理制作成模型貼圖，并加載到模型材質(zhì)球上實(shí)現(xiàn)涂色功能，拼圖功能是實(shí)現(xiàn)手指拖動(dòng)破碎的拼圖塊放到正確的地方并顯示，講故事是進(jìn)行語(yǔ)音資源的播放。要使用到的軟件跟開(kāi)發(fā)環(huán)境也比較適合研發(fā)，Unity3D是近幾年興起的一塊跨平臺(tái)的游戲引擎，可以支持PC、Android、10S等多個(gè)平臺(tái)，包含幾乎現(xiàn)在所有的移動(dòng)平臺(tái)系統(tǒng)，可以更輕松的實(shí)現(xiàn)跨平臺(tái)發(fā)布APP。
[0032]在上述步驟中，顏色識(shí)別的實(shí)現(xiàn)過(guò)程如下:
顏色識(shí)別實(shí)現(xiàn):
步驟一:使用Maya或者M(jìn)ax制作三維模型；
步驟二:使用Photoshop制作材質(zhì)貼圖，然后將模型跟貼圖導(dǎo)入至Unity里面，制作場(chǎng)景，使用高通SDK進(jìn)行增強(qiáng)現(xiàn)實(shí)功能的實(shí)現(xiàn)；
步驟三:在unity里面使用C#進(jìn)行功能能實(shí)現(xiàn)顏色提取功能；
代碼:
CameraDevice cam = CameraDevice.1nstance;
Image image = cam.GetCameraImage(m_PixelFormat);if (image == null) {
Il not on mobile devicesDebug.Log(m_PixelFormat + 〃 image is not available yet〃)；
}
else {
// get MVP matrix
Matr i x4x4 P = GL.GetGPUProject1nMatrix(Camera.main.project1nMatrix, false);
Matrix4x4 V = Camera.main.worIdToCameraMatrix;
Il use plane to get texcoords for target
Matrix4x4 M = mPlane.GetComponent<Renderer>().1ocalTofforldMatrix;
Matrix4x4 MVP = P * V * M;
Il screen to camera image scale float rl = image.Height^l.0f/image.Width; float r2 = Screen.widths1.0f/Screen.height; if(rl > r2) {
GetComponent〈Renderer>().material.SetFloat(〃_xScale〃，
1.0f);
GetComponent〈Renderer>().material.SetFloat(〃_yScale"，
r2/rl);
}
else {
GetComponent〈Renderer>().material.SetFloat(〃_xScale〃，
rl/r2);
GetComponent〈Renderer>().material.SetFloat(〃_yScale"，
1.0f);
}
GetComponent〈Renderer>().material.SetMatrix(〃_MATRIX_
MVP' MVP);
mCameraTexture = new Texture2D( I 28， 128，TextureFormat.RGB24, false);
image.CopyToTexture(mCameraTexture); mCameraTexture.Apply(); // very important Il set camera texture
GetComponent<Renderer>().material.mainTexture =
mCameraTexture;
m—CanCapture = false;
}
步驟五:同時(shí)要配合Shaded吏用，shader主要是將識(shí)別到的顏色制作成貼圖貼到模型: v2f ο;float4 uvTmp;
Il calculate new uv in camera image
uvTmp = mul(—MATRIX—MVP，float4(v.texcoord.x-0.5f,v.texcoord.y-
0.5f，0，l));
uvTmp.X = uvTmp.x/uvTmp.w;uvTmp.y = uvTmp.y/uvTmp.w;uvTmp.z = uvTmp.z/uvTmp.w;
Il some swap for different coordinate system
uvTmp.X = (uvTmp.X + If)/2.0f;
uvTmp.y = (uvTmp.y + If)/2.0f;
0.uv.x = ((l_uvTmp.y)-0.5f)*_xScale+0.5f;
0.uv.y = ((l_uvTmp.x)-0.5f)*_yScale+0.5f;
//The posit1n of the vertex should not be frozen, so use//the standard UNITY—MATRIX—MVP matrix for that,0.pos = mul(UNITY—MATRIX—MVP， v.vertex);return o;
通過(guò)以上程序，能過(guò)實(shí)現(xiàn)顏色識(shí)別及鎖定交互識(shí)別等預(yù)定技術(shù)指標(biāo)。
[0033]本發(fā)明破傳統(tǒng)平面書(shū)籍，實(shí)現(xiàn)立體交互動(dòng)畫(huà)，突破傳統(tǒng)繪畫(huà)使繪制顏色進(jìn)行實(shí)時(shí)呈現(xiàn)在三維動(dòng)畫(huà)角色中。
[0034]傳統(tǒng)的繪本單一的繪畫(huà)形式已經(jīng)不能滿足當(dāng)代兒童的興趣，數(shù)字媒體技術(shù)與移動(dòng)設(shè)備的發(fā)展使現(xiàn)在的孩子在成長(zhǎng)過(guò)程中的每一刻都在不斷尋求著視聽(tīng)上的刺激，在這種背景下，交互式的新媒體早教產(chǎn)品應(yīng)運(yùn)而生，而AR技術(shù)的誕生完美契合了這一需求。利用AR技術(shù)，兒童在繪本中的創(chuàng)作可以跳出紙面，以三維動(dòng)畫(huà)的形式呈現(xiàn)在移動(dòng)設(shè)備上，極大的增加了孩子的學(xué)習(xí)動(dòng)力。
[0035]具體實(shí)施案例如下:
本發(fā)明的“AR圖書(shū)”項(xiàng)目采用B/S模式，交互程序部署在服務(wù)器上，使用者通過(guò)瀏覽器，通過(guò)WEB瀏覽器訪問(wèn)AR電子書(shū)的配套頁(yè)面。程序使用智能手機(jī)、攝像頭或者投影儀，調(diào)整攝像頭與書(shū)本的相對(duì)位置，將圖書(shū)放在攝像頭視野內(nèi)，在計(jì)算機(jī)屏幕上既展示紙質(zhì)書(shū)本原有的內(nèi)容，也將疊加對(duì)應(yīng)的圖片、圖像、三維模型、聲音等虛擬的內(nèi)容。
[0036]在使用的過(guò)程中，應(yīng)用程序可以根據(jù)要求進(jìn)行深入的人機(jī)互動(dòng)，例如控制對(duì)象的大小和位置，使對(duì)象運(yùn)動(dòng)、發(fā)出聲音，等等。
[0037]其中，AR圖書(shū)由兩部分構(gòu)成，一是整合了AR識(shí)別標(biāo)記圖案的紙質(zhì)圖書(shū)，二是負(fù)責(zé)AR功能的應(yīng)用程序。紙質(zhì)圖書(shū)部分除了提供傳統(tǒng)圖書(shū)的一般閱讀功能外，還能在應(yīng)用程序部分的配合下顯示三維模型。AR應(yīng)用程序部分則負(fù)責(zé)通過(guò)攝像頭獲取真實(shí)圖像，并在顯示設(shè)備上呈現(xiàn)紙質(zhì)圖書(shū)與虛擬對(duì)象的融合。為了便于讀者使用增強(qiáng)現(xiàn)實(shí)功能，應(yīng)用程序采用B/S的模式。讀者只要通過(guò)智能手機(jī)、攝像頭、投影儀，就可以方便地使用AR圖書(shū)。
[0038]增強(qiáng)現(xiàn)實(shí)應(yīng)用程序部分負(fù)責(zé)通過(guò)智能手機(jī)獲取圖書(shū)的圖像數(shù)據(jù)，從中識(shí)別標(biāo)記圖案，根據(jù)標(biāo)記圖案從手機(jī)中加載相應(yīng)三維模型，并融合現(xiàn)實(shí)圖書(shū)和三維模型的圖像，最終將逼真的增強(qiáng)現(xiàn)實(shí)圖像呈現(xiàn)在讀者的手機(jī)上。
[0039]AR應(yīng)用程序部分采用C#為開(kāi)發(fā)語(yǔ)言，Vuforia SDK4.2作為跟蹤類庫(kù)，Unity3D作為三維框架，3D MAX和Maya負(fù)責(zé)模型制作與轉(zhuǎn)換調(diào)用。
[0040]步驟三:在unity里面使用C#進(jìn)行功能能實(shí)現(xiàn)顏色提取功能，
步驟四:代碼
CameraDevice cam = CameraDevice.1nstance;
Image image = cam.GetCameraImage(m_PixelFormat);if (image == null) {
Il not on mobile devices
Debug.Log(m_PixelFormat + 〃 image is not available yet〃)；
}
else {
// get MVP matrix
Matr i x4x4 P = GL.GetGPUProject1nMatrix(Camera.main.project1nMatrix, false);
Matrix4x4 V = Camera.main.worIdToCameraMatrix;
使用ShaderLab來(lái)實(shí)現(xiàn)真實(shí)視頻圖像與虛擬三維模型的融合以及圖像識(shí)別與互動(dòng)等重要功能。
[0041]紙質(zhì)圖書(shū)的設(shè)計(jì):根據(jù)不同客戶閱讀的特點(diǎn)設(shè)計(jì)紙質(zhì)圖書(shū)內(nèi)容。
[0042]例如兒童:紙質(zhì)圖書(shū)要色彩艷麗、畫(huà)面大而簡(jiǎn)單，故事情節(jié)要簡(jiǎn)單，句式單一且重復(fù)。特別值得注意的是書(shū)中字的大小，一定要選擇大字體。一般說(shuō)來(lái)，每個(gè)字的寬度應(yīng)同成年男子的食指寬度一樣。隨著兒童年齡的增長(zhǎng)，書(shū)中的語(yǔ)言、句式可逐漸增加難度，字亦可逐漸縮小。
[0043]AR圖書(shū)的紙質(zhì)圖書(shū)部分除了能進(jìn)行傳統(tǒng)的閱讀，還需要負(fù)責(zé)為增強(qiáng)現(xiàn)實(shí)應(yīng)用程序提供清晰可辨認(rèn)的標(biāo)記圖案。只有對(duì)圖書(shū)內(nèi)容進(jìn)行精心編排，AR電子書(shū)的平面內(nèi)容與虛擬模型才能相得益彰，才會(huì)有效地發(fā)揮AR電子書(shū)獨(dú)特的優(yōu)勢(shì)與魅力。
[0044]三維模型與多媒體資源設(shè)計(jì):圖書(shū)應(yīng)以畫(huà)面為主。在AR圖書(shū)中，三維模型負(fù)責(zé)創(chuàng)建虛擬三維信息，只有逼真的三維物體才能較好地融入真實(shí)場(chǎng)景中，給人以真實(shí)感。因此，三維模型的設(shè)計(jì)是增強(qiáng)現(xiàn)實(shí)電子書(shū)設(shè)計(jì)中的重要組成部分。
[0045]上述實(shí)施例的實(shí)現(xiàn)流程如下:
首先，進(jìn)行產(chǎn)品設(shè)計(jì)將所有設(shè)計(jì)原畫(huà)制作成識(shí)別圖片，然后使用三維建模軟件進(jìn)行三維模型制作，然后將模型貼圖跟模型文件導(dǎo)入U(xiǎn)nity3D進(jìn)行功能實(shí)現(xiàn)，利用Vuforia SDK進(jìn)行顏色識(shí)別功能的實(shí)現(xiàn)等其他功能的實(shí)現(xiàn)，最后使用Unity 3D發(fā)布Android版本的Apk，再結(jié)合Xcode進(jìn)行APP發(fā)布。
[0046]其中，上述APP主要功能描述如下:
一是對(duì)紙質(zhì)圖書(shū)進(jìn)行合理編排制作，并將特定標(biāo)記圖案融入圖書(shū)中，從而滿足增強(qiáng)現(xiàn)實(shí)圖書(shū)的需求；
二是熟練運(yùn)用3D建模工具，通過(guò)反復(fù)細(xì)致的修改，制作逼真的三維模型；
三是運(yùn)用各種多媒體軟件對(duì)其他媒體資源進(jìn)行編輯；
四是在選定平臺(tái)上，完成標(biāo)志的識(shí)別、三維注冊(cè)、虛實(shí)結(jié)合和人機(jī)交互等多方面的程序開(kāi)發(fā)與實(shí)現(xiàn)，其中，基于選定平臺(tái)的程序開(kāi)發(fā)是整個(gè)AR圖書(shū)開(kāi)發(fā)過(guò)程的技術(shù)核心；
五是將前面的工作進(jìn)行整合，使整個(gè)項(xiàng)目成為一個(gè)有機(jī)的整體，同時(shí)這一階段往往會(huì)對(duì)前一階段的工作進(jìn)行各種反饋和調(diào)整。
[0047]
【申請(qǐng)人】認(rèn)為:書(shū)籍承載著大量的抽象經(jīng)驗(yàn)，尤其對(duì)于少兒學(xué)習(xí)的重要途徑和工具。如果能在傳統(tǒng)書(shū)籍中有效合理的融入具體的經(jīng)驗(yàn)，同時(shí)通過(guò)顏色，動(dòng)畫(huà)，聲音，交互，等吸引提高閱讀吸引力。又能觀看到書(shū)中描述的“真實(shí)”場(chǎng)景，那么這樣的書(shū)籍必然能夠給讀者更好的閱讀興趣與體驗(yàn)，更多的直接的經(jīng)驗(yàn)，更有效的學(xué)習(xí)。
[0048]從技術(shù)方面來(lái)說(shuō)，增強(qiáng)現(xiàn)實(shí)技術(shù)不光依靠電子設(shè)備、同時(shí)依賴于現(xiàn)實(shí)場(chǎng)景的交互與融合。已聽(tīng)覺(jué)、視覺(jué)位基礎(chǔ)，添加視覺(jué)、觸覺(jué)乃至加入味覺(jué)的各種元素相互融合，達(dá)到了孩子在成長(zhǎng)過(guò)程中發(fā)現(xiàn)新世界的各種要求，極大限度的虛擬出一個(gè)內(nèi)容完滿、方便體驗(yàn)的教育場(chǎng)景和背景。AR技術(shù)的出現(xiàn)很大程度上滿足了多媒體互式教學(xué)的需求。
[0049]模型鎖定功能創(chuàng)新:使用高通SDK識(shí)別出三維模型，然后將高通自帶的代碼ImagetargetBehiever禁用，將模型顯示在屏幕界面，攝像機(jī)打開(kāi)作為場(chǎng)景背景，若是ImagetargetBehiever可用模型只有在識(shí)別卡片的時(shí)候顯示。對(duì)其他同類產(chǎn)品如《小熊尼奧-口袋動(dòng)物園卡片》只有托舉功能，無(wú)鎖定功能，此項(xiàng)更能更能增加互動(dòng)交互性。
[0050]顏色實(shí)時(shí)識(shí)別創(chuàng)新:其他同類產(chǎn)品多采用卡片類如《小熊尼奧-口袋動(dòng)物園卡片》，而不是書(shū)籍類。這最大的區(qū)別在于卡片是預(yù)制好的角色顏色，在識(shí)別過(guò)程中只需要識(shí)別卡片信息。顏色使用的是原貼圖文件。而《涂游記》采用的是顏色實(shí)時(shí)識(shí)別，隨意去繪制任何顏色，游程序控制RGB顏色信息。進(jìn)行分析能實(shí)時(shí)顯示繪制顏色。達(dá)到更高的交互效果。
[0051]APP已經(jīng)實(shí)現(xiàn)一些其他的小功能，例如拼圖小游戲，語(yǔ)音小故事等后期還將繼續(xù)研發(fā)其它功能。實(shí)現(xiàn)APP客戶群，針對(duì)兒童繪本成長(zhǎng)記錄、在線繪畫(huà)課堂、幼兒護(hù)理、胎教等功會(huì)K。
[0052]隨著網(wǎng)絡(luò)帶寬的不斷增加和智能手機(jī)的不斷普及，以及支持了增強(qiáng)現(xiàn)實(shí)技術(shù)的瀏覽器日益增多，增強(qiáng)技術(shù)再也不是一個(gè)看上去很酷的家用圖形和可視化外圍技術(shù)，而成為了當(dāng)前技術(shù)發(fā)展的核心。增強(qiáng)現(xiàn)實(shí)可以將額外的信息有效地融合到真實(shí)世界中，使得人們生活的環(huán)境更加豐富多彩。正是由于這一點(diǎn)，增強(qiáng)現(xiàn)實(shí)的新用途正在不斷涌現(xiàn)。增強(qiáng)現(xiàn)實(shí)已從科學(xué)技術(shù)研究的最前沿，擴(kuò)展到了商業(yè)、科技、娛樂(lè)、營(yíng)銷和教育等各個(gè)領(lǐng)域?，F(xiàn)在，越來(lái)越多的游戲開(kāi)發(fā)者使用增強(qiáng)現(xiàn)實(shí)技術(shù)給玩家創(chuàng)造了一種全新的娛樂(lè)體驗(yàn)。各種各樣的公司也不敢落后，紛紛開(kāi)發(fā)各種基于增強(qiáng)現(xiàn)實(shí)的宣傳手冊(cè)、商品包裝和服務(wù)終端。
[0053]開(kāi)展本項(xiàng)目的研究，一方面對(duì)于傳統(tǒng)繪本書(shū)籍升級(jí)改造有著廣闊的市場(chǎng)前景，產(chǎn)生巨大的社會(huì)效益和經(jīng)濟(jì)效益。另外一方面，本項(xiàng)目產(chǎn)品可以為公司現(xiàn)有的智能手機(jī)APP平臺(tái)拓展其他少兒母嬰信息、繪畫(huà)學(xué)習(xí)、繪畫(huà)成長(zhǎng)管理，拓展輔助工程。
[0054]以上詳細(xì)描述了本發(fā)明的優(yōu)選實(shí)施方式，但是，本發(fā)明并不限于上述實(shí)施方式中的具體細(xì)節(jié)，在本發(fā)明的技術(shù)構(gòu)思范圍內(nèi)，可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行多種等同變換，這些等同變換均屬于本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.增強(qiáng)現(xiàn)實(shí)圖書(shū)，其特征在于，包括圖書(shū)本體和設(shè)置在圖書(shū)本體上的識(shí)別標(biāo)記圖案，在外部裝置的配合下，所述增強(qiáng)現(xiàn)實(shí)圖書(shū)能夠顯示三維模型。2.基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的教育系統(tǒng)，其特征在于，包括增強(qiáng)現(xiàn)實(shí)圖書(shū)、智能展示終端，以及服務(wù)器，其中， 所述增強(qiáng)現(xiàn)實(shí)圖書(shū)設(shè)置有識(shí)別標(biāo)識(shí)圖案， 所述智能展示終端，其設(shè)置有圖像識(shí)別模塊和動(dòng)畫(huà)交互與聲音設(shè)別模塊，并設(shè)置或通信連接攝像頭單元，所述攝像頭單元用于獲取增強(qiáng)現(xiàn)實(shí)圖書(shū)中的圖案，所述圖像識(shí)別模塊用于按照預(yù)定的方式從圖案中提出像素信息，制作成貼圖，并附加到模型的材質(zhì)球上，獲得具有預(yù)期顏色的模型，并顯示于智能展示終端的屏幕上，所述動(dòng)畫(huà)交互與聲音識(shí)別模塊用于拼圖的交互和語(yǔ)音資源的播放； 所述服務(wù)器，用于部署交互程序和存儲(chǔ)相關(guān)數(shù)據(jù)信息。3.如權(quán)利要求2所述的基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的教育系統(tǒng)，其特征在于，所述智能展示終端包括手機(jī)和平板電腦。4.如權(quán)利要求2所述的基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的教育系統(tǒng)，其特征在于，所述圖像識(shí)別模塊進(jìn)一步包括用于制作三維模型的子模塊，用于制作材質(zhì)貼圖的子模塊，用于根據(jù)三維模型和材質(zhì)貼圖制作場(chǎng)景的子模塊，用于提取顏色的子模塊，以及用于將識(shí)別到的顏色貼到模型的子模塊。5.基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的互動(dòng)教育方法，其特征在于，包括如下步驟: 訪問(wèn)服務(wù)器，獲取與增強(qiáng)現(xiàn)實(shí)圖書(shū)配套的信息； 調(diào)整攝像頭單元與增強(qiáng)現(xiàn)實(shí)圖書(shū)的位置，使增強(qiáng)現(xiàn)實(shí)圖書(shū)位于攝像頭的視野內(nèi)； 智能終端獲取圖片的識(shí)別信息，并從圖片中提取出像素信息，并制成預(yù)定格式的貼圖，附加到材質(zhì)球中，獲得展示模型并顯示于智能終端的顯示屏上。6.如權(quán)利要求5所述的基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的互動(dòng)教育方法，其特征在于， 還包括拼圖步驟:拖動(dòng)破碎的圖塊至某個(gè)區(qū)域時(shí)，智能終端顯示該圖塊或發(fā)出提示。7.—種基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的互動(dòng)教育方法，其特征在于， 當(dāng)用戶給增強(qiáng)現(xiàn)實(shí)圖書(shū)中的圖案上色時(shí)，智能終端通過(guò)攝像頭獲取圖案的形狀和顏色，并將其疊加到相應(yīng)的三維模型中，通過(guò)智能終端的顯示屏顯示。8.如權(quán)利要求7所述的基于增強(qiáng)現(xiàn)實(shí)圖書(shū)的互動(dòng)教育方法，其特征在于， 在顯示三維模型時(shí)，播放音頻或展示動(dòng)畫(huà)。
【文檔編號(hào)】G09B5/06GK105844979SQ201510933227
【公開(kāi)日】2016年8月10日
【申請(qǐng)日】2015年12月15日
【發(fā)明人】齊建明, 夏毓
【申請(qǐng)人】齊建明