專利名稱：帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，特別涉及增強(qiáng)現(xiàn)實(shí)的方法及系統(tǒng)，應(yīng)用于虛擬現(xiàn)實(shí)與計 算機(jī)視覺領(lǐng)域，利用模式識別與虛擬現(xiàn)實(shí)技術(shù)對視頻采集到的現(xiàn)實(shí)圖像幀起到添加內(nèi)容、增 強(qiáng)效果的作用。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)(AR， Augmented Reality)是利用虛擬物體對真實(shí)場景進(jìn)行現(xiàn)實(shí)增強(qiáng)的技術(shù)。增 強(qiáng)現(xiàn)實(shí)基于攝像頭等采集器件采集到的真實(shí)物理環(huán)境，通過將文本、二維圖像、三維模型等 虛擬生成的信息標(biāo)注在顯示屏所顯示的真實(shí)物理環(huán)境中的物體上，從而實(shí)現(xiàn)對用戶身處的現(xiàn) 實(shí)物理環(huán)境的注釋、說明，或者增強(qiáng)、強(qiáng)調(diào)現(xiàn)實(shí)環(huán)境的某些效果。比如用戶戴上專用的增強(qiáng) 現(xiàn)實(shí)顯示眼鏡，觀察某個復(fù)雜機(jī)械時，他不僅可以看到現(xiàn)實(shí)世界中存在的機(jī)械結(jié)構(gòu)本身，還 可以同時看到通過增強(qiáng)現(xiàn)實(shí)技術(shù)附加的多媒體信息如機(jī)械各個部分的介紹等。增強(qiáng)現(xiàn)實(shí)技術(shù) 給用戶一種虛擬對象與現(xiàn)實(shí)環(huán)境兩相融合的體驗，它能有效地幫助用戶認(rèn)知周圍環(huán)境，增添 周圍環(huán)境的信息，實(shí)現(xiàn)用戶與周圍環(huán)境的交互。
"ARToolkit"是一種可用于增強(qiáng)現(xiàn)實(shí)的開源軟件包。ARtoolkit使用計算機(jī)視覺技術(shù)來 計算真實(shí)攝像場景與標(biāo)記符號之間的相對位置關(guān)系。ARToolkit的主要算法流程為輸入實(shí)時 捕獲的視頻圖像幀，通過可設(shè)定的閾值將其轉(zhuǎn)換成黑白二值圖；搜索場景中標(biāo)志物的黑框顏 色所對應(yīng)的連通區(qū)域，作為標(biāo)志物黑框的候選對象；得到各連通區(qū)域的輪廓線，若能提取出 四條相交的直邊，則作為可能的標(biāo)志物；利用四條直邊找到的角特征，進(jìn)行形變矯正，并計 算出標(biāo)志物變換成前視圖的一個單應(yīng)性矩陣(homography)變換；利用該單應(yīng)性矩陣在標(biāo)志物 的黑框內(nèi)部區(qū)域進(jìn)行采樣，采樣模板一般為16X16,共得到256個采樣點(diǎn)構(gòu)成一個采樣向量； 將這個采樣向量與預(yù)先存放在標(biāo)志物數(shù)據(jù)庫的標(biāo)志物逐個進(jìn)行比較，計算標(biāo)志物上相應(yīng)點(diǎn)構(gòu) 成的向量與采樣向量的歸一化向量點(diǎn)積，得到一個可信度值；如果可信度值低于一個閾值， 就當(dāng)作是未匹配成功，否則就是匹配成功。根據(jù)匹配成功的標(biāo)志物査找到相對應(yīng)的虛擬物體， 將虛擬物體按相機(jī)與標(biāo)志物的當(dāng)前相對方位進(jìn)行變換，使之與標(biāo)志物相吻合。
現(xiàn)有技術(shù)中，有基于ARToolKit包與二維可視編碼技術(shù)實(shí)現(xiàn)三維增強(qiáng)現(xiàn)實(shí)的方法和系統(tǒng)， 用以實(shí)現(xiàn)虛實(shí)物體之間映射關(guān)系的建立。該系統(tǒng)具體包括視頻幀捕獲模塊、視頻跟蹤模塊、 虛擬圖形系統(tǒng)模塊、虛實(shí)合成模塊以及視頻顯示模塊，各個部分功能具體為
6A、 視頻幀捕獲模塊，用于捕獲二維可視編碼標(biāo)志物的視頻幀，并將該視頻幀發(fā)送給視頻 跟蹤模塊；
B、 視頻跟蹤模塊，用于計算處理獲得的標(biāo)志物視頻幀，根據(jù)計算處理結(jié)果獲得從標(biāo)志物 坐標(biāo)系到相機(jī)坐標(biāo)系的變換矩陣通過采樣二維可視編碼中編碼圖案，獲得標(biāo)志物編碼值， 檢索出與該編碼值對應(yīng)的三維模型，并根據(jù)該三維模型的頂點(diǎn)數(shù)組與變換矩陣的乘積，得到 該三維圖形在相機(jī)坐標(biāo)系下的坐標(biāo)數(shù)組。
C、 虛擬圖形系統(tǒng)模塊，用于根據(jù)獲得的三維圖形在相機(jī)坐標(biāo)系下的坐標(biāo)數(shù)組繪制對應(yīng)的 三維圖形，并將該三維圖形存儲在幀緩存中，生成虛擬圖形幀。
D、 虛實(shí)合成模塊，用于將獲得的虛擬圖形幀與二維可視編碼標(biāo)志物的視頻幀進(jìn)行合成， 得到合成視頻幀。
該技術(shù)方案的主要特點(diǎn)為-
1、 在現(xiàn)有的三維增強(qiáng)現(xiàn)實(shí)技術(shù)中引入規(guī)范的二維可視化編碼圖像作為跟蹤所用標(biāo)志物， 以代替現(xiàn)有技術(shù)中ARToolkit采用的任意形狀的標(biāo)志物，從而提高了 ARToolkit中的跟蹤算 法速度以及可靠性、并且加快了模式匹配處理速度。
2、 在現(xiàn)有的二維可視化編碼基礎(chǔ)上引入對三維相對變換信息的計算與提取，檢索出相應(yīng) 的三維媒體信息并且三維注冊合成的增強(qiáng)現(xiàn)實(shí)技術(shù)，該技術(shù)可識別出二維可視編碼，還能將 得到的其對應(yīng)的三維空間位置，通過編碼檢索到的三維模型實(shí)時地增強(qiáng)顯示在編碼圖形上， 進(jìn)而實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)功能。
3、 主要用于在計算資源相對有限的手持移動計算設(shè)備上實(shí)施增強(qiáng)現(xiàn)實(shí)技術(shù)，拓展增強(qiáng) 現(xiàn)實(shí)技術(shù)的應(yīng)用領(lǐng)域。
其缺點(diǎn)是，對標(biāo)志物的要求較高，要求標(biāo)志物形態(tài)簡單，形狀邊沿與背景色的反差非常 清晰明顯，并且必須有四條直邊組成的四邊形邊框作為清晰邊界，否則會影響識別效果。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法及其系統(tǒng)，通過判斷特定標(biāo) 志物區(qū)域是否被覆蓋的方式改變虛擬物體與真實(shí)場景的合成效果，增強(qiáng)與用戶的交互性。 本發(fā)明采用如下技術(shù)方案
一種帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法，包括以下步驟 步驟IO)、初始化系統(tǒng)環(huán)境、配置系統(tǒng)參數(shù)
步驟20)、選擇或提取一幅標(biāo)志物正視圖，對標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)；
7步驟30)、計算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并進(jìn)行校正；
步驟40)、對攝像頭拍攝到的真實(shí)環(huán)境中的每一幀，利用步驟30)中的數(shù)據(jù)進(jìn)行校正，再 基于步驟20)中的訓(xùn)練數(shù)據(jù)識別標(biāo)志物，若含有標(biāo)志物，則計算該標(biāo)志物在攝像頭坐標(biāo)系中 的相對位置矩陣，并通過對已識別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對來估算標(biāo)志物所處 環(huán)境的光照信息；
步驟50)、通過識別出的標(biāo)志物尋找對應(yīng)虛擬模型，利用提取出的標(biāo)志物位置矩陣確定模 型的位置；
步驟60)、在真實(shí)拍攝的視頻幀上根據(jù)計算出的相對位置繪制虛擬模型。 歩驟70)、在標(biāo)志物附近設(shè)置交互區(qū)域，通過檢測交互區(qū)域內(nèi)是否被手覆蓋，實(shí)現(xiàn)與用戶 的交互。
進(jìn)一步地，所述步驟70)交互步驟具體包括以下步驟 步驟71X從攝像頭取入當(dāng)前幀；
步驟72)、判斷是否識別出標(biāo)志物，如果是，執(zhí)行步驟73),如果否，轉(zhuǎn)步驟71); 步驟73)、判斷當(dāng)前幀的交互區(qū)域內(nèi)有無膚色，如果有，執(zhí)行步驟74)，如果無，執(zhí)行步 驟71);
步驟74)、啟動交互效果。
進(jìn)一步地，在所述步驟73)之后所述歩驟74)之前，還包括以下步驟 判斷交互區(qū)域被手覆蓋是否連續(xù)且達(dá)到一定幀數(shù)，如果是執(zhí)行步驟74)，如果否，轉(zhuǎn)步驟
71)。
進(jìn)一步地，所述步驟73)中采用色度閾值判定方法檢測是否存在膚色，通過統(tǒng)計多次采 集當(dāng)前光線下的膚色值，為膚色的r、 g、 b值確定一個閾值范圍，然后對每個交互區(qū)域內(nèi)的 像素進(jìn)行判斷，若該像素值在膚色的閾值范圍內(nèi)，即認(rèn)定檢測到一個像素的膚色值。
進(jìn)一步地，所述膚色色度中的r分量統(tǒng)一為值200， g分量閾值范圍為[120， 190]， b分 量為[IOO, 160],當(dāng)檢測到膚色的像素值總數(shù)達(dá)到設(shè)定數(shù)目后，判定這一幀內(nèi)的交互區(qū)域內(nèi) 有手覆蓋于其上。
進(jìn)一步地，所述步驟20)具體包括以下步驟
步驟21)、將彩色圖轉(zhuǎn)化為灰度步驟22)、初步提取特征點(diǎn)，具體提取特征點(diǎn)的方法如下
對于圖片上的每個象素m，若以m為中點(diǎn)、圍繞著m的八個象素中的任意兩個滿足以下兩 個條件，則排除這個像素m:
8a、 這兩個像素處于以m為中點(diǎn)的這圈像素的某條直徑兩端，
b、 這兩個像素的灰度值均與m接近；
步驟23)、把灰度圖進(jìn)行正視圖視角變換，在變換后的視圖中提取特征點(diǎn)，用來得到更為 穩(wěn)定的特征點(diǎn)；
步驟24)、將所有經(jīng)不同角度的透視變換的正視圖中的同一個特征點(diǎn)取出，構(gòu)成一個"特 定視點(diǎn)集合"，得到N個"特定視點(diǎn)集合"，每個"特定視點(diǎn)集合"對應(yīng)一個穩(wěn)定特征點(diǎn)； 步驟25)、構(gòu)建隨機(jī)樹用以特征點(diǎn)分類和識別。 進(jìn)一步地，所述步驟24)中"特定視點(diǎn)集合"的構(gòu)成方法為
將原始正視圖分別繞x軸、y軸按(-7， +^)的范圍旋轉(zhuǎn)進(jìn)行透視變換，將繞x軸的轉(zhuǎn) 向均分為Lx個角度，將繞y軸的轉(zhuǎn)向均分為Ly個角度，得L=LxXLy幅變換視圖，將所有變 換視圖中編號相同的特征點(diǎn)取出，得到N個集合V ={Vnl, Vn2……1《n《N，每個人就是對 應(yīng)一個特征點(diǎn)的"特定視點(diǎn)集合"，該集合中的每個元素包含了在不同視角變換下同一特征點(diǎn) 的不同位置。
進(jìn)一步地，所述步驟23)具體為
對于一幅給定的標(biāo)志物的正視圖，用步驟22)中的方法提取出M個特征點(diǎn)，按特征點(diǎn)的 坐標(biāo)位置順序編號，構(gòu)成一個特征點(diǎn)集合K^ki, k2……kj，集合中每個元素表示相應(yīng)編號的 一個特征點(diǎn)；
對該標(biāo)志物原始正視圖進(jìn)行多個不同角度的透視變換，并給變換后的正視圖加上白噪聲， 之后再利用步驟22)中的方法提取變換后的視圖的特征點(diǎn)，再利用反變換將提取出的特征點(diǎn) 還原為相應(yīng)的正視圖特征點(diǎn)；統(tǒng)計多個經(jīng)過不同角度變換的視圖經(jīng)上述"變換-提取-還原" 后的特征點(diǎn)仍能找到原始正視圖相對應(yīng)特征點(diǎn)的概率，概率最高的N個點(diǎn)被確認(rèn)為"穩(wěn)定" 的特征點(diǎn)，集合K的元素數(shù)由M減為N，即IHK" K2……KN}。
進(jìn)一步地，所述步驟25)中構(gòu)建隨機(jī)樹用以特征點(diǎn)分類和識別，具體如下 隨機(jī)樹采用二叉樹結(jié)構(gòu)，輸入的數(shù)據(jù)為32X32像素的面片，在訓(xùn)練時將大量包含"特定 視點(diǎn)集合"中的特征點(diǎn)的面片輸入隨機(jī)樹，讓每個面片進(jìn)入某一片樹葉，當(dāng)所有的面片都進(jìn) 入樹葉后，計算每片葉子對應(yīng)所有"穩(wěn)定"的特征點(diǎn)的概率分布，某片樹葉包含的概率分布 可由如下公式表示
其中，p代表32X32像素的一塊面片，Y (p)是該面片所包含的特征點(diǎn)對應(yīng)的特征點(diǎn)標(biāo)號，ce{_l， 1， 2……N}，其中-1表示不包含任何特征點(diǎn)的面片，l為隨機(jī)樹的編號，7代表
p面片投入第1棵樹所到達(dá)的那片樹葉； 為每個結(jié)點(diǎn)選取的判斷公式如下，
a 、 f如果/Cp,w)—/(aw2)w(aw3)-JOvw4)，進(jìn)入左節(jié)點(diǎn)
其中，/(A附)表示面片/ 在歷點(diǎn)的亮度，附p附2,附3,附4為面片P中隨機(jī)挑選的四個位置不
同像素。
進(jìn)一步地，所述步驟40)具體包括以下步驟
將采集的一幀圖像分解為32X32像素的面片，將每片面片輸入步驟25)中構(gòu)建的不同的 隨機(jī)樹；
f(/7)表示面片p所包含特征點(diǎn)經(jīng)估算得到的特征點(diǎn)標(biāo)號，f(p)利用以下公式算得
該公式是將面片P在不同樹中所到達(dá)的葉片的概率分布相加取平均值，得到一個平均概率 分布，將這個平均概率分布中概率最大的那個穩(wěn)定特征點(diǎn)的標(biāo)號，作為面片p對應(yīng)的特征點(diǎn) 的標(biāo)號；利用該公式建立新采集圖像特征點(diǎn)和原始正視圖特征點(diǎn)的對應(yīng)。
本發(fā)明還提供一種帶有交互功能的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，包括
視頻幀訓(xùn)練模塊，用于選擇或提取一幅標(biāo)志物正視圖，對標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)； 視頻幀校正模塊，與所述視頻幀訓(xùn)練模塊相連接，用于計算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并 進(jìn)行校正；
視頻幀捕獲模塊，與所述視頻幀訓(xùn)練模塊和所述視頻幀校正模塊相連接，用于對攝像頭拍 攝到的真實(shí)環(huán)境中的每一幀，利用所述視頻幀校正模塊中的數(shù)據(jù)進(jìn)行校正，再基于所述視頻 幀訓(xùn)練模塊中的訓(xùn)練數(shù)據(jù)識別標(biāo)志物，若含有標(biāo)志物，則計算該標(biāo)志物在攝像頭坐標(biāo)系中的 相對位置矩陣，并通過對已識別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán) 境的光照信息；
虛實(shí)合成模塊，與視頻幀捕獲模塊相連接，用于通過識別出的標(biāo)志物尋找對應(yīng)虛擬模型， 利用提取出的標(biāo)志物位置矩陣確定模型的位置，在真實(shí)拍攝的視頻幀上根據(jù)計算出的相對位 置繪制虛擬模型，
交互模塊，與所述虛實(shí)合成模塊相連接，用于在標(biāo)志物附近設(shè)置交互區(qū)域，通過檢測交互
，進(jìn)入右節(jié)點(diǎn)
10區(qū)域內(nèi)是否被手覆蓋，實(shí)現(xiàn)與用戶的交互。
相對于己有的其他發(fā)明，如ARToolkit開發(fā)包與華為的系統(tǒng)，本系統(tǒng)極大地減少了對標(biāo)志 物的限制，這些限制主要包括以下幾條
(1) 、要求標(biāo)志物色彩深而單一，與背景色反差大。
(2) 、標(biāo)志物形態(tài)為簡單圖形。
(3) 、標(biāo)志物四周有四邊形的清晰邊框作為識別的邊界。 而本系統(tǒng)所對應(yīng)標(biāo)志物無需任何邊界，可截取任意二維圖像中包含一定紋理特征的任意四
邊形區(qū)域，主要面向真實(shí)環(huán)境中用攝像頭、照相機(jī)等攝取的含真實(shí)景物、具有照片特性的二 維圖像，圖形內(nèi)容可以極為復(fù)雜。系統(tǒng)的這些特性極大地擴(kuò)展了增強(qiáng)現(xiàn)實(shí)的使用范圍。
本系統(tǒng)可用于對地圖與復(fù)雜二維圖像進(jìn)行標(biāo)示，也可在任意二維圖像上合成三維模型，形 成立體、生動的效果。
而交互功能通過判斷特定標(biāo)志物區(qū)域是否被覆蓋的方式，改變虛擬物體與真實(shí)場景的合成 效果，產(chǎn)生諸如變換虛擬模型、觸發(fā)動畫等效果，方便用戶使用和操作。
以下結(jié)合附圖及實(shí)施例進(jìn)一步說明本發(fā)明。


圖1為本發(fā)明基于圖像特征點(diǎn)提取與隨機(jī)樹分類的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)實(shí)施例示意圖2為本發(fā)明帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法實(shí)施例流程圖3為本發(fā)明方法實(shí)施例中對標(biāo)志物進(jìn)行訓(xùn)練的流程圖4為一頁書上特征點(diǎn)對應(yīng)的實(shí)際情況；
圖5為本發(fā)明實(shí)施例中交互步驟流程圖6為確定交互式區(qū)域的示意圖。
具體實(shí)施例方式
如圖1所示， 一種帶有交互功能的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，包括
視頻幀訓(xùn)練模塊，用于選擇或提取一幅標(biāo)志物正視圖，對標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)； 視頻幀校正模塊，與所述視頻幀訓(xùn)練模塊相連接，用于計算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并 進(jìn)行校正；
視頻幀捕獲模塊，與所述視頻幀訓(xùn)練模塊和所述視頻幀校正模塊相連接，用于對攝像頭拍
11利用所述視頻幀校正模塊中的數(shù)據(jù)進(jìn)行校正，再基于所述視頻 幀訓(xùn)練模塊中的訓(xùn)練數(shù)據(jù)識別標(biāo)志物，若含有標(biāo)志物，則計算該標(biāo)志物在攝像頭坐標(biāo)系中的 相對位置矩陣，并通過對已識別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán) 境的光照信息；
虛實(shí)合成模塊，與視頻幀捕獲模塊相連接，用于通過識別出的標(biāo)志物尋找對應(yīng)虛擬模型， 利用提取出的標(biāo)志物位置矩陣確定模型的位置，在真實(shí)拍攝的視頻幀上根據(jù)計算出的相對位 置繪制虛擬模型。
交互模塊，與所述虛實(shí)合成模塊相連接，用于在標(biāo)志物附近設(shè)置交互區(qū)域，通過檢測交互 區(qū)域內(nèi)是否被手覆蓋，實(shí)現(xiàn)與用戶的交互。具體可以在標(biāo)志物區(qū)域內(nèi)或標(biāo)志物平面上靠近標(biāo) 志物的地方任意劃出一塊區(qū)域，將該區(qū)域設(shè)為交互區(qū)域，當(dāng)手覆蓋于該區(qū)域上時，就像啟動 了一個開關(guān)一樣，增強(qiáng)現(xiàn)實(shí)的合成效果會即時地產(chǎn)生相應(yīng)變化，達(dá)到交互的目的。其中交互 區(qū)域的劃定可以是在提取并保存標(biāo)志物正視圖的時候，在正視圖上或附近用鼠標(biāo)手動劃分出 一塊區(qū)域，保存該區(qū)域的坐標(biāo)位置，設(shè)為交互區(qū)域，也可以由系統(tǒng)預(yù)先設(shè)定該交互區(qū)域。
如圖2所示， 一種帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法，包括以下步驟
步驟IO)、初始化系統(tǒng)環(huán)境、配置系統(tǒng)參數(shù)；主要包括搭建系統(tǒng)硬件平臺，設(shè)置能夠支持 二維和三維圖形的繪圖環(huán)境，分配圖像緩存空間，識別攝像頭等；
步驟20)、從文件中選擇一幅標(biāo)志物正視圖的圖像文件或者從攝像頭中提取標(biāo)志物正視 圖，對標(biāo)志物進(jìn)行訓(xùn)練。訓(xùn)練主要包括灰度處理與特征點(diǎn)處理等；
步驟30)、計算標(biāo)志物圖像的內(nèi)參并進(jìn)行校正。相機(jī)內(nèi)部參數(shù)是指攝像頭相機(jī)的焦距和形 變等內(nèi)部固有參數(shù)，該參數(shù)確定了攝像頭相機(jī)的投影變換矩陣，它取決于相機(jī)本身的屬性， 所以對同一個相機(jī)來說其內(nèi)部參數(shù)是恒定不變的。本系統(tǒng)通過在多個不同角度拍攝標(biāo)志物， 通過對不同角度的標(biāo)志物與標(biāo)志物正視圖的比對，計算相機(jī)的內(nèi)參并讀入系統(tǒng)，用來對之后 虛實(shí)合成的每一幀圖形進(jìn)行校正；
步驟40)、對攝像頭拍攝到的真實(shí)環(huán)境中的每一幀，利用步驟30)中的數(shù)據(jù)進(jìn)行校正，再 基于步驟20)中的訓(xùn)練數(shù)據(jù)識別標(biāo)志物，若含有標(biāo)志物，則計算該標(biāo)志物在攝像頭坐標(biāo)系中 的相對位置矩陣與光照等信息；
標(biāo)志物在相機(jī)平面上成相的過程，相當(dāng)于構(gòu)成標(biāo)志物的每個象素點(diǎn)坐標(biāo)從三維坐標(biāo)系上變 換到相機(jī)坐標(biāo)系上，然后投影到相機(jī)平面上形成標(biāo)志物的二維圖像。這一變換可由相對位置 矩陣來表達(dá)。步驟40)即用來計算這一位置矩陣。之后通過對巳識別標(biāo)志物和標(biāo)志物正視圖 的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán)境的光照信息步驟50)、由識別出的標(biāo)志物尋找對應(yīng)虛擬模型，利用提取出的標(biāo)志物位置矩陣確定模型 的位置；
步驟60)、在真實(shí)拍攝的視頻幀上根據(jù)計算出的相對位置繪制虛擬模型，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)；
步驟70)、在標(biāo)志物附近設(shè)置交互區(qū)域，如圖6所示，通過檢測交互區(qū)域內(nèi)是否被手覆蓋， 實(shí)現(xiàn)與用戶的交互。圖6為確定交互式區(qū)域的示意圖，左邊為正視圖，右邊為檢測出的實(shí)際 試圖，其中左下角區(qū)域為交互區(qū)域，該交互區(qū)域隨交互視的位置角度變化而變化。
其中，所述步驟70)交互步驟如圖5所示，具體包括以下步驟
步驟71)、從攝像頭取入當(dāng)前幀；
步驟72)、判斷是否識別出標(biāo)志物，如果是，執(zhí)行步驟73),如果否，轉(zhuǎn)步驟71); 步驟73)、判斷當(dāng)前幀的交互區(qū)域內(nèi)有無膚色，如果有，執(zhí)行步驟74)，如果無，執(zhí)行步 驟71);
步驟74)、啟動交互效果。
進(jìn)一步地，在所述步驟73)之后所述步驟74)之前，還包括以下步驟 判斷交互區(qū)域被手覆蓋是否連續(xù)且達(dá)到一定幀數(shù)，如果是執(zhí)行步驟74)，如果否，轉(zhuǎn)步驟 71)。
其中，所述步驟73)中采用色度閾值判定方法檢測是否存在膚色，通過統(tǒng)計多次采集當(dāng) 前光線下的膚色值，為膚色的r、 g、 b值確定一個閾值范圍，然后對每個交互區(qū)域內(nèi)的像素 進(jìn)行判斷，若該像素值在膚色的閾值范圍內(nèi)，即認(rèn)定檢測到一個像素的膚色值。
其中，所述膚色色度中的r分量統(tǒng)一為值200， g分量閾值范圍為[120， 190]， b分量為 [100， 160]，當(dāng)檢測到膚色的像素值總數(shù)達(dá)到設(shè)定數(shù)目后，判定這一幀內(nèi)的交互區(qū)域內(nèi)有手 覆蓋于其上。
進(jìn)一步地，如圖3所示，所述步驟20)具體包括以下步驟 步驟21)、將彩色圖轉(zhuǎn)化為灰度步驟22)、初步提取特征點(diǎn)，具體提取特征點(diǎn)的方法如下
對于圖片上的每個象素m，若以m為中點(diǎn)、圍繞著m的八個象素中的任意兩個滿足以下兩 個條件
a、 這兩個像素處于以m為中點(diǎn)的這圈像素的某條直徑兩端；
b、 這兩個像素的灰度值均與m接近。
則這個像素m被認(rèn)為是"不穩(wěn)定"的點(diǎn)。排除所有"不穩(wěn)定"的像素后，剩下的即為初步 提取出的"較穩(wěn)定"特征點(diǎn)。這樣可以很快地去除位于灰度值較平均的區(qū)域與位于邊緣上的點(diǎn)；
步驟23)、把灰度圖進(jìn)行正視圖視角變換，在變換后的視圖中提取特征點(diǎn)，用來得到更為 穩(wěn)定的特征點(diǎn)，具體如下
對于一幅給定的標(biāo)志物的正視圖，用步驟22)中的方法提取出M個特征點(diǎn)，按特征點(diǎn)的 坐標(biāo)位置順序編號，構(gòu)成一個特征點(diǎn)集合K^、， k2……kM}，集合中每個元素表示相應(yīng)編號的 一個特征點(diǎn)。
對該標(biāo)志物原始正視圖進(jìn)行多個不同角度的透視變換，并給變換后的正視圖加上白噪聲， 之后再利用步驟22)中的方法提取變換后的視圖的特征點(diǎn)，再利用反變換將提取出的特征點(diǎn) 還原為相應(yīng)的正視圖特征點(diǎn)。統(tǒng)計多個經(jīng)過不同角度變換的視圖經(jīng)上述"變換-提取-還原" 后的特征點(diǎn)仍能找到原始正視圖相對應(yīng)特征點(diǎn)的概率，概率最高的N個點(diǎn)被最終確認(rèn)為"穩(wěn) 定"的特征點(diǎn)。通過該方法可對步驟22)中提取出的特征點(diǎn)進(jìn)行進(jìn)一步篩選，得到最為穩(wěn)定 的特征點(diǎn)。集合K的元素數(shù)由M減為N，即K^Id， K2……KN};
步驟24)、構(gòu)建"特定視點(diǎn)集合"，該"特定視點(diǎn)集合"用于步驟25)中訓(xùn)練與構(gòu)建"隨 機(jī)樹"；
本發(fā)明基于特征點(diǎn)提取與隨機(jī)樹分類對標(biāo)志物進(jìn)行識別且計算標(biāo)志物在攝像頭坐標(biāo)系中 的位置，其中一個最為關(guān)鍵的問題是，判斷待識別幀中是否包含正視圖上的"穩(wěn)定特征點(diǎn)"， 以及包含的是哪個特征點(diǎn)。為實(shí)現(xiàn)此目的，構(gòu)建了 "特定視點(diǎn)集合"，對其的解釋如下
將所有經(jīng)不同角度的透視變換的正視圖中的同一個特征點(diǎn)取出，專門構(gòu)成一個集合，可得 到N個集合，每個集合對應(yīng)一個穩(wěn)定特征點(diǎn)，這些集合即所謂的"特定視點(diǎn)集合"。例如，將 原始正視圖分別繞x軸、y軸按(-;r， +;r)的范圍旋轉(zhuǎn)進(jìn)行透視變換，將繞x軸的轉(zhuǎn)向均分 為Lx個角度，將繞y軸的轉(zhuǎn)向均分為Ly個角度，最終可得L=LxXLy幅變換視圖，將所有變 換視圖中編號相同的特征點(diǎn)取出，可得到N個集合V^ka，Vn2……vJ,l《n《N，每個Vn就是 對應(yīng)一個特征點(diǎn)的"特定視點(diǎn)集合"，該集合中的每個元素包含了在不同視角變換下同一特征 點(diǎn)的不同位置；
步驟25)、構(gòu)建隨機(jī)樹用以特征點(diǎn)分類和識別；
隨機(jī)樹分類法是一種快速簡潔的分類法。其具體構(gòu)建方法如下
隨機(jī)樹采用二叉樹結(jié)構(gòu)，只有一個樹冠，分出兩個節(jié)點(diǎn)，每個節(jié)點(diǎn)再分出兩個節(jié)點(diǎn)，依次 遞歸，直到最底層的節(jié)點(diǎn)不再有分支，稱之為樹葉。每個節(jié)點(diǎn)都有一個判斷公式，當(dāng)一個數(shù) 據(jù)從樹冠輸入后，每個節(jié)點(diǎn)的判斷公式會對其進(jìn)行判斷，以決定將其放入左邊還是右邊的節(jié) 點(diǎn)，放入下一層節(jié)點(diǎn)后再進(jìn)行判斷，直到進(jìn)入某一個樹葉。本發(fā)明中，輸入的數(shù)據(jù)為32X32
14像素的面片，每個面片可包含或不包含特征點(diǎn)。在訓(xùn)練時將大量包含"特定視點(diǎn)集合"中的 特征點(diǎn)的面片輸入隨機(jī)樹，讓每個面片進(jìn)入某一片樹葉，當(dāng)所有的面片都進(jìn)入樹葉后，便可 計算每片葉子對應(yīng)所有"穩(wěn)定"的特征點(diǎn)的概率分布，即數(shù)一下進(jìn)入這個葉片的每個編號的 特征點(diǎn)的總數(shù)占進(jìn)入這個葉片的總面片數(shù)的比例。這樣，每片葉子都包含各自的一組面向所 有"穩(wěn)定"特征點(diǎn)的概率分布。本實(shí)施例中使用了多棵隨機(jī)樹來增加識別的準(zhǔn)確性。某片樹 葉包含的概率分布可由如下公式表示
其中，p代表32X32像素的一塊面片，Y (/7)是該面片所包含的特征點(diǎn)對應(yīng)的特征點(diǎn)標(biāo) 號，ce{-l， 1， 2……N}，其中-1表示不包含任何特征點(diǎn)的面片。l為隨機(jī)樹的編號，；/代表
p面片投入第1棵樹所到達(dá)的那片樹葉。
為每個結(jié)點(diǎn)選取的多種判斷公式，本實(shí)施例中為每個結(jié)點(diǎn)選取的判斷公式如下
其中，/0 ,m)表示面片； 在"點(diǎn)的亮度，w,，/^，m3,W4為面片；p中隨機(jī)挑選的四個位置不 同像素。
這樣便構(gòu)建起了一棵隨機(jī)樹，其主要特征就是各個結(jié)點(diǎn)上的判斷公式以及各片葉子上不同 的概率分布。
通過以不同方式分割面片與計算每個像素不同方向的梯度值，可為每個節(jié)點(diǎn)設(shè)置不同的判 斷公式，進(jìn)而構(gòu)建出多棵不同的隨機(jī)樹。
進(jìn)一步地，所述步驟40)具體包括以下步驟
將攝像頭采集的一幀圖像分解為32X32像素的面片，將每片面片輸入步驟25)中構(gòu)建的 不同的隨機(jī)樹；
f (p)表示面片p所包含特征點(diǎn)經(jīng)估算得到的特征點(diǎn)標(biāo)號，f (p)可利用以下公式算得
該公式的含義是將面片p在不同樹中所到達(dá)的葉片的概率分布相加取平均值，得到一個平 均概率分布，將這個平均概率分布中概率最大的那個穩(wěn)定特征點(diǎn)的標(biāo)號，作為面片p對應(yīng)的 特征點(diǎn)的標(biāo)號。利用該公式便可以建立新采集圖像特征點(diǎn)和原始正視圖特征點(diǎn)的對應(yīng)。實(shí)驗
'如果/(p,附,)-/(a m2)《/(; ， w3) — /Cp，附4)進(jìn)入左節(jié)點(diǎn) 其他 進(jìn)入右節(jié)點(diǎn)表明，該對應(yīng)的正確率在90%以上。在建立了特征點(diǎn)的對應(yīng)之后，便可以利用計算機(jī)視覺中常 用的算法來計算標(biāo)志物在攝像頭坐標(biāo)系中的位置。圖4顯示了一頁書上特征點(diǎn)對應(yīng)的情況。
以上所述的實(shí)施例僅用于說明本發(fā)明的技術(shù)思想及特點(diǎn)，其目的在使本領(lǐng)域內(nèi)的技術(shù)人 員能夠了解本發(fā)明的內(nèi)容并據(jù)以實(shí)施，當(dāng)不能僅以本實(shí)施例來限定本發(fā)明的專利范圍，即凡 依本發(fā)明所揭示的精神所作的同等變化或修飾，仍落在本發(fā)明的專利范圍內(nèi)。
權(quán)利要求
1、一種帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于包括以下步驟步驟10)、初始化系統(tǒng)環(huán)境、配置系統(tǒng)參數(shù)；步驟20)、選擇或提取一幅標(biāo)志物正視圖，對標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)；步驟30)、計算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并進(jìn)行校正；步驟40)、對攝像頭拍攝到的真實(shí)環(huán)境中的每一幀，利用步驟30)中的數(shù)據(jù)進(jìn)行校正，再基于步驟20)中的訓(xùn)練數(shù)據(jù)識別標(biāo)志物，若含有標(biāo)志物，則計算該標(biāo)志物在攝像頭坐標(biāo)系中的相對位置矩陣，并通過對已識別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán)境的光照信息；步驟50)、通過識別出的標(biāo)志物尋找對應(yīng)虛擬模型，利用提取出的標(biāo)志物位置矩陣確定模型的位置；步驟60)、在真實(shí)拍攝的視頻幀上根據(jù)計算出的相對位置繪制虛擬模型；步驟70)、在標(biāo)志物附近設(shè)置交互區(qū)域，通過檢測交互區(qū)域內(nèi)是否被手覆蓋，實(shí)現(xiàn)與用戶的交互。
2、 根據(jù)權(quán)利要求1所述的帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述步驟70) 交互步驟具體包括以下步驟步驟71)、從攝像頭取入當(dāng)前幀；步驟72)、判斷是否識別出標(biāo)志物，如果是，執(zhí)行步驟73),如果否，轉(zhuǎn)步驟71); 步驟73)、判斷當(dāng)前幀的交互區(qū)域內(nèi)有無膚色，如果有，執(zhí)行步驟74)，如果無，執(zhí)行步 驟71);步驟74)、啟動交互效果。
3、 根據(jù)權(quán)利要求2所述的帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，在所述步驟73) 之后所述步驟74)之前，還包括以下步驟判斷交互區(qū)域被手覆蓋是否連續(xù)且達(dá)到一定幀數(shù)，如果是執(zhí)行步驟74)，如果否，轉(zhuǎn)步驟 71)。
4、 根據(jù)權(quán)利要求3所述的帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于所述步驟73) 中采用色度閾值判定方法檢測是否存在膚色，通過統(tǒng)計多次采集當(dāng)前光線下的膚色值，為膚 色的r、 g、 b值確定一個閾值范圍，然后對每個交互區(qū)域內(nèi)的像素進(jìn)行判斷，若該像素值在 膚色的閾值范圍內(nèi)，即認(rèn)定檢測到一個像素的膚色值。
5、 根據(jù)權(quán)利要求4所述的帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于所述膚色色度 中的r分量統(tǒng)一為值200， g分量閾值范圍為[120， 190]， b分量為[100， 160]，當(dāng)檢測到膚色的像素值總數(shù)達(dá)到設(shè)定數(shù)目后，判定這一幀內(nèi)的交互區(qū)域內(nèi)有手覆蓋于其上。
6、 根據(jù)權(quán)利要求1至5中任一權(quán)利要求所述的帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法，其特征 在于，所述步驟20)具體包括以下步驟步驟21)、將彩色圖轉(zhuǎn)化為灰度圖；步驟22)、初步提取特征點(diǎn)，具體提取特征點(diǎn)的方法如下對于圖片上的每個象素m，若以m為中點(diǎn)、圍繞著m的八個象素中的任意兩個滿足以下兩 個條件，則排除這個像素m:a、 這兩個像素處于以m為中點(diǎn)的這圈像素的某條直徑兩端，b、 這兩個像素的灰度值均與m接近；步驟23)、把灰度圖進(jìn)行正視圖視角變換，在變換后的視圖中提取特征點(diǎn)，用來得到更為 穩(wěn)定的特征點(diǎn)；步驟24)、將所有經(jīng)不同角度的透視變換的正視圖中的同一個特征點(diǎn)取出，構(gòu)成一個"特 定視點(diǎn)集合"，得到N個"特定視點(diǎn)集合"，每個"特定視點(diǎn)集合"對應(yīng)一個穩(wěn)定特征點(diǎn)； 步驟25)、構(gòu)建隨機(jī)樹用以特征點(diǎn)分類和識別。
7、 根據(jù)權(quán)利要求6所述的帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述步驟24) 中"特定視點(diǎn)集合"的構(gòu)成方法為-將原始正視圖分別繞x軸、y軸按(-v, +;r)的范圍旋轉(zhuǎn)進(jìn)行透視變換，將繞x軸的轉(zhuǎn) 向均分為Lx個角度，將繞y軸的轉(zhuǎn)向均分為Ly個角度，得L:LxXLy幅變換視圖，將所有變 換視圖中編號相同的特征點(diǎn)取出，得到N個集合V ={Vnl， v 2……1《n《N，每個Vn就是對 應(yīng)一個特征點(diǎn)的"特定視點(diǎn)集合"，該集合中的每個元素包含了在不同視角變換下同一特征點(diǎn) 的不同位置。
8、 根據(jù)權(quán)利要求7所述的帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述步驟23) 具體為對于一幅給定的標(biāo)志物的正視圖，用步驟22)中的方法提取出M個特征點(diǎn)，按特征點(diǎn)的 坐標(biāo)位置順序編號，構(gòu)成一個特征點(diǎn)集合K^k,， k2……kM}，集合中每個元素表示相應(yīng)編號的 一個特征點(diǎn)；對該標(biāo)志物原始正視圖進(jìn)行多個不同角度的透視變換，并給變換后的正視圖加上白噪聲， 之后再利用步驟22)中的方法提取變換后的視圖的特征點(diǎn)，再利用反變換將提取出的特征點(diǎn) 還原為相應(yīng)的正視圖特征點(diǎn)；統(tǒng)計多個經(jīng)過不同角度變換的視圖經(jīng)上述"變換-提取-還原" 后的特征點(diǎn)仍能找到原始正視圖相對應(yīng)特征點(diǎn)的概率，概率最高的N個點(diǎn)被確認(rèn)為"穩(wěn)定"的特征點(diǎn)，集合K的元素數(shù)由M減為N，即KHK" K2……KN}。
9、根據(jù)權(quán)利要求8所述的帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，所述步驟25) 中構(gòu)建隨機(jī)樹用以特征點(diǎn)分類和識別，具體如下隨機(jī)樹采用二叉樹結(jié)構(gòu)，輸入的數(shù)據(jù)為32X32像素的面片，在訓(xùn)練時將大量包含"特定 視點(diǎn)集合"中的特征點(diǎn)的面片輸入隨機(jī)樹，讓每個面片進(jìn)入某一片樹葉，當(dāng)所有的面片都進(jìn) 入樹葉后，計算每片葉子對應(yīng)所有"穩(wěn)定"的特征點(diǎn)的概率分布，某片樹葉包含的概率分布 可由如下公式表示其中，p代表32X32像素的一塊面片，Y (p)是該面片所包含的特征點(diǎn)對應(yīng)的特征點(diǎn)標(biāo) 號，ce{_l， 1， 2……N}，其中-l表示不包含任何特征點(diǎn)的面片，l為隨機(jī)樹的編號，；7代表p面片投入第1棵樹所到達(dá)的那片樹葉； 為每個結(jié)點(diǎn)選取的判斷公式如下，其中，/(A附)表示面片P在歷點(diǎn)的亮度，附p附2，/^,附4為面片P中隨機(jī)挑選的四個位置不 同像素。所述步驟40)具體包括以下步驟將采集的一幀圖像分解為32X32像素的面片，將每片面片輸入步驟25)中構(gòu)建的不同的 隨機(jī)樹；f O)表示面片p所包含特征點(diǎn)經(jīng)估算得到的特征點(diǎn)標(biāo)號，f 0 )利用以下公式算得該公式是將面片p在不同樹中所到達(dá)的葉片的概率分布相加取平均值，得到一個平均概率 分布，將這個平均概率分布中概率最大的那個穩(wěn)定特征點(diǎn)的標(biāo)號，作為面片p對應(yīng)的特征點(diǎn) 的標(biāo)號；利用該公式建立新采集圖像特征點(diǎn)和原始正視圖特征點(diǎn)的對應(yīng)。
10、 一種帶有交互功能的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，其特征在于包括視頻幀訓(xùn)練模塊，用于選擇或提取一幅標(biāo)志物正視圖，對標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)；視頻幀校正模塊，與所述視頻幀訓(xùn)練模塊相連接，用于計算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并'如果/(/ ,附》—/0 ，附2)^/(/7，附3) —/(/7，附4),進(jìn)入左節(jié)點(diǎn)其他 ，進(jìn)入右節(jié)點(diǎn)進(jìn)行校正；視頻幀捕獲模塊，與所述視頻幀訓(xùn)練模塊和所述視頻幀校正模塊相連接，用于對攝像頭拍 攝到的真實(shí)環(huán)境中的每一幀，利用所述視頻幀校正模塊中的數(shù)據(jù)進(jìn)行校正，再基于所述視頻 幀訓(xùn)練模塊中的訓(xùn)練數(shù)據(jù)識別標(biāo)志物，若含有標(biāo)志物，則計算該標(biāo)志物在攝像頭坐標(biāo)系中的 相對位置矩陣，并通過對己識別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán) 境的光照信息；虛實(shí)合成模塊，與視頻幀捕獲模塊相連接，用于通過識別出的標(biāo)志物尋找對應(yīng)虛擬模型， 利用提取出的標(biāo)志物位置矩陣確定模型的位置，在真實(shí)拍攝的視頻幀上根據(jù)計算出的相對位 置繪制虛擬模型；交互模塊，與所述虛實(shí)合成模塊相連接，用于在標(biāo)志物附近設(shè)置交互區(qū)域，通過檢測交互 區(qū)域內(nèi)是否被手覆蓋，實(shí)現(xiàn)與用戶的交互。
全文摘要
帶有交互功能的增強(qiáng)現(xiàn)實(shí)的方法及其系統(tǒng)，包括初始化系統(tǒng)環(huán)境、配置系統(tǒng)參數(shù)；選擇或提取一幅標(biāo)志物正視圖，對標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)；計算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并進(jìn)行校正；對攝像頭拍攝到的真實(shí)環(huán)境中的每一幀，進(jìn)行校正，基于訓(xùn)練數(shù)據(jù)識別標(biāo)志物，計算該標(biāo)志物在攝像頭坐標(biāo)系中的相對位置矩陣，并通過對已識別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對來估算標(biāo)志物所處環(huán)境的光照信息；通過識別出的標(biāo)志物尋找對應(yīng)虛擬模型，利用提取出的標(biāo)志物位置矩陣確定模型的位置，繪制虛擬模型，設(shè)置交互區(qū)域并與用戶的交互。本發(fā)明極大地減少了對標(biāo)志物的限制，可用于對地圖與復(fù)雜二維圖像進(jìn)行標(biāo)示，也可在任意二維圖像上合成三維模型。
文檔編號G06F3/048GK101551732SQ200910048110
公開日2009年10月7日 申請日期2009年3月24日 優(yōu)先權(quán)日2009年3月24日
發(fā)明者周暖云, 季斐翀, 晉 潘, 濤 陸 申請人:上海水晶石信息技術(shù)有限公司