巧妙設(shè)計(jì)了基于局部特征的算法，準(zhǔn)確率高達(dá)98%以上。
[0022]3、獲得實(shí)時(shí)渲染效果。
[0023]4、本系統(tǒng)可適應(yīng)距離較大:目標(biāo)圖像離攝像頭1cm-1OOcm (目標(biāo)圖像出現(xiàn)在攝像頭的尺寸為64x64像素到略大于攝像頭分辨率大小)都可以有效檢測(cè)。
[0024]5、本系統(tǒng)可適應(yīng)360全角度的圖像平面旋轉(zhuǎn)。
[0025]6、可適應(yīng)較多圖像源，包括打印黑白圖、彩色圖、顯示屏顯示圖像(手機(jī)、平板)等。
【附圖說(shuō)明】
[0026]圖1是本發(fā)明檢索流程圖。
【具體實(shí)施方式】
[0027]下面下結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步描述，理解本發(fā)明。
[0028]參見(jiàn)附圖1，一種基于在圖像上無(wú)標(biāo)記增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，它包括圖像檢索系統(tǒng)，即使用手機(jī)攝像頭掃描場(chǎng)景，在數(shù)據(jù)庫(kù)中檢索場(chǎng)景中出現(xiàn)的圖像，尋找與之一致的圖像作為檢索結(jié)果；和增強(qiáng)現(xiàn)實(shí)系統(tǒng)，即將與該圖像對(duì)應(yīng)的視頻介紹渲染到場(chǎng)景中該圖像的位置，進(jìn)行現(xiàn)實(shí)增強(qiáng)。
[0029]種基于在圖像上無(wú)標(biāo)記增強(qiáng)現(xiàn)實(shí)的方法，所述的圖像檢索采用不變性描述子ORB來(lái)對(duì)圖像進(jìn)行特征點(diǎn)檢測(cè)和描述，具體過(guò)程檢索流程如下:
步驟1、利用不變性描述子ORB特征點(diǎn)檢測(cè)器對(duì)數(shù)據(jù)庫(kù)中的每一張圖像和待檢索圖像進(jìn)行特征點(diǎn)檢測(cè)，并使用不變性O(shè)RB描述子來(lái)描述每個(gè)特征點(diǎn)，得到256bit的二值特征。
[0030]步驟2、對(duì)數(shù)據(jù)庫(kù)中的某張圖像，對(duì)待檢索圖像的每一個(gè)特征點(diǎn)，通過(guò)特征點(diǎn)描述子的比較，在數(shù)據(jù)庫(kù)的這個(gè)圖像中尋找近鄰的特征點(diǎn)。
[0031]步驟3、對(duì)得到的特征點(diǎn)匹配對(duì)進(jìn)行初篩選，去除誤匹配的特征點(diǎn)；原則是:(1)、特征點(diǎn)匹配對(duì)的歐式距離大于一定閾值的去除；(2)、最近鄰和次近鄰的特征點(diǎn)匹配對(duì)的歐式距離比值小于一定閾值的去除；如果篩選后的匹配對(duì)少于一定閾值，則表明數(shù)據(jù)庫(kù)中該圖像和待檢索圖像非一致圖像。
[0032]步驟4、對(duì)經(jīng)過(guò)篩選后的匹配點(diǎn)對(duì)，運(yùn)用RANSAC算法進(jìn)行仿射矩陣的計(jì)算和內(nèi)點(diǎn)的查找即對(duì)匹配點(diǎn)對(duì)的二次篩選。
[0033]步驟5、統(tǒng)計(jì)內(nèi)點(diǎn)個(gè)數(shù)，如果二次篩選后的匹配對(duì)少于一定閾值，則表明數(shù)據(jù)庫(kù)中該圖像和待檢索圖像非一致圖像。
[0034]步驟6、利用步驟4得到的仿射矩陣，對(duì)庫(kù)中圖像的五個(gè)參考點(diǎn)，四角和中心點(diǎn)進(jìn)行仿射變換，得到變換后的五個(gè)點(diǎn)；如果變換后的五個(gè)點(diǎn)不滿足以下關(guān)系，則表明數(shù)據(jù)庫(kù)中該圖像和待檢索圖像非一致圖像。原則是:(1)、變換后，中心點(diǎn)依然在四個(gè)角中心。⑵、待檢索特征點(diǎn)在變換后四個(gè)角點(diǎn)內(nèi)部的數(shù)目要大于一定的閾值。(3)、面積要在一定的允許范圍。
[0035]步驟7、將對(duì)邊的差異作為幾何校驗(yàn)誤差。庫(kù)中圖像都是矩形，經(jīng)過(guò)步驟6的仿射變換，得到庫(kù)中圖像在檢索圖像上的投影圖像，該圖像是四邊形，四條邊依次是:edgel，edge2，edge3，edge4.其中 edgel 和 edge3 是對(duì)邊，edge2 和 edge4 是對(duì)邊.Error 表示幾何校驗(yàn)誤差，則:
Error = max (abs (edgel -e d g e 3) / (edgel + e d g e 3),abs (edge2 - edge4) / (edge2 + edge4));
Max表示最大值，abs表示絕對(duì)值。
[0036]步驟8、對(duì)數(shù)據(jù)庫(kù)中的每一個(gè)圖像，重復(fù)步驟2-7，取具有最小幾何校驗(yàn)誤差的圖像作為最終的檢索結(jié)果。
[0037]由上述圖像檢索可以獲得估計(jì)的仿射矩陣A，為了獲得更加穩(wěn)定的仿射矩陣，需要對(duì)其仿射矩陣進(jìn)行調(diào)優(yōu)；具體調(diào)優(yōu)步驟如下:
步驟1、將仿射矩陣A應(yīng)用到待檢索圖像中，獲得變換后的圖像。
[0038]步驟2、對(duì)步驟I中獲得的變換圖像重新提取特征點(diǎn)和描述子。
[0039]步驟3、估計(jì)變換圖像與庫(kù)中圖像的仿射矩陣B。
[0040]步驟4、將矩陣A與矩陣B相乘，得到最終調(diào)優(yōu)后的仿射矩陣C。
[0041]步驟5、讀入檢索結(jié)果對(duì)應(yīng)的視頻的每一幀，將每一幀圖像應(yīng)用仿射矩陣C，通過(guò)OpenGL渲染到場(chǎng)景中該圖像的位置，進(jìn)行現(xiàn)實(shí)增強(qiáng)。
[0042]實(shí)施例只是為了便于理解本發(fā)明的技術(shù)方案，并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限制，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容或依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)以上方案所作的任何簡(jiǎn)單修改、等同變化與修飾，均仍屬于本發(fā)明保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.基于在圖像上無(wú)標(biāo)記增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，其特征在于:它包括圖像檢索系統(tǒng)，即使用手機(jī)攝像頭掃描場(chǎng)景，在數(shù)據(jù)庫(kù)中檢索場(chǎng)景中出現(xiàn)的圖像，尋找與之一致的圖像作為檢索結(jié)果；和增強(qiáng)現(xiàn)實(shí)系統(tǒng)，即將與該圖像對(duì)應(yīng)的視頻介紹渲染到場(chǎng)景中該圖像的位置，進(jìn)行現(xiàn)實(shí)增強(qiáng)。2.如根據(jù)權(quán)利要求1所述的一種基于在圖像上無(wú)標(biāo)記增強(qiáng)現(xiàn)實(shí)的方法，其特征在于:所述的圖像檢索采用不變性描述子ORB來(lái)對(duì)圖像進(jìn)行特征點(diǎn)檢測(cè)和描述，具體過(guò)程檢索流程如下: 步驟1、利用不變性描述子ORB特征點(diǎn)檢測(cè)器對(duì)數(shù)據(jù)庫(kù)中的每一張圖像和待檢索圖像進(jìn)行特征點(diǎn)檢測(cè)，并使用不變性O(shè)RB描述子來(lái)描述每個(gè)特征點(diǎn)，得到256bit的二值特征；步驟2、對(duì)數(shù)據(jù)庫(kù)中的某張圖像，對(duì)待檢索圖像的每一個(gè)特征點(diǎn)，通過(guò)特征點(diǎn)描述子的比較，在數(shù)據(jù)庫(kù)的這個(gè)圖像中尋找近鄰的特征點(diǎn)； 步驟3、對(duì)得到的特征點(diǎn)匹配對(duì)進(jìn)行初篩選，去除誤匹配的特征點(diǎn)；原則是:(1)、特征點(diǎn)匹配對(duì)的歐式距離大于一定閾值的去除；(2)、最近鄰和次近鄰的特征點(diǎn)匹配對(duì)的歐式距離比值小于一定閾值的去除；如果篩選后的匹配對(duì)少于一定閾值，則表明數(shù)據(jù)庫(kù)中該圖像和待檢索圖像非一致圖像； 步驟4、對(duì)經(jīng)過(guò)篩選后的匹配點(diǎn)對(duì)，運(yùn)用RANSAC算法進(jìn)行仿射矩陣的計(jì)算和內(nèi)點(diǎn)的查找； 步驟5、統(tǒng)計(jì)內(nèi)點(diǎn)個(gè)數(shù)，如果二次篩選后的匹配對(duì)少于一定閾值，則表明數(shù)據(jù)庫(kù)中該圖像和待檢索圖像非一致圖像； 步驟6、利用步驟4得到的仿射矩陣，對(duì)庫(kù)中圖像的五個(gè)參考點(diǎn)，四角和中心點(diǎn)進(jìn)行仿射變換，得到變換后的五個(gè)點(diǎn)；如果變換后的五個(gè)點(diǎn)不滿足以下關(guān)系，則表明數(shù)據(jù)庫(kù)中該圖像和待檢索圖像非一致圖像； 原則是:(1)、變換后，中心點(diǎn)依然在四個(gè)角中心； ⑵、待檢索特征點(diǎn)在變換后四個(gè)角點(diǎn)內(nèi)部的數(shù)目要大于一定的閾值； (3)、面積要在一定的允許范圍； 步驟7、將對(duì)邊的差異作為幾何校驗(yàn)誤差； 庫(kù)中圖像都是矩形，經(jīng)過(guò)步驟6的仿射變換，得到庫(kù)中圖像在檢索圖像上的投影圖像，該圖像是四邊形，四條邊依次是:edgel，edge2，edge3，edge4.其中edgel和edge3是對(duì)邊，edge2和edge4是對(duì)邊.Error表示幾何校驗(yàn)誤差，則: Error = max (abs (edgel -e d g e 3) / (edgel + e d g e 3),abs (edge2 - edge4) / (edge2 + edge4)); Max表示最大值，abs表示絕對(duì)值； 步驟8、對(duì)數(shù)據(jù)庫(kù)中的每一個(gè)圖像，重復(fù)步驟2-7，取具有最小幾何校驗(yàn)誤差的圖像作為最終的檢索結(jié)果。3.根據(jù)權(quán)利要求2所述的一種基于在圖像上無(wú)標(biāo)記增強(qiáng)現(xiàn)實(shí)的方法，其特征在于:由所述的圖像檢索可以獲得估計(jì)的仿射矩陣A，為了獲得更加穩(wěn)定的仿射矩陣，需要對(duì)其仿射矩陣進(jìn)行調(diào)優(yōu)；具體調(diào)優(yōu)步驟如下: 步驟1、將仿射矩陣A應(yīng)用到待檢索圖像中，獲得變換后的圖像； 步驟2、對(duì)步驟I中獲得的變換圖像重新提取特征點(diǎn)和描述子； 步驟3、估計(jì)變換圖像與庫(kù)中圖像的仿射矩陣B ; 步驟4、將矩陣A與矩陣B相乘，得到最終調(diào)優(yōu)后的仿射矩陣C ; 步驟5、讀入檢索結(jié)果對(duì)應(yīng)的視頻的每一幀，將每一幀圖像應(yīng)用仿射矩陣C，通過(guò)OpenGL渲染到場(chǎng)景中該圖像的位置，進(jìn)行現(xiàn)實(shí)增強(qiáng)。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于在圖像上無(wú)標(biāo)記增強(qiáng)現(xiàn)實(shí)的系統(tǒng)和方法，它包括圖像檢索系統(tǒng)，即使用手機(jī)攝像頭掃描場(chǎng)景，在數(shù)據(jù)庫(kù)中檢索場(chǎng)景中出現(xiàn)的圖像，尋找與之一致的圖像作為檢索結(jié)果；和增強(qiáng)現(xiàn)實(shí)系統(tǒng)，即將與該圖像對(duì)應(yīng)的視頻介紹渲染到場(chǎng)景中該圖像的位置，進(jìn)行現(xiàn)實(shí)增強(qiáng)；其具有在圖像上無(wú)標(biāo)記增強(qiáng)現(xiàn)實(shí)，且準(zhǔn)確率高、適應(yīng)距離較大、適應(yīng)較多圖像源的優(yōu)點(diǎn)。
【IPC分類(lèi)】G06T5/00, G06F17/30
【公開(kāi)號(hào)】CN105069754
【申請(qǐng)?zhí)枴緾N201510471459
【發(fā)明人】崔建竹, 殷勝利
【申請(qǐng)人】意科賽特?cái)?shù)碼科技(江蘇)有限公司
【公開(kāi)日】2015年11月18日
【申請(qǐng)日】2015年8月5日