一種涂鴉增強(qiáng)現(xiàn)實(shí)的方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)領(lǐng)域，特別涉及一種涂鴉增強(qiáng)現(xiàn)實(shí)的方法及系統(tǒng)。
【背景技術(shù)】
[0002]目前的增強(qiáng)現(xiàn)實(shí)技術(shù)，首先是利用圖像處理技術(shù)來識別標(biāo)記圖，并跟蹤定位虛擬攝像機(jī)相對于真實(shí)空間的位置和朝向，之后將預(yù)設(shè)制作好的模型或者視頻文件疊加顯示在真實(shí)的攝像機(jī)圖像上，這種方式中，標(biāo)記圖的作用僅僅是作為虛擬影像的顯示定位點(diǎn)，而虛擬圖像和現(xiàn)實(shí)之間的交互相對較少，用戶對于虛擬影像能夠改變元素較少，一定程度上影響了增強(qiáng)現(xiàn)實(shí)的用戶體驗(yàn)。其中，增強(qiáng)現(xiàn)實(shí)是一種實(shí)時計(jì)算攝影機(jī)影像位置及角度加上相應(yīng)圖像的技術(shù)，該技術(shù)的目標(biāo)是在屏幕上把虛擬世界影像疊加到現(xiàn)實(shí)世界中并進(jìn)行互動?，F(xiàn)有增強(qiáng)現(xiàn)實(shí)(AR)技術(shù)中，現(xiàn)實(shí)內(nèi)容和虛擬內(nèi)容之間是分離開的，除了空間角度位置關(guān)聯(lián)以外，沒有其他關(guān)聯(lián)。
[0003]因此，如何增加增強(qiáng)現(xiàn)實(shí)應(yīng)用的用戶體驗(yàn)，讓用戶可以獲得虛擬和現(xiàn)實(shí)更好的交互體驗(yàn)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種涂鴉增強(qiáng)現(xiàn)實(shí)的方法及系統(tǒng)，能夠通過涂鴉交互的方式，可以使得用戶通過改變現(xiàn)實(shí)中標(biāo)記圖圖案的方式影響在增強(qiáng)現(xiàn)實(shí)中顯示的虛擬內(nèi)容，提尚用戶的互動體驗(yàn)。
[0005]為解決上述技術(shù)問題，本發(fā)明提供一種涂鴉增強(qiáng)現(xiàn)實(shí)的方法，包括:
[0006]將輪廓標(biāo)記圖的像素內(nèi)容信息關(guān)聯(lián)顯示到虛擬內(nèi)容上，得到對應(yīng)的模型；
[0007]檢測并提取所述輪廓標(biāo)記圖進(jìn)行涂鴉后的涂鴉標(biāo)記圖；
[0008]將所述涂鴉標(biāo)記圖及所述模型通過增強(qiáng)現(xiàn)實(shí)插件，得到涂鴉標(biāo)記圖對應(yīng)的虛擬圖像。
[0009]其中，所述檢測并提取所述輪廓標(biāo)記圖進(jìn)行涂鴉后的涂鴉標(biāo)記圖，包括:
[0010]檢測并截取包含涂鴉后標(biāo)記圖的四邊形圖像；
[0011]利用圖像矯正算法對所述四邊形圖像進(jìn)行矯正，得到標(biāo)準(zhǔn)的矩形圖像作為涂鴉標(biāo)記圖。
[0012]其中，所述檢測并截取包含涂鴉后標(biāo)記圖的四邊形圖像，包括:
[0013]獲取增強(qiáng)現(xiàn)實(shí)攝像機(jī)拍攝的圖像；
[0014]判斷涂鴉后標(biāo)記圖是否完全顯示在所述圖像內(nèi)；
[0015]若是，則截取包含涂鴉后標(biāo)記圖的最小矩形圖像。
[0016]其中，所述判斷涂鴉后標(biāo)記圖是否完全顯示在所述圖像內(nèi)，包括:
[0017]將涂鴉后標(biāo)記圖的四角分別放置空物體，并將四個空物體的世界坐標(biāo)轉(zhuǎn)換成增強(qiáng)現(xiàn)實(shí)攝像機(jī)的屏蒂坐標(biāo);
[0018]當(dāng)所述圖像中四個空物體對應(yīng)的屏幕坐標(biāo)都在屏幕分辨率之內(nèi)，則涂鴉后標(biāo)記圖完全顯示在所述圖像內(nèi)。
[0019]其中，所述利用圖像矯正算法對所述四邊形圖像進(jìn)行矯正，得到標(biāo)準(zhǔn)的矩形圖像作為涂鴉標(biāo)記圖，包括:
[0020]將四個空物體對應(yīng)的屏幕坐標(biāo)，及所述最小矩形圖像輸入Opencv中；
[0021]利用get Perspective Transform計(jì)算所述最小矩形圖像的透視變換矩陣；
[0022]根據(jù)所述透視變換矩陣，利用warp Perspective將所述最小矩形圖像透視變換到新視平面，得到標(biāo)準(zhǔn)的矩形圖像作為涂鴉標(biāo)記圖。
[0023]本發(fā)明提供一種涂鴉增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，包括:
[0024]模型獲取模塊，用于將輪廓標(biāo)記圖的像素內(nèi)容信息關(guān)聯(lián)顯示到虛擬內(nèi)容上，得到對應(yīng)的模型；
[0025]涂鴉標(biāo)記圖獲取模塊，用于檢測并提取所述輪廓標(biāo)記圖進(jìn)行涂鴉后的涂鴉標(biāo)記圖；
[0026]增強(qiáng)現(xiàn)實(shí)模塊，用于將所述涂鴉標(biāo)記圖及所述模型通過增強(qiáng)現(xiàn)實(shí)插件，得到涂鴉標(biāo)記圖對應(yīng)的虛擬圖像。
[0027]其中，所述涂鴉標(biāo)記圖獲取模塊包括:
[0028]檢測子模塊，用于檢測并截取包含涂鴉后標(biāo)記圖的四邊形圖像；
[0029]矯正子模塊，用于利用圖像矯正算法對所述四邊形圖像進(jìn)行矯正，得到標(biāo)準(zhǔn)的矩形圖像作為涂鴉標(biāo)記圖。
[0030]其中，所述檢測子模塊包括:
[0031 ]獲取單元，用于獲取增強(qiáng)現(xiàn)實(shí)攝像機(jī)拍攝的圖像；
[0032]判斷單元，用于判斷涂鴉后標(biāo)記圖是否完全顯示在所述圖像內(nèi)；
[0033]截取單元，用于若是，則截取包含涂鴉后標(biāo)記圖的最小矩形圖像。
[0034]其中，所述判斷單元包括:
[0035]轉(zhuǎn)換子單元，用于轉(zhuǎn)換將涂鴉后標(biāo)記圖的四角分別放置空物體，并將四個空物體的世界坐標(biāo)轉(zhuǎn)換成增強(qiáng)現(xiàn)實(shí)攝像機(jī)的屏幕坐標(biāo)；
[0036]判斷子單元，用于當(dāng)所述圖像中四個空物體對應(yīng)的屏幕坐標(biāo)都在屏幕分辨率之內(nèi)，則涂鴉后標(biāo)記圖完全顯示在所述圖像內(nèi)。
[0037]其中，所述矯正子模塊包括:
[0038]輸入單元，用于將四個空物體對應(yīng)的屏幕坐標(biāo)，及所述最小矩形圖像輸入Opencv中；
[0039]變換單元，用于利用get Perspective Transform計(jì)算所述最小矩形圖像的透視變換矩陣；
[°04°] 矯正單元，用于根據(jù)所述透視變換矩陣，利用warp Perspective將所述最小矩形圖像透視變換到新視平面，得到標(biāo)準(zhǔn)的矩形圖像作為涂鴉標(biāo)記圖。
[0041]本發(fā)明所提供的涂鴉增強(qiáng)現(xiàn)實(shí)的方法及系統(tǒng)，包括:將輪廓標(biāo)記圖的像素內(nèi)容信息關(guān)聯(lián)顯示到虛擬內(nèi)容上，得到對應(yīng)的模型;檢測并提取所述輪廓標(biāo)記圖進(jìn)行涂鴉后的涂鴉標(biāo)記圖；將所述涂鴉標(biāo)記圖及所述模型通過增強(qiáng)現(xiàn)實(shí)插件，得到涂鴉標(biāo)記圖對應(yīng)的虛擬圖像；
[0042]該方法首先利用輪廓標(biāo)記圖獲取對應(yīng)的立體模型，用戶通過對輪廓標(biāo)記圖進(jìn)行涂鴉互動得到涂鴉后標(biāo)記圖，將用戶想要的東西在涂鴉后標(biāo)記圖中表現(xiàn)出來，并檢測提取涂鴉標(biāo)記圖；利用增強(qiáng)現(xiàn)實(shí)插件將涂鴉標(biāo)記圖貼圖到所述立體模型，得到虛擬圖像；即該方法通過涂鴉交互的方式，可以使得用戶通過改變現(xiàn)實(shí)中標(biāo)記圖圖案的方式影響在增強(qiáng)現(xiàn)實(shí)中顯不的虛擬內(nèi)容，提尚用戶的互動體驗(yàn)。
【附圖說明】
[0043]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。
[0044]圖1為本發(fā)明實(shí)施例所提供的涂鴉增強(qiáng)現(xiàn)實(shí)的方法的流程圖；
[0045]圖2為本發(fā)明實(shí)施例所提供的標(biāo)記圖矯正的效果示意圖；
[0046]圖3為本發(fā)明實(shí)施例所提供的涂鴉增強(qiáng)現(xiàn)實(shí)的系統(tǒng)的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0047]本發(fā)明的核心是提供一種涂鴉增強(qiáng)現(xiàn)實(shí)的方法及系統(tǒng)，能夠通過涂鴉交互的方式，可以使得用戶通過改變現(xiàn)實(shí)中標(biāo)記圖圖案的方式影響在增強(qiáng)現(xiàn)實(shí)中顯示的虛擬內(nèi)容，提尚用戶的互動體驗(yàn)。
[0048]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0049]涂鴉增強(qiáng)現(xiàn)實(shí)是指用涂鴉的方式來改變增強(qiáng)現(xiàn)實(shí)中的標(biāo)記圖圖案，同時應(yīng)用顯示的虛擬影像中包含了顯示的標(biāo)記圖案。
[0050]增加增強(qiáng)現(xiàn)實(shí)應(yīng)用的用戶體驗(yàn)，通過在增強(qiáng)現(xiàn)實(shí)應(yīng)用中獲取攝像頭圖像，并進(jìn)行處理后顯示在虛擬模型上，讓用戶可以改變現(xiàn)實(shí)標(biāo)記圖像的方式來影響改變虛擬影像，從而獲得虛擬和現(xiàn)實(shí)更好的交互體驗(yàn)。
[0051]請參考圖1，圖1為本發(fā)明實(shí)施例所提供的涂鴉增強(qiáng)現(xiàn)實(shí)的方法的流程圖；該方