圖像處理裝置和圖像處理方法
【專(zhuān)利摘要】本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)(AR)技術(shù)，其能夠在由相機(jī)所捕獲的自然背景等的數(shù)字圖像上實(shí)時(shí)地合成及顯示具有合適位置、尺寸及定向的CG對(duì)象，而無(wú)需手動(dòng)定位操作。本發(fā)明的特征在于：通過(guò)第一AR分析器(3A)分析由相機(jī)(1)捕獲并且包括AR標(biāo)記圖像的第一捕獲圖像，以便確定AR標(biāo)記圖像在視場(chǎng)中的位置、定向和縮放；在視場(chǎng)中的位置處虛擬放置對(duì)應(yīng)的CG，以便具有AR標(biāo)記圖像的位置、定向和縮放；第二AR分析器(3B)計(jì)算CG對(duì)象相對(duì)于在由相機(jī)隨后捕獲的第二捕獲圖像在視場(chǎng)中的位置處虛擬放置的立體圖；CG呈現(xiàn)單元(5)在第二捕獲圖像中相應(yīng)位置處合成具有所述位置、定向和縮放的CG對(duì)象的圖像；并且在顯示器(7)上顯示所合成的圖像。
【專(zhuān)利說(shuō)明】圖像處理裝置和圖像處理方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及采用了 AR標(biāo)記和自然特征追蹤方法的組合的AR圖像處理裝置和方 法。

【背景技術(shù)】
[0002] 在許多領(lǐng)域中，已經(jīng)采用了這樣的AR圖像處理裝置，所述AR圖像處理裝置被配置 為通過(guò)使用增強(qiáng)現(xiàn)實(shí)（AR)技術(shù)來(lái)在諸如AR標(biāo)記圖像之類(lèi)的目標(biāo)對(duì)象圖像上實(shí)時(shí)地合成CG 對(duì)象，所述目標(biāo)對(duì)象圖像是由作為諸如網(wǎng)絡(luò)相機(jī)或數(shù)字視頻相機(jī)之類(lèi)的圖像捕獲設(shè)備的相 機(jī)所捕獲的。
[0003] 基于標(biāo)記的AR技術(shù)涉及：在形成具有數(shù)字圖像中的特定形狀的組的高級(jí)特征點(diǎn) 中進(jìn)行登記；通過(guò)使用單應(yīng)矩陣等來(lái)從由圖像捕獲設(shè)備捕獲的數(shù)字圖像中檢測(cè)所登記的特 征點(diǎn)；估計(jì)組的位置和姿態(tài)等；并且在與組的位置和姿態(tài)等對(duì)應(yīng)的AR標(biāo)記圖像的位置處合 成并顯示CG對(duì)象。
[0004] 在該AR技術(shù)中，事先登記并且具有特定形狀的特征點(diǎn)被稱(chēng)為AR標(biāo)記（或簡(jiǎn)稱(chēng)為 "標(biāo)記")。通過(guò)在標(biāo)記的登記中增加用于指示現(xiàn)實(shí)世界中的標(biāo)記的尺寸和姿態(tài)的額外信息， 可以在一定程度上準(zhǔn)確地估計(jì)到從圖像捕獲設(shè)備獲取的數(shù)字圖像中的AR標(biāo)記的距離和所 述AR標(biāo)記的尺寸。而且，當(dāng)在數(shù)字圖像中不存在可識(shí)別的特征點(diǎn)時(shí)，顯然無(wú)法估計(jì)標(biāo)記的 位置和姿態(tài)。
[0005] 基于自然特征追蹤的AR技術(shù)（其典型代表為PTAM( "Parallel Tracking and Mapping for Small AR Workspaces (小型AR工作空間的并行追蹤和映射）〃，牛津大學(xué)）） 是優(yōu)秀的方法，其不需要在數(shù)字圖像中事先登記特征點(diǎn)，并且其允許以任意方向和向任何 位置移動(dòng)圖像捕獲設(shè)備，只要能夠追蹤特征點(diǎn)即可，即便當(dāng)連續(xù)移動(dòng)圖像捕獲設(shè)備的位置 時(shí)也是如此。
[0006] 然而，由于需要首先指定基礎(chǔ)位置，因此需要以特定方式來(lái)移動(dòng)圖像捕獲設(shè)備，以 根據(jù)隨著相機(jī)的移動(dòng)而捕獲的多個(gè)圖像中的特征點(diǎn)的移動(dòng)量來(lái)確定基礎(chǔ)位置，并且需要額 外地提供位置和姿態(tài)信息。在這個(gè)過(guò)程中，除非正確地移動(dòng)圖像捕獲設(shè)備，否則無(wú)法準(zhǔn)確地 確定基礎(chǔ)平面。此外，在基于自然特征追蹤的AR技術(shù)中，由于因?yàn)榧夹g(shù)的特性而通常沒(méi)有 執(zhí)行特征點(diǎn)的事先登記，因此無(wú)法準(zhǔn)確地知曉與所捕獲的數(shù)字圖像中的特征點(diǎn)的尺寸和所 述特征點(diǎn)之間的距離相關(guān)的信息。因此，存在通常使用的這樣的方法，即相對(duì)于基礎(chǔ)平面來(lái) 手動(dòng)設(shè)置CG對(duì)象的尺寸、方向和位置。
[0007] 現(xiàn)有技術(shù)文獻(xiàn)
[0008] 專(zhuān)利文獻(xiàn)
[0009] 專(zhuān)利文獻(xiàn)1 :日本專(zhuān)利申請(qǐng)公開(kāi)No. 2011-141828
[0010] 專(zhuān)利文獻(xiàn)2 :日本專(zhuān)利申請(qǐng)公開(kāi)No. 2012-003598


【發(fā)明內(nèi)容】
toon] 本發(fā)明要解決的問(wèn)題
[0012] 本發(fā)明的目的在于提供一種AR圖像處理方法和裝置，其集成了常規(guī)的基于標(biāo)記 的AR技術(shù)和常規(guī)的基于自然特征追蹤的AR技術(shù)這兩者的優(yōu)勢(shì)，并且在由相機(jī)捕獲的自然 景致等的數(shù)字圖像上適當(dāng)?shù)睾铣刹@示CG對(duì)象。
[0013] 更具體而言，本發(fā)明的目的在于提供一種AR圖像處理方法和裝置，其能夠以準(zhǔn)確 的位置、尺寸和姿態(tài)而不需要手動(dòng)定位操作，在由相機(jī)捕獲的自然景致等的數(shù)字圖像上實(shí) 時(shí)地合成并顯示CG對(duì)象，并且即使在向各個(gè)位置并且在各個(gè)方向上移動(dòng)所述相機(jī)時(shí)，其也 能夠?qū)崿F(xiàn)實(shí)際再現(xiàn)。
[0014] 解決問(wèn)題的方案
[0015] 本發(fā)明提供的AR圖像處理方法包括如下步驟：包括如下步驟：獲取由相機(jī)捕獲并 且包括AR標(biāo)記及其周邊環(huán)境的固定視場(chǎng)中的場(chǎng)景；使得第一 AR分析器分析由所述相機(jī)捕 獲并且包括AR標(biāo)記圖像及其周邊環(huán)境的所述場(chǎng)景的第一捕獲圖像，確定所述AR標(biāo)記圖像 在所述視場(chǎng)中的位置、姿態(tài)和縮放，并且在與所述AR標(biāo)記圖像的位置、姿態(tài)和縮放相對(duì)應(yīng) 的所述視場(chǎng)中在適當(dāng)?shù)奈恢锰幪摂M放置對(duì)應(yīng)的CG對(duì)象；使得第二AR分析器針對(duì)在第一視 場(chǎng)中在適當(dāng)?shù)奈恢锰幪摂M放置的CG對(duì)象來(lái)計(jì)算所述CG對(duì)象在由所述相機(jī)在第二視場(chǎng)中隨 后捕獲的第二捕獲圖像中的所述相機(jī)的所述第二視場(chǎng)中的外觀；使得CG呈現(xiàn)單元在所述 相機(jī)的第二捕獲圖像中的適當(dāng)?shù)奈恢锰幒铣稍谒?jì)算出的外觀中的所述CG對(duì)象的圖像； 以及使得顯示單元顯示所合成的圖像。
[0016] 此外，本發(fā)明提供的AR圖像處理裝置包括：相機(jī)；第一 AR分析器，被配置為分析 由所述相機(jī)捕獲并且包括AR標(biāo)記及其周邊環(huán)境的視場(chǎng)中的場(chǎng)景的第一捕獲圖像，確定AR 標(biāo)記圖像在所述視場(chǎng)中的位置、姿態(tài)和縮放，并且在與所述AR標(biāo)記圖像的位置、姿態(tài)和縮 放相對(duì)應(yīng)的所述視場(chǎng)中在適當(dāng)?shù)奈恢锰幪摂M放置對(duì)應(yīng)的CG對(duì)象；第二AR分析器，被配置為 針對(duì)在所述第一視場(chǎng)中在適當(dāng)?shù)奈恢锰幪摂M放置的所述CG對(duì)象來(lái)計(jì)算所述CG對(duì)象在由所 述相機(jī)在第二視場(chǎng)中隨后捕獲的第二捕獲圖像中的所述相機(jī)的所述第二視場(chǎng)中的外觀；CG 呈現(xiàn)單元，被配置為在由所述第二AR分析器獲取的所述相機(jī)的第二捕獲圖像中的適當(dāng)?shù)?位置處合成所述CG對(duì)象在計(jì)算出的外觀中的圖像；以及顯示單元，被配置為顯示由所述CG 呈現(xiàn)單元所合成的圖像。
[0017] 本發(fā)明的效果
[0018] 本發(fā)明的AR圖像處理技術(shù)能夠以準(zhǔn)確的位置、準(zhǔn)確的尺寸和姿態(tài)而不需要手動(dòng) 定位操作，在由相機(jī)捕獲的自然景致等的數(shù)字圖像上實(shí)時(shí)地合成并顯示CG對(duì)象，并且即使 在向各個(gè)位置并且在各個(gè)方向上移動(dòng)所述相機(jī)時(shí)，其也能夠?qū)崿F(xiàn)實(shí)際再現(xiàn)。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0019] 圖1是示出了本發(fā)明中的第一 AR分析器的視景體空間和第二AR分析器的視景體 空間的示意圖。
[0020] 圖2是示出了本發(fā)明中的第一 AR分析器的視景體空間和以在視景體空間中檢測(cè) 到的標(biāo)記圖像的位置為原點(diǎn)的坐標(biāo)之間的關(guān)系的示意圖。
[0021] 圖3是在本發(fā)明中使用的AR標(biāo)記和與所述AR標(biāo)記對(duì)應(yīng)的CG對(duì)象圖像的示意圖。
[0022] 圖4是示出了本發(fā)明中的第一 AR分析器的視景體空間中檢測(cè)到的標(biāo)記圖像和與 所述標(biāo)記圖像相對(duì)應(yīng)的CG對(duì)象的示意圖。
[0023] 圖5是通常的針孔相機(jī)模型中的視景體的定義的示意圖。
[0024] 圖6是本發(fā)明一個(gè)實(shí)施例中的AR圖像處理裝置的框圖。
[0025] 圖7是本發(fā)明一個(gè)實(shí)施例中的AR圖像處理方法的流程圖。
[0026] 圖8A是實(shí)施例中的AR合成圖像，并且是以相機(jī)能夠捕獲整個(gè)AR標(biāo)記的角度捕獲 的圖像的AR合成圖像。
[0027] 圖8B是實(shí)施例中的AR合成圖像，并且是以相機(jī)無(wú)法捕獲AR標(biāo)記的向上角度捕獲 的圖像的AR合成圖像。

【具體實(shí)施方式】
[0028] 在下文中基于附圖詳細(xì)地描述本發(fā)明的實(shí)施例。
[0029] 首先，描述本發(fā)明的主旨?？傮w而言，為了分析由諸如網(wǎng)絡(luò)相機(jī)或數(shù)字視頻相機(jī)之 類(lèi)的具有AR分析器的相機(jī)捕獲的數(shù)字圖像，并且隨后基于數(shù)字圖像中的特定目標(biāo)對(duì)象的 圖像上的位置信息在數(shù)字圖像上合成并顯示CG對(duì)象，需要將空間中的CG對(duì)象投影變換為 數(shù)字圖像。在執(zhí)行這樣的投影變換的AR分析器中，需要?jiǎng)?chuàng)建4X4的投影矩陣P和4X4的 模型視圖矩陣M。被配置為檢測(cè)由相機(jī)捕獲的數(shù)字圖像中的目標(biāo)對(duì)象圖像的位置的第一 AR 分析器A的投影變換被表達(dá)為：
[0030] [數(shù)學(xué)公式1]
[0031]

【權(quán)利要求】
1. 一種AR圖像處理方法，包括如下步驟： 獲取由相機(jī)捕獲并且包括AR標(biāo)記及其周邊環(huán)境的第一視場(chǎng)中的場(chǎng)景的第一捕獲圖 像； 使得第一 AR分析器分析由所述相機(jī)捕獲并且包括AR標(biāo)記圖像及其周邊環(huán)境的所述場(chǎng) 景的第一捕獲圖像，確定所述AR標(biāo)記圖像在所述第一視場(chǎng)中的位置、姿態(tài)和縮放，并且在 與所述AR標(biāo)記圖像的位置、姿態(tài)和縮放相對(duì)應(yīng)的所述第一視場(chǎng)中在適當(dāng)?shù)奈恢锰幪摂M放 置對(duì)應(yīng)的CG對(duì)象； 使得第二AR分析器針對(duì)在所述第一視場(chǎng)中在適當(dāng)?shù)奈恢锰幪摂M放置的CG對(duì)象來(lái)計(jì)算 所述CG對(duì)象在由所述相機(jī)在第二視場(chǎng)中隨后捕獲的第二捕獲圖像中的所述相機(jī)的所述第 二視場(chǎng)中的外觀； 使得CG呈現(xiàn)單元在所述相機(jī)的第二捕獲圖像中的適當(dāng)?shù)奈恢锰幒铣稍谒龅诙晥?chǎng) 中的外觀中的所述CG對(duì)象的圖像；以及 使得顯示單元顯示所合成的圖像。
2. -種AR圖像處理裝置，包括： 相機(jī)； 第一 AR分析器，被配置為分析由所述相機(jī)捕獲并且包括AR標(biāo)記及其周邊環(huán)境的第一 視場(chǎng)中的場(chǎng)景的第一捕獲圖像，確定AR標(biāo)記圖像在所述第一視場(chǎng)中的位置、姿態(tài)和縮放， 并且在與所述AR標(biāo)記圖像的位置、姿態(tài)和縮放相對(duì)應(yīng)的所述第一視場(chǎng)中在適當(dāng)?shù)奈恢锰?虛擬放置對(duì)應(yīng)的CG對(duì)象； 第二AR分析器，被配置為針對(duì)在所述第一視場(chǎng)中在適當(dāng)?shù)奈恢锰幪摂M放置的所述CG 對(duì)象來(lái)計(jì)算所述CG對(duì)象在由所述相機(jī)在第二視場(chǎng)中隨后捕獲的第二捕獲圖像中的所述相 機(jī)的所述第二視場(chǎng)中的外觀； CG呈現(xiàn)單元，被配置為在由所述第二AR分析器獲取的所述相機(jī)的第二捕獲圖像中的 適當(dāng)?shù)奈恢锰幒铣稍谒龅诙晥?chǎng)中的外觀中所述CG對(duì)象的圖像；以及 顯示單元，被配置為顯示由所述CG呈現(xiàn)單元所合成的圖像。
【文檔編號(hào)】G06T19/00GK104160426SQ201280069773
【公開(kāi)日】2014年11月19日 申請(qǐng)日期:2012年10月31日 優(yōu)先權(quán)日:2012年2月22日
【發(fā)明者】伊藤和彥 申請(qǐng)人:株式會(huì)社微網(wǎng)