使用單個(gè)相機(jī)捕捉三維圖像的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于使用單個(gè)相機(jī)捕捉3D圖像的方法和系統(tǒng)。更具體地，本發(fā)明涉及一種用于通過利用3D光標(biāo)、使用單個(gè)相機(jī)捕捉3D圖像的方法和系統(tǒng)。
【背景技術(shù)】
[0002]在19世紀(jì)出現(xiàn)了 3D立體的基本想法。因?yàn)槲覀兊膬蓚€(gè)眼睛在我們的頭部大約分開6.5cm，每個(gè)眼睛以稍微不同的視角看到我們正在觀看的場(chǎng)景，這提供了不同的透視圖。然后，我們的大腦可以基于來自我們的眼的兩個(gè)視圖創(chuàng)建場(chǎng)景內(nèi)的深度的感覺。圖1示出3D立體顯示器的基本構(gòu)思，其中Z是所感知的對(duì)象的深度，D是到屏幕的距離，四個(gè)對(duì)象被感知為處于屏幕的前面(車)、在屏幕上(柱狀體)、在屏幕后面(樹)以及在無窮遠(yuǎn)的距離(箱子)。多數(shù)現(xiàn)代3D顯示器基于該3D立體構(gòu)思建立，其中主要差別是分開兩個(gè)視圖(即，分別給左眼和右眼)的方式。
[0003]基于該原理，存在很多用于取得立體照片的方法。目前，最流行的方法是使用相同的兩個(gè)相機(jī)，并且使用立體相機(jī)。
[0004]圖2例示了使用兩個(gè)相機(jī)捕捉立體照片的基本方法。兩個(gè)相機(jī)被按照一定距離分開地放置。由兩個(gè)相機(jī)同時(shí)取得兩個(gè)照片。然后，在顯影之后，左眼看到由左相機(jī)取得的照片，右眼看到由右相機(jī)取得的照片。大腦將真實(shí)的成像取得照片的3D空間。
[0005]立體相機(jī)是具有兩個(gè)或多個(gè)透鏡的一種相機(jī)，其中每個(gè)透鏡有單獨(dú)的圖像傳感器或膠片幀。這允許相機(jī)模擬人類雙眼視覺，并且因此提供捕捉三維圖像的能力，即被稱為立體拍照的處理。立體相機(jī)可以被用于制作電影的立體視圖和3D圖片。立體相機(jī)中的透鏡之間的距離(軸內(nèi)的距離)根據(jù)期望多少三維性以及目標(biāo)位于多遠(yuǎn)處來定義。
[0006]兩種方法都需要兩個(gè)透鏡，并且用戶應(yīng)當(dāng)是專業(yè)的攝影師。由于移動(dòng)設(shè)備上的硬件限制，具有帶有單個(gè)相機(jī)的移動(dòng)設(shè)備的普通用戶難以捕捉3D照片。如果移動(dòng)設(shè)備用戶想要取得立體3D照片，則他們需要取得相同對(duì)象的兩個(gè)照片。首先，取得對(duì)象的一個(gè)照片。然后向右或向左移動(dòng)相機(jī)少許，取得第二照片。在本公開的剩余部分中，假設(shè)第一照片用于左目艮，第二照片用于右眼。最后，通過計(jì)算將兩個(gè)圖片組合成立體3D圖像。但是用戶將花費(fèi)大量時(shí)間和精力在后期制作中，并且有時(shí)3D照片的效果是不充分的。因?yàn)樗麄冞^于主觀地取得兩個(gè)照片，所以左、右圖像將很難匹配，并且將不能獲得3D效果。本公開將提出一種針對(duì)移動(dòng)設(shè)備的使用單個(gè)相機(jī)捕捉立體3D圖像的方法。系統(tǒng)將幫助照相者精確地取得左圖像和右圖像，以便簡化后期制作，并且獲得3D圖片的更好的效果。
[0007]創(chuàng)建3維假象(illus1n)完全依賴于我們的眼睛分開一定距離這樣的事實(shí)。如果對(duì)每個(gè)眼睛示出來自稍微不同的角度的相同的圖像，則當(dāng)我們的大腦組合圖像時(shí)，組合圖像將看起來是三維的。根據(jù)該原理，本發(fā)明提供一種使用單個(gè)相機(jī)捕捉立體3D圖像的方法。相機(jī)將分別捕捉左圖像和右圖像。在相機(jī)捕捉左圖像之后，系統(tǒng)將向用戶給出關(guān)于右圖像的最佳位置的一些提示。用戶可以根據(jù)提示精確地捕捉右圖像，以便進(jìn)行組合以制作立體圖像。因此，本發(fā)明針對(duì)解決如何給出關(guān)于用于組合成立體3D圖像的右圖像的位置的一些提示的問題。
[0008]作為相關(guān)技術(shù)，US20100316282公開了一種基于第一和第二圖片以及關(guān)于第一和第二圖片之間的位置/方向的改變來創(chuàng)建3D圖像的方法。

【發(fā)明內(nèi)容】

[0009]本發(fā)明公開一種使用單個(gè)相機(jī)捕捉3D圖像的方法。將圖像處理功能添加到具有單個(gè)相機(jī)的移動(dòng)設(shè)備以匹配左圖像和右圖像的特征點(diǎn)以便捕捉立體圖像。
[0010]當(dāng)移動(dòng)設(shè)備捕捉左圖像時(shí)，系統(tǒng)將提取左圖像的特征點(diǎn)。然后當(dāng)移動(dòng)設(shè)備被移動(dòng)以拍攝右圖片時(shí)，系統(tǒng)提取右圖片的特征點(diǎn)。應(yīng)當(dāng)注意的是，在下文中，右圖片指相機(jī)正在顯示器中顯示的圖片；另一方面，右圖像指由相機(jī)取得要被組合成立體3D圖像的圖像。另夕卜，在取得照片時(shí)使用“捕捉”，在顯示圖片時(shí)使用“拍攝”。
[0011]之后，系統(tǒng)使用基于雙向最大相關(guān)性和視差約束的特征點(diǎn)匹配方法來比較左圖像的特征點(diǎn)圖和右圖像的特征點(diǎn)圖，以便分析對(duì)象大小。如果兩個(gè)圖中的對(duì)象大小相同，則這表明兩個(gè)的觀看距離是相同的。如果兩個(gè)圖中的對(duì)象大小不同，則相機(jī)應(yīng)當(dāng)被移動(dòng)，直至兩個(gè)圖中的對(duì)象大小相同為止。另外，系統(tǒng)比較兩個(gè)特征點(diǎn)圖之間的垂直差異。另外，相機(jī)應(yīng)當(dāng)被平移和旋轉(zhuǎn)以消除垂直差異。最后，用戶將能夠捕捉右圖像以精確地組合成立體3D圖像。
[0012]根據(jù)本發(fā)明的一方面，提供一種使用單個(gè)相機(jī)創(chuàng)建3D圖像的方法，包含以下步驟:通過單個(gè)相機(jī)捕捉第一圖像作為第一位置處的右側(cè)或左側(cè)圖像；提取第一圖像的特征點(diǎn)；拍攝圖片以找到第二圖像作為不同于第一位置的位置處的另一側(cè)圖像；提取圖片的特征點(diǎn)；比較第一圖像和圖片的特征點(diǎn)；生成兩個(gè)3D光標(biāo)，其中一個(gè)光標(biāo)指示第二圖像的目標(biāo)位置，另一個(gè)指示相機(jī)的當(dāng)前位置；在圖片中顯示兩個(gè)3D光標(biāo)；當(dāng)通過平移和旋轉(zhuǎn)相機(jī)，指示當(dāng)前位置的光標(biāo)完全與指示目標(biāo)位置的光標(biāo)重疊時(shí)，捕捉第二圖像；以及組合第一和第二圖像以創(chuàng)建3D圖像。
[0013]根據(jù)本發(fā)明的另一方面，提供一種用于使用單個(gè)相機(jī)創(chuàng)建3D圖像的系統(tǒng)，包含:用于通過單個(gè)相機(jī)捕捉第一圖像作為第一位置處的右側(cè)或左側(cè)圖像的裝置；用于提取第一圖像的特征點(diǎn)的裝置；用于拍攝圖片以找到第二圖像作為不同于第一位置的位置處的另一側(cè)圖像的裝置；用于提取圖片的特征點(diǎn)的裝置；用于比較第一圖像和圖片的特征點(diǎn)的裝置；用于生成兩個(gè)3D光標(biāo)的裝置，其中一個(gè)光標(biāo)指示第二圖像的目標(biāo)位置，另一個(gè)指示相機(jī)的當(dāng)前位置；用于在圖片中顯示兩個(gè)3D光標(biāo)的裝置；用于當(dāng)通過平移和旋轉(zhuǎn)相機(jī)，指示當(dāng)前位置的光標(biāo)完全與指示目標(biāo)位置的光標(biāo)重疊時(shí)，捕捉第二圖像的裝置；以及用于組合第一和第二圖像以創(chuàng)建3D圖像的裝置。
【附圖說明】
[0014]根據(jù)結(jié)合附圖的以下描述，本發(fā)明的這些以及方面、特征和優(yōu)點(diǎn)將變得顯而易見，附圖中:
[0015]圖1是例示3D立體顯示器的構(gòu)思的示意圖；
[0016]圖2是例示使用兩個(gè)相機(jī)捕捉立體照片的基本方法的示意圖；
[0017]圖3A至3E示出例示根據(jù)本發(fā)明的實(shí)施例的使用單個(gè)相機(jī)捕捉兩個(gè)圖像的步驟的示例性流程圖；
[0018]圖4A和4B示出例示根據(jù)本發(fā)明的實(shí)施例的用于移動(dòng)電話的3D圖像捕捉系統(tǒng)的主要步驟的示例性流程圖；以及
[0019]圖5是例示根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)的示例性框圖的示例性流程圖。
【具體實(shí)施方式】
[0020]在下面的描述中，將描述本發(fā)明的實(shí)施例的各個(gè)方面。為了解釋的目的，闡述具體的配置和細(xì)節(jié)以便提供徹底的理解。然而，本領(lǐng)域的技術(shù)人員還將意識(shí)到可以在不使用在本文中所呈現(xiàn)的具體細(xì)節(jié)的情況下實(shí)現(xiàn)本發(fā)明。
[0021]本發(fā)明關(guān)注在用戶使用單個(gè)相機(jī)時(shí)的用于組合立體3D圖像的第二圖像捕捉的提示。它一般涉及使用獲得兩個(gè)圖像之間的位置差異數(shù)據(jù)和視差數(shù)據(jù)的特征點(diǎn)匹配方法的3D圖像捕捉系統(tǒng)。
[0022]當(dāng)移動(dòng)設(shè)備捕捉左圖像時(shí)，系統(tǒng)將提取左圖像的特征點(diǎn)，使得推出用于立體3D圖像的右圖像的特征點(diǎn)。另外，系統(tǒng)將向用戶給出關(guān)于右圖像的最佳位置的一些提示。有戶可以根據(jù)位置數(shù)據(jù)精確地捕捉用于組合成立體圖像的右圖像，當(dāng)用戶捕捉右圖像時(shí)，在屏幕上有兩個(gè)3D光標(biāo)。一個(gè)指示右圖像的目標(biāo)位置；另一個(gè)指示相機(jī)的當(dāng)前位置。當(dāng)兩個(gè)3D光標(biāo)重疊時(shí)，用戶將精確地捕捉右圖像，以便組合成立體3D圖像。
[0023]使用具有相機(jī)的移動(dòng)電話捕捉兩個(gè)圖像的步驟如下，根據(jù)圖3A至3E所示:
[0024]1.用戶使用具有相機(jī)的移動(dòng)電話捕捉第一圖像(圖3A)。
[0025]2.在屏幕上顯示三個(gè)深度信息圖標(biāo)。三個(gè)圖標(biāo)指示“在屏幕前面”、“在屏幕上”以及“在屏幕后面”。用戶基于用戶期望在兩個(gè)圖像的視差上的效果來選取三個(gè)圖標(biāo)中的一個(gè)(圖 3B)。
[0026]3.用戶向右移動(dòng)移動(dòng)電話以找到右圖像的視圖(圖3C)。
[0027]4.在屏幕上顯示兩個(gè)3D光標(biāo)。一個(gè)指示要捕捉的右圖像的目標(biāo)位置，另一個(gè)指示相機(jī)的當(dāng)前位置。用戶通過平移和旋轉(zhuǎn)使兩個(gè)3D光標(biāo)重疊(圖3D)。、
[0028]5.當(dāng)兩個(gè)3D光標(biāo)重疊時(shí)，捕捉右圖像(圖3E)。
[0029]一種系統(tǒng)描述如下，其將驅(qū)動(dòng)3D光標(biāo)。
[0030]1.移動(dòng)設(shè)備捕捉左圖像。
[0031]2.系統(tǒng)將取得左圖像作為第一圖像，并且提取第一圖像的特征點(diǎn)。
[0032]3.在屏幕上顯示三個(gè)深度信息圖標(biāo)。三個(gè)圖標(biāo)指示“在屏幕前面”、“在屏幕上”和“在屏幕后面”。用戶基于用戶期望在兩個(gè)圖像的視差上的效果來選取三個(gè)圖像中的一個(gè)。
[0033]4.向右移動(dòng)移動(dòng)電話以找到右圖像的視圖。
[0034]5.系統(tǒng)將提取顯示在顯示器上的右圖像的特征點(diǎn)。
[0035]6.如已知的，多數(shù)現(xiàn)代3D顯示器基于該3D立體構(gòu)思來建立，其中主要的差別是如何分開分別給左眼和右眼的兩個(gè)視圖。因此，系統(tǒng)將使用特征點(diǎn)匹配方法來分析兩個(gè)圖片之間的視差。
[0036]7.在屏幕上顯示兩個(gè)3D光標(biāo)以調(diào)整兩個(gè)圖片之間的視差。
[0037]8.系統(tǒng)使用基于雙向最大相關(guān)性和視差約束的特征點(diǎn)匹配方法來比較左圖像的特征點(diǎn)圖(即，指示對(duì)象的外邊界的特征點(diǎn)的集合體)和右圖片的特征點(diǎn)圖，從而系統(tǒng)可以分析兩個(gè)圖中的對(duì)象大小。如果兩個(gè)圖中的對(duì)象