減少現(xiàn)實(shí)的制作方法
【專利說明】
【背景技術(shù)】
[0001]隨著增強(qiáng)現(xiàn)實(shí)的到來，可以有現(xiàn)實(shí)圖像和虛擬圖像元素的各種組合。然而，限制增強(qiáng)現(xiàn)實(shí)的應(yīng)用性的挑戰(zhàn)之一是現(xiàn)實(shí)本身。在要被重新建模的房屋中的房間的現(xiàn)實(shí)圖像中，已經(jīng)有沙發(fā)，人們想要在該沙發(fā)上放置新的虛擬沙發(fā)。在圖像中有現(xiàn)有的櫥柜，其中人們需要虛擬化新的櫥柜。存在所顯示的物體，其中人們想要可視化不同的配置等等。在商店地板的現(xiàn)實(shí)圖像中，在架子上有產(chǎn)品，其中人們想要放置其它產(chǎn)品或其中人們想要重新布置當(dāng)前的產(chǎn)品。當(dāng)人們想使用增強(qiáng)現(xiàn)實(shí)來將物體帶到新設(shè)計(jì)的虛擬狀態(tài)中時(shí)，現(xiàn)實(shí)已經(jīng)在“各處”。
[0002]因此，存在通過移除圖像中所捕獲的不再想要的不同現(xiàn)實(shí)物體來整理現(xiàn)實(shí)圖像的需要。存在能夠感知要被重新建模的空間的準(zhǔn)確測(cè)量的有關(guān)需要，使得虛擬物體(例如廚房櫥柜)的配置的安裝例如可被正確地分析。
[0003]已知計(jì)算機(jī)輔助技術(shù)包括計(jì)算機(jī)輔助設(shè)計(jì)或CAD，其涉及用于創(chuàng)作產(chǎn)品設(shè)計(jì)的軟件解決方案。類似地，CAE是計(jì)算機(jī)輔助工程的首字母縮略詞，例如它涉及用于模擬未來產(chǎn)品的物理行為的軟件解決方案。CAM代表計(jì)算機(jī)輔助制造，且一般包括用于定義制造過程和操作的軟件解決方案。
[0004]在物體(或零件)或形成產(chǎn)品的物體的組件的設(shè)計(jì)的市場(chǎng)上提供很多系統(tǒng)和程序。這些CAD系統(tǒng)允許用戶構(gòu)造并操縱物體或物體的組件的復(fù)雜的三維或3D模型。CAD系統(tǒng)因此使用邊或線(在某些情況下使用面)來提供建模物體的表示?？梢杂酶鞣N方式(例如非均勻有理B樣條(NURBS))來表示線或邊。這些CAD系統(tǒng)管理作為建模物體的零件或零件組件，其主要是幾何規(guī)范。具體地，CAD文件包含規(guī)范，其中根據(jù)這些規(guī)范生成幾何結(jié)構(gòu)，幾何結(jié)構(gòu)又允許表示被產(chǎn)生。幾何結(jié)構(gòu)和表示可存儲(chǔ)在單個(gè)CAD文件或多個(gè)CAD文件中。CAD系統(tǒng)包括用于向設(shè)計(jì)者表示建模物體的圖形工具；這些工具專用于復(fù)雜物體的顯示；在CAD系統(tǒng)中表示物體的文件的一般大小在每零件一兆字節(jié)的范圍內(nèi)，且組件可包括數(shù)千個(gè)零件。CAD系統(tǒng)管理物體的模型，其存儲(chǔ)在電子文件中。
[0005]在計(jì)算機(jī)輔助技術(shù)中，圖形用戶界面GUI關(guān)于技術(shù)的效率起重要作用。可由用戶(例如設(shè)計(jì)者)通過GUI來執(zhí)行操縱和/或?qū)Ш浇Ｎ矬w所需的大部分操作。特別是，用戶可創(chuàng)建、修改和刪除形成產(chǎn)品的建模物體，并且還探宄產(chǎn)品以便理解建模物體如何例如經(jīng)由產(chǎn)品結(jié)構(gòu)來相互關(guān)聯(lián)。在傳統(tǒng)上，通過位于GUI的側(cè)面上的專用菜單和圖標(biāo)來執(zhí)行這些操作。最近，CAD系統(tǒng)允許在產(chǎn)品的表示附近調(diào)用這些操作。設(shè)計(jì)者不再需要朝著菜單和圖標(biāo)移動(dòng)鼠標(biāo)。操作因此在鼠標(biāo)的可及范圍內(nèi)是可用的。此外，操作在語義上表現(xiàn):對(duì)于設(shè)計(jì)者所選擇的給定操作，CAD系統(tǒng)可根據(jù)以前選擇的操作來仍然在鼠標(biāo)附近向設(shè)計(jì)者建議設(shè)計(jì)者可能選擇的一組新操作。

【發(fā)明內(nèi)容】

[0006]在本發(fā)明的實(shí)施方式中，各種環(huán)境可以是感興趣的主題。為了描述的清楚，在附圖和下面的討論中介紹了示例性環(huán)境。這些例子是為了說明而不是限制本發(fā)明的原理的目的。作為非限制性例子，主題環(huán)境可以是房屋或辦公室中的房間、零售商店的某些過道或其它部分以及其它用戶可配置的區(qū)域。
[0007]主題環(huán)境具有不同的階段或狀態(tài)。在房間例子中，空階段意味著房間無家具和陳設(shè)品，通常是“物體”。在相反的階段，全階段下，房間具有很多物體。在中間階段，房間具有中間數(shù)量的物體，即，一件或多件家具和陳設(shè)品但不多于全階段。同樣，在商店過道的例子中，在空階段，商店過道的架子無產(chǎn)品/存貨(沒有保存物體)。或者可以沒有架子/架子單元。在中間階段，架子具有一些數(shù)量的產(chǎn)品(中間數(shù)量的物體)。在全階段，架子具有大約其最高數(shù)量的物體。依此類推。
[0008]通常，在環(huán)境中，物體能夠在物理放置(布置/組織)和方位上改變。物體能夠在顏色和/或材料終飾(或紋理)上更新。物體能夠與具有不同的風(fēng)格和/或配置(形狀、尺寸和其它物理特性)的可選的物體交換或用具有不同的風(fēng)格和/或配置(形狀、尺寸和其它物理特性)的可選的物體代替。
[0009]在中間或全階段下的主題環(huán)境的圖像捕獲各種物體并描述當(dāng)前現(xiàn)實(shí)?？磮D像的人可能能夠想象到在主題環(huán)境中在顏色或終飾(紋理)上更新的一些所顯示的物體。增強(qiáng)現(xiàn)實(shí)視圖可能能夠幫助改變所顯示的物體的這樣的外觀。然而，看圖像的人在有或沒有增強(qiáng)現(xiàn)實(shí)的情況下一般不能夠想象到在主題環(huán)境中重新布置或從主題環(huán)境移除或由可選物代替的一些所顯示的物體。
[0010]本發(fā)明的實(shí)施方式解決前述問題并如下操作。
[0011]在示例性實(shí)施方式中，現(xiàn)實(shí)階段引擎將當(dāng)前環(huán)境的圖像視圖設(shè)置成用戶期望的階段，例如在上面的例子中設(shè)置成房屋的部分或完全空的房間或商店中的空架子。(期望/選定階段的主題環(huán)境的)產(chǎn)生的視圖被稱為“維度現(xiàn)實(shí)”。3D建模引擎或建模器產(chǎn)生主題環(huán)境的減少現(xiàn)實(shí)(diminished reality)版本的工作3D模型。
[0012]增強(qiáng)現(xiàn)實(shí)子系統(tǒng)將各種顯示元素(虛擬元素)疊加在3D模型減少現(xiàn)實(shí)視圖上。顯示元素代表用戶增加的、交換的或改變的(重新布置的、重新定向的或重新配置的)真實(shí)世界物體，其在用戶的新描述的增強(qiáng)現(xiàn)實(shí)視圖中擺放主題環(huán)境。
【附圖說明】
[0013]根據(jù)本發(fā)明的示例性實(shí)施方式的以下更具體的描述中，前述內(nèi)容將變得明顯，如在附圖中示出的，其中相似的參考符號(hào)貫穿不同的視圖表示相同的部件。附圖并不一定按比例繪制，相反重點(diǎn)放在說明本發(fā)明的實(shí)施方式。
[0014]圖1是本發(fā)明的實(shí)施方式的方框圖。
[0015]圖2A-2C是被標(biāo)記出以說明在一個(gè)實(shí)施方式中的用戶交互的照片。
[0016]圖3A-3B是被標(biāo)記出以說明在實(shí)施方式中的用戶交互的照片。
[0017]圖4A-4D是在實(shí)施方式中在處理中考慮的圖像中的角的示意性圖示。
[0018]圖5是實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)系統(tǒng)的方框圖。
[0019]圖6是實(shí)現(xiàn)圖5的計(jì)算機(jī)系統(tǒng)的計(jì)算機(jī)網(wǎng)絡(luò)的示意圖。
【具體實(shí)施方式】
[0020]接下來是本發(fā)明的示例實(shí)施方式的描述。
[0021]本文引用的所有專利、公布的申請(qǐng)和參考資料的教導(dǎo)通過引用被全部并入。
[0022]非限制性示例實(shí)施方式在圖1中被示為基于計(jì)算機(jī)的工具100。應(yīng)理解的是，其它基于計(jì)算機(jī)的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品可提供本發(fā)明的其它實(shí)施方式和實(shí)現(xiàn)。工具100由處理器執(zhí)行的現(xiàn)實(shí)階段引擎107和3D建模器110形成。處理器113執(zhí)行或支持工具100、現(xiàn)實(shí)階段引擎107和3D建模器110。如將在下文變得清楚的，現(xiàn)實(shí)階段引擎107清理(declutter)、整理或減少來自源105的(感興趣的環(huán)境的)主題圖像中的現(xiàn)實(shí)。圖像源105可以是照相機(jī)、2D或3D掃描儀、一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)庫(圖像數(shù)據(jù)庫)、視頻流等。
[0023]對(duì)于在源圖像105中顯示的主題環(huán)境中的多個(gè)物體中的每個(gè)物體，該物體在減少現(xiàn)實(shí)視圖中的顯示是用戶可選擇的。以這種方式，由階段引擎107產(chǎn)生的減小現(xiàn)實(shí)(現(xiàn)實(shí)的減少)的程度是用戶可定義的。
[0024]3D建模器110從階段引擎107接收減少現(xiàn)實(shí)圖像115作為輸入。3D建模器110產(chǎn)生所接收的減少現(xiàn)實(shí)圖像115的主題或內(nèi)容的3D模型131。也就是說，3D建模器110在用戶選擇的減少階段，例如空或中間階段，產(chǎn)生感興趣的環(huán)境的3D模型131。采用來自圖像技術(shù)的3D建模。
[0025]增強(qiáng)現(xiàn)實(shí)子系統(tǒng)121將各種虛擬圖像元素疊加或重疊在來自建模器110的3D模型131上。例如，各種候選元素(虛擬)的圖像可顯示在感興趣的主題環(huán)境的被清理或整理的場(chǎng)景(減少現(xiàn)實(shí))上的輸出103處。子系統(tǒng)121的圖形用戶界面使用已知的技術(shù)使用戶能夠與這樣的增強(qiáng)現(xiàn)實(shí)圖像140的輸出交互。
[0026]接著介紹現(xiàn)實(shí)階段引擎107和工具100的另外的細(xì)節(jié)。
[0027]家庭的房間的圖像125、127(圖2A-2C和3A-3B)的例子用于說明而不是限制的目的。工具100使用帶有家具的主題房間的具有相關(guān)方位數(shù)據(jù)的一個(gè)或幾個(gè)照片(圖像)來創(chuàng)建完全或部分空的房間的3D計(jì)算機(jī)模型表示。例如，現(xiàn)實(shí)階段引擎107重新創(chuàng)建房間的初始空間的視圖115，就好像在用戶想要更換的當(dāng)前家具、設(shè)備或裝飾品的安裝之前一樣。具體地，現(xiàn)實(shí)階段引擎107從圖像源105得到當(dāng)前房間的一個(gè)或幾個(gè)圖像125、127(實(shí)時(shí)或照片)作為輸入。工具100向用戶顯示源圖像，供用戶與之交互，例如在圖2A和3A中的。用戶在圖像125、127上標(biāo)識(shí)代表在房間的邏輯幾何部分或區(qū)域之間(即，墻壁到相鄰水平墻壁、墻壁到天花板和墻壁到地板)的角邊界的可見線段。用