專利名稱：用于在情景環(huán)境中顯示物品圖像的增強現(xiàn)實系統(tǒng)方法和裝置的制作方法
技術領域：
本申請通常涉及電子商務(e-commerce)領域,并且尤其涉及ー種計算機實現(xiàn)的 增強現(xiàn)實物品圖像覆蓋方法和系統(tǒng)。
背景技術：
在線購物和拍賣網(wǎng)站(例如電子商務公司)上的物品列表可能經(jīng)常提供與要銷售的物品相關的圖像以補充該物品的文字描述。該圖像可以是數(shù)字照片、圖畫的形式，或者在某些情況下可以是視頻剪輯或這些形式的任意組合。對某些物品來說，可能有提供物品不同角度和視圖的多個圖像(例如數(shù)碼照片)。在一些示例中，這些圖像可以在情景環(huán)境中，諸如客廳中的沙發(fā)。在其他示例中，物品圖像可以僅僅描述該物品而沒有情景環(huán)境。


本發(fā)明的實施例通過示例而非限制方式在附圖中被圖示，其中相同的附圖標記表示相同的元素，其中圖I是網(wǎng)絡的概略圖示，在該網(wǎng)絡中可以實現(xiàn)用于向處理系統(tǒng)提供修改后的視覺數(shù)據(jù)的示例性的增強現(xiàn)實系統(tǒng)；圖2是根據(jù)一種示例性實施例的示例性的增強現(xiàn)實模塊的框圖；圖3是根據(jù)示例性實施例的提供修改后的視覺數(shù)據(jù)的方法的流程圖；圖4是根據(jù)示例性實施例的用于增強現(xiàn)實系統(tǒng)的占位物的示例。圖5A-B是根據(jù)一種實施例的示例性的示例性用戶界面,所述示例性用戶界面圖示了攝像機捕捉環(huán)境中的占位物以及作為結果的情景環(huán)境中的增強現(xiàn)實顯示；以及圖6是計算機系統(tǒng)形式的示例性機器的示意圖，在該計算機系統(tǒng)中可以執(zhí)行ー組指令，用于使該機器執(zhí)行在這里論述的方法中的任意ー種或多種。
具體實施例方式論述了這樣的系統(tǒng)和方法，用于在物品即將出現(xiàn)在位于攝像機捕捉環(huán)境中位置時，在屏幕上顯示物品圖像。在下面的描述中，出于說明的目的，為了能夠徹底理解本發(fā)明的實施例，闡述了許多特定的細節(jié)。然而，很明顯對本領域技術人員來說，沒有這些特定的細節(jié)也可以實施本發(fā)明。下面的詳細說明包括對附圖的參考，這些附圖構成詳細說明的一部分。附圖示出了按照示例性實施例的圖例。這些示例性實施例(它們在這里也稱為“示例”)被充分詳細地描述，以使得本領域技術人員能夠?qū)嵤┍局黝}。實施例可以組合，可以利用其它的實施例，或者在不背離權利要求的范圍的情況下可以做出結構上、邏輯上和電氣上的改變。因此，下面的詳細說明不應被理解為限制性的，范圍由隨附的權利要求及其等同物確定。增強現(xiàn)實通常是指通過計算機形成的影像創(chuàng)建混合虛擬和真實世界的環(huán)境。真實環(huán)境中的元素與虛擬圖像在實時環(huán)境中混合在一起，從而為用戶提供以其他方式無法完全獲得的信息和視覺效果。在諸如在線交易平臺之類的在線公布系統(tǒng)中，在賣方可發(fā)布供出售物品的場合，可能想要看看特定物品出現(xiàn)在用戶指定位置上的樣子以有助于用戶做出購買決定。例如，正在考慮購買放在客廳的沙發(fā)的用戶可能需要確定沙發(fā)要放在哪里，并且通常想確定這個沙發(fā)出現(xiàn)在客廳里的樣子。用戶也許希望在不實際擁有該沙發(fā)的情況下看到沙發(fā)出現(xiàn)在客廳里的樣子。此外，用戶可能更喜歡比較各種各樣 的沙發(fā)，從房間中的不同角度去觀察沙發(fā)看起來有什么不同，甚至在不物理地移動實際家具的情況下在沙發(fā)四周圍繞其他物品以創(chuàng)造家具總體效果。在示例性實施例中，增強現(xiàn)實系統(tǒng)可以為用戶提供這樣的能力，在由攝像機捕捉的環(huán)境中(例如客廳)放置及重新放置虛擬的沙發(fā)(及附加物品，如果想要的話)，而不需要實際沙發(fā)的物理移動。在一種示例性實施例中，該方法允許用戶在實際物品將要放置的位置上放置標志物(例如，諸如一片帶有鮮明對比標志的紙張和獨特物體之類的占位物)。該方法利用例如視頻攝像機來記錄在該位置中放置的標志物的圖像，將捕捉到的圖像發(fā)送到增強現(xiàn)實系統(tǒng)，并且接收在所選位置上放置的真實物品的圖像。在各種實施例中，標志物(例如占位物)可以是具有獨特標志的紙張(8. 5”X 11”)，并且用戶可以下載、打印并且將它放置在該位置上。服務器從用戶系統(tǒng)中接收在該位置的占位物的視頻流，檢測該占位物，并且向用戶系統(tǒng)發(fā)送回用物品代替該標志物的修改后的視頻流用以顯示。在各種示例性實施例中，包含物品選擇的輸入從客戶端被接收以生成占位物，并且用以生成該占位物的信息被提供給輸入源(例如，該客戶端)或具有輸出功能的處理系統(tǒng)。占位物可能位于其中的攝像機捕捉環(huán)境的視頻數(shù)據(jù)被接收。分析該輸入以檢測該占位物，井根據(jù)該分析檢索圖像。視覺數(shù)據(jù)被修改以包含與該圖像相關聯(lián)的圖像數(shù)據(jù)，在ー些實施例中，所述可能是該圖像的覆蓋物，并且修改后的視覺數(shù)據(jù)可被提供給輸入源(例如，用戶的處理系統(tǒng))或者另處理系統(tǒng)。在一些示例性實施例中，可以根據(jù)該分析來修改檢索到的圖像，以根據(jù)由占位物信息確定的放置信息和環(huán)境來對物品圖像覆蓋物進行縮放和定向。在一種示例性實施例中，占位物可以是打印出來的具有獨特標志(例如，條形碼、對比鮮明的圖像、ニ維數(shù)據(jù)碼)的紙張，該獨特標志可由用戶通過家庭計算機系統(tǒng)打印。在ー些示例性實施例中，該紙張也可以是由其它處理系統(tǒng)可識別的。在一些實施例中，單個的占位物可以通用于多個物品，并可交替地用于代表多個物品。例如，在用戶希望在同一個位置比較第一物品和第二物品時，占位物可以可交替地代表第一和第二物品二者，不需要生成兩個占位物。在一些實施例中，可以使用單個占位物，而無需將該占位物與任何特定物品關聯(lián)起來。參考圖I論述了ー種示例性增強現(xiàn)實系統(tǒng)。圖I是網(wǎng)絡的概略圖示，在其中可以實現(xiàn)用于向處理系統(tǒng)110提供修改后的視覺數(shù)據(jù)的示例性增強現(xiàn)實系統(tǒng)100。如圖所示，該增強現(xiàn)實系統(tǒng)100可以包括處理系統(tǒng)110和服務器120。在一種示例性實施例中，該服務器120可以托管(host)在線交易平臺。處理系統(tǒng)110可以運行諸如網(wǎng)絡瀏覽應用之類的應用116，并且可以通過網(wǎng)絡130具有對服務器120的訪問權。該網(wǎng)絡130可以是公共網(wǎng)絡(例如，互聯(lián)網(wǎng)、無線網(wǎng)絡等等)或者專用網(wǎng)絡(例如，局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、內(nèi)部網(wǎng)等等)。在一種實施例中，基于網(wǎng)絡的交易平臺可以提供一種或多種市場環(huán)境應用、支付應用以及其他資源。市場環(huán)境應用可以向訪問該市場環(huán)境的用戶提供許多市場環(huán)境功能及服務。同樣地， 支付應用可以向用戶提供許多支付服務與功能?；诰W(wǎng)絡的交易平臺可以顯示在交易平臺上列出的各種物品。然而，本說明書中論述的實施例不限于基于網(wǎng)絡的交易平臺。在另外的實施例中，可以使用其它的公布平臺，諸如社交網(wǎng)站、新聞聚合網(wǎng)站、門戶網(wǎng)站、基于網(wǎng)絡的廣告平臺，或者任何其它向用戶顯示物品的系統(tǒng)。處理系統(tǒng)110可以包括用以捕捉情景環(huán)境(例如，客廳)的攝像機源112(例如，視頻攝像機或者數(shù)字照相機)和用以呈現(xiàn)該情景環(huán)境的視覺輸出114(例如，液晶顯示器等)，并且，在一種示例性實施例中，該視覺輸出用以呈現(xiàn)增強的環(huán)境。服務器120包括物品圖像源122和增強現(xiàn)實應用124。在一些實施例中，可以將服務器120可通信地耦合到一個或多個數(shù)據(jù)庫140，數(shù)據(jù)庫可以存儲物品圖像142。在一種示例性實施例中，處理系統(tǒng)110可以向服務器120發(fā)送請求，以修改由攝像機源112捕捉到的情景環(huán)境。在ー些實施例中，來自處理系統(tǒng)110的請求可以包括用戶所選物品。在一種實施例中，在服務器120處的增強現(xiàn)實應用124可以檢測該請求，并且向處理系統(tǒng)110提供占位物生成信息，以生成與該用戶所選物品相關聯(lián)的占位物。一旦接收到占位物生成信息，控制處理系統(tǒng)110的用戶可以例如通過打印由增強現(xiàn)實應用124提供的占位物的圖像來產(chǎn)生占位物。在一些示例性實施例中，占位物可以是具有獨特標志的普通信紙大小(例如，8. 5” XII”)的紙張，其示例在下面的圖4中被圖示并描述。該獨特標志可以由增強現(xiàn)實應用124用于識別情景環(huán)境中的占位物以及確定由攝像機捕捉到的情景環(huán)境中的用戶所選物品的期望位置。在一些實施例中，可以利用顯示具有獨特標志的占位物的輔助顯示設備(例如，移動電話顯示器)來生成占位物。在其它的實施例中，用戶可以利用占位物生成信息、通過在諸如紙張或者三維物體之類的物體上對該獨特標志進行繪制和/或涂色來物理地創(chuàng)建占位物。在一些實施例中，除了用戶所選物品之外，基于所接收到的由攝像機收集的視覺數(shù)據(jù)，可以定制占位物生成信息及相關獨特標志，以容納環(huán)境的元素。例如，可以通過考慮環(huán)境(例如，房間)的尺寸來產(chǎn)生占位物生成信息。在另ー種示例性實施例中，增強現(xiàn)實應用124可以接收并處理從處理系統(tǒng)110及可通信地耦合到處理系統(tǒng)Iio的攝像機源112接收的視覺數(shù)據(jù)，并將修改后的視覺數(shù)據(jù)提供回處理系統(tǒng)110。例如，攝像機源112可以收集占位物位于其中的情景環(huán)境的視覺數(shù)據(jù)。在一些實施例中，應用116之一可以接收視覺數(shù)據(jù)。應用116可以通過網(wǎng)絡130向服務器120的增強現(xiàn)實應用124提供視覺數(shù)據(jù)。增強現(xiàn)實應用124可以分析視覺數(shù)據(jù)以檢測與位于捕捉到的情景環(huán)境內(nèi)的占位物相關聯(lián)的占位物信息，并且也可以由該占位物信息確定放置信息?；谡嘉晃镄畔?、放置信息或其任意組合，增強現(xiàn)實應用124可以從服務器120的物品圖像源122中檢索圖像。在一些實施例中，增強現(xiàn)實應用124從可通信地耦合到服務器120的數(shù)據(jù)庫140中存儲的物品圖像142中檢索該圖像。增強現(xiàn)實應用124隨后可以修改該視覺數(shù)據(jù)，以使其包括與所檢索的物品圖像相關聯(lián)的圖像數(shù)據(jù)。在一些實施例中，增強現(xiàn)實應用124可以基于所確定的放置信息、用修改后的圖像數(shù)據(jù)來修改視覺數(shù)據(jù)。在ー些實施例中，增強現(xiàn)實應用124隨后向處理系統(tǒng)110提供修改后的視覺數(shù)據(jù)，以在視覺輸出114上進行視覺顯示。在一些實施例中，處理系統(tǒng)110可以包括物品圖像源，諸如在處理系統(tǒng)110上存儲的物品圖像庫。在一種示例性實施例中，用戶可以通過攝像機源112(例如，數(shù)字照相機)創(chuàng)建ー個或多個物品的圖像庫。在一種實施例中，在服務器120上托管的應用可以用于識別圖像中描繪的物品(見美國專利申請序列No. 12/371，882)，并且增強現(xiàn)實應用124可以向處理系統(tǒng)提供來自服務器120的占位物生成信息。在一些示例性實施例中，處理系統(tǒng)110可以托管增強現(xiàn)實應用124，并且可以在不使用網(wǎng)絡130和服務器120的情況下向諸如處理系統(tǒng)110提供修改后的視覺數(shù)據(jù)。圖2是根據(jù)一種示例性實施例的示例性增強現(xiàn)實模塊210的框圖200。如圖2所示，增強現(xiàn)實模塊210包括輸入接收器模塊220、信息提供器模塊222、視覺數(shù)據(jù)接收器模塊224、檢測模塊226、放置確定模塊228、檢索模塊230以及修改模塊232。增強現(xiàn)實系統(tǒng)的這 些模塊可以通過總線240可通信地耦合到其它模塊。輸入接收器模塊220可被配置為接收開始增強現(xiàn)實應用(例如，圖I的增強現(xiàn)實應用124)的請求。該請求可以包括與被選物品相關聯(lián)的物品信息。在一種實施例中，輸入接收器模塊220可被配置為接收來自諸如圖I的處理系統(tǒng)110之類的源的請求(例如，輸入)。輸入接收器模塊220可被配置為接收來自處理器系統(tǒng)的附加信息，諸如，例如攝像機技術規(guī)范、所捕捉的情景環(huán)境的照明和尺寸信息、數(shù)據(jù)傳輸率、幀刷新率、以及處理系統(tǒng)110的其他技術規(guī)范和本領域普通技術人員所熟知的環(huán)境參數(shù)。信息提供器模塊222可被配置為基于從輸入接收器模塊220接收到的請求和物品信息來確定占位物生成信息。占位物生成信息可以包括生成占位物的指令(例如，機器可讀指令)。在一些實施例中，占位物生成信息可以是機器可讀信息，諸如，例如電子文檔。在一種實施例中，信息提供器模塊222可以產(chǎn)生可遞送到請求源(例如，處理系統(tǒng)110)或者任何其它處理系統(tǒng)的文件。例如，信息提供器模塊222可以以任意ー種格式或幾種格式的組合(例如，便攜式文檔格式(PDF)、微軟的WORD文檔、聯(lián)合圖像專家組(JPEG)格式等等)生成電子文檔或圖像文件。在操作中，用戶可以與處理系統(tǒng)交互以選擇物品列表。該用戶可以發(fā)送生成用于在環(huán)境中放置的占位物的請求。輸入接收器模塊220可以接收該請求，在一些實施例中，該請求可以包括識別用戶所選物品列表的信息，并且信息提供器模塊222可以生成電子文檔并且將該文檔遞送到請求源(例如，處理系統(tǒng)110)。在一些實施例中，生成占位物的請求可以包括所選物品列表。在一些實施例中，用戶可以接收占位物生成指令而不選擇或發(fā)送生成占位物的請求。視覺數(shù)據(jù)接收器模塊224從諸如處理系統(tǒng)110之類的客戶端接收視覺數(shù)據(jù)，該客戶端可通信地耦合到諸如數(shù)字照相機、視頻攝像機(例如，網(wǎng)絡攝像頭)等等攝像機。在示例性實施例中，用戶可以放置攝像機以捕捉并觀察情景環(huán)境，該用戶可能想要在該情景環(huán)境中查看物品出現(xiàn)在該環(huán)境中的樣子。在一些實施例中，視覺數(shù)據(jù)接收器模塊224可以處理攝像機捕捉到的一部分或者全部視覺數(shù)據(jù)，以確定視覺環(huán)境的參數(shù)。例如，視覺數(shù)據(jù)接收器模塊224可以確定捕捉環(huán)境的參數(shù)，包括照明、角度、尺寸、重力朝向等等，并且可以確定攝像機的細節(jié)，諸如幀刷新率、變焦能力、攝像機型號信息等等。檢測模塊226檢測可能包含在接收到的視覺數(shù)據(jù)中的占位物信息。在一種實施例中，占位物信息(例如，用以生成文檔的機器可讀指令)與攝像機的可觀察位置內(nèi)(例如，在攝像機捕捉到的情景環(huán)境內(nèi))放置的占位物相關聯(lián)，該攝像機與處理系統(tǒng)(例如，客戶端設備)可通信地耦合，處理系統(tǒng)在視覺數(shù)據(jù)接收器模塊224處向增強現(xiàn)實模塊210提供由攝像機接收到的視覺數(shù)據(jù)。在示例中，占位物的獨特標志可以由耦合到處理系統(tǒng)的攝像機捕捉，然后這些獨特標志可以被檢測模塊226進行檢測為代表捕捉環(huán)境中的占位物。在一種實施例中，檢測模塊226可被配置為解析從視覺數(shù)據(jù)接收器模塊224接收的視覺數(shù)據(jù)，以確定接收到的視覺數(shù)據(jù)在視覺數(shù)據(jù)內(nèi)是否包含占位物信息。在一些實施例中，檢測模塊226可以驗證占位物信息，以例如確定該占位物信息與輸入接收器模塊220處接收的被選物品是否匹配。在一些實施例中，檢測模塊226可被配置為在占位物信息與所選物品不匹配時通知客戶端(例如，處理系統(tǒng)110)。在一種示例中，檢測模塊226可以向客戶端源提供建議，以諸如重新創(chuàng)建占位物、重新放置占位物等等。放置確定模塊228可被配置為使用與視覺數(shù)據(jù)一起接收到的占位物信息來確定占位物的放置信息。在一種實施例中，放置確定模塊228可以基于占位物信息來確定與該 占位物相關聯(lián)的各種特征。例如，放置確定模塊228可以確定包括由攝像機捕捉到的情景環(huán)境中的占位物的坐標和大體位置在內(nèi)的特征，并且可以確定朝向、縮放因子、照明效果以及在情景環(huán)境中遮擋占位物的任何遮擋物等等。在一種示例性實施例中，放置確定模塊228可被配置為向檢索模塊230提供包含特征的放置信息。在一種示例性實施例中，放置確定模塊228可被配置為基于占位物的獨特標志確定占位物的放置信息。這些獨特標志可以如上文所述由檢測模塊226檢測。檢索模塊230可被配置為在檢測到由攝像機捕捉到的占位物的圖像時檢索物品的圖像。檢索模塊230可以基于占位物的獨特標志檢索圖像。在檢索被選物品的圖像時，檢索模塊230可以結合從檢測模塊226和放置確定模塊228接收到的信息。在一種實施例中，檢索模塊230可以如上文所述基于從占位物信息確定的和從放置確定模塊228接收到的占位物的被確定的特征來從物品的多個圖像中選擇圖像。在一種示例性實施例中，檢索模塊230可以利用所確定的特征從多個圖像中選擇最適合的圖像。在一些實施例中，檢索模塊230可以檢索或確定物品諸如高度、長度以及寬度等物理尺寸，并且可以根據(jù)物品的物理尺寸和/或占位物的特征，從多個圖像中選擇最適合的圖像。在一種示例中，檢索模塊230可被配置為根據(jù)物品的物理尺寸和占位物的特征，修改與檢索到的圖像相關聯(lián)的圖像數(shù)據(jù)，以諸如在情景環(huán)境中代表按比例縮放并且定向的圖像。修改模塊232可被配置為根據(jù)放置信息來修改所接收的視覺數(shù)據(jù)，以使視覺數(shù)據(jù)中包含與所檢索的圖像相關聯(lián)的圖像數(shù)據(jù)。在一些實施例中，修改模塊232可被配置為修改所接收的視覺數(shù)據(jù)，以使其包含由檢索模塊230生成的修改后的視覺數(shù)據(jù)。在一種示例性實施例中，修改模塊232可以向提供物品選擇和/或?qū)υ鰪姮F(xiàn)實的選擇的客戶端(例如，處理系統(tǒng)110)返回修改后的視覺數(shù)據(jù)。應該注意的是，盡管圖2示出了獨立于其他模塊的特定模塊，但是其它實施例可以在單個的部件內(nèi)包含一個或多個模塊。另外，可以提供這樣的實施例作為單個模塊的圖2所示部件可以被實現(xiàn)為兩個或多個部件。參考圖3-6論述由增強現(xiàn)實模塊210執(zhí)行的各種操作。圖3是根據(jù)一種示例性實施例的用以提供修改后的視覺數(shù)據(jù)的方法300的流程圖。方法300可以通過處理邏輯來執(zhí)行，處理邏輯可以包含硬件(例如，專用邏輯、可編程邏輯、微碼等等)、(諸如在通用計算機系統(tǒng)或者專用機器上運行的)軟件或兩者的組合。在一種示例性實施例中，處理邏輯可以以圖I中的增強現(xiàn)實應用124的形式駐留在圖I中所示的服務器120處。如圖3中所示，方法300開始于操作310，此時服務器120從客戶端(例如，圖I的處理系統(tǒng)110)接收輸入，該輸入包含物品選擇。在操作320，方法300可以基于接收到的輸入提供用以生成占位物的生成信息。該生成信息可被提供給處理系統(tǒng)110，以允許用戶利用打印機生成占位物或者利用視覺顯示設備(例如，移動電話屏幕、攝相機屏幕等等)觀察占位物。圖4中示出了占位物的ー種示例，下面將詳細說明。在操作330，方法300接收來自客戶端(例如，處理系統(tǒng)110)的視覺數(shù)據(jù)。在一 種實施例中，視覺數(shù)據(jù)可以由與客戶端可通信地耦合的攝像機捕捉。在操作340，方法300檢測包括在視覺數(shù)據(jù)中的占位物信息；該占位物信息與由攝像機捕捉到的情景環(huán)境中放置的占位物相關聯(lián)。在操作350，方法300利用占位物信息確定放置信息。在操作360，方法300基于占位物檢索與該占位物相關聯(lián)的物品的圖像。在操作370，方法300參照放置信息修改接收到的視覺數(shù)據(jù)，以將與檢索到的圖像相關聯(lián)的圖像數(shù)據(jù)包含到視覺數(shù)據(jù)中。在示例中，可以修改檢索到的圖像，以使捕捉到的環(huán)境的各個尺寸、朝向等與由檢索圖像所代表的物品的尺寸、朝向等一致。在一些實施例中，方法300的操作370可以給在操作310處提供輸入的客戶端(例如，處理系統(tǒng)110)提供修改后的視覺數(shù)據(jù)?，F(xiàn)在用戶可以以在環(huán)境中出現(xiàn)的樣子來觀察物品。圖4是根據(jù)一種示例性實施例的、用于增強現(xiàn)實系統(tǒng)100 (例如，都在圖I中的處理系統(tǒng)110、服務器120和網(wǎng)絡130)的物理占位物400的示例。在一種示例中，在接收到包括物品選擇的輸入時，增強現(xiàn)實系統(tǒng)100為該輸入所源自的客戶端源或者一些實施例中的任意其它處理系統(tǒng)(例如，移動電話)提供生成信息以生成具有獨特標志402-424的占位物400。如前所述，生成信息可以是文檔、圖像、計算機可讀指令等，以用于利用諸如打印機(例如，在可打印的印刷品的情況下)或顯示屏幕(例如，移動電話的顯示屏幕，在不可打印的數(shù)字文件的情況下)之類的渲染儀器來生成占位物400。在一些實施例中，占位物400可以是具有獨特標志402-424的標準紙張(例如，尺寸約為8. 5” X 11”)。在其它的實施例中，占位物400可以是電子形式的可顯示指令集，用以在移動電話或者輔助顯示屏幕上進行顯示。在其它的實施例中，占位物400可以是三維物體。占位物400可以包括箭頭402、404、406及408中的任意ー個或多個，這些箭頭為增強現(xiàn)實系統(tǒng)100提供占位物400的向上和向下的朝向，以例如在由攝像機捕捉時確定占位物400的朝向。在一種實施例中，增強現(xiàn)實系統(tǒng)100可以用箭頭402、404、406及408的任意組合來校準處理系統(tǒng)110的圖I的攝像機源112。在一種示例性實施例中，箭頭402、404,406及408可以以順時針方向形成，從而允許增強現(xiàn)實系統(tǒng)100首先確定頂邊與底邊朝向。當頁面翻轉時，由增強現(xiàn)實系統(tǒng)100確定的朝向可以翻轉180°。在一種示例性實施例中，任何有方向的可區(qū)分的形狀都可以取代箭頭402、404、406及408中的ー個或多個。在一種實施例中，當從原來的朝向沿著不同的軸旋轉頁面時，增強現(xiàn)實系統(tǒng)100可以利用箭頭402、404、406及408來在占位物400的四個角之間進行區(qū)分。在示例中，當用戶在攝像機捕捉到的環(huán)境中旋轉占位物400吋，增強現(xiàn)實系統(tǒng)100檢測該旋轉，并且在圖I的視覺輸出114上呈現(xiàn)情景環(huán)境中的物品時，旋轉相應的檢索到的物品圖像。在一種示例性實施例中，占位物400包括中央矩形410，所述中央矩形410可以規(guī)定占位物400的初始檢測。在一些實施例中，當占位物400在諸如禮堂或者戶外環(huán)境的開放環(huán)境中被放置得距離攝像機很遠時，增強現(xiàn)實系統(tǒng)100可以在其它獨特標志之前初始檢測中央矩形410。在其它示例性實施例中，中央矩形410可以用相對于占位物400來說尺寸較對大并且通常位于占位物400中央附近的任何設計來代替。如圖4所示，占位物400包括用相異的顏色掩蓋的陰影物體412和414，以提供用于檢測占位物400的朝向、比例和距離的 占位物400的不同范圍。增強現(xiàn)實系統(tǒng)可以采用陰影物體412和414來確定左右和深度維度的朝向。占位物400還可以包括線標志416、418、420和422，以協(xié)助增強現(xiàn)實系統(tǒng)改善占位物400的第三維度。在一種實施例中，第一和第二組線416和418內(nèi)的線中每組都是等距的。第一和第二組線416和418可以提供物體的深度和縮放因子。通過已知的方法，增強現(xiàn)實系統(tǒng)可以基于任意或全部的箭頭402、404、406及408、中央矩形410、陰影物體412和414以及線標志416、418、420和422來對圖像進行定向和縮放。在一種實施例中，占位物400的獨特標志可以包含識別標志424，所述識別標志424可以是檢驗所生成的占位物400是否與所選物品匹配時使用的物品識別信息。在其它的實施例中，這些附加的識別標志424可以包含或者可以參考與所選物品相關的附加信息，諸如，價格、庫存以及與所選物品相關的建議物品。在一些示例性實施例中，在情景環(huán)境中，附加信息可以與物品的圖像一起是可呈現(xiàn)的。在一些實施例中，附加的識別標志424可以有助于唯一地識別環(huán)境中ー個以上的占位物400，并因此允許在情景環(huán)境中同時呈現(xiàn)多個物品。在一些實施例中，識別標志424可以是ー維條形碼、ニ維條形碼或者任何其它與所選物品可唯一地關聯(lián)的標志。在一些實施例中，可以生成不是與ー個特定物品可關聯(lián)而是可以交替地用于代表多于ー個物品的占位物。圖5A-B是根據(jù)一種示例性實施例的示例性用戶界面502A和502B的截屏500A和500B，其中圖示了攝像機捕捉的環(huán)境中的占位物550和情景環(huán)境中顯示的作為結果的增強現(xiàn)實圖像560。在一種實施例中，用戶可以引導攝像機朝向諸如用戶的客廳之類的位置，這可以為增強現(xiàn)實提供情景環(huán)境。用戶界面502A圖示了攝像機捕捉的環(huán)境(例如，客廳)的視覺畫面504A。在一些實施例中，用戶界面502A和502B可以包含選項按鈕506、508和510。選項按鈕506可被選擇以增強現(xiàn)實，選項按鈕508可被選擇以購買物品，并且選項按鈕510可被選擇以對物品出價。例如，用戶可以選擇諸如燈之類的物品，并且調(diào)整攝像機的方向以觀察用戶想要放置燈的環(huán)境(例如，臥室)。該用戶可以在客戶端(例如，圖I的處理系統(tǒng)110)選擇增強現(xiàn)實選項按鈕506以將輸入與物品選擇信息一起提供給服務器(例如，圖I的服務器120)。服務器120可以為客戶端(例如，處理系統(tǒng)110)提供生成信息以生成占位物，諸如圖4中所描述的占位物400，并且該用戶可以將該占位物放置到攝像機捕捉的環(huán)境中。截屏500A圖示了圖5A的用戶界面502A，其中占位物550在視覺畫面504A中的攝像機捕捉環(huán)境內(nèi)可見。在服務器120處的圖I的增強現(xiàn)實應用124接收從客戶端設備(例如，處理系統(tǒng)110)可觀察的(包含占位物550的視覺畫面504A中所示的)攝像機捕捉環(huán)境的視覺數(shù)據(jù)。增強現(xiàn)實應用124檢測與包含在該視覺數(shù)據(jù)中的占位物550相關聯(lián)的占位物信息，并且通過該占位物信息確定放置信息。然后，增強現(xiàn)實應用124檢索與該占位物550相關聯(lián)的物品的圖像。在一些實施例中，占位物550的獨特標志可以用于確定哪個物品與該占位物相關聯(lián)，或是可從物品的多個圖像中選擇物品的哪ー個圖像。增強現(xiàn)實應用124為客戶端設備(例如，處理系統(tǒng)110)提供修改后的視覺數(shù)據(jù)，包括與所選物品的檢索到的圖像相關聯(lián)的圖像數(shù)據(jù)。在一些實施例中，增強現(xiàn)實應用124用圖像數(shù)據(jù)取代占位物信息，以諸如修改接收到的視覺數(shù)據(jù)并在視覺畫面504B中可觀察的攝像機捕捉的環(huán)境內(nèi)顯示該物品的替代圖像。在一種示例性實施例中，如圖5B中所示，增強現(xiàn)實應用124可以通過提供覆蓋圖像數(shù)據(jù)代替占位物信息來修改接收到的視覺數(shù)據(jù)，以諸如在視覺畫面504B中可觀察的攝像機捕捉的環(huán)境內(nèi)顯示物品圖像的覆蓋物(例如，增強現(xiàn)實圖像560)圖6示出了內(nèi)部可執(zhí)行ー組指令的計算機系統(tǒng)600的示例形式的機器的示意圖，所述指令使該機器執(zhí)行在此論述的任何ー個或多個方法。在替換的實施例中，該機器作為單機設備運行，或者可以與其它機器連接(例如，連網(wǎng))。在網(wǎng)絡化部署的情況下，該機器可以運行以具有服務器-客戶端網(wǎng)絡中的服務器或客戶機的能力，或者作為端對端(或分布式)網(wǎng)絡的對等機器來運行。該機器可以是個人計算機(PC)、平板電腦、機頂盒(STB)、個人數(shù)字助理(PDA)、蜂窩電話、網(wǎng)絡家電、網(wǎng)絡路由器、交換機或網(wǎng)橋，或者任何能夠執(zhí)行指定將被該機器采納的特定動作的ー組指令(順序的或其它方式的)的機器。此外，雖然只舉例說明了多個機器，術語“機器”也還應理解為包括単獨或共同執(zhí)行在此論述的一個或多個方法的ー組(或多組)指令的機器的任何集合。示例性計算機系統(tǒng)600包括處理器602(例如，中央處理單元(CPU)、圖形處理單元(GPU)或兩者都有)、主存儲器604和靜態(tài)存儲器606，它們通過總線608彼此通信。計算機系統(tǒng)600還可以包括視頻顯示単元610 (例如，液晶顯示器(IXD)或陰極射線管(CRT))。計算機系統(tǒng)600也包括字母數(shù)字輸入設備612 (例如，鍵盤)、用戶界面(UI)導航設備614(例如，光標控制設備)、盤驅(qū)動單元616、信號發(fā)生設備618 (例如，揚聲器)和網(wǎng)絡接ロ設備620。盤驅(qū)動單元616包括存儲ー組或多組指令以及數(shù)據(jù)結構(例如，軟件624)的機器可讀介質(zhì)622，所述指令及數(shù)據(jù)結構由在此描述的ー種或多種方法或功能使用或體現(xiàn)所述方法或功能。在由計算機系統(tǒng)600執(zhí)行期間，軟件624也可以完全或者至少部分地駐留在主存儲器604和/或處理器602內(nèi)部，也與主存儲器604和處理器602 —起構成機器可讀介質(zhì)。軟件624還可以利用多種眾所周知的傳輸協(xié)議中的任意ー種(例如，超文本傳輸協(xié)議(HTTP))通過網(wǎng)絡接ロ設備620在網(wǎng)絡626上被發(fā)送或接收。盡管在示例性實施例中將機器可讀介質(zhì)622表示為單個介質(zhì)，但是術語“機器可讀介質(zhì)”應被理解為包括存儲ー組或多組指令的單個介質(zhì)或多個介質(zhì)(例如，集中式或分布式數(shù)據(jù)庫，和/或相關聯(lián)的高速緩存和服務器)。術語“機器可讀介質(zhì)”也應被理解為包括任何能夠存儲、編碼或傳送由機器執(zhí)行的ー組指令并使機器能夠執(zhí)行本公開的實施例的任意ー種或多種方法、或者能夠存儲、編碼或傳送由這樣ー組指令使用或與這樣ー組指令相關聯(lián)的數(shù)據(jù)結構的介質(zhì)。術語“機器可讀介質(zhì)”因此被理解為包括但不限于固態(tài)存儲器、光學和磁性介質(zhì)和載波信號。這種介質(zhì)也可以包括但不限于硬盤、軟盤、閃存卡、數(shù)字視頻光盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)等等。在這里描述的實施例可以在包含在計算機上安裝的軟件的運行環(huán)境中、硬件中、或者在軟件和硬件的組合中實現(xiàn)。這樣，已描述了增強現(xiàn)實系統(tǒng)。雖然已經(jīng)參考特定的示例性實施例描述了實施例，很明顯，在不背離發(fā)明主題的較寬的主g和范圍的情況下，可以對這些實施例進行多種修 改和改變。因此，本說明書及附圖應被視為例示性而不是限制性的。
權利要求
1.一種系統(tǒng)，包括 視覺數(shù)據(jù)接收器模塊，用于從客戶端接收視覺數(shù)據(jù)； 檢測模塊，用于檢測所述視覺數(shù)據(jù)中包含的占位物信息，所述占位物信息與占位物相關聯(lián); 放置確定模塊，用于使用所述占位物信息確定放置信息； 檢索模塊，用于基于所述占位物的獨特標志檢索與所述占位物相關聯(lián)的物品圖像；和 修改模塊，用于參考所述放置信息來修改接收到的視覺數(shù)據(jù)，從而將與檢索到的圖像相關聯(lián)的圖像數(shù)據(jù)包括到所述視覺數(shù)據(jù)中。
2.如權利要求I所述的系統(tǒng)，還包括 輸入接收器模塊，用于接收包含物品選擇的輸入；和 信息提供器模塊，用于基于接收到的輸入來提供用于生成所述占位物的生成信息。
3.如權利要求I所述的系統(tǒng)，其中，所述放置確定模塊用于確定縮放因子。
4.如權利要求I所述的系統(tǒng)，其中，所述檢索模塊用于檢測與所述占位物相關聯(lián)的獨特標志物。
5.如權利要求3所述的系統(tǒng)，其中，所述圖像檢索模塊用于 確定物品的尺寸；和 利用確定后的物品尺寸和確定后的物品的縮放因子，修改該檢索到的物品圖像。
6.如權利要求I所述的系統(tǒng)，其中，所述檢測模塊還用于檢測所述占位物的對比度和所述占位物的邊界的變化中的至少ー個。
7.如權利要求I所述的系統(tǒng)，其中，所述修改模塊還用于檢索與物品相關聯(lián)的信息以和物品圖像一起顯不。
8.如權利要求I所述的系統(tǒng)，其中，所述檢索模塊用于訪問圖像的數(shù)據(jù)庫，并基于確定后的所述占位物的參數(shù)從物品的多個圖像中選擇物品圖像。
9.如權利要求I所述的系統(tǒng)，其中，所述放置確定模塊還用于基于所述占位物與攝像機之間的距離確定縮放因子，并基于所述占位物相對于攝像機的角度確定朝向因子。
10.一種計算機可執(zhí)行方法，包括 從客戶端接收視覺數(shù)據(jù)； 檢測所述視覺數(shù)據(jù)中包含的占位物信息，所述占位物信息與占位物相關聯(lián)； 使用所述占位物信息確定放置信息； 基于所述占位物的獨特標志，檢索與所述占位物相關聯(lián)的物品的圖像；和 使用處理器，參考所述放置信息來修改接收到的視覺數(shù)據(jù)，從而將與檢索到的圖像相關聯(lián)的圖像數(shù)據(jù)包括到所述視覺數(shù)據(jù)中。
11.如權利要求10所述的方法，還包括 接收包含物品選擇的輸入；和 基于接收到的輸入提供用于生成所述占位物的生成信息。
12.如權利要求10所述的方法，其中，確定放置信息還包括基于所述放置信息確定縮放因子。
13.如權利要求12所述的方法，其中，檢索與占位物相關聯(lián)的物品的圖像還包括參考確定后的縮放因子來選擇所述圖像。
14.如權利要求10所述的方法，其中，檢索與占位物相關聯(lián)的物品的圖像還包括 確定所述物品的尺寸；和 參考所述物品的確定后的尺寸和確定后的縮放因子，修改檢索到的物品的圖像。
15.如權利要求12所述的方法，其中，確定縮放因子還包括檢測所述占位物的對比度和邊界部分的變化中的至少ー個。
16.如權利要求10所述的方法，其中，檢索與占位物相關聯(lián)的物品的圖像還包括 訪問圖像的數(shù)據(jù)庫；和 基于所述放置信息，從多個圖像中選擇物品的圖像。
17.如權利要求10所述的方法，其中，修改接收到的視覺數(shù)據(jù)還包括用物品圖像信息代替占位物信息。
18.如權利要求10所述的方法，其中，確定放置信息還包括 基于所述占位物與攝像機之間的距離確定縮放因子；和 基于所述占位物相對于攝像機的角度確定朝向因子。
19.如權利要求18所述的方法，其中，參考放置信息修改接收到的視覺數(shù)據(jù)從而包括檢索到的圖像還包括 參考縮放因子和朝向因子修改檢索圖像；和 用修改后的檢索的圖像數(shù)據(jù)修改接收到的視覺數(shù)據(jù)。
20.ー種包含指令的機器可讀介質(zhì)，當該指令由機器執(zhí)行時使得機器執(zhí)行以下操作 接收包括物品選擇的輸入； 基于接收到的輸入提供用于生成占位物的生成信息； 從客戶端接收視覺數(shù)據(jù)； 檢測所述視覺數(shù)據(jù)中包含的占位物信息，所述占位物信息與所述占位物相關聯(lián)； 使用所述占位物信息確定放置信息； 基于所述占位物的獨特標志，檢索與所述占位物相關聯(lián)的物品的圖像；和使用處理器，參考所述放置信息來修改接收到的視覺數(shù)據(jù)，從而將與檢索到的圖像相關聯(lián)的圖像數(shù)據(jù)包括到所述視覺數(shù)據(jù)中。
全文摘要
在為客戶端提供用于在情景環(huán)境中顯示的物品圖像的系統(tǒng)和方法的示例性實施例中，用戶選擇用于在情景環(huán)境中顯示的物品，并且該用戶放置耦合到處理系統(tǒng)的攝像機用以捕捉情景環(huán)境。生成標志物并且該標志物與用戶所選物品相關聯(lián)。在示例性實施例中，將所生成的標志物放在情景環(huán)境內(nèi)的位置，并且用戶的處理系統(tǒng)向服務器發(fā)送攝像機所捕捉環(huán)境的視覺數(shù)據(jù)流。在示例性實施例中，用戶的處理設備接收包含該物品的圖像的修改后的數(shù)據(jù)流，并且用戶的處理設備在與標志物相同的位置顯示物品圖像。
文檔編號G09G5/00GK102667913SQ201080059424
公開日2012年9月12日 申請日期2010年12月21日 優(yōu)先權日2009年12月22日
發(fā)明者埃里克·J·法拉洛, 約翰·泰普雷 申請人:電子灣有限公司