混合現(xiàn)實(shí)體驗(yàn)共享的制作方法
【專利說明】混合現(xiàn)實(shí)體驗(yàn)共享
[0001]
[0002]混合現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)現(xiàn)顯示設(shè)備，諸如頭戴式顯示設(shè)備)可被用在各種真實(shí)世界環(huán)境和上下文中。這樣的設(shè)備可包括用于從周圍環(huán)境中收集數(shù)據(jù)(諸如圖像、深度信息、音頻等)的各種傳感器?；旌犀F(xiàn)實(shí)設(shè)備的用戶可通過在進(jìn)行體驗(yàn)時收集數(shù)據(jù)來捕捉各種體驗(yàn)。
[0003]—人可能希望查看當(dāng)前體驗(yàn)和/或重新體驗(yàn)由混合現(xiàn)實(shí)設(shè)備的多個用戶捕捉的一個或多個體驗(yàn)。類似地，這種設(shè)備的一個或多個用戶可能希望與第三方共享體驗(yàn)。不幸的是，以有利于方便地共享豐富混合現(xiàn)實(shí)體驗(yàn)的方式來組合并管理來自多個混合現(xiàn)實(shí)設(shè)備的數(shù)據(jù)的能力至今受到限制。
[0004]概沭
[0005]本文公開了涉及呈現(xiàn)物理環(huán)境的紋理化共享世界模型以供顯示設(shè)備顯示的各種實(shí)施例。例如，一個公開的實(shí)施例提供用于經(jīng)由顯示設(shè)備呈現(xiàn)物理環(huán)境的紋理化共享世界模型的方法。該方法包括接收地理定位在物理環(huán)境處并包括深度信息的眾包的結(jié)構(gòu)數(shù)據(jù)項(xiàng)。眾包的結(jié)構(gòu)數(shù)據(jù)項(xiàng)被縫合在一起以生成物理環(huán)境的3D空間共享世界模型。
[0006]地理定位在物理環(huán)境處的眾包的紋理數(shù)據(jù)項(xiàng)也從多個源被接收。紋理數(shù)據(jù)項(xiàng)中的每一個包括被打上時間戳的圖像或被打上時間戳的視頻。時間過濾參數(shù)的用戶輸入被接收并被用于過濾眾包的紋理數(shù)據(jù)項(xiàng)以生成紋理數(shù)據(jù)項(xiàng)的在時間上過濾了的子組。眾包的紋理數(shù)據(jù)項(xiàng)的在時間上過濾了的子組被應(yīng)用到物理環(huán)境的3D空間共享世界模型的表面來生成物理環(huán)境的紋理化共享世界模型。物理環(huán)境的紋理化共享世界模型接著被提供到顯示程序以供顯示設(shè)備顯示。
[0007]提供本概述是為了以精簡的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。
[0008]附圖簡沐
[0009]圖1是根據(jù)本公開的一實(shí)施例的混合現(xiàn)實(shí)體驗(yàn)共享系統(tǒng)的示意圖。
[0010]圖2示出根據(jù)本公開的一實(shí)施例的示例頭戴式顯示設(shè)備。
[0011]圖3是呈現(xiàn)在圖形用戶界面中的時間過濾選擇器的示意圖。
[0012]圖4A是其中佩戴頭戴式顯示設(shè)備的用戶所處于的賓館大堂和酒吧的示意圖。
[0013]圖4B是圖4A的賓館大堂和酒吧在較早的日期和時間時的示意圖。
[0014]圖5A和5B是用于根據(jù)本發(fā)明的一實(shí)施例來呈現(xiàn)物理環(huán)境的紋理化共享世界模型的方法的流程圖。
[0015]圖6是計(jì)算系統(tǒng)的一實(shí)施例的簡化示意圖解。
【具體實(shí)施方式】
[0016]圖1顯示了混合現(xiàn)實(shí)體驗(yàn)共享系統(tǒng)10的一個實(shí)施例的示意圖?；旌犀F(xiàn)實(shí)體驗(yàn)共享系統(tǒng)10包括可被存儲在計(jì)算設(shè)備22的大容量存儲18中的混合現(xiàn)實(shí)體驗(yàn)共享程序14。混合現(xiàn)實(shí)體驗(yàn)共享程序14可被加載到存儲器24中并由計(jì)算設(shè)備22的處理器26執(zhí)行以執(zhí)行下文更為詳細(xì)地描述的方法和過程中的一個或多個。
[0017]計(jì)算設(shè)備22可采用以下形式:網(wǎng)絡(luò)計(jì)算機(jī)、家庭娛樂計(jì)算機(jī)、臺式計(jì)算設(shè)備、諸如智能電話、膝上型計(jì)算機(jī)、筆記本或平板計(jì)算機(jī)之類的移動計(jì)算設(shè)備或其他合適類型的計(jì)算設(shè)備。關(guān)于計(jì)算設(shè)備22的組件和計(jì)算方面的附加細(xì)節(jié)在下文中參考圖6更詳細(xì)地描述。
[0018]如以下更加詳細(xì)解釋的，混合現(xiàn)實(shí)體驗(yàn)共享程序14可從多個源接收包括地理定位的結(jié)構(gòu)數(shù)據(jù)項(xiàng)28和地理定位的紋理數(shù)據(jù)項(xiàng)30的眾包數(shù)據(jù)。如圖1中顯示的，在一個示例中，這樣的眾包數(shù)據(jù)可涉及物理環(huán)境32以及該環(huán)境的被數(shù)據(jù)捕捉設(shè)備捕捉的各方面。地理定位的結(jié)構(gòu)數(shù)據(jù)項(xiàng)28可包括但不限于，與物理環(huán)境32中的結(jié)構(gòu)、對象和對應(yīng)的表面有關(guān)的深度信息。地理定位的紋理數(shù)據(jù)項(xiàng)30可包括但不限于，光、靜止和視頻圖像以及可被應(yīng)用到在地理定位的結(jié)構(gòu)數(shù)據(jù)項(xiàng)28中所表示的表面的其他數(shù)據(jù)項(xiàng)。地理定位的紋理數(shù)據(jù)項(xiàng)30還可包括與物理環(huán)境32有關(guān)的其他數(shù)據(jù)項(xiàng)，諸如從物理環(huán)境中記錄的音頻以及在物理環(huán)境中地理定位的全息圖和其他虛擬圖像。
[0019]眾包的地理定位的結(jié)構(gòu)數(shù)據(jù)項(xiàng)28和地理定位的紋理數(shù)據(jù)項(xiàng)30可被多個捕捉設(shè)備捕捉并可經(jīng)由一個或多個網(wǎng)絡(luò)連接(未顯示)從這樣的設(shè)備中接收。捕捉設(shè)備中的一個或多個可采取將圖像遞送到用戶54的眼睛的頭戴式顯示(HMD)設(shè)備34的形式。在這個示例中，HMD設(shè)備34包括顯示程序38被存儲在其上的計(jì)算設(shè)備36。顯示程序38可生成虛擬環(huán)境以供經(jīng)由顯示系統(tǒng)40顯示來創(chuàng)建混合現(xiàn)實(shí)環(huán)境。虛擬環(huán)境可包括一個或多個虛擬圖像，諸如二維(2D)虛擬對象和三維(3D)全息對象。關(guān)于計(jì)算設(shè)備36的組件和計(jì)算方面的附加細(xì)節(jié)在下文中參考圖6更詳細(xì)地描述。
[0020]現(xiàn)在還參考圖2，提供了一副具有透明顯示器202的可配戴眼鏡形式的HMD設(shè)備200的示例。將明白，在其他示例中，HMD設(shè)備200可以采取其他合適的形式，其中透明、半透明或不透明顯示器被支撐在查看者的一只或兩只眼睛前方。還將明白，圖1中所示的HMD設(shè)備34可以采取HMD設(shè)備200的形式(如在下文更詳細(xì)地描述的)或任何其他合適的HMD設(shè)備。另外，在本公開的范圍內(nèi)還可使用具有各種形狀因子的許多其他類型和配置的捕捉設(shè)備。這樣的捕捉設(shè)備可包括但不限于，數(shù)碼相機(jī)、數(shù)碼攝像機(jī)、深度相機(jī)、智能電話、平板計(jì)算機(jī)和其他合適的捕捉設(shè)備以及上述捕捉設(shè)備的組合。
[0021]參考圖1和2，在這一示例中，HMD設(shè)備34包括顯示系統(tǒng)40和使圖像能夠被遞送到用戶的眼睛的透明顯示器202。透明顯示器202可被配置成針對透過該透明顯示器查看物理環(huán)境32的用戶54視覺地增強(qiáng)該物理環(huán)境32的外觀。例如，物理環(huán)境32的外觀可以由經(jīng)由透明顯示器202呈現(xiàn)的圖形內(nèi)容(例如，一個或多個像素，每一像素具有相應(yīng)色彩和亮度)來增強(qiáng)以創(chuàng)建混合現(xiàn)實(shí)環(huán)境。
[0022]透明顯示器202還可被配置成使用戶54能夠透過顯示虛擬對象表示的一個或多個部分透明的像素來查看物理環(huán)境32中的物理現(xiàn)實(shí)世界對象。在一個示例中，透明顯示器202可包括位于透鏡204內(nèi)的圖像生成元件(諸如例如透視有機(jī)發(fā)光二極管(OLED)顯示器)。作為另一示例，透明顯示器202可包括在透鏡204邊緣上的光調(diào)制器。在這一示例中，透鏡204可以擔(dān)當(dāng)光導(dǎo)以供將光從光調(diào)制器遞送到用戶54的眼睛。這樣的光導(dǎo)可以使用戶54能夠感覺3D全息圖像位于用戶正在查看的物理環(huán)境32內(nèi)，同時還允許用戶查看物理環(huán)境中的物理對象。
[0023]如以上提到的，HMD設(shè)備34還包括用于捕捉來自物理環(huán)境32的數(shù)據(jù)的各種傳感器、組件和相關(guān)系統(tǒng)。例如，HMD設(shè)備34包括利用至少一個面向外的傳感器212(如光學(xué)傳感器)的光學(xué)傳感器系統(tǒng)42。面向外的傳感器212可以檢測其視野內(nèi)的移動，如視野內(nèi)的用戶或人或物理對象所執(zhí)行的基于姿勢的輸入或其他移動。面向外的傳感器212還可從物理環(huán)境32和該環(huán)境內(nèi)的物理對象捕捉二維圖像信息和深度信息。例如，面向外的傳感器212可包括深度相機(jī)、可見光相機(jī)、紅外光相機(jī)，和/或位置跟蹤相機(jī)。如在以下更加詳細(xì)討論的，這樣的圖像信息可以以地理定位的紋理數(shù)據(jù)項(xiàng)30’的形式被遞送到混合現(xiàn)實(shí)體驗(yàn)共享程序14。這樣的深度信息還可以以地理定位的結(jié)構(gòu)數(shù)據(jù)項(xiàng)28’的形式被遞送到混合現(xiàn)實(shí)體驗(yàn)共享程序14。
[0024]HMD設(shè)備34包括用于感測和生成深度信息的一個或多個深度相機(jī)。在一個示例中，每一深度相機(jī)可包括立體視覺系統(tǒng)的左和右相機(jī)。來自這些深度相機(jī)中的一個或多個的時間分辨的圖像可被彼此配準(zhǔn)和/或與來自另一光學(xué)傳感器(如可見光譜相機(jī))的圖像配準(zhǔn)，且可被組合以產(chǎn)生具有深度分辨的視頻形式的深度信息。
[0025]在其他示例中，結(jié)構(gòu)化光深度相機(jī)可被配置成投影結(jié)構(gòu)化紅外照明并對從照明被投影到其之上的場景中反射的該照明進(jìn)行成像。基于所成像的場景的各個區(qū)域內(nèi)鄰近特征之間的間隔，可構(gòu)造該場景的深度圖。在其他示例中，深度相機(jī)可以采取飛行時間深度相機(jī)的形式，其被配置成將脈沖的紅外照明投影到該場景上以及檢測從該場景反射的照明?？梢岳斫?，在本發(fā)明的范圍內(nèi)可使用任意其他合適的深度相機(jī)。
[0026]HMD設(shè)備34還可包括位置傳感器系統(tǒng)44，該位置傳感器系統(tǒng)44利用一個或多個