維持?jǐn)U增的連續(xù)性的制作方法
【專利摘要】本發(fā)明揭示用于維持?jǐn)U增的連續(xù)性的方法及設(shè)備。在一個實施例中，一種適用于具有擴(kuò)增實境功能的裝置ARD的方法包括：至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個對象及背景；至少部分基于不同于所述視覺信息的信息維持所述多個對象的狀態(tài)；以及響應(yīng)于所述多個對象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)。
【專利說明】維持?jǐn)U増的連續(xù)性
[0001]對相關(guān)申請案的交叉參考
[0002]本申請案主張以下申請案的權(quán)益:2013年3月15日申請且標(biāo)題為“維持?jǐn)U增的連續(xù)性(此00111:1111111:7 0？ 4110116111^1:10118)19^13/844,756^^^^^^^2012年7月26日申請且標(biāo)題為“有形對象與擴(kuò)增實境對象的交互0？ 1811^1)316
811(1 八 11 職161^6(101^6(^8^^^ 61/676,246 ^^^^^^^^^2012^7^26
日申請且標(biāo)題為“維持?jǐn)U增的連續(xù)性00111:1111111:7 0？八110116111:511:10118) ”的第61/676，249號美國臨時申請案；2012年7月26日申請且標(biāo)題為“用于控制擴(kuò)增實境的方法及設(shè)備(161^0(1 811(1 八卯虹社仍？01~ 00111:1~011111^ 八 11 職16111:6(1 063111:7)19^61/676,278
號美國臨時申請案；2012年7月26日申請且標(biāo)題為“有形對象與擴(kuò)增實境對象的交互(1111:61-801:10118 0？ 1^11^11316 811(1 ^11^1116111:6(1 1？68111:7 0)3』6(^8)，，的第 61/676，255 號美國臨時申請案；以及2012年7月26日申請且標(biāo)題為“有形項目對虛擬空間中的顆粒系統(tǒng)擴(kuò)士曾的影口向11:611181 2^^601: 011 ？81~1:1016 3又8七6111 ^11^1116111:81:1011 111 ^11~81)8068) ”的第61/676，274號美國臨時申請案。前述美國申請案的全文特此以引用的方式并入。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及擴(kuò)增實境的領(lǐng)域。明確地說，本發(fā)明涉及維持?jǐn)U增的連續(xù)性。

【背景技術(shù)】
[0004]常規(guī)擴(kuò)增實境應(yīng)用提供對現(xiàn)實世界環(huán)境的實況觀看，其元素可被計算機(jī)生成的感覺輸入(例如視頻、聲音、圖形或⑶3數(shù)據(jù))加以擴(kuò)增。通過此類應(yīng)用，對現(xiàn)實的觀看可通過計算裝置修改，且所述應(yīng)用可增強(qiáng)用戶對現(xiàn)實的感知且提供關(guān)于用戶環(huán)境的更多信息。舉例來說，經(jīng)擴(kuò)增內(nèi)容可實時地且在環(huán)境元素的語義上下文(例如在比賽期間的賽事統(tǒng)計及概述)中應(yīng)用。隨著例如智能電話等移動裝置的激增，關(guān)于用戶的周圍現(xiàn)實世界的信息可在具有額外擴(kuò)增內(nèi)容的情況下顯示在移動裝置上，所述信息例如是關(guān)于具有重疊在現(xiàn)實世界對象上的虛擬對象的環(huán)境的人為信息。舉例來說，移動裝置可經(jīng)配置以玩擴(kuò)增實境游戲；此類游戲可包含游戲設(shè)定及游戲棋子。
[0005]常規(guī)擴(kuò)增實境應(yīng)用的問題中的一者是當(dāng)所跟蹤對象不再處于移動裝置的相機(jī)的視圖中時，常規(guī)擴(kuò)增實境應(yīng)用將停止跟蹤所述對象。此方法可引起不充分的用戶體驗，在移動裝置可能四處移動(當(dāng)用戶與其環(huán)境交互時或當(dāng)一或多個游戲棋子可能不再處于移動裝置的視圖中時)的情境中尤其如此。因此，需要可改進(jìn)常規(guī)擴(kuò)增實境應(yīng)用的方法、計算機(jī)程序產(chǎn)品及具有擴(kuò)增實境功能的裝置。


【發(fā)明內(nèi)容】

[0006]本發(fā)明涉及維持?jǐn)U增的連續(xù)性。根據(jù)本發(fā)明的實施例，一種適用于具有擴(kuò)增實境功能的裝置(八即)的方法包括:至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個對象及背景；至少部分基于不同于所述視覺信息的信息維持所述多個對象的狀態(tài)；以及響應(yīng)于所述多個對象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)。
[0007]根據(jù)本發(fā)明的另一實施例，一種具有擴(kuò)增實境功能的裝置包括包含處理邏輯的控制單元；所述處理邏輯包括:經(jīng)配置以至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個對象及背景的邏輯；經(jīng)配置以至少部分基于不同于所述視覺信息的信息維持所述多個對象的狀態(tài)的邏輯；以及經(jīng)配置以響應(yīng)于所述多個對象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的邏輯。
[0008]根據(jù)本發(fā)明的又一實施例，一種適用于具有擴(kuò)增實境功能的裝置的計算機(jī)程序產(chǎn)品包括存儲用于由一或多個計算機(jī)系統(tǒng)執(zhí)行的指令的非暫時性媒體；所述指令包括:用于至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個對象及背景的指令；用于至少部分基于不同于所述視覺信息的信息維持所述多個對象的狀態(tài)的指令；以及用于響應(yīng)于所述多個對象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的指令。
[0009]根據(jù)本發(fā)明的又一實施例，一種系統(tǒng)包括:用于至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個對象及背景的裝置；用于至少部分基于不同于所述視覺信息的信息維持所述多個對象中的至少一個對象的狀態(tài)的裝置；以及用于響應(yīng)于所述多個對象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的裝置。

【專利附圖】

【附圖說明】
[0010]在配合以下圖式閱讀了本發(fā)明的實施例的詳細(xì)描述之后，本發(fā)明的前述特征和優(yōu)點及其額外特征和優(yōu)點將可更加明確地理解。
[0011]圖1說明根據(jù)本發(fā)明的一些方面的具有擴(kuò)增實境功能的裝置。
[0012]圖2說明根據(jù)本發(fā)明的一些方面的示范性具有擴(kuò)增實境功能的裝置的框圖。
[0013]圖3說明根據(jù)本發(fā)明的一些方面的至少部分基于跟蹤背景中的標(biāo)記而提供交互的方法。
[0014]圖4說明根據(jù)本發(fā)明的一些方面的至少部分基于跟蹤背景中的多個對象而提供交互的另一方法。
[0015]圖5說明根據(jù)本發(fā)明的一些方面的至少部分基于跟蹤現(xiàn)實環(huán)境中的項目而提供交互的又一方法。
[0016]圖6說明根據(jù)本發(fā)明的一些方面的至少部分基于跟蹤虛擬及現(xiàn)實環(huán)境兩者中的項目而提供交互的又一方法。
[0017]圖7說明根據(jù)本發(fā)明的一些方面的當(dāng)目標(biāo)在視圖外時維持?jǐn)U增的連續(xù)性的方法。
[0018]圖8說明根據(jù)本發(fā)明的一些方面的通過對丟失的跟蹤提供校正而維持?jǐn)U增的連續(xù)性的另一方法。
[0019]圖9說明根據(jù)本發(fā)明的一些方面的至少部分基于通過即10的跟蹤而提供交互的又一方法。
[0020]圖10說明根據(jù)本發(fā)明的一些方面的跨越多個具有擴(kuò)增實境功能的裝置提供交互的方法。
[0021]圖11說明根據(jù)本發(fā)明的一些方面的維持?jǐn)U增的連續(xù)性的流程圖。
[0022]貫穿各圖使用相同數(shù)字。

【具體實施方式】
[0023]揭示維持?jǐn)U增的連續(xù)性的實施例。呈現(xiàn)以下描述以便使得所屬領(lǐng)域的技術(shù)人員能夠制作和使用本發(fā)明。具體實施例和應(yīng)用的描述僅是作為實例提供。所屬領(lǐng)域的技術(shù)人員將容易明白本文所述的實例的各種修改及組合，且在不脫離本發(fā)明的精神和范圍的情況下，本文中所界定的一般原理可以應(yīng)用于其它實例和應(yīng)用。因此，本發(fā)明并不希望限于所描述和展示的實例，而是應(yīng)被賦予符合本文揭示的原理和特征的最寬范圍。詞語“示范性”或“實例”在本文中用于意味著“充當(dāng)實例、例子或說明”。本文中描述為“示范性”或描述為“實例”的任何方面或?qū)嵤├幢貞?yīng)被解釋為比其它方面或?qū)嵤├齼?yōu)選或有利。
[0024]圖1說明根據(jù)本發(fā)明的一些方面的具有擴(kuò)增實境功能的裝置。如圖1所示，具有擴(kuò)增實境功能的裝置(八即)14包含外殼101、顯示器112、一或多個揚聲器118，及麥克風(fēng)116?？蔀橛|摸屏顯示器的顯示器112可說明由相機(jī)108俘獲的圖像或任何其它所要用戶接口信息。當(dāng)然，八即14可包含未必與本發(fā)明有關(guān)的額外組件。
[0025]如本文中所使用，仙0裝置指代任何便攜式電子裝置，例如蜂窩式或其它無線通信裝置、個人通信系統(tǒng)$(:3)裝置、個人導(dǎo)航裝置冊〉、個人信息管理器頂〉、個人數(shù)字助理004)、膝上型計算機(jī)或其它合適的移動平臺。移動平臺可能夠接收無線通信及/或?qū)Ш叫盘?，例如?dǎo)航定位信號。術(shù)語八即還意欲包含例如通過短程無線、紅外線、有線連接或其它連接而與個人導(dǎo)航裝置仰)通信的裝置，而不管是在所述裝置處還是在？冊處發(fā)生衛(wèi)星信號接收、輔助數(shù)據(jù)接收及丨或定位相關(guān)處理。而且，八即意欲包含所有電子裝置，包含能夠俘獲用于姿勢跟蹤的圖像以及能夠執(zhí)行擴(kuò)增實境用戶接口功能的無線通信裝置、計算機(jī)、膝上型計算機(jī)平板計算機(jī)、智能電話、數(shù)碼相機(jī)等。
[0026]圖2說明根據(jù)本發(fā)明的一些方面的示范性具有擴(kuò)增實境功能的裝置的框圖。八尺014的移動平臺包含用于俘獲環(huán)境的圖像的相機(jī)108，所述圖像可為個別照片或視頻幀。八尺014的移動平臺還可包含傳感器109，傳感器109可用以提供八即14的移動平臺可借以確定其位置及定向(即，姿勢)的數(shù)據(jù)?？膳c八即14的移動平臺一起使用的傳感器的實例包含加速度計、石英傳感器、陀螺儀、用作線性加速度計的微機(jī)電系統(tǒng)(1213)傳感器，以及磁力計。在一些實施方案中，皮膚電響應(yīng)((--傳感器或其它生物計量傳感器可放置在八即14的側(cè)面或表面上。
[0027]八即14的移動平臺還可包含用戶接口110，所述用戶接口 110包含能夠顯示圖像的顯示器112。用戶接口 110還可包含用戶可借以將信息輸入到八即14的移動平臺的小鍵盤114或其它輸入裝置。如果需要，則可通過將虛擬小鍵盤集成到具有觸摸傳感器的顯示器112中而消除小鍵盤114。用戶接口 110還可包含麥克風(fēng)116及一或多個揚聲器118(例如，如果移動平臺為蜂窩式電話當(dāng)然，八即14的移動平臺可包含與本發(fā)明不相關(guān)的其它組件。
[0028]八即14的移動平臺進(jìn)一步包含控制單元120，控制單元120可連接到相機(jī)108及傳感器109以及用戶接口 110連同任何其它所要特征且與之通信?？刂茊卧?20可由一或多個處理器122及相關(guān)聯(lián)的存儲器/存儲裝置124提供。控制單元120還可包含軟件126以及硬件128及固件130?？刂茊卧?20包含跟蹤單元132，所述跟蹤單元132經(jīng)配置以跟蹤八即14的位置并且跟蹤由八即14監(jiān)視的一或多個對象的位置?？刂茊卧?20可進(jìn)一步包含擴(kuò)增實境用戶接口單元134，所述擴(kuò)增實境用戶接口單元134經(jīng)配置以在八即14的顯示器112上呈現(xiàn)擴(kuò)增實境交互?？刂茊卧?20可進(jìn)一步包含經(jīng)配置以與一或多個即10傳感器或簽名通信的即10控制器136。跟蹤單元132、擴(kuò)增實境用戶接口單元134及即10控制器為了清楚起見而說明為與處理器122及/或硬件128分開，但可基于軟件126及固件130中的指令而組合及/或?qū)嵤┯谔幚砥?22及/或硬件128中。
[0029]根據(jù)本發(fā)明的方面，可結(jié)合一或多個有形接口項目來使用仙0 14。在本文所述的實例中的許多者中，有形接口項目稱為“對象”或“玩偶”。然而，還可使用其它類型的有形對象，且本文所揭示的技術(shù)不限于玩偶。舉例來說，有形接口項目可包含用戶的環(huán)境中的一或多個項目，例如可在八即14的相機(jī)的視野內(nèi)的可樂罐、咖啡杯、雜志或其它有形項目。
[0030]由八即14提供的擴(kuò)增可形成連續(xù)故事路徑。此類連續(xù)故事路徑在本文中可被稱作“場景”。八即14的擴(kuò)增邏輯可經(jīng)配置以監(jiān)視用戶的注意力，且如果用戶看起來對特定場景失去興趣，則改變場景。下文更詳細(xì)地描述用于與用戶交互及用于定制由八即14提供的擴(kuò)增內(nèi)容的技術(shù)。
[0031]根據(jù)本發(fā)明的實施例，八即14經(jīng)配置以提供一致的用戶體驗、保留暫止疑惑且促進(jìn)探索。所揭示的方法在用戶探索環(huán)境的同時維持場景的連續(xù)性，即使某些對象可能在八尺014的相機(jī)視圖外也是這樣。換句話說，八即14可經(jīng)配置以獨立于所跟蹤的對象而跟蹤環(huán)境。此外，八即14可經(jīng)配置以進(jìn)一步用額外信息加強(qiáng)所述環(huán)境，所述額外信息例如如圖3中所說明的經(jīng)擴(kuò)增環(huán)境16中的地板及/或一或多個虛擬窗戶36、虛擬門37及虛擬墻壁38。
[0032]在一些實施方案中，跟蹤參考背景12(例如墊)的方法可包含但不限于:1)跟蹤所述墊的子區(qū)域跟蹤如圖3中所說明的在所述墊上的標(biāo)記或子特征；3〉跟蹤如圖4中所說明的可臨時或永久地組合以形成較大墊(例如盥洗室地板上的瓷磚，例如123到126)的多個小墊；以及4)跟蹤這些子區(qū)域/標(biāo)記/小墊與總體墊的關(guān)系，使得使一個子區(qū)域/標(biāo)記/小墊處于八即14的相機(jī)視圖中可使得八即14能夠確定用戶可看向較大墊上何處。在一些其它實施方案中，環(huán)境可包含一或多個有形墻壁18，其可附接到墊，以產(chǎn)生如圖5中所說明的游戲室?？捎媒?jīng)擴(kuò)增窗戶36及經(jīng)擴(kuò)增門37擴(kuò)增所述游戲室。在其它實施方案中，可使用實際游戲室的環(huán)境，即，可不擴(kuò)增有形游戲室?？扇缦挛乃枋龈檳Ρ?8及墻壁的子部分。
[0033]如圖6中所示，所述方法包含識別且跟蹤環(huán)境中的細(xì)節(jié)以動態(tài)地產(chǎn)生環(huán)境的地圖(使用參考自由八10，且接著識別用戶當(dāng)前聚焦于哪一子部分上及所述子部分與總體地圖之間的關(guān)系。所述方法可進(jìn)一步包含經(jīng)由現(xiàn)實世界環(huán)境的動態(tài)映射(使用參考自由八10擴(kuò)展虛擬環(huán)境16超出參考背景12(例如桌子及桌子19上的對象)的能力。
[0034]根據(jù)本發(fā)明的方面，可由艦)14使用同時定位及跟蹤說艦)架構(gòu)來跟蹤其環(huán)境中的對象。舉例來說，八即14可經(jīng)配置以創(chuàng)建31八1環(huán)境。31八1環(huán)境可配置為例如相對于1八1環(huán)境坐標(biāo)幀原點具有三維(30)位置的密集篩網(wǎng)或密集/稀疏的點云。環(huán)境中的每一特征點可包含一或多個描述符，其描述所述特征點的視覺外觀及/或關(guān)于所述特征的30結(jié)構(gòu)信息。舉例來說，30環(huán)境的表面及其對應(yīng)表面法線可用以描述環(huán)境中的各種特征點。注意，可通過移動裝置在一系列圖像幀上俘獲特征點。
[0035]在一些實施方案中，當(dāng)目標(biāo)在視圖外時，擴(kuò)增可繼續(xù)。在起始游戲之后，當(dāng)背景12(例如盥洗室或地板)進(jìn)入視圖中時，可即刻顯示用于那一場景的擴(kuò)增16。當(dāng)對象進(jìn)入視圖中時，其對應(yīng)擴(kuò)增可展示于場景中，例如，浴缸22引起動畫浴缸32具有氣泡33及橡膠鴨39的擴(kuò)增，且可播放氣泡的音頻。當(dāng)經(jīng)擴(kuò)增浴缸32在幀外時，例如當(dāng)物理物體歸因于八尺014的移動而不再處于視圖中時，浴缸22相對于參考背景12(例如地板)的位置可記錄在存儲器中，且只要維持跟蹤所述環(huán)境，浴缸22就可繼續(xù)影響所述場景，如圖7中所說明。在此實例中，當(dāng)目標(biāo)處于八即14的視圖外時，擴(kuò)增可以如下方式繼續(xù):1)氣泡的音頻繼續(xù)播放；2)氣泡33的視頻在空氣中浮動；以及3)用戶搖攝到盥洗室(未展示)中的伯尼且其說出“哦，橡膠鴨，你在這里！ ”
[0036]在一種方法中，浴缸的擴(kuò)增可看似從其在盥洗室地板上的地點噴氣。當(dāng)用戶接近所述地點時，可使氣泡的聲音較響，且當(dāng)用戶走開時，可使氣泡的聲音變得較安靜。只要視圖在距浴缸的預(yù)定距離內(nèi)，擴(kuò)增就可繼續(xù)從在盥洗室地板上的相同點噴氣，例如可在盥洗室中聽到，但在起居室中聽不到，達(dá)到跟蹤所述環(huán)境的程度。當(dāng)視圖返回到在預(yù)定距離內(nèi)時，擴(kuò)增可恢復(fù)。
[0037]在另一方法中，擴(kuò)增可如下繼續(xù)，包含但不限于:1)只要用戶的雙手保持在八尺014上，如由八即14的側(cè)面或表面上的皮膚電響應(yīng)((--或其它生物計量傳感器所檢測；2〉只要至少一只手保持在相機(jī)上，如由裝置的側(cè)面或表面上的631？或其它生物計量傳感器所檢測只要檢測到相同用戶握持相機(jī)，如通過比較隨時間推移而來自裝置的生物計量傳感器數(shù)據(jù)而檢測。例如，來自在裝置的任何表面上的傳感器的心律簽名或指紋；4)直到看到浴缸移動，例如移動到新地板位置，或直到看到先前與所述對象相關(guān)聯(lián)的盥洗室地板區(qū)域變空直到預(yù)定時間周期已過去而未返回到浴缸或浴缸區(qū)域；6〉在相機(jī)已固定達(dá)時間七之后；或7)只要相機(jī)正在移動。注意，在一些實施方案中，控制單元120可在未在視圖中感知到的情況下假定對象可為靜態(tài)的；且控制單元120可在相機(jī)正移動時假定對象并不移動。
[0038]根據(jù)本發(fā)明的實施例，在場景開始之后，其繼續(xù)進(jìn)行且在以下條件下不重新開始，所述條件包含但不限于:1)只要已按預(yù)定時間間隔觸摸相機(jī)只要相機(jī)正在移動；3〉只要相機(jī)已按預(yù)定時間間隔移動；幻只要相機(jī)處于手中，如由生物計量傳感器所確定；或5〉只要相同用戶正握持相機(jī)，如由生物計量傳感器數(shù)據(jù)的非實質(zhì)性改變所確定。
[0039]根據(jù)本發(fā)明的實施例，仙0 14經(jīng)配置以校正丟失的跟蹤，包含但不限于以下情境。首先，如果八卩0 14緊鄰對象(例如小鳥)，且接著丟失所述對象，則八卩0 14的控制單元120可經(jīng)配置以假定所述對象在預(yù)定時間量內(nèi)可仍在那里，如圖8中所示。舉例來說，控制單元120可假定對象可能已過于接近以致不能有效地識別或跟蹤對象，因此場景可繼續(xù)顯示。第二，如果八即14正朝向?qū)ο笠苿?例如，小鳥的相對大小正在增大)，接著對象可能從視圖丟失，控制單元120可假定對象在預(yù)定時間周期內(nèi)仍在那里?？刂茊卧?20可進(jìn)一步假定用戶可能希望放大所述對象但未將八即14與對象對準(zhǔn)，對象被用戶的手遮擋，等。第三，如果對象在某一地點(例如，盥洗室地板)移出視圖外且稍后在另一地點(例如，在盥洗室的另一區(qū)域中)檢測到，則場景繼續(xù)。可由所述新地點擴(kuò)增所述對象。在此情況下，控制單元120將不重新開始或失去其歷史。最后但不是最不重要的一點，如果用戶使一個場景在播放，例如小鳥觀看電視，則八即14可放大小鳥以致使場景改變，當(dāng)八即14重又縮小時，場景可使小鳥恢復(fù)觀看電視?？捎每s放操作期間的交互來擴(kuò)展所述場景，但控制單元120將不重新開始或失去場景的歷史。
[0040]根據(jù)本發(fā)明的實施例，八即14可經(jīng)配置以組合建立場景擴(kuò)增的連續(xù)性的不同方法與相機(jī)外有形接口項目。連同視覺對象辨識及跟蹤，可使用額外方法來維持對象相對于背景(例如地板或墊)的地點地圖。在如圖9中所說明的一些實施方案中，使用即10的近場跟蹤可實施于八即14中，使得如果項目仍在房間中，則甚至可建立對象10與背景12的相對地點。
[0041]在一種示范性方法中，八即14的視野已移動，因此在盥洗室地板上的浴缸可能在視圖外。與參考背景12(例如墊)相關(guān)聯(lián)的即10控制器可經(jīng)配置以檢測浴缸22的即10簽名(由波200表示)。即10控制器可將信息(由波210表示)發(fā)送到仙0 14，如圖9中所示。八即14可經(jīng)配置以假定浴缸仍處于觀測到其的最后地點。因此，八即14可至少部分基于從即10控制器接收的浴缸的地點信息而繼續(xù)提供擴(kuò)增。在即10控制器未檢測到浴缸的尺？10簽名的情況下，其可將此信息傳遞到八即140 ^0 14可假定浴缸已移動，因此通過使氣泡聲音緩慢地淡出或通過使氣泡以氣爆方式爆破而停止擴(kuò)增。
[0042]在另一方法中，在墊上的近場跟蹤包含用于確定墊上的對象的子位置的方法，例如通過在墊中使用一系列即10線圈或即10線圈柵格。以此方式，與墊相關(guān)聯(lián)的即10控制器維持墊上的對象以及其位置或大致位置的目錄兩者。接著，即10控制器可將地點信息發(fā)送到八即14。此外，即10控制器可將地點的任何變化(例如，對象的添加或移除)發(fā)送到八尺0 14。八即14可經(jīng)配置以從八即14的角度跟蹤視圖中對象及視圖外對象兩者，且使用此類地點信息來提供擴(kuò)增。注意，即使在八即14的相機(jī)視圖中可能沒有可識別的對象或環(huán)境，音頻擴(kuò)增仍可繼續(xù)。
[0043]在又一方法中，配備有即10能力的一或多個墊可經(jīng)配置以維持對象的目錄及放置，且視情況維持對象相對于所述墊的相對地點。在一種方法中，可結(jié)合地使用來自不同墊的信息以作出關(guān)于場景的推斷且提供適當(dāng)擴(kuò)增，而不顧及八即14的相機(jī)視圖。舉例來說，如果角色(例如伯尼)從一個房間移動到另一房間以使得其現(xiàn)在與另一角色(例如，布雷特)處于相同房間中，且八即14的相機(jī)視圖可在第二房間中，則角色可開始交互，而不管角色是否處于八即14的相機(jī)視圖中。示范性擴(kuò)增可展示布雷特轉(zhuǎn)身以對進(jìn)入房間的伯尼講話，但伯尼可能不在相機(jī)視圖中。
[0044]在一些其它實施方案中，八即14可經(jīng)配置以使用從加速度計、陀螺儀及磁力計中的至少一者接收的傳感器數(shù)據(jù)來擴(kuò)增視覺跟蹤(例如，在一些實施例中，使用航位推算在一種方法中，八即14可經(jīng)配置以在視覺參考在視圖外時使用傳感器數(shù)據(jù)來跟蹤到對象(例如，浴缸)的相對距離及方向以補(bǔ)充視覺跟蹤。八即14可使用傳感器數(shù)據(jù)來通過在確定相對于目標(biāo)的位置時使用航位推算技術(shù)而提供擴(kuò)增的繼續(xù)。
[0045]在另一方法中，八即14可經(jīng)配置以使用傳感器數(shù)據(jù)連同視覺跟蹤來確定對象(例如浴缸)相對于八即14的移動。如果傳感器數(shù)據(jù)指示八即14可能相對靜止，則八即14的控制單元120可假定浴缸正在移動(例如，移出場景外)，且相應(yīng)地調(diào)整擴(kuò)增。如果傳感器數(shù)據(jù)指示八即14正在移動，且確定所述移動足以說明在屏幕上看到的移動，則控制單元120假定浴缸仍在原地，且八即14正在移動，且相應(yīng)地保持?jǐn)U增?；蛘?，如果可確定所述移動不足以說明在屏幕上看到的移動，則控制單元120可假定浴缸22及八即14兩者可能都在移動，且相應(yīng)地調(diào)整擴(kuò)增。
[0046]根據(jù)本發(fā)明的實施例，多個八即可經(jīng)配置以維持跨越所述多個八即的擴(kuò)增。如圖10中所說明，如果具有對應(yīng)具有擴(kuò)增實境功能的裝置的多個用戶正以相同游戲設(shè)定在相同時間或接近相同的時間玩游戲，則某些擴(kuò)增元素可跨越所述多個八即保持實質(zhì)上相同，而其它擴(kuò)增元素可不同。
[0047]在一個示范性實施方案中，如果跨越從不同房間或不同方向指向從盥洗室到起居室的門的多個八即同時看到所述門打開。所述門保持跨越所述多個八即打開，直到用戶關(guān)閉所述門。在另一示范性實施方案中，如果用戶30將狗25變?yōu)槌壒?5，則另一八即15上的另一用戶32可同樣看到狗25為超級狗35。注意，來自每一八即的聲音擴(kuò)增可與特定八即可指向的游戲有關(guān)。
[0048]此外，只要沒有打開虛擬窗戶或門，在另一房間中(例如，當(dāng)用戶正在起居室中玩時，在盥洗室中)的聲音可能根本聽不到；如果打開虛擬窗戶或門，聲音聽起來可能很小或根本聽不到；或在打開虛擬窗戶或門之后，可即刻聽到聲音，且接著其可衰減。舉例來說，如果打開盥洗室窗戶，可首先聽到鳥聲，且接著在某一時間周期之后淡出。
[0049]根據(jù)本發(fā)明的實施例，八即14可經(jīng)配置以提供環(huán)境聲音擴(kuò)增。在一些實施方案中，在視圖中的對象的聲音可為聽到的唯一聲音，比其它聲音響，或根據(jù)新近事件而平衡。在視圖外的對象的聲音可在響度上不同，可通過對象已在視圖外的持續(xù)時間來確定響度。
[0050]根據(jù)本發(fā)明的實施例，八即14可經(jīng)配置以維持場景內(nèi)的聲音連續(xù)性。在一些實施方案中，在八00 14被放下的情境中可保留場景，對象可能被手遮擋，或八00 14裝置瞬時指向他處。
[0051]在一種方法中，如果正播放場景進(jìn)展音頻(例如，角色正說話或正播放視頻)，則音頻在以下情形中繼續(xù)(例如，視頻聲音一直播放)，所述情形包含但不限于:1)當(dāng)八即14正面向游戲時，例如，在動作處或接近所述動作的對象或地板區(qū)域(“游戲區(qū)域”)的某一部分仍在視圖中，且視圖可能不移動或傳感器未感測到移動裝置并未放下但沒有角色在現(xiàn)場(例如，手遮擋了相機(jī)，用戶的手已垂下，裝置已失去跟蹤)⑶裝置短暫地指向另一角色，接著在預(yù)定時間周期(例如0^3^)內(nèi)返回到原始游戲區(qū)域；4)41? 14朝向相同場景流程中的對象移動，接著屏幕外聲音可減小音量，或屏幕外角色可繼續(xù)講話且將新項目并入所述場景中。舉例來說，在用戶搖攝到汽車時伯尼正在向其橡膠鴨講話，經(jīng)擴(kuò)增伯尼可說出“我知道了，寶貝兒，讓我們乘坐汽車吧！ ”
[0052]在另一方法中，當(dāng)放下八即14而不面向游戲區(qū)域時，音頻可結(jié)束且接著停止。舉例來說，游戲不在視圖中，視圖不移動，或傳感器未感測到移動。或者，八即14可移動到類似場景流程中的新對象。舉例來說，八即14在伯尼及布雷特上，且接著在此游戲會話中首次移動到小鳥。在又一方法中，如果八即14的視圖已移動到一組不同對象達(dá)大于預(yù)定時間周期，則音頻可停止，例如視頻聲音停止或淡出。
[0053]根據(jù)本發(fā)明的一些方面，圖11中描述的功能可由圖2的控制單元120實施。在一些實施方案中，所述功能可由處理器122、軟件126、硬件128及固件130或這些框的組合來執(zhí)行以執(zhí)行上文所描述的八即的各種功能，包含由跟蹤單元132及擴(kuò)增實境用戶接口單元134執(zhí)行的功能。
[0054]圖11說明根據(jù)本發(fā)明的一些方面的維持?jǐn)U增的連續(xù)性的流程圖。在框1102中，控制單元120可經(jīng)配置以至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個對象及背景。在框1104中，控制單元120可經(jīng)配置以至少部分基于不同于所述視覺信息的信息維持所述多個對象的狀態(tài)。在框1106中，控制單元120可經(jīng)配置以響應(yīng)于所述多個對象的狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)。
[0055]根據(jù)本發(fā)明的實施例，在框1102中執(zhí)行的方法可進(jìn)一步包含在框1110中執(zhí)行的方法。舉例來說，在框1110中，控制單元120可經(jīng)配置以確定所述多個對象相對于八即的相對姿勢，且使用所述相對姿勢更新所述多個對象的狀態(tài)，其中所述多個對象的狀態(tài)包含所述多個對象的關(guān)系信息。在框1110中執(zhí)行的方法可進(jìn)一步包含在框1120到1122中執(zhí)行的方法。在框1120中，控制單元120檢測所述多個對象相對于所述多個對象的先前所俘獲圖像的姿勢。在框1122中，控制單元120檢測圖像中的新對象，且更新所述多個對象以包含所述新對象。
[0056]在框1104中執(zhí)行的方法可進(jìn)一步包含在框1112中執(zhí)行的方法。在框1112中，控制單元120維持在八即的視圖中的第一組所述多個對象的狀態(tài)，且維持在八即的視圖外的第二組所述多個對象的狀態(tài)。在框1112中執(zhí)行的方法可進(jìn)一步包含在框1124到1128中執(zhí)行的方法。在框1124中，控制單元120跟蹤所述第二組所述多個對象相對于在八即14的視圖中的所述第一組所述多個對象的偏移，且使用所述偏移確定所述第二組所述多個對象的位置。在框1126中，控制單元120跟蹤八即14相對于在八即14的視圖外的所述第二組所述多個對象的相對移動，且使用八即14的位置及相對移動確定所述第二組所述多個對象的位置。跟蹤八即14的相對移動的方法至少部分基于以下各者中的至少一者:視覺里程計、通過加速度計的航位推算及通過陀螺儀的航位推算。
[0057]在框1128中，控制單元120接收包括用于確定所述多個對象的相對位置的信息的無線信號，且使用所述信息更新所述第二組所述多個對象的位置。在一些實施方案中，所述無線信號是由八即14從附著到所述第二組所述多個對象中的至少一個對象的即10標(biāo)簽接收。所述無線信號包括近場通信信號及藍(lán)牙信號中的至少一者。所述背景包括經(jīng)配置以檢測所述多個對象中的至少一個對象的位置的一或多個傳感器，且所述信息指示由所述一或多個傳感器檢測的位置。
[0058]在框1106中執(zhí)行的方法可進(jìn)一步包含在框1114中執(zhí)行的方法。在框1114中，控制單元120經(jīng)配置以當(dāng)所述多個對象的狀態(tài)的置信度的指示滿足第一預(yù)定值時在一位置中顯現(xiàn)聲音及圖形，當(dāng)所述多個對象的狀態(tài)的置信度的所述指示滿足第二預(yù)定值時在所述位置中顯現(xiàn)聲音，當(dāng)所述多個對象的狀態(tài)的置信度的所述指示滿足第三預(yù)定值時在所述位置中顯現(xiàn)環(huán)境聲音，且當(dāng)所述多個對象的狀態(tài)的置信度的所述指示滿足第四預(yù)定值時在所述位置中顯現(xiàn)淡出轉(zhuǎn)變。
[0059]在一些實施方案中，在框1102中的所述多個對象為游戲棋子，且所述背景為游戲板。所述多個對象的狀態(tài)可包括所述多個對象相對于彼此的關(guān)系信息、所述多個對象相對于背景的關(guān)系信息、所述多個對象相對于彼此的幾何布置關(guān)系，及所述多個對象相對于背景的幾何布置關(guān)系。
[0060]在框1112中，控制單元120可進(jìn)一步經(jīng)配置以跟蹤在八即14的視圖外的第二組所述多個對象中的至少一個對象，確定所述至少一個對象仍存在，且在所述至少一個對象的位置中顯現(xiàn)聲音及圖形中的至少一者。此外，控制單元120可進(jìn)一步經(jīng)配置以跟蹤在八尺014的視圖外的第二組所述多個對象中的至少一個對象，確定所述至少一個對象不再存在，且在所述至少一個對象的位置中顯現(xiàn)淡出轉(zhuǎn)變及環(huán)境聲音中的至少一者。
[0061]在一些其它實施方案中，控制單元120可進(jìn)一步經(jīng)配置以用多個具有擴(kuò)增實境功能的裝置(八即)跟蹤所述多個對象及所述背景，跨越所述多個八即維持所述多個對象的狀態(tài)，且響應(yīng)于所述多個對象的狀態(tài)而在所述多個八即中提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)。
[0062]根據(jù)本發(fā)明的方面，一種適用于具有擴(kuò)增實境功能的裝置的計算機(jī)程序產(chǎn)品包括存儲用于由一或多個計算機(jī)系統(tǒng)執(zhí)行的指令的非暫時性媒體；所述指令包括:用于至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個對象及背景的指令；用于至少部分基于不同于所述視覺信息的信息維持所述多個對象的狀態(tài)的指令；以及用于響應(yīng)于所述多個對象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的指令。
[0063]用于跟蹤的指令包括執(zhí)行3維跟蹤，包括:用于確定所述多個對象相對于所述八尺0的相對姿勢的指令；以及用于使用所述多個對象相對于所述八即的所述相對姿勢更新所述多個對象的狀態(tài)的指令，其中所述多個對象的所述狀態(tài)包含所述多個對象的關(guān)系信息。用于確定相對姿勢的指令包括用于檢測所述多個對象相對于所述多個對象的先前所俘獲圖像的姿勢的指令。用于確定相對姿勢的指令包括用于檢測圖像中的新對象的指令，及用于更新所述多個對象以包含所述新對象的指令。
[0064]用于維持所述多個對象的狀態(tài)的指令包括用于維持在八即的視圖中的第一組所述多個對象的狀態(tài)的指令，及用于維持在八即的視圖外的第二組所述多個對象的狀態(tài)的指令。用于維持在八即的視圖外的第二組所述多個對象的狀態(tài)的指令包括用于跟蹤所述第二組所述多個對象相對于在八即的視圖中的所述第一組所述多個對象的偏移的指令，及用于使用所述偏移確定所述第二組所述多個對象的位置的指令。用于維持在八即的視圖外的第二組所述多個對象的狀態(tài)的指令進(jìn)一步包括用于跟蹤八即相對于在八即的視圖外的所述第二組所述多個對象的相對移動的指令，及用于使用所述八即的位置及相對移動確定所述第二組所述多個對象的位置的指令。用于跟蹤所述八即的相對移動的指令至少部分基于以下各者中的至少一者:視覺里程計、通過加速度計的航位推算，及通過陀螺儀的航位推算。
[0065]用于維持在八即的視圖外的第二組所述多個對象的狀態(tài)的指令進(jìn)一步包括用于接收與用于確定所述多個對象的相對位置的無線信號有關(guān)的信息的指令，及用于使用所述所接收信息更新所述第二組所述多個對象的位置的指令。所述無線信號是由八即從附著到第二組所述多個對象中的至少一個對象的即10標(biāo)簽接收。所述無線信號包括近場通信信號及藍(lán)牙信號中的至少一者。所述背景包括包含經(jīng)配置以檢測所述多個對象的相對位置的一或多個傳感器的墊，且所述信息指示由所述一或多個傳感器檢測的所述多個對象的所述相對位置。所述信息是基于在所述八即處接收的無線信號而在集成到所述八即中的處理器或芯片處接收。
[0066]根據(jù)本發(fā)明的方面，計算機(jī)程序產(chǎn)品進(jìn)一步包括:用于跟蹤在所述八即的視圖外的所述第二組所述多個對象中的至少一個對象的指令；用于確定所述第二組所述多個對象中的所述至少一個對象仍存在的指令；以及用于在所述第二組所述多個對象中的所述至少一個對象的位置中顯現(xiàn)聲音及圖形中的至少一者的指令。所述計算機(jī)程序產(chǎn)品進(jìn)一步包括:用于跟蹤在所述八即的視圖外的所述第二組所述多個對象中的至少一個對象的指令；用于確定所述第二組所述多個對象中的所述至少一個對象不再存在的指令；以及用于在所述第二組所述多個對象中的所述至少一個對象的位置中顯現(xiàn)淡出轉(zhuǎn)變及環(huán)境聲音中的至少一者的指令。所述計算機(jī)程序產(chǎn)品進(jìn)一步包括:用于當(dāng)所述八即搖攝到預(yù)期所述第二組中的第一對象將位于的地點且確定所述第一對象不存在于所述地點處時停止跟蹤所述第一對象的指令；以及用于停止與所述第一對象相關(guān)聯(lián)的音頻擴(kuò)增的指令。所述計算機(jī)程序產(chǎn)品進(jìn)一步包括:用于當(dāng)檢測到新場景時停止跟蹤所述第二組中的第一對象的指令；以及用于停止與所述第一對象相關(guān)聯(lián)的音頻擴(kuò)增的指令。
[0067]用于顯現(xiàn)擴(kuò)增的指令包括以下各者中的至少一者:用于當(dāng)所述多個對象的所述狀態(tài)的置信度的指示滿足第一預(yù)定值時在一位置中顯現(xiàn)聲音及圖形的指令；用于當(dāng)所述多個對象的所述狀態(tài)的置信度的所述指示滿足第二預(yù)定值時在所述位置中顯現(xiàn)聲音的指令；用于當(dāng)所述多個對象的所述狀態(tài)的置信度的所述指示滿足第三預(yù)定值時在所述位置中顯現(xiàn)環(huán)境聲音的指令；以及用于當(dāng)所述多個對象的所述狀態(tài)的置信度的所述指示滿足第四預(yù)定值時在所述位置中顯現(xiàn)淡出轉(zhuǎn)變的指令。所述多個對象為游戲棋子，且所述背景為游戲板。所述多個對象的狀態(tài)包括以下各者中的至少一者:所述多個對象相對于彼此的關(guān)系信息、所述多個對象相對于背景的關(guān)系信息、所述多個對象相對于彼此的幾何布置關(guān)系，及所述多個對象相對于背景的幾何布置關(guān)系。
[0068]所述計算機(jī)程序產(chǎn)品進(jìn)一步包括:用于用多個具有擴(kuò)增實境功能的裝置(八即)跟蹤所述多個對象及所述背景的指令；用于跨越所述多個八即維持所述多個對象的狀態(tài)的指令；以及用于響應(yīng)于所述多個對象的狀態(tài)而在所述多個八即中提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的指令。所述背景包括以下各者中的至少一者:墊，及墻壁。
[0069]根據(jù)本發(fā)明的方面，可使用數(shù)種技術(shù)執(zhí)行識別及跟蹤圖像幀中的特征。在一種方法中，可通過檢查每一 2乘2梯度矩陣的最小特征值來執(zhí)行識別特征的方法。接著，使用最小化兩個窗之間的差異的牛頓-拉普森方法0)6被011-1？叩118011 11161:110(1)來跟蹤特征。多分辨率跟蹤方法允許圖像之間的相對較大位移。注意，在從一個幀到下一幀跟蹤特征期間，錯誤可能累積。為檢測潛在不良的特征，移動裝置可經(jīng)配置以監(jiān)視在當(dāng)前幀中圍繞所述特征的窗中的圖像信號是否仍類似于在前一幀中圍繞所述特征的圖像信號。因為可在許多幀上跟蹤特征，因此圖像內(nèi)容可能變形。為解決此問題，可用相似度或仿射映射來執(zhí)行一致性檢查。
[0070]根據(jù)本發(fā)明的方面，為識別圖像中的對象，可提取所述對象上的若干點以提供所述對象的特征描述(也稱為關(guān)鍵點、特征點或簡稱為特征當(dāng)嘗試在含有許多其它對象的測試圖像中定位所述對象時，可接著使用從訓(xùn)練圖像提取的此描述來識別所述對象。為執(zhí)行可靠辨識，甚至在圖像縮放、噪聲及照明改變下仍可檢測從訓(xùn)練圖像提取的特征。此類點通常位于圖像的高對比度區(qū)域，例如對象邊緣上。
[0071]這些特征的另一特性為其間的在原始場景中的相對位置可不從一個圖像到另一圖像而改變。舉例來說，如果僅將車門的四個拐角用作特征，則其可有效而不管車門的位置如何；但如果使用幀中的若干點，則如果車門打開或關(guān)閉，辨識可能失敗。類似地，如果在所處理的組中的兩個圖像之間發(fā)生其內(nèi)部幾何布置的任何改變，則位于鉸接或柔性對象中的特征通常可能無效。在一些實施方案中，檢測且使用來自圖像的大量特征，其可減少由所有特征匹配錯誤的平均錯誤的局部變化引起的錯誤的貢獻(xiàn)。因此，所揭示方法可識別甚至處于雜物中且部分被遮擋的對象；因為特征描述符對于均勻縮放、定向可不變，且對于仿射失真及照明改變部分地不變。
[0072]舉例來說，可首先從一組參考圖像提取對象的關(guān)鍵點且將其存儲于數(shù)據(jù)庫中。通過比較來自新圖像的每一特征與此數(shù)據(jù)庫且基于其特征向量的歐幾里得距離找出候選匹配特征來在新圖像中辨識對象。從整組匹配，可識別在對象及其在新圖像中的地點、縮放及定向上一致的關(guān)鍵點的子組以濾出良好匹配?？赏ㄟ^使用一般化的霍夫曲)變換的雜湊表實施方案來執(zhí)行一致群集的確定。在對象及其姿勢上一致的3個或3個以上特征的每一群集可接著經(jīng)受進(jìn)一步詳述的模型驗證，且隨后可舍棄離群值?？山又跀M合準(zhǔn)確度及可能的錯誤匹配的數(shù)目來計算一組特定特征指示存在對象的概率。通過測試的對象匹配可以高置信度識別為正確的。
[0073]根據(jù)本發(fā)明的方面，圖像特征產(chǎn)生將圖像變換成大的特征向量集合，所述特征向量中的每一者對于圖像平移、縮放及旋轉(zhuǎn)可為不變的，且對于照明改變?yōu)椴蛔兊牟⑶覍τ诰植繋缀问д媸欠€(wěn)健的。這些特征與靈長類動物視覺中用于對象辨識的下顳葉皮層中的神經(jīng)元具有類似特性。關(guān)鍵地點可被定義為在尺度空間(8(^16 81)806)中應(yīng)用于一系列經(jīng)平滑化且重新取樣的圖像的高斯函數(shù)的差異結(jié)果的最大值及最小值?？缮釛壍蛯Ρ榷群蜻x點及沿著邊緣的邊緣響應(yīng)點。優(yōu)勢定向指派給局部化的關(guān)鍵點。此方法確保關(guān)鍵點對于匹配及辨識更為穩(wěn)定?？山又ㄟ^考慮圍繞所述關(guān)鍵地點的半徑的像素、模糊化且重新取樣局部圖像定向平面來獲得對局部仿射失真穩(wěn)健的描述符。
[0074]特征匹配及編索引可包含存儲關(guān)鍵點及從新圖像識別匹配的關(guān)鍵點。在一種方法中，也稱為最佳區(qū)間優(yōu)先搜索方法68681x11 11161:110(1)的卜^!樹算法的修改可用以使用有限量的計算來以高概率識別最接近的相鄰者。最佳區(qū)間優(yōu)先算法使用卜己樹算法的經(jīng)修改搜索次序以使得可按距查詢地點最近的距離的次序搜索特征空間中的區(qū)間。此搜索次序需要使用基于堆棧的優(yōu)先級隊列來有效地確定搜索次序。可通過從訓(xùn)練圖像識別每一關(guān)鍵點在關(guān)鍵點數(shù)據(jù)庫中的最接近的相鄰者來找出每一關(guān)鍵點的最佳候選匹配。最接近的相鄰者可被定義為距給定描述符向量具有最小歐幾里得距離的關(guān)鍵點?？赏ㄟ^取距最近相鄰者的距離與次近者的距離的比率來確定匹配是正確的概率。
[0075]在一個示范性實施方案中，可拒絕距離比率大于0.8的匹配，此舉消除90 %的錯誤匹配，同時舍棄小于5%的正確匹配。為進(jìn)一步改進(jìn)最佳區(qū)間優(yōu)先算法的效率，可在檢查預(yù)定數(shù)目個(例如100個)最接近的相鄰候選者之后停止搜索。對于具有100，000個關(guān)鍵點的數(shù)據(jù)庫，此可提供較之確切的最接近相鄰者搜索加速約2個數(shù)量級，而又導(dǎo)致正確匹配數(shù)目的小于5%的損失。
[0076]注意，對于所述示范性實施方案，可使用霍夫變換來將可靠模型假設(shè)集群以搜索在特定模型姿勢上一致的關(guān)鍵點?？墒褂没舴蜃儞Q來通過使用每一特征選出可與所述特征一致的對象姿勢而識別具有一致解釋的特征群集。當(dāng)發(fā)現(xiàn)特征群集選出對象的相同姿勢時，解釋正確的概率可高于任何單個特征?？僧a(chǎn)生雜湊表中的條目以依據(jù)匹配假設(shè)預(yù)測模型地點、定向及縮放?？伤阉麟s湊表以識別在區(qū)間中具有至少3個條目的群集，且可將區(qū)間排序成大小的降序。
[0077]根據(jù)本發(fā)明的方面，關(guān)鍵點中的每一者可指定20地點、縮放及定向。此外，數(shù)據(jù)庫中的每一匹配關(guān)鍵點可具有與訓(xùn)練圖像(在其中發(fā)現(xiàn)所述關(guān)鍵點)有關(guān)的其參數(shù)的記錄。由這4個參數(shù)暗示的相似度變換可近似等于30對象的6自由度姿勢空間，并且也不考量任何非硬質(zhì)變形。因此，示范性實施方案可對于定向使用30度的寬區(qū)間大小，對于縮放使用因數(shù)2，且對于地點使用0.25倍的最大投影訓(xùn)練圖像維度(使用預(yù)測縮放)?？上蛞暂^大縮放產(chǎn)生的關(guān)鍵樣本給出兩倍于以較小縮放產(chǎn)生的樣本的權(quán)重。對于此方法，較大縮放可實際上能夠濾出用于以較小縮放進(jìn)行檢查的最可能相鄰者。此方法還通過向噪聲最小的縮放給出較大權(quán)重而改進(jìn)辨識性能。根據(jù)本發(fā)明的方面，為避免區(qū)間指派中的邊界效應(yīng)問題，每一關(guān)鍵點匹配可在每一維度中選出2個最近的區(qū)間，從而對于每一假設(shè)得到總共16個條目且進(jìn)一步加寬了姿勢范圍。
[0078]根據(jù)本發(fā)明的方面，對于給定參數(shù)解，可通過檢查每一圖像特征與模型之間的一致性來移除離群值。舉例來說，給定線性最小平方解，可能需要每一匹配在用于霍夫變換區(qū)間中的參數(shù)的錯誤范圍的一半內(nèi)一致。在離群值被舍棄時，可用剩余點來求解線性最小平方解，且所述過程可迭代。在一些實施方案中，如果在舍棄離群值之后剩余小于預(yù)定數(shù)目個點(例如，3個點)，則可拒絕所述匹配。此外，可使用自上向下的匹配階段來添加與所投影模型位置一致的任何進(jìn)一步匹配，所述匹配可能歸因于相似度變換近似或其它錯誤而從霍夫變換區(qū)間錯過。
[0079]接受或拒絕模型假設(shè)的決策可基于詳述的概率模型。給定模型的投影大小、區(qū)域內(nèi)特征的數(shù)目及擬合的準(zhǔn)確度，所述方法首先計算到模型姿勢的錯誤匹配的預(yù)期數(shù)目。貝葉斯概率分析可接著給出可基于所發(fā)現(xiàn)的匹配特征的實際數(shù)目呈現(xiàn)對象的概率。如果正確解釋的最終概率大于預(yù)定百分比(例如95% )，則可接受模型。
[0080]根據(jù)本發(fā)明的方面，在一種方法中，旋轉(zhuǎn)不變特征變換(虹?”方法可用作31？丁的旋轉(zhuǎn)不變一般化以解決雜物下或部分遮擋情境?？墒褂脛澐殖上嗟葘挾鹊耐沫h(huán)的圓形歸一化片來建構(gòu)描述符，且在每一環(huán)內(nèi)，可計算梯度定向直方圖。為維持旋轉(zhuǎn)不變性，可在每一點處相對于從中心指向外的方向測量定向。
[0081]在另一方法中，可使用一般化的穩(wěn)健不變特征(卜虹?)方法。6-1^1？以組合感知信息與空間編碼的統(tǒng)一形式編碼邊緣定向、邊緣密度及色調(diào)信息。對象辨識方案使用基于相鄰上下文的表決來估計對象模型。
[0082]在又一方法中，可使用加速穩(wěn)健特征(別即)方法，其使用縮放及旋轉(zhuǎn)不變關(guān)注點檢測器/描述符，在可重復(fù)性、獨特性及穩(wěn)健性方面，其可能性能優(yōu)于先前所提議的方案。
依賴于整體的圖像用于圖像卷積以減少計算時間，且依靠最主要的現(xiàn)有檢測器及描述符的強(qiáng)度(對于檢測器及分布式描述符使用基于快速赫斯矩陣的測量方法描述哈爾小波響應(yīng)^^6161: 1-681)01186)在關(guān)注點領(lǐng)域內(nèi)的分布。整體的圖像可用于速度，且64個維度可用以減少用于特征計算及匹配的時間。編索引步驟可基于拉普拉斯(181)1801811)的正負(fù)號，其增大描述符的匹配速度及穩(wěn)健性。
[0083]在又一方法中，可使用主分量分析方法。在一些實施方案中， 描述符為在支持區(qū)域內(nèi)計算的在X及7方向上的圖像梯度的向量。梯度區(qū)域可在
39x39個地點處取樣。因此，向量可具有維度3042。通過？0\，維度可減小到36。在又一方法中，可使用梯度地點-定向直方圖￠10?)方法，其為經(jīng)設(shè)計以增大其穩(wěn)健性及獨特性的描述符的擴(kuò)展。在一些實施方案中，可針對在徑向方向上具有三個區(qū)間(半徑設(shè)定到6、11及15)且在傾斜方向上具有8個區(qū)間(其導(dǎo)致17個地點區(qū)間)的對數(shù)極坐標(biāo)地點柵格計算描述符。中心區(qū)間可不在傾斜方向上進(jìn)行劃分。可在16個區(qū)間中量化梯度定向，從而導(dǎo)致272個區(qū)間的直方圖。通過？…可減小此描述符的大小?？筛鶕?jù)從各種圖像收集的圖像塊估計的協(xié)方差矩陣。128個最大特征向量可接著用于描述。
[0084]在又一方法中，可使用兩對象辨識算法來配合當(dāng)前移動裝置的限制而使用。與經(jīng)典 31？！'方法相比，加速分段測試特征^1-0111 ^006161-^1:6(1 36職16111: 1681:, ^81)拐角檢測器可用于特征檢測。此方法在離線準(zhǔn)備階段(其中可以不同灰度層級產(chǎn)生特征)與在線階段(其中可以移動裝置的相機(jī)圖像的當(dāng)前固定灰度層級產(chǎn)生特征)之間加以區(qū)分。在一個示范性實施方案中，可從預(yù)定固定片大小(例如15x15像素)產(chǎn)生特征，且所述特征形成具有36個維度的31？！'描述符。可通過將可擴(kuò)展詞匯樹(8(^1511316
^66)集成在辨識管線中而進(jìn)一步擴(kuò)展所述方法。此允許有效地辨識移動裝置上的大量對象。
[0085]根據(jù)本發(fā)明的方面，局部圖像特征的檢測及描述可有助于對象辨識。特征可為局部的且基于對象在特定關(guān)注點處的外觀，且對于圖像縮放及旋轉(zhuǎn)可為不變的。其對于照明、噪聲的改變及視點的較小改變也可為穩(wěn)健的。除這些特性之外，特征可為高度獨特的，相對容易提取且允許以低失配概率正確地識別對象?？上鄬θ菀椎貙φ站植刻卣鞯?大)數(shù)據(jù)庫來匹配特征，且通?？墒褂美缇哂凶罴褏^(qū)間優(yōu)先搜索的隹(卜(1)樹等概率算法。通過一組特征進(jìn)行的對象描述對于部分遮擋也可為穩(wěn)健的。舉例來說，來自對象的少到3個特征可足以計算其地點及姿勢。在一些實施方案中，對于小數(shù)據(jù)庫且在現(xiàn)代計算機(jī)硬件上，可準(zhǔn)實時地執(zhí)行辨識。
[0086]根據(jù)本發(fā)明的方面，可使用隨機(jī)樣本一致性技術(shù)來移除由相機(jī)視圖中的移動對象引起的離群值。注意，狀使用迭代方法來從含有離群值的一組所觀測數(shù)據(jù)來估計數(shù)學(xué)模型的參數(shù)。此方法可為非確定性的，因為其以相關(guān)聯(lián)概率產(chǎn)生合理結(jié)果，其中所述概率可隨著執(zhí)行更多迭代而增大。
[0087]在一個示范性實施方案中，一組觀測到的數(shù)據(jù)值，可以對應(yīng)置信度參數(shù)擬合到觀測結(jié)果的參數(shù)化模型。在此示范性實施方案中，所述方法迭代地選擇原始數(shù)據(jù)的隨機(jī)子組。這些數(shù)據(jù)可為假想的群內(nèi)值(11111610,且可接著如下測試所述假設(shè):
[0088]1.可將模型擬合到假想的群內(nèi)值，即從所述群內(nèi)值重建構(gòu)模型的所有自由參數(shù)。
[0089]2.接著可對照擬合的模型測試所有其它數(shù)據(jù)，且如果一點良好地擬合到所述估計模型，則可認(rèn)為其是假想的群內(nèi)值。
[0090]3.如果已將足夠數(shù)目的點分類為假想的群內(nèi)值，則可認(rèn)為所述估計模型可接受。
[0091]4.可從所有假想群內(nèi)值重新估計所述模型，因為其僅已從初始組假想群內(nèi)值進(jìn)行了估計。
[0092]5.最終，可通過相對于模型估計群內(nèi)值的錯誤來評估所述模型。
[0093]每當(dāng)產(chǎn)生因為過少的點被分類為群內(nèi)值而可被拒絕的模型或與對應(yīng)錯誤測量一起產(chǎn)生改進(jìn)的模型時，可重復(fù)以上程序預(yù)定次數(shù)。在后一種情況下，如果錯誤低于先前保存的模型，則可保持所述改進(jìn)的模型。
[0094]在另一示范性實施方案中，可使用基于模型的運動跟蹤方法來主動地識別并移除在相機(jī)視圖中的移動對象。在一種方法中，跟蹤的目標(biāo)可處理為模型辨識問題。可跟蹤目標(biāo)的二進(jìn)制表示，且可使用基于豪斯多夫距離￠[￡1118(101'打(1181:81106)的搜索來在圖像的若干區(qū)域中搜索對象。對于目標(biāo)的二進(jìn)制表示(模型)，可用模型歷史的概念來擴(kuò)增從高斯平滑化圖像的標(biāo)準(zhǔn)坎尼邊緣檢測器(￠￡111117 6如6 (161:601:01-)的輸出。在每一幀處，可使用來自當(dāng)前圖像的坎尼邊緣及當(dāng)前模型來對每一目標(biāo)執(zhí)行豪斯多夫搜索。此外，可執(zhí)行仿射估計以大致得出凈背景運動。從這兩個搜索的結(jié)果，可搜集關(guān)于目標(biāo)的信息，且可使用所述信息來大致得出目標(biāo)的運動并且在目標(biāo)的區(qū)域中將背景與運動分離開來。為能夠處置危險性/不尋常的條件(例如被遮擋的對象進(jìn)入陰影中，對象離開幀，或相機(jī)圖像失真提供不良圖像質(zhì)量)，可保持關(guān)于目標(biāo)的歷史數(shù)據(jù)，例如目標(biāo)的過去運動及大小改變、目標(biāo)的特征性視圖(在所有時間存在的快照，其提供已跟蹤目標(biāo)的不同方式的準(zhǔn)確表示)，及在過去的匹配質(zhì)量。
[0095]跟蹤目標(biāo)的歷史可不僅僅適用于輔助危險性/不尋常的條件；可靠的運動跟蹤方法的那一部分可涉及歷史數(shù)據(jù)，而不僅僅是運動比較的逐幀方法。此歷史狀態(tài)可提供關(guān)于如何決定應(yīng)將何內(nèi)容視為目標(biāo)的部分的信息(例如，以相同速度移動的接近于對象移動的事物應(yīng)并入所述對象中)，且通過關(guān)于運動及大小的信息，所述方法可預(yù)測性地估計丟失的對象可能去往何處，或其可能重新出現(xiàn)于何處(其始終適用于恢復(fù)離開幀且在時間上稍后重新出現(xiàn)的目標(biāo)
[0096]運動跟蹤方法中的固有挑戰(zhàn)可能由以下事實引起:相機(jī)可具有任意移動(相較于固定相機(jī))，其使得難以開發(fā)可處置相機(jī)運動的不可預(yù)測改變的跟蹤系統(tǒng)?？墒褂镁哂嬎阈б娴姆律浔尘肮烙嫹桨竵硖峁╆P(guān)于相機(jī)及場景的運動的信息。
[0097]根據(jù)本發(fā)明的方面，可執(zhí)行時間I的圖像到時間丨+也的圖像的仿射變換，其允許使兩個圖像的運動相關(guān)。此背景信息允許所述方法從時間I的圖像及仿射變換(其可為凈場景運動的近似)合成時間的圖像。此合成圖像可適用于產(chǎn)生新模型信息及從模型空間移除背景雜物，因為可采用在丨+也的實際圖像與在丨+也處所產(chǎn)生的圖像的差異來從目標(biāo)周圍的空間移除圖像特征。
[0098]除使用仿射變換作為清除搜索空間的工具之外，其還可用以歸一化目標(biāo)的坐標(biāo)移動:通過具有跟蹤背景可如何移動的向量及跟蹤目標(biāo)可如何移動的向量，可采用所述兩個向量的差異來產(chǎn)生描述目標(biāo)相對于背景的運動的向量。此向量允許所述方法預(yù)測性地匹配目標(biāo)應(yīng)處的位置，且預(yù)測危險條件(例如，在運動的方向上向前看可提供關(guān)于即將出現(xiàn)的障礙物的線索，并且保持跟蹤對象在危險條件下可能處于的位置。當(dāng)對象進(jìn)入危險條件時，所述方法可能仍能夠估計背景運動，且結(jié)合模型的先前移動的知識來使用所述背景運動猜測模型可能重新出現(xiàn)于何處或重新進(jìn)入幀中。
[0099]背景估計可為對象的長期跟蹤的關(guān)鍵因素。注意，可在不進(jìn)行背景估計的情況下執(zhí)行短期跟蹤，但在一段時間之后，在沒有對背景的良好估計的情況下，可能難以有效地應(yīng)對對象失真及危險。
[0100]根據(jù)本發(fā)明的方面，使用豪斯多夫距離作為匹配運算符的優(yōu)點之一是其在匹配期間對于形狀的改變可能非常耐受，但使用豪斯多夫距離作為匹配運算符可能需要更準(zhǔn)確地定義所跟蹤的對象。
[0101]在一種方法中，可使用從時間〖+1圖像獲得新模型的基于直接擴(kuò)張的方法
(11181:1011-13886(1 11161:110(1)。注意，在可能存在接近于對象的非對象特征(其出現(xiàn)頻率很高)的一些情形中，擴(kuò)張方法可能并不有效，因為其可能將整個場景緩慢地并入模型中。因此，可采用從幀到幀更新模型的方法，所述方法可耐受模型形狀的改變，但并不過于寬松以致將非模型像素并入到模型中。一個示范性實施方案為使用背景移除與將先前模型添加到當(dāng)前模型匹配窗及采用看似穩(wěn)定的像素以及其周圍的新像素(其隨時間推移可因為其可能不穩(wěn)定而從模型消除或并入到模型中)的組合。此方法可有效地保持模型在圖像中相對清潔而無雜物。舉例來說，通過此方法，接近于卡車的道路不再被逐像素地拉入模型中。注意，模型可能顯得臃腫，但此可為建構(gòu)模型的方式的歷史效果的結(jié)果，但其還可具有使搜索結(jié)果更為確定的特征，因為此方法可使更多模型像素可能在下一幀中匹配。
[0102]注意，在每一幀處，可能存在大量計算要執(zhí)行。根據(jù)一些實施方案，移動裝置可經(jīng)配置以執(zhí)行平滑化/特征提取、匹配每一目標(biāo)(例如每模型一個匹配)的豪斯多夫，以及仿射背景估計。這些操作中的每一者可個別地在計算上非常昂貴。為實現(xiàn)在移動裝置上的實時執(zhí)行，設(shè)計可經(jīng)配置以使用盡可能多的并行性。
[0103]注意，至少接下來的三個段落、圖1到2、圖11及其對應(yīng)描述提供用于至少部分基于一或多個對象的所俘獲圖像執(zhí)行所述一或多個對象的3維跟蹤的裝置、用于至少部分基于所述所俘獲圖像檢測所述一或多個對象中的至少一個對象的狀態(tài)改變的裝置，且用于響應(yīng)于所述至少一個對象的所述狀態(tài)改變而致使擴(kuò)增顯現(xiàn)的裝置。
[0104]本文所述的方法和移動裝置可以取決于應(yīng)用通過各種裝置實施。舉例來說，這些方法可以用硬件、固件、軟件或其組合實施。對于硬件實施方案，處理單元可以在一或多個專用集成電路0310、數(shù)字信號處理器①一?)、數(shù)字信號處理裝置(0--)、可編程邏輯裝置(^10)、現(xiàn)場可編程門陣列(沖以)、處理器、控制器、微控制器、微處理器、電子裝置、經(jīng)設(shè)計以執(zhí)行本文所述的功能的其它電子單元或其組合內(nèi)實施。本文中，術(shù)語“邏輯控制”涵蓋通過軟件、硬件、固件或組合實施的邏輯。
[0105]對于固件及/或軟件實施方案，可用執(zhí)行本文中所描述的功能的模塊(例如，程序、功能等等)實施方法。任何有形地體現(xiàn)指令機(jī)器可讀媒體都可以用于實施本文所述的方法。舉例來說，軟件代碼可存儲在存儲器中并且通過處理單元執(zhí)行。存儲器可實施在處理單元內(nèi)或處理單元外部。如本文所使用，術(shù)語“存儲器”是指任何類型的長期、短期、易失性、非易失性或其它存儲裝置且不限于任何特定類型的存儲器或數(shù)目的存儲器，或任何類型的存儲存儲器的媒體。
[0106]如果在固件及/或軟件中實施，則可將所述功能作為一或多個指令或代碼存儲在計算機(jī)可讀媒體上。實例包含編碼有數(shù)據(jù)結(jié)構(gòu)的計算機(jī)可讀媒體及編碼有計算機(jī)程序的計算機(jī)可讀媒體。計算機(jī)可讀媒體可采用制品的形式。計算機(jī)可讀媒體包含物理計算機(jī)存儲媒體。存儲媒體可為可由計算機(jī)存取的任何可用媒體。作為實例而非限制，此類計算機(jī)可讀媒體可包括狀1、如1、22？1？01、0)-801或其它光盤存儲裝置，磁盤存儲裝置或其它磁性存儲裝置，或任何其它可用于存儲指令或數(shù)據(jù)結(jié)構(gòu)的形式的期望程序代碼并且可通過計算機(jī)存取的媒體；在本文中使用時，磁盤及光盤包含壓縮光盤(⑶〉、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(070)，軟性磁盤及藍(lán)光光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。上述各項的組合也應(yīng)包含在計算機(jī)可讀媒體的范圍內(nèi)。
[0107]除了存儲在計算機(jī)可讀媒體上之外，還可將指令及丨或數(shù)據(jù)提供為通信設(shè)備中包含的發(fā)射媒體上的信號。舉例來說，通信設(shè)備可包含具有指示指令及數(shù)據(jù)的信號的收發(fā)器。所述指令及數(shù)據(jù)經(jīng)配置以致使至少一個處理器實施權(quán)利要求書中概述的功能。即，通信設(shè)備包含具有指示用以執(zhí)行所揭示的功能的信息的信號的發(fā)射媒體。在第一時間，通信設(shè)備中所包含的發(fā)射媒體可包含用以執(zhí)行所揭示的功能的信息的第一部分，而在第二時間，通信設(shè)備中所包含的發(fā)射媒體可包含用以執(zhí)行所揭示的功能的信息的第二部分。
[0108]本發(fā)明可以配合例如無線廣域網(wǎng)(驟燦0、無線局域網(wǎng)、無線個人局域網(wǎng)作?燦0等各種無線通信網(wǎng)絡(luò)實施。術(shù)語“網(wǎng)絡(luò)”與“系統(tǒng)”常?？苫Q使用。術(shù)語“位置”與“地點”常?？苫Q使用。醫(yī)他可為碼分多址(⑶嫩)網(wǎng)絡(luò)、時分多址(10嫩)網(wǎng)絡(luò)、頻分多址(印嫩)網(wǎng)絡(luò)、正交頻分多址(01?嫩)網(wǎng)絡(luò)、單載波頻分多址(301?嫩)網(wǎng)絡(luò)、長期演進(jìn)仏12)網(wǎng)絡(luò)、111^(1222 802.16)網(wǎng)絡(luò)等。03嫩網(wǎng)絡(luò)可實施一或多種無線電接入技術(shù)(狀丁)，例如乂胍2000、寬帶⑶嫩(1-0)嫩)等等。0(111182000 包含 13-95、132000 和 13-856 標(biāo)準(zhǔn)。10嫩網(wǎng)絡(luò)可以實施全球移動通信系統(tǒng)￠31)、數(shù)字高級移動電話系統(tǒng)(0-^0?)或某種其它狀I(lǐng)。(^1及1-⑶嫩描述于來自名為“第三代合作伙伴計劃”口⑶?)的協(xié)會的文獻(xiàn)中。0(1^2000描述于來自名為“第三代合作伙伴計劃2^30^2)的協(xié)會的文獻(xiàn)中。3即？及3即？2文獻(xiàn)可公開獲得?？蔀楸仍x802.1匕網(wǎng)絡(luò)，且1？八~可為藍(lán)牙網(wǎng)絡(luò)、12詘802.15乂或某種其它類型的網(wǎng)絡(luò)。所述技術(shù)還可結(jié)合謂他、孔他及/或I？他的任何組合來實施。
[0109]移動臺是指例如蜂窩式或其它無線通信裝置、個人通信系統(tǒng)$(:?裝置、個人導(dǎo)航裝置冊)個人信息管理器頂〉、個人數(shù)字助理膝上型計算機(jī)或能夠接收無線通信及丨或?qū)Ш叫盘柕钠渌线m的移動裝置等裝置。術(shù)語“移動臺”還希望包含例如通過短程無線、紅外線線連接或其它連接(不管是衛(wèi)星信號接收、輔助數(shù)據(jù)接收和/或在所述裝置或在所述？冊處發(fā)生的與位置相關(guān)的處理)與個人導(dǎo)航裝置冊)通信的裝置。而且，“移動臺”希望包含所有裝置，包含無線通信裝置、計算機(jī)、膝上型計算機(jī)等，其能夠例如經(jīng)由因特網(wǎng)、11-？！或其它網(wǎng)絡(luò)與服務(wù)器通信，并且不管是在所述裝置處、服務(wù)器處還是在與所述網(wǎng)絡(luò)相關(guān)聯(lián)的另一裝置處發(fā)生衛(wèi)星信號接收輔助數(shù)據(jù)接收及/或與位置相關(guān)的處理。以上各者的任何可操作組合也被視為“移動臺”。
[0110]某個事物被“優(yōu)化”、“需要”或其它說法并不指示本發(fā)明僅適用于被優(yōu)化的系統(tǒng)或其中存在所述“所需”元件的系統(tǒng)(或其它歸因于其它說法的局限性這些名稱僅指代特定描述的實施方案。當(dāng)然，許多實施方案是可能的。所述技術(shù)可以與除了本文中論述的協(xié)議之外的協(xié)議一起使用，包含正在開發(fā)或有待開發(fā)的協(xié)議。
[0111]相關(guān)領(lǐng)域的技術(shù)人員將認(rèn)識到，可以使用所揭示的實施例的許多可能修改和組合，同時仍然采用相同的基本基礎(chǔ)機(jī)構(gòu)和方法。出于解釋的目的，前文描述是參考具體實施例撰寫的。然而，上文的說明性論述并不希望是窮舉的或?qū)⒈景l(fā)明限于所揭示的精確形式。鑒于以上教示，許多修改及變化均是可能的。選擇且描述所述實施例是為了闡釋本發(fā)明的原理及其實際應(yīng)用，且為了使得所屬領(lǐng)域的技術(shù)人員能夠以適合于所涵蓋的特定用法的各種修改最好地利用本發(fā)明及各種實施例。
【權(quán)利要求】
1.一種適用于具有擴(kuò)增實境功能的裝置ARD的方法，其包括: 至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個對象及背景； 至少部分基于不同于所述視覺信息的信息維持所述多個對象中的至少一個對象的狀態(tài)；以及 響應(yīng)于所述多個對象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法，其中所述跟蹤包括執(zhí)行3維跟蹤，包括: 確定所述多個對象相對于所述ARD的相對姿勢；以及 使用所述相對姿勢更新所述多個對象的狀態(tài)，其中所述多個對象的所述狀態(tài)包含所述多個對象的關(guān)系信息。
3.根據(jù)權(quán)利要求2所述的方法，其中確定相對姿勢包括: 檢測所述圖像中的新對象；以及 更新所述多個對象以包含所述新對象。
4.根據(jù)權(quán)利要求1所述的方法，其中所述跟蹤包括當(dāng)所述至少一個對象在所述ARD的視野內(nèi)時使用所述視覺信息跟蹤所述多個對象中的至少一個對象，且 其中所述維持包括當(dāng)所述至少一個對象在所述視野外時使用不同于所述視覺信息的所述信息維持所述至少一個對象的所述狀態(tài)。
5.根據(jù)權(quán)利要求1所述的方法，其中維持所述多個對象的狀態(tài)包括: 維持在所述ARD的視圖中的第一組所述多個對象的狀態(tài)；以及 維持在所述ARD的視圖外的第二組所述多個對象的狀態(tài)。
6.根據(jù)權(quán)利要求5所述的方法，其中維持在所述ARD的視圖外的第二組所述多個對象的狀態(tài)包括: 跟蹤所述第二組所述多個對象相對于在所述ARD的視圖中的所述第一組所述多個對象的偏移；以及 使用所述偏移確定所述第二組所述多個對象的位置。
7.根據(jù)權(quán)利要求5所述的方法，其中維持在所述ARD的視圖外的第二組所述多個對象的狀態(tài)進(jìn)一步包括: 跟蹤所述ARD相對于在所述ARD的視圖外的所述第二組所述多個對象的相對移動；以及 使用所述ARD的位置及相對移動確定所述第二組所述多個對象的位置。
8.根據(jù)權(quán)利要求7所述的方法，其中跟蹤所述ARD的相對移動至少部分基于以下各者中的至少一者: 視覺里程計； 通過加速度計的航位推算；以及 通過陀螺儀的航位推算。
9.根據(jù)權(quán)利要求5所述的方法，其中維持在所述ARD的視圖外的第二組所述多個對象的狀態(tài)進(jìn)一步包括: 接收與用于確定所述多個對象的相對位置的無線信號有關(guān)的信息；以及 使用所述所接收信息更新所述第二組所述多個對象的位置。
10.根據(jù)權(quán)利要求9所述的方法，其中所述無線信號是由所述ARD從附著到所述第二組所述多個對象中的至少一個對象的RFID標(biāo)簽接收。
11.根據(jù)權(quán)利要求9所述的方法，其中所述無線信號包括近場通信信號及藍(lán)牙信號中的至少一者。
12.根據(jù)權(quán)利要求9所述的方法，其中所述背景包括包含經(jīng)配置以檢測所述多個對象的所述相對位置的一或多個傳感器的墊，且其中所述信息指示由所述一或多個傳感器檢測的所述多個對象的所述相對位置。
13.根據(jù)權(quán)利要求9所述的方法，其中所述信息是基于在所述ARD處接收的所述無線信號而在集成到所述ARD中的處理器或芯片處接收。
14.根據(jù)權(quán)利要求5所述的方法，其進(jìn)一步包括: 跟蹤在所述ARD的視圖外的所述第二組所述多個對象中的至少一個對象； 確定所述第二組所述多個對象中的所述至少一個對象仍存在；以及 在所述第二組所述多個對象中的所述至少一個對象的位置中顯現(xiàn)聲音及圖形中的至少一者。
15.根據(jù)權(quán)利要求5所述的方法，其進(jìn)一步包括: 跟蹤在所述ARD的視圖外的所述第二組所述多個對象中的至少一個對象； 確定所述第二組所述多個對象中的所述至少一個對象不再存在；以及在所述第二組所述多個對象中的所述至少一個對象的位置中顯現(xiàn)淡出轉(zhuǎn)變及環(huán)境聲音中的至少一者。
16.根據(jù)權(quán)利要求5所述的方法，其進(jìn)一步包括: 當(dāng)所述ARD搖攝到預(yù)期所述第二組中的第一對象將位于的地點且確定所述第一對象不存在于所述地點處時，停止跟蹤所述第一對象；以及停止與所述第一對象相關(guān)聯(lián)的音頻擴(kuò)增。
17.根據(jù)權(quán)利要求5所述的方法，其進(jìn)一步包括: 當(dāng)檢測到新場景時，停止跟蹤所述第二組中的第一對象；以及 停止與所述第一對象相關(guān)聯(lián)的音頻擴(kuò)增。
18.根據(jù)權(quán)利要求1所述的方法，其中顯現(xiàn)擴(kuò)增包括以下各者中的至少一者: 當(dāng)所述多個對象的所述狀態(tài)的置信度的指示滿足第一預(yù)定值時，在一位置中顯現(xiàn)聲音及圖形； 當(dāng)所述多個對象的所述狀態(tài)的置信度的所述指示滿足第二預(yù)定值時，在所述位置中顯現(xiàn)聲音； 當(dāng)所述多個對象的所述狀態(tài)的置信度的所述指示滿足第三預(yù)定值時，在所述位置中顯現(xiàn)環(huán)境聲音；以及 當(dāng)所述多個對象的所述狀態(tài)的置信度的所述指示滿足第四預(yù)定值時，在所述位置中顯現(xiàn)淡出轉(zhuǎn)變。
19.根據(jù)權(quán)利要求1所述的方法，其中所述多個對象為游戲棋子，且所述背景為游戲板。
20.根據(jù)權(quán)利要求1所述的方法，其中所述多個對象的所述狀態(tài)包括以下各者中的至少一者: 所述多個對象相對于彼此的關(guān)系信息； 所述多個對象相對于所述背景的關(guān)系信息； 所述多個對象相對于彼此的幾何布置關(guān)系；以及 所述多個對象相對于所述背景的幾何布置關(guān)系。
21.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 用多個具有擴(kuò)增實境功能的裝置八即跟蹤所述多個對象及所述背景； 跨越所述多個八即維持所述多個對象的狀態(tài)；以及 響應(yīng)于所述多個對象的所述狀態(tài)而提供用于在所述多個八即中顯現(xiàn)擴(kuò)增的數(shù)據(jù)。
22.根據(jù)權(quán)利要求1所述的方法，其中所述背景包括以下各者中的至少一者: 墊；以及 墻壁。
23.—種具有擴(kuò)增實境功能的裝置八即，其包括: 包含處理邏輯的控制單元，所述處理邏輯包括: 經(jīng)配置以至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個對象及背景的邏輯； 經(jīng)配置以至少部分基于不同于所述視覺信息的信息維持所述多個對象中的至少一個對象的狀態(tài)的邏輯；以及 經(jīng)配置以響應(yīng)于所述多個對象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的邏輯。
24.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實境功能的裝置，其中經(jīng)配置以跟蹤的所述邏輯包括執(zhí)行3維跟蹤，包括: 經(jīng)配置以確定所述多個對象相對于所述八即的相對姿勢的邏輯；以及經(jīng)配置以使用所述相對姿勢更新所述多個對象的狀態(tài)的邏輯，其中所述多個對象的所述狀態(tài)包含所述多個對象的關(guān)系信息。
25.根據(jù)權(quán)利要求24所述的具有擴(kuò)增實境功能的裝置，其中經(jīng)配置以確定相對姿勢的邏輯包括: 經(jīng)配置以檢測所述多個對象相對于所述多個對象的先前所俘獲圖像的姿勢的邏輯。
26.根據(jù)權(quán)利要求24所述的具有擴(kuò)增實境功能的裝置，其中經(jīng)配置以確定相對姿勢的邏輯包括: 經(jīng)配置以檢測所述圖像中的新對象的邏輯；以及 經(jīng)配置以更新所述多個對象以包含所述新對象的邏輯。
27.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實境功能的裝置，其中經(jīng)配置以維持所述多個對象的狀態(tài)的邏輯包括: 經(jīng)配置以維持在所述八即的視圖中的第一組所述多個對象的狀態(tài)的邏輯；以及 經(jīng)配置以維持在所述八即的視圖外的第二組所述多個對象的狀態(tài)的邏輯。
28.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實境功能的裝置，其中經(jīng)配置以維持在所述八尺0的視圖外的第二組所述多個對象的狀態(tài)的邏輯包括: 經(jīng)配置以跟蹤所述第二組所述多個對象相對于在所述八即的視圖中的所述第一組所述多個對象的偏移的邏輯；以及 經(jīng)配置以使用所述偏移確定所述第二組所述多個對象的位置的邏輯。
29.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實境功能的裝置，其中經(jīng)配置以維持在所述八尺0的視圖外的第二組所述多個對象的狀態(tài)的邏輯進(jìn)一步包括: 經(jīng)配置以跟蹤所述ARD相對于在所述ARD的視圖外的所述第二組所述多個對象的相對移動的邏輯；以及 經(jīng)配置以使用所述ARD的位置及相對移動確定所述第二組所述多個對象的位置的邏輯。
30.根據(jù)權(quán)利要求29所述的具有擴(kuò)增實境功能的裝置，其中經(jīng)配置以跟蹤所述ARD的相對移動的邏輯至少部分基于以下各者中的至少一者: 視覺里程計； 通過加速度計的航位推算；以及 通過陀螺儀的航位推算。
31.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實境功能的裝置，其中經(jīng)配置以維持在所述ARD的視圖外的第二組所述多個對象的狀態(tài)的邏輯進(jìn)一步包括: 經(jīng)配置以接收與用于確定所述多個對象的相對位置的無線信號有關(guān)的信息的邏輯；以及 經(jīng)配置以使用所述所接收信息更新所述第二組所述多個對象的位置的邏輯。
32.根據(jù)權(quán)利要求31所述的具有擴(kuò)增實境功能的裝置，其中所述無線信號是由所述ARD從附著到所述第二組所述多個對象中的至少一個對象的RFID標(biāo)簽接收。
33.根據(jù)權(quán)利要求31所述的具有擴(kuò)增實境功能的裝置，其中所述無線信號包括近場通信信號及藍(lán)牙信號中的至少一者。
34.根據(jù)權(quán)利要求31所述的具有擴(kuò)增實境功能的裝置，其中所述背景包括包含經(jīng)配置以檢測所述多個對象的所述相對位置的一或多個傳感器的墊，且其中所述信息指示由所述一或多個傳感器檢測的所述多個對象的所述相對位置。
35.根據(jù)權(quán)利要求31所述的具有擴(kuò)增實境功能的裝置，其中所述信息是基于在所述ARD處接收的所述無線信號而在集成到所述ARD中的處理器或芯片處接收。
36.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實境功能的裝置，其進(jìn)一步包括: 經(jīng)配置以跟蹤在所述ARD的視圖外的所述第二組所述多個對象中的至少一個對象的邏輯； 經(jīng)配置以確定所述第二組所述多個對象中的所述至少一個對象仍存在的邏輯；以及經(jīng)配置以在所述第二組所述多個對象中的所述至少一個對象的位置中顯現(xiàn)聲音及圖形中的至少一者的邏輯。
37.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實境功能的裝置，其進(jìn)一步包括: 經(jīng)配置以跟蹤在所述ARD的視圖外的所述第二組所述多個對象中的至少一個對象的邏輯； 經(jīng)配置以確定所述第二組所述多個對象中的所述至少一個對象不再存在的邏輯；以及經(jīng)配置以在所述第二組所述多個對象中的所述至少一個對象的位置中顯現(xiàn)淡出轉(zhuǎn)變及環(huán)境聲音中的至少一者的邏輯。
38.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實境功能的裝置，其進(jìn)一步包括: 經(jīng)配置以當(dāng)所述ARD搖攝到預(yù)期所述第二組中的第一對象將位于的地點且確定所述第一對象不存在于所述地點處時停止跟蹤所述第一對象的邏輯；以及經(jīng)配置以停止與所述第一對象相關(guān)聯(lián)的音頻擴(kuò)增的邏輯。
39.根據(jù)權(quán)利要求27所述的具有擴(kuò)增實境功能的裝置，其進(jìn)一步包括: 經(jīng)配置以當(dāng)檢測到新場景時停止跟蹤所述第二組中的第一對象的邏輯；以及 經(jīng)配置以停止與所述第一對象相關(guān)聯(lián)的音頻擴(kuò)增的邏輯。
40.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實境功能的裝置，其中經(jīng)配置以顯現(xiàn)擴(kuò)增的邏輯包括以下各者中的至少一者: 經(jīng)配置以當(dāng)所述多個對象的所述狀態(tài)的置信度的指示滿足第一預(yù)定值時在一位置中顯現(xiàn)聲音及圖形的邏輯； 經(jīng)配置以當(dāng)所述多個對象的所述狀態(tài)的置信度的所述指示滿足第二預(yù)定值時在所述位置中顯現(xiàn)聲音的邏輯； 經(jīng)配置以當(dāng)所述多個對象的所述狀態(tài)的置信度的所述指示滿足第三預(yù)定值時在所述位置中顯現(xiàn)環(huán)境聲音的邏輯；以及 經(jīng)配置以當(dāng)所述多個對象的所述狀態(tài)的置信度的所述指示滿足第四預(yù)定值時在所述位置中顯現(xiàn)淡出轉(zhuǎn)變的邏輯。
41.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實境功能的裝置，其中所述多個對象為游戲棋子，且所述背景為游戲板。
42.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實境功能的裝置，其中所述多個對象的所述狀態(tài)包括以下各者中的至少一者: 所述多個對象相對于彼此的關(guān)系信息； 所述多個對象相對于所述背景的關(guān)系信息； 所述多個對象相對于彼此的幾何布置關(guān)系；以及 所述多個對象相對于所述背景的幾何布置關(guān)系。
43.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實境功能的裝置，其進(jìn)一步包括: 經(jīng)配置以用多個具有擴(kuò)增實境功能的裝置ARD跟蹤所述多個對象及所述背景的邏輯；經(jīng)配置以跨越所述多個ARD維持所述多個對象的狀態(tài)的邏輯；以及經(jīng)配置以響應(yīng)于所述多個對象的所述狀態(tài)而提供用于在所述多個ARD中顯現(xiàn)擴(kuò)增的數(shù)據(jù)的邏輯。
44.根據(jù)權(quán)利要求23所述的具有擴(kuò)增實境功能的裝置，其中所述背景包括以下各者中的至少一者: 墊；以及 墻壁。
45.—種存儲用于由一或多個計算機(jī)系統(tǒng)執(zhí)行的指令的非暫時性媒體，所述指令包括: 用于至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個對象及背景的指令； 用于至少部分基于不同于所述視覺信息的信息維持所述多個對象的狀態(tài)的指令；以及 用于響應(yīng)于所述多個對象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的指令。
46.一種系統(tǒng)，其包括: 用于至少部分基于從圖像導(dǎo)出的視覺信息跟蹤多個對象及背景的裝置； 用于至少部分基于不同于所述視覺信息的信息維持所述多個對象的狀態(tài)的裝置；以及 用于響應(yīng)于所述多個對象的所述狀態(tài)而提供用于顯現(xiàn)擴(kuò)增的數(shù)據(jù)的裝置。
【文檔編號】G06K9/46GK104487915SQ201380039196
【公開日】2015年4月1日 申請日期:2013年6月28日 優(yōu)先權(quán)日:2012年7月26日
【發(fā)明者】維吉尼亞·沃克·基廷, 邁克爾·蓋爾沃茨, 佩爾·O·尼爾森 申請人:高通股份有限公司