以無線信號信息標記視覺數據的制作方法
本發(fā)明大體上涉及啟用基于位置的服務，且更具體地說，涉及用于啟用基于位置的服務的基于機器的視覺數據獲取和處理。
背景技術：
對于移動裝置，存在出于基于位置的服務而利用移動裝置的位置固定的無數應用。舉例來說，地圖應用可基于移動裝置的當前位置而選擇適當的地圖、方向、駕駛路線等。社交網絡應用可以基于裝置的位置而識別附近的其它用戶。存在許多其它實例。用于獲得移動裝置的位置固定的不同技術可在不同條件下是適當的。在戶外環(huán)境中，基于衛(wèi)星的方法(即，全球導航衛(wèi)星系統(gnss))技術可以是合適的，這是因為移動裝置可能夠接收具有特定時間要求的基于衛(wèi)星的定位信號。基于對此些衛(wèi)星信號的接收，可計算移動裝置的位置固定。然而，在一些情況下，基于衛(wèi)星的方法對于移動裝置不對足夠數目個gnss衛(wèi)星具有直接視線的環(huán)境并不令人滿意。此些環(huán)境包含室內環(huán)境、都市峽谷等。
一般來說，在本文中描述用于改善此些環(huán)境和其它解決方案中的位置檢測的技術。
技術實現要素：
本發(fā)明大體上涉及啟用基于位置的服務，且更具體地說，涉及用于啟用基于位置的服務的基于機器的視覺數據獲取和處理。
技術描述以移動裝置的無線和傳感器測量信息標記視覺數據(例如，圖像和/或視頻數據)。在一些實施方案中，額外元數據字段可用于以無線和/或傳感器測量信息標記視覺數據。一般來說，元數據描述與所述圖像相關聯的屬性。舉例來說，可交換圖像文件格式(exif)的元數據可包含文件的格式、用以捕獲所述圖像的裝置、日期和時間、所述圖像的分辨率、曝光、焦距、閃光等。
方面還描述拓展由圖像標準(例如，exif)和視頻格式(mediaobject元數據)標準規(guī)定的當前格式，以在所述元數據中包含無線和傳感器測量結果。無線信息的實例可包含(但不限于)無線廣域網(wwan)測量結果和wi-fi測量結果。wi-fi測量結果可包含rssi和rtt測量結果。傳感器信息可包含氣壓計、磁力計和運動傳感器(例如，加速度計、陀螺儀等)信息。所述移動裝置可將所述經標記視覺數據發(fā)射到眾包服務器。
一種用于標記視覺數據的實例方法可包含：使用耦合到裝置的相機來獲取視覺數據；從至少一個信號發(fā)射裝置接收至少一個無線信號；從所述至少一個無線信號導出包括與所述至少一個信號發(fā)射裝置相關聯的源識別信息的信息；以及以與所述至少一個信號發(fā)射裝置相關聯的所述信息標記所述視覺數據?？蓪⑺鼋洏擞浺曈X數據發(fā)射到遠程服務器，例如眾包服務器。在一個實施例中，導出信息可進一步包含導出在所述裝置處所測量的來自所述至少一個信號發(fā)射裝置的所述至少一個無線信號的信號強度。在另一實施例中，導出信息進一步包含使用來自所述至少一個信號發(fā)射裝置的所述至少一個無線信號導出往返時間。
所述至少一個信號發(fā)射裝置可以是無線接入點，且所述源識別信息是媒體接入控制(mac)地址。所述至少一個無線信號可以是wi-fi信號、非可聽聲、超聲信號和不可見光線中的一者。在一個實施例中，所述信號發(fā)射裝置可以是靜止的。在另一實施例中，所述信號發(fā)射裝置的位置可至少在所述至少一個無線信號由所述裝置接收到時是未知的。所述視覺數據可在拒絕gnss的環(huán)境中由所述相機獲取。
在另一個例子中對所述視覺數據的所述標記可進一步包含氣壓計信息、磁力計信息和/或運動傳感器信息。
所述視覺數據可以是圖像或視頻。在所述視覺數據是圖像的一個例子中，所述視覺數據可包含于根據可交換圖像文件格式(exif)所格式化的圖像文件中，且標記所述視覺數據包括包含與所述至少一個信號發(fā)射裝置相關聯的所述信息作為所述圖像文件的元數據的部分。
一種實例裝置可包含：相機，其經配置以獲取視覺數據；存儲器，其經配置以存儲所述視覺數據；收發(fā)器，其經配置以從至少一個信號發(fā)射裝置接收至少一個無線信號；以及處理器，其經配置以：從所述至少一個無線信號導出包括與所述至少一個信號發(fā)射裝置相關聯的識別信息的信息，并以與所述至少一個信號發(fā)射裝置相關聯的所述信息標記所述視覺數據。在一個實例中，所述收發(fā)器可經進一步配置以將所述經標記視覺數據以無線方式發(fā)射到遠程服務器。
在一個實施方案中，與所述至少一個信號發(fā)射裝置相關聯的所述信息進一步包括來自所述至少一個信號發(fā)射裝置的所述至少一個無線信號的信號強度和使用來自所述至少一個信號發(fā)射裝置的所述至少一個無線信號的往返時間中的一或多者。
在一個實施方案中，所述至少一個信號發(fā)射裝置是無線接入點，且來自所述信號發(fā)射裝置的所述至少一個無線信號是wi-fi信號、非可聽聲、超聲信號和不可見光線中的一者。所述視覺數據可在拒絕gnss的環(huán)境中由所述相機獲取。所述信號發(fā)射裝置的位置可至少在接收到所述至少一個無線信號時是未知的。在一個實施方案中，所述處理器可經進一步配置以以氣壓計信息、磁力計信息和/或運動傳感器信息中的一或多者標記所述視覺數據。
在一個實例中，所述視覺數據可包含于根據可交換圖像文件格式(exif)所格式化的圖像文件中，且標記所述視覺數據包括包含與所述至少一個信號發(fā)射裝置相關聯的所述信息作為所述圖像文件的元數據的部分。
一種實例設備可包含：用于使用耦合到所述設備的相機來獲取視覺數據的裝置；用于從至少一個信號發(fā)射裝置接收至少一個無線信號的裝置；用于從所述至少一個無線信號導出包括與所述至少一個信號發(fā)射裝置相關聯的源識別信息的信息的裝置；以及用于以與所述至少一個信號發(fā)射裝置相關聯的所述信息標記所述視覺數據的裝置。所述設備可將所述經標記視覺數據發(fā)射到遠程服務器。在一個實例中，所述視覺數據可在拒絕gnss的環(huán)境中由所述相機獲取。
一種實例非暫時性計算機可讀存儲媒體，其中所述非暫時性計算機可讀存儲媒體包括可由處理器執(zhí)行的指令，所述指令可包含用以進行以下操作的指令：使用耦合到裝置的相機來獲取視覺數據；從至少一個信號發(fā)射裝置接收至少一個無線信號；從所述至少一個無線信號導出包括與所述至少一個信號發(fā)射裝置相關聯的源識別信息的信息；以及以與所述至少一個信號發(fā)射裝置相關聯的所述信息標記所述視覺數據。在某些方面中，所述非暫時性計算機可讀存儲媒體可進一步包含用以將所述經標記視覺數據以無線方式發(fā)射到遠程服務器的指令。
前文已經相當廣泛地概述了實例的特征和技術優(yōu)點，以便使以下的具體實施方式可以得到更好理解。將在下文中描述額外特征和優(yōu)點。所揭示的概念和特定實例可以容易地用作用于修改或設計用于實施本發(fā)明的相同目的的其它結構的基礎。此些等效構造不脫離所附權利要求書的精神和范圍。當結合附圖考慮時，關于本發(fā)明的組織和操作方法的被認為是本文中所揭示的概念的特性的特征與相關聯的優(yōu)點一起將從以下描述得到更好理解。圖中的每一者都僅出于說明和描述的目的提供，且并不提供為對權利要求書的限制的界定。
附圖說明
借助于實例說明本發(fā)明的方面。參考圖式提供以下描述，其中相同的參考標號始終用于指相同的元件。盡管本文中描述一或多種技術的各種細節(jié)，但是其它技術也是可能的。在一些情況下，以框圖形式展示熟知結構和裝置以便促進描述各種技術。
可參考說明書和圖式的剩余部分來實現對由本發(fā)明提供的實例的性質和優(yōu)點的進一步理解，其中貫穿若干圖式使用相同參考標號來指相同組件。在一些情況下，子標簽與參考標號相關聯以表示多個類似組件中的一者。當在無說明書的情況下將參考標號與現有子標簽進行參考時，參考標號是指所有此些類似組件。
圖1是說明與實例操作環(huán)境的實施方案相關聯的特征的示意圖。
圖2說明購物中心的熱度圖的簡化實例視覺表示。
圖3說明用于使位置與熱度圖上的位置的無線信息相關聯的實例數據結構。
圖4說明可配置以捕獲視覺數據和與無線信號發(fā)射裝置和/或運動傳感器相關聯的信息的實例移動裝置。
圖5說明根據本發(fā)明的某些方面的圖像文件的實例數據結構。
圖6說明根據本發(fā)明的某些方面的實施于移動裝置中的實例模塊的框圖。
圖7是說明用于執(zhí)行本發(fā)明的一或多個說明性方面的方法的流程圖。
圖8說明根據本發(fā)明的某些方面的實施于眾包服務器中的實例模塊的框圖。
圖9說明根據本發(fā)明的某些方面的由移動裝置獲取的商店標志的實例。
圖10說明存儲于眾包服務器處的購物中心的實例地圖。
圖11是說明用于根據本發(fā)明的一或多個說明性方面執(zhí)行本發(fā)明的實施例的方法的流程圖。
圖12說明可在其中實施一或多個實施例的計算系統的實例。
具體實施方式
現將關于形成其一部分的附圖來描述若干示意性實施例。雖然下文描述可實施本發(fā)明的一或多個方面的特定實施例，但是可使用其它實施例，且可在不脫離本發(fā)明的范圍或所附權利要求書的精神的情況下進行各種修改。
對于移動裝置，存在出于基于位置的服務而利用裝置的位置固定的無數應用。舉例來說，地圖應用可基于移動裝置的當前位置而選擇適當的地圖、方向、駕駛路線等。社交網絡應用可以基于裝置的位置而識別附近的其它用戶。存在許多其它實例。用于獲得移動裝置的位置固定的不同技術可在不同條件下是適當的。在戶外環(huán)境中，基于衛(wèi)星的方法(即，全球導航衛(wèi)星系統(gnss))技術可以是合適的，這是因為移動裝置可能夠接收具有特定時間要求的基于衛(wèi)星的定位信號。基于對此些衛(wèi)星信號的接收，可計算移動裝置的位置固定。然而，在一些情況下，基于衛(wèi)星的方法對于移動裝置不對足夠數目個gnss衛(wèi)星具有直接視線的環(huán)境并不令人滿意。此些環(huán)境可被稱作拒絕gnss的環(huán)境，且可包含室內環(huán)境(例如，購物中心、機場、體育館等)和戶外環(huán)境(都市峽谷等)。
在移動裝置不對足夠數目個衛(wèi)星具有直接視線的此些拒絕gnss的環(huán)境中，基于接入點(ap)的方法通常更適用于獲得移動裝置的位置固定。移動裝置在已知位置處觀測發(fā)送到ap和/或從ap發(fā)送的信號?？稍谝苿友b置處獲得不同類型的測量結果，例如rssi(接收信號強度指示)和rtt(往返時間)。移動裝置可比較這些測量結果與使無線測量結果與用以確定裝置的位置的位置(也被稱作熱度圖)相關聯的地圖。在一個實例中，移動裝置可因為移動裝置所在的特定位置而從遠程服務器(即，熱度圖服務器)下載熱度圖。
然而，產生具有不令人滿意的衛(wèi)星覆蓋范圍的無數位置的熱度圖并保持更新那些地圖是一項具有挑戰(zhàn)性的任務。舉例來說，產生熱度圖可需要技術員手動地訪問每個室內位置并產生位置處的無線測量結果與位置自身之間的映射。此外，當移除、添加或移動ap時，每一位置處的無線測量結果可能改變，從而使與熱度圖相關聯的信息過時。定期更新熱度圖可需要技術員再訪問室內位置并重新產生無線測量結果與位置之間的相關聯。
本發(fā)明的實施例通常描述以移動裝置的無線和傳感器測量信息標記視覺數據(例如，圖像和/或視頻數據)。視覺數據可指包含視覺特征的圖像和/或視頻。視覺特征可指能夠在商務中或以其它方式至少部分地基于其相對均勻表示或使用一致性而被識別或辨別的一或多個視覺要素。在一些實施方案中，額外元數據字段可用于以無線和/或傳感器測量信息標記視覺數據。一般來說，元數據描述與所述圖像相關聯的屬性。舉例來說，可交換圖像文件格式(exif)的元數據可包含文件的格式、用以捕獲圖像的裝置、日期和時間、圖像的分辨率、曝光、焦距、閃光等。
實施例還描述拓展由圖像標準(例如，exif)和視頻格式(mediaobject元數據)標準規(guī)定的當前格式，以在所述元數據中包含無線和傳感器測量結果。無線信息的實例可包含(但不限于)無線廣域網(wwan)測量結果和wi-fi測量結果。wi-fi測量結果可包含rssi和rtt測量結果。傳感器信息可包含氣壓計、磁力計和運動傳感器(例如，加速度計、陀螺儀等)信息。移動裝置可將經標記視覺數據發(fā)射到眾包服務器。
眾包服務器從移動裝置接收經標記視覺數據，且從圖像識別一或多個視覺特征(例如，店面標志)并基于所識別特征而確定捕獲圖像的位置。也就是說，眾包服務器執(zhí)行基于圖像的位置估計。舉例來說，眾包服務器116可從圖像識別商店的店面標志(例如，jcrew)。眾包服務器還可基于圖像中的標志的定向、圖像中的標志的形狀和標志的大小而估計按什么角度捕獲到圖像和移動裝置離標志的距離。以此方式，眾包服務器基于圖像中的可見特征而確定捕獲圖像的位置。
因為眾包服務器知曉捕獲到圖像的大致位置，所以眾包服務器從圖像元數據提取無線(例如，wi-fi)測量結果并使那些無線測量結果與熱度圖200上的位置相關聯。隨著越來越多的裝置在一段時間內發(fā)送具有無線測量結果的圖像，眾包服務器繼續(xù)使熱度圖上的位置與無線測量結果相關聯，并因此隨時間推移改進且自動更新熱度圖。
在稍后時間點處，眾包服務器可使熱度圖對各種移動裝置可用。來自眾包服務器的經更新和魯棒性熱度圖使得移動裝置能夠基于由移動裝置獲取的無線測量結果和匹配無線測量結果與熱度圖而確定其位置。
與標記到圖像的其它傳感器相關聯的信息也可是有幫助的。舉例來說，在多層建筑物中，氣壓計讀數可有助于確定建立中的移動裝置捕獲到圖像的層級。
圖1是說明與實例操作環(huán)境100的實施方案相關聯的特征的示意圖，操作環(huán)境100能夠促進或支持對移動裝置102的位置估計的一或多個過程或操作。應了解，可完全地、部分地、在各種通信網絡或網絡的組合(例如公共網絡(例如，因特網、萬維網)、私用網絡(例如，內聯網)、無線局域網(wlan等)或類似者)的上下文中實施在本文中描述為非限制性實例的操作環(huán)境100。
還應注意，雖然描述提供與室內實施方案相關的實例的主題，但是本發(fā)明的實施例不限于室內實施方案。在某一實例場景中，本發(fā)明的實施例可以可在拒絕gnss(或拒絕美國全球定位系統(gps))的環(huán)境中操作。拒絕gnss的環(huán)境可指使用gnss衛(wèi)星用于獲得移動裝置的位置固定可能不可能或可能不令人滿意的任何環(huán)境。此些拒絕gnss的環(huán)境不僅可包含室內環(huán)境，例如購物中心、機場、體育場等，而且可包含室外位置，例如都市峽谷、城市廣場、圓形劇場、停車場、屋頂花園、中庭等，在這些環(huán)境中移動裝置難以對充足的gnss衛(wèi)星具有視線來獲得位置固定。
如所說明，操作環(huán)境100可包括(例如)一或多個衛(wèi)星104、基地收發(fā)站106、無線信號發(fā)射裝置108(在圖1中為了易于說明而僅說明一個無線信號發(fā)射裝置108，但是應理解，操作環(huán)境100可包含多個信號發(fā)射裝置108且將通常包含至少一個無線信號發(fā)射裝置108)等，以上各者能夠根據一或多個通信協議而經由無線通信鏈路110與移動裝置102通信。衛(wèi)星104可與一或多個gnss衛(wèi)星定位系統(sps)相關聯，例如美國全球定位系統(gps)、俄羅斯格洛納斯系統、歐洲伽利略系統以及可利用來自衛(wèi)星系統的組合的衛(wèi)星的任何系統或在未來開發(fā)的任何衛(wèi)星系統。雖然在描述一些實施例的過程中，為簡單起見和說明目的而論述拒絕gps或gnss的環(huán)境，但是可在不脫離本發(fā)明的范圍的情況下取代其它衛(wèi)星定位系統。舉例來說，基地收發(fā)站106、無線信號發(fā)射裝置108等可具有相同或類似類型，或可取決于實施方案而表示不同類型的裝置，例如接入點、無線電信標、蜂窩式基站、超微型小區(qū)或類似者。有時，舉例來說，一或多個信號發(fā)射裝置可能夠發(fā)射以及接收無線信號。在一些示例中，無線信號發(fā)射裝置108還可包含可配置發(fā)射信號(例如wi-fi信號、可聽和非可聽聲和(可見和不可見)光線)的裝置。
在一些情況下，一或多個基站收發(fā)器臺106、信號發(fā)射裝置108等可(例如)可操作地耦合到網絡112，網絡112可包括能夠(例如)經由一或多個無線通信鏈路114提供合適或所要信息的一或多個有線或無線通信或計算網絡。如將看見，僅說明一個可能實施方案，信息可包含(例如)使相關所關注地點(poi)與室內或類似所關注區(qū)域內的已知位置相關聯的輔助信息和歸因于這些poi的品牌特定視覺簽名。有時，輔助信息可包含(例如)一或多個基地收發(fā)站106、無線信號發(fā)射裝置108或類似者的標識或位置，以促進或支撐與操作環(huán)境100相關聯的一或多個操作或過程。作為說明方式，可(例如)以數字地圖、查詢表、數學公式、合適模型、算法等形式提供輔助信息，這可至少部分地取決于應用、網絡、環(huán)境或類似者。在一個實施方案中，網絡112可能夠促進或支持合適的計算平臺或裝置(例如移動裝置102、一或多個基地收發(fā)站106、無線信號發(fā)射裝置108、以及與操作環(huán)境100相關聯的一或多個服務器)之間的通信。
在一些情況下，服務器可包含(例如)眾包服務器116、熱度圖分布服務器118以及通常指示為120的一或多個其它服務器(例如，導航、信息、地圖服務器等)，所述服務器能夠促進或支持與操作環(huán)境100相關聯的一或多個操作或過程。
在一些場景中，熱度圖分布服務器118可將熱度圖分布到在操作環(huán)境100中操作的移動裝置102。在一些情況下，熱度圖自動地分布到進入由熱度圖分布服務器118支持的區(qū)的移動裝置。在其它實施例中，移動裝置102請求并下載移動裝置正在其中抑或將在其中操作的區(qū)的適用熱度圖。在一個實例情境中，移動裝置102可使用熱度圖以確定其在操作環(huán)境100中的位置。在一個實例實施方案中，移動裝置102在已知位置處觀測發(fā)送到信號發(fā)射裝置(例如接入點)和/或從信號發(fā)射裝置發(fā)送的信號?？稍谝苿友b置處獲得不同類型的測量結果，例如rssi和rtt。移動裝置可比較這些測量結果與使無線測量結果與用以確定裝置的位置的位置相關聯的熱度圖。
本發(fā)明的實施例還描述用于使用眾包來搜集信息以便使用眾包服務器116來產生、更新并維持熱度圖的技術。眾包服務器116可用于從多個移動裝置收集信息并更新熱度圖。
圖2說明購物中心的熱度圖的視覺表示的簡化實例。熱度圖可由眾包服務器116產生、維持并更新，并由熱度圖分布服務器118分布到移動裝置102。熱度圖200可使得移動裝置能夠使用來自相鄰信號發(fā)射裝置的無線信號信息來確定其在拒絕gnss的環(huán)境中的位置。在一個實施方案中，如圖2中所展示，熱度圖200可使位置信息(例如地圖上的坐標)與無線測量信息(例如與例如ap等信號發(fā)射裝置108相關聯的rssi和rtt信息)相關聯。在圖2中，橢圓形圓圈(即，202、204)可各自表示與熱度圖200相關聯的位置坐標。對于每個位置坐標，與位置坐標相關聯的信息可包含與一或多個信號發(fā)射裝置108相關聯的位置和源識別信息。另外，在一些實施方案中，與位置相關聯的信息還可包含與來自信號發(fā)射裝置108的信號相關聯的測量結果。在圖3中進一步描述與熱度圖200上的每一位置坐標或節(jié)點相關聯的信息的實例實施方案。在一個實施方案中，標記有‘x’標記(204)的橢圓形圓圈表示具有來自在過去從那些相應位置收集信息的一或多個移動裝置的實際測量結果的位置，而不具有‘x’標記(202)的橢圓形圓圈可表示從相鄰位置內插的數據。在一些情況下，借由實際測量結果的數目，熱度圖的總體準確性增大。
眾包服務器116可產生、更新并維持若干拒絕gnss的環(huán)境的此些熱度圖。在不同時間點處，眾包服務器116可使熱度圖200對各種移動裝置可用。自動地，抑或在從移動裝置102請求之后，熱度圖分布服務器118可即刻將熱度圖分布到移動裝置102。在一些情況下，熱度圖可在移動裝置訪問拒絕gnss的環(huán)境之前或在移動裝置102頻繁訪問拒絕gnss的環(huán)境的情況下分布到移動裝置。使來自眾包服務器116和熱度圖分布服務器118的經更新和魯棒性熱度圖對于移動裝置可用，且所述熱度圖使得移動裝置能夠確定其位置，在拒絕gnss的環(huán)境中尤其如此。
圖3說明用于使位置與位置處所測量的實例無線信息相關聯的實例數據結構。在一個實例中，在圖2的熱度圖中被描繪為橢圓形圓圈的每一節(jié)點可包括使位置與接入點信息相關聯的類似數據結構300。如圖3中所展示，在給定位置xyz302處，熱度圖200可具有與四個不同信號接入點(ap)相關聯的信息。與四個不同ap相關聯的信息可包含由位置xyz302處的一或多個代表性移動裝置為四個ap中的每一者測量的rssi和/或rtt信息。在替代性實施方案中，或除了rssi和/或rtt測量結果以外，數據結構300還可包含可測量且與ap與定位于位置xyz302處的代表性移動裝置之間的距離成比例而改變的任何信息。
在圖3中，數據結構300具有表示為位置xyz302執(zhí)行或內插的測量的四個ap的四個項。每一項可具有源識別字段和測量字段。舉例來說，對于ap-1，第一項具有ap-1媒體接入控制(mac)地址304和位置xyz302處的測量rssi/rtt的代表性裝置的ap-1的rssi和/或rtt信息(框306)。類似地對于ap-2、ap-3和ap-4，第二項、第三項和第四項具有其相應mac地址(308、312和316)和當從位置xyz302處的代表性移動裝置所測量時的相應ap(310、314和318)的相應rssi/rtt測量結果。
在圖3中，mac地址充當ap中的每一者的唯一源標識符?？稍诓幻撾x本發(fā)明的實施例的情況下使用充分地將若干ap(或其它信號發(fā)射裝置)彼此區(qū)分的任何其它源標識符。舉例來說，在一些實施例中，因特網協議(ip)地址可用于ip地址靜態(tài)地被指派到裝置的配置中。
圖3描繪使用四個項在圖2中所描繪的熱度圖中所表示的位置坐標或節(jié)點處的信息。本發(fā)明的實施例不限于四個項且可具有更多或更少項。在一些情況下，數據結構的項的數目可基于可用的ap的數目、ap的能力和對數據結構的大小的實施方案限制。此外，在一些實施例中，作為存儲識別項和其相關聯信號的測量結果(例如，rssi/rtt)的若干信號的源識別信息的替代或補充，數據中的一些或全部可散列以產生位置的唯一指紋，其表示位置處所觀測的各種信號特性的快照視圖。
如本文中所描述，出于說明的目的，參看無線接入點而論述本發(fā)明的實施例。然而，可在不脫離本發(fā)明的實施例的情況下使用任何無線信號發(fā)射裝置108。舉例來說，在一些實施例中，無線信號發(fā)射裝置108可包含例如光(可見和不可見)發(fā)射裝置和聲音(可聽和非可聽)發(fā)射裝置等裝置。舉例來說，發(fā)光裝置可包含熒光燈泡。熒光燈泡可發(fā)射具有可通常在環(huán)境中識別并區(qū)分熒光燈泡與其它熒光燈泡的充足唯一性的信息。舉例來說，從各種燈泡發(fā)射的光的閃爍可由于制造過程而對于每一燈泡充分地相異，來大體上區(qū)分一個熒光燈泡與另一個熒光燈泡。在另一實施例中，可制造熒光燈泡以發(fā)射具有識別熒光燈泡的經編碼信息的閃爍。閃爍可能不對人類眼睛明顯，但移動裝置102可經編程以觀測此閃爍。此外，可使用在移動裝置或任何其它合適的裝置處所接收的光線的振幅(即，亮度、明度等)測量測量結果相對于燈泡與移動裝置之間的距離的比例。
在大多數情況下，但不是所有情況下，信號發(fā)射裝置可相對于地圖上的位置坐標是靜止的，因此提供在一段時間內一致的信息，且可用以產生位置的簽名。
在一個實施方案中，熱度圖可不限于用于測量移動裝置與信號發(fā)射裝置之間的信號特性的特定類型的信號發(fā)射裝置或技術。舉例來說，對于拒絕gnss的環(huán)境的熱度圖，熱度圖可包含與信號發(fā)射裝置108的組合相關聯的信息，組合例如ap、無線電信標、蜂窩式基站、超微型小區(qū)、熒光燈泡、光(可見和不可見)發(fā)射裝置和聲音(可聽和非可聽)發(fā)射裝置。此外，甚至對于ap，可使用技術的組合(例如rtt和rssi)來測量信號特性。在一些情況下，ap的能力可確定所使用的測量技術。對于包含較大變異的信號發(fā)射裝置(例如ap、超聲裝置、燈泡)的熱度圖，關于信號發(fā)射裝置的測量技術可展示甚至更大的變異，例如包含rtt、rssi、光閃爍等。
上述圖(圖2和圖3)描述熱度圖和存儲在熱度圖的位置坐標處的相關聯信息。然而，為無數拒絕gnss的位置產生熱度圖并保持更新那些地圖是一項具有挑戰(zhàn)性的任務。舉例來說，產生熱度圖可需要技術員手動地訪問每個室內位置并產生位置處的無線測量結果與位置自身之間的映射。此外，當移除、添加或移動接入點時，每一位置處的無線測量結果可能改變，從而使與熱度圖相關聯的信息過時。更新熱度圖可需要技術員再訪問拒絕gnss的位置并重新產生無線測量結果與位置之間的相關聯。
如在下文進一步詳細論述，在移動裝置處，本發(fā)明的實施例通常描述以無線和傳感器測量信息標記視覺數據(例如，圖像和/或視頻數據)。在一些實施方案中，額外元數據字段可用于以無線和/或傳感器測量信息標記視覺數據。標記信息可發(fā)送到服務器，例如眾包服務器116，其中眾包服務器116可使用來自視覺數據的視覺特征和任選地包含于文件中的傳感器信息導出捕獲到圖像的位置。眾包服務器116可提取與無線信號發(fā)射裝置相關聯的信息，并使熱度圖上的位置坐標與相關于無線信號發(fā)射裝置的信息相關聯。
以信息標記視覺數據：
圖4說明可配置以捕獲視覺數據(例如圖像和/或視頻)并以與無線信號發(fā)射裝置和/或運動傳感器相關聯的信息標記圖像的實例移動裝置。如圖4中所展示，在給定時間點處，移動裝置102的用戶在具有移動裝置102的購物中心400處。購物中心400可表示拒絕gnss的環(huán)境，且可以是在一些方面中類似于圖1中所論述的操作環(huán)境100。在圖4中，在一個實施例中，移動裝置102可通過收集關于信號發(fā)射裝置108的數據并將所述數據發(fā)射到眾包服務器116用于產生、更新并維持熱度圖來促進眾包功能。在一個實施方案中，移動裝置102可經預注冊以代表眾包服務器116收集數據。
如圖4中所展示，購物中心400的操作環(huán)境具有若干品牌商店，并描繪貫穿購物中心所擴散的八個相異信號發(fā)射裝置108a到108g，例如ap。帶著收集眾包服務器116的信息的目的或(例如)在與朋友訪問購物中心并一起拍攝圖片時隨意地作為正常行動路線，移動裝置102的用戶可在購物中心內部時拍攝圖片或視頻。圖片可無意中從場景捕獲視覺特征，例如顯要的商店標志。此些視覺特征可由眾包服務器116稍后使用來確定捕獲到視覺數據(圖像和/或視頻)的位置。
如圖4中所展示，大致當獲取視覺數據時，移動裝置102從四個不同信號發(fā)射裝置108a到108d接收信號。信號發(fā)射裝置相對于移動裝置102的位置可至少在獲取視覺數據或從信號發(fā)射裝置接收信號時是未知的。移動裝置102確定四個信號發(fā)射裝置中的每一者的源識別信息(例如，mac地址)。此外，在一些實施方案中，移動裝置還可確定信號發(fā)射裝置108與移動裝置102之間的信號的rssi和/或rtt。源識別信息與信號的其它特性(例如rssi和/或rtt)的組合可表示移動裝置102的當前位置與信號發(fā)射裝置之間的關系。類似于已在圖3中描述的內容的若干此些關系(例如，mac地址、rssi/rtt)可形成移動裝置102的位置的充分唯一的簽名。
在一個實施例中，移動裝置102可將與在由耦合到移動裝置102相機拍攝的圖像或視頻時所獲取的一或多個ap相關聯的信息標記到與圖像或視頻相關聯的所捕獲視覺數據。在捕獲到視覺數據時以與一或多個ap相關聯的信息標記視覺數據在體現于視覺數據中的視覺信息與在捕獲到視覺數據的情況下由移動裝置102接收的信號之間形成強烈的時間和空間相關聯。圖5在下文描述以與無線信號相關聯的信息標記視覺數據的一個實例實施例。
除了以與無線信號發(fā)射裝置108相關聯的信息標記視覺數據以外，移動裝置102還可以傳感器數據(例如來自一或多個氣壓計傳感器、磁力計傳感器或運動傳感器的信息)標記視覺數據。以來自氣壓計傳感器的信息標記視覺數據可有助于指示捕獲到圖像的海拔。類似地，以來自磁力計的信息標記視覺數據可有助于在捕獲到圖像時確定移動裝置102的前進方向。此外，移動裝置可包含運動傳感器，例如可包含陀螺儀和加速度計的慣性傳感器。以運動傳感器標記視覺數據還可有助于在獲取視覺數據時確定裝置的位姿和由移動裝置102經歷的任何相對和絕對運動。
在一些情況下，以傳感器信息標記視覺數據可包括以與傳感器數據的讀數相關聯的增量或改變標記視覺數據。舉例來說，在一些情況下，包含氣壓而非絕對氣壓的改變以確定用戶已從購物中心的一個層級移動到購物中心的另一層級可以是有用的。類似地，對于陀螺儀，陀螺儀傳感器讀數的改變可更有助于從先前確定的位姿而非在所捕獲到圖像時的陀螺儀讀數的絕對值確定相對旋轉。
圖5說明描繪以與信號發(fā)射裝置和/或傳感器相關聯的信息標記使用相機所獲取的視覺數據的圖像/視頻文件的實例數據結構。與信號發(fā)射裝置相關聯的信息可包含信號發(fā)射裝置的源識別信息和無線和/或傳感器測量信息。以與信號發(fā)射裝置相關聯的信息標記視覺數據可指將額外信息包含于圖像/視頻文件的元數據中。一般來說，元數據描述與圖像/視頻相關聯的屬性。舉例來說，可交換圖像文件格式(exif)的元數據可包含文件的格式、用以捕獲圖像的裝置、日期和時間、圖像的分辨率、曝光、焦距、閃光等。
實施例還描述拓展由圖像標準(例如，exif)和視頻格式(mediaobject元數據)標準規(guī)定的當前格式，以在元數據中包含與無線信號發(fā)射裝置相關聯的信息和傳感器數據。無線信息的實例可包含(但不限于)無線廣域網(wwan)測量結果和wi-fi測量結果。wi-fi測量結果可包含rssi和rtt測量結果。傳感器信息可包含氣壓計、磁力計和運動傳感器(例如，加速度計、陀螺儀等)信息。移動裝置102可根據exif圖像的新擴展式標準而產生文件并將其存儲。立刻，或在稍后時間點處，移動裝置102可將具有經標記視覺數據的文件發(fā)射到眾包服務器116。
圖5說明展示圖像數據504和具有圖像數據的相關聯元數據502的實例圖像文件500。在圖5中，根據本發(fā)明的某些實施例，元數據502描繪與耦合到信號發(fā)射裝置和移動裝置102的傳感器相關聯的額外信息。
在一個實施例中，信號發(fā)射裝置可以是一或多個ap(雖然僅展示了一個ap的字段)。與ap相關聯的源識別信息可以是mac地址。與從信號發(fā)射裝置(例如ap)接收的信號相關聯的信息可以是rtt和/或rssi測量結果。在一些實施例中，可基于ap的能力而選擇測量結果的類型。舉例來說，一些ap可能不支持rtt能力，且可替代地使用rssi測量結果。在一些情況下，rtt和rssi測量結果兩者都可用以在界定移動裝置102的位置處的信號特性的過程中提供額外信息。在一些實施方案中，ap的在使用中的信道或頻率還可包含于圖像文件500的元數據502中。
在一個實例中，其中用戶使用耦合到移動裝置102的相機拍攝圖像，圖像數據可存儲為使用擴展式exif標準的圖像文件，如本文中所描述。在一個實例中，是國際標準組織(iso)的部分的可擴展元數據平臺(xmp)可用以界定并填充元數據的字段，例如macid(例如1caa07c6e370)、rssi(例如，-70dbm)和/或rtt(例如，0.0154msecond)。在另一實例(未展示)中，類似字段可用于標記視頻文件(例如，mediaobject元數據)。
圖6說明根據本發(fā)明的一個實施例的實施于移動裝置102中的實例模塊的框圖。移動裝置102可以是使用圖12中描述的一或多個組件所實施的計算機裝置。圖6中所描述的模塊可使用軟件、固件、硬件或其其它組合予以實施。在一個實施例中，圖6中所描述的模塊中的一些可存儲為計算機可讀媒體600上的軟件模塊，計算機可讀媒體600可以是任何磁性、電子、光學或其它計算機可讀存儲媒體。在一個實施方案中，計算機可讀存儲媒體可包含無線源標識符608、信號特性標識符模塊610、數據編碼器模塊612、標記產生器模塊614和文件產生器模塊616。
用戶可在拒絕gnss的環(huán)境中使用耦合到移動裝置102的一或多個相機模塊602來獲取視覺數據(即，拍攝圖片或捕獲視頻)。在一個實例中，如圖4中所展示，用戶可在購物中心400中購物，同時還使用其移動裝置102來拍攝圖片或捕獲視頻。
數據編碼器模塊612可將視覺數據編碼成標準格式，例如圖像的標簽圖像文件格式(tiff)或聯合活動圖像專家組(jpeg)或視頻的電影圖片專家組-4(mpeg4)或任何其它合適的格式。
大致地，當用戶獲取視覺數據時，耦合到移動裝置102的無線收發(fā)器604可從一或多個信號發(fā)射裝置接收一或多個無線信號。雖然僅在圖6中說明一個收發(fā)器模塊604，但是應理解，移動裝置可包含可能夠發(fā)射以及接收無線信號的一或多個無線收發(fā)器。在一些示例中，收發(fā)器模塊604可包含可配置發(fā)射并接收信號(例如wi-fi信號、可聽和非可聽(例如，超聲)聲音和可見和不可見(例如，紅外)光線)的組件。
取決于實施方案，無線信號發(fā)射裝置可表示不同類型的裝置，例如接入點、無線電信標、蜂窩式基站、超微型小區(qū)或類似者。舉例來說，在一些實施例中，無線信號發(fā)射裝置108可包含例如光(可見和不可見)發(fā)射裝置和聲音(可聽和非可聽)發(fā)射裝置等裝置。
無線源標識符模塊608可從收發(fā)器604接收信息并從無線信號導出與信號發(fā)射裝置相關聯的源識別信息。舉例來說，無線源標識符608模塊可對從無線接入點接收的數據包的標頭進行解碼并導出mac地址。mac地址為接入點提供充分唯一的標識符。
信號特性標識符模塊610可導出與來自信號發(fā)射裝置的信號相關聯的特性，所述特性可指示移動裝置102相對于信號發(fā)射裝置的相對定位。舉例來說，信號特性標識符模塊610可導出在裝置處所測量的從至少一個信號發(fā)射裝置接收的至少一個無線信號的信號強度(即，rssi)。在另一實例中，信號特性標識符模塊610可使用來自至少一個信號發(fā)射裝置的至少一個無線信號導出往返時間(即，rtt)。
標記產生器模塊614可使用來自信號發(fā)射裝置中的每一者的無線源標識符模塊608的源識別信息和來自信號特性標識符模塊610的相關聯rssi、rtt或任何其它信號特性標識符來產生標記。產生標記可包括格式化關于信號發(fā)射裝置的信息使得其可包含于文件的元數據中。
在一個實施例中，標記產生器模塊614可任選地從來自傳感器606模塊中的一或多個傳感器接收信息并使用所述信息來產生標記。傳感器信息可包含氣壓計、磁力計和運動傳感器(例如，加速度計、陀螺儀等)信息。在一些實施方案中，并入在標記中的傳感器信息還可包含gnss坐標(如果可用)或最后知曉的由gnss導出的可有助于導出位置的粗略估計以供進一步處理的位置。
文件產生器模塊616可從數據編碼器模塊612和標記產生器模塊614接收輸入并產生文件。在一個實施例中，對于圖像數據，可通過包含來自數據編碼器模塊612的經編碼數據(例如，jpeg或tiff)和來自標記產生器模塊614的標記來根據exif標準而產生文件。
在產生文件之后，在一個實施例中，移動裝置102還可將文件發(fā)射到遠程服務器，例如眾包服務器116。
圖7是說明用于根據本發(fā)明的一或多個說明性方面執(zhí)行本發(fā)明的實施例的方法的流程圖。根據一或多個方面，本文中所描述的方法和/或方法框中的任一者和/或全部可由移動裝置102(例如圖1中所展示的移動裝置102和/或圖12中更詳細地描述的裝置)實施和/或實施于移動裝置102中。在一個實施例中，由計算裝置1200的處理器(例如處理器1210或另一處理器)實施下文關于圖7描述如下的方法框中的一或多者。另外或替代地,本文中所描述的方法和/或方法框的任一者和/或全部可實施于計算機可讀指令中,例如存儲在計算機可讀媒體(例如存儲器1235、存儲裝置1225或另一計算機可讀媒體)上的計算機可讀指令。
在框702處，移動裝置102的組件(例如耦合到移動裝置102的相機)可從場景獲取視覺數據。視覺數據可包含一或多個圖像和/或視頻剪輯。在一個實施例中，可在拒絕gnss的環(huán)境中獲取視覺數據。舉例來說，用戶可在室內位置(例如不對足夠數目個gnss衛(wèi)星具有直接視線的購物中心)中拍攝圖片。
在框704處，移動裝置102的組件(例如收發(fā)器604(見圖6))可從一或多個信號發(fā)射裝置接收一或多個無線信號。
在框706處，移動裝置102的組件(例如使用一或多個處理器的無線源標識符608(見圖6))可從所接收無線信號導出包括與一或多個信號發(fā)射裝置相關聯的源識別信息的信息。舉例來說，在信號發(fā)射裝置是無線接入點的情況下，移動裝置102的組件可通過從經由無線信號發(fā)射的數據包的標頭導出mac地址來確定無線信號的來源。
任選地，移動裝置102的組件(例如信號特性標識符模塊610(見圖6))也可導出與來自信號發(fā)射裝置的信號相關聯的特性，所述特性可指示移動裝置102相對于信號發(fā)射裝置的相對定位。舉例來說，信號特性標識符模塊610可導出源自ap的信號的rssi或rtt。
在框708處，移動裝置102的組件以與一或多個信號發(fā)射裝置相關聯的信息標記視覺數據并產生文件。任選地，移動裝置102的組件還可以來自傳感器606中的一或多個傳感器的信息標記視覺數據。傳感器信息可包含氣壓計、磁力計和運動傳感器(例如，加速度計、陀螺儀等)信息。在一個實施例中，可根據行業(yè)標準(例如exif)而格式化文件，且標記視覺數據可指將信息包含為圖像文件的元數據的部分。在一些實施方案中，并入在標記中的傳感器信息還可包含gnss坐標(如果可用)或由圖像文件的接收方最后知曉的可有助于導出位置的粗略估計的gnss導出位置。
在框710處，移動裝置102的組件(例如收發(fā)器604)可將文件發(fā)射到遠程服務器。
應了解，根據本發(fā)明的一實施例，圖7中所說明的特定框提供在操作模式之間切換的特定方法。框的其它序列還可相應地在替代實施例中執(zhí)行。舉例來說，本發(fā)明的替代實施例可以不同順序執(zhí)行上文所概述的框。此外，可取決于特定應用而添加或移除額外框或框的變體。所屬領域的技術人員將認識并理解過程的多個變化、更改和替代方案。
產生熱度圖
圖8說明根據本發(fā)明的一個實施例的實施于眾包服務器116中的實例模塊的框圖。眾包服務器116可以是使用圖12中描述的一或多個組件所實施的計算機裝置。圖8中所描述的模塊可使用軟件、固件、硬件或其其它組合實施。在一個實施例中，圖8中所描述的模塊中的一些可存儲為計算機可讀媒體800上的軟件模塊，計算機可讀媒體800可以是任何磁性、電子、光學或其它計算機可讀存儲媒體。在一個實施方案中計算機可讀存儲媒體800可包含文件提取器804、視覺數據提取器808、信號信息提取器810、特征提取器814、位姿距離檢測器812、位置確定器816、位置信號關聯器818、熱度圖填充器820和傳感器數據提取器806。
耦合到眾包服務器116的收發(fā)器802可從一或多個移動裝置接收信息，所述移動裝置類似于參考先前圖所論述的移動裝置102。在一些示例中，收發(fā)器802可包含可配置以經由無線或有線發(fā)射發(fā)射并接收信號的組件。文件提取器804可從收發(fā)器802接收呈數據包形式的數據。在一個實施例中，文件提取器804可通過讀取文件標頭獲得文件類型和大小或/和組合來自一或多個數據包的數據以重新產生文件來從數據提取文件。
一旦從發(fā)射媒體提取文件并將文件存儲于存儲器中，那么視覺數據提取器808提取視頻信息，傳感器數據提取器806提取傳感器信息，且信號信息提取器810提取信號信息，例如信號源標識符、rssi和/或rtt。在一個實施例中，視覺數據提取器808不僅可提取視覺數據，而且可在將數據呈現到特征提取器814模塊之前使用已知技術來將視覺數據從一個格式解碼成另一格式。特征提取器814模塊從視覺數據提取器808接收視覺數據。特征提取器814模塊提取關鍵點和/或與圖像相關聯的其它圖像特征以(例如)在拒絕gnss的環(huán)境中(例如)經由標志檢測估計移動裝置的位置。如本文所使用，“視覺特征”、“標志”、“視覺簽名”、“品牌特定視覺簽名”或“文本標記”可互換使用，且可指能夠在商務中或以其它方式至少部分地基于其相對均勻表示或使用一致性而被識別或辨別的一或多個視覺要素。在一些情況下，標志可與在一或多個關注點(poi)(例如商店、咖啡店、零售商銷售點、銀行或類似者)處所提供的商品或服務相關聯，以便區(qū)分此商品或服務與(例如)其它商品或服務，或指示此商品或服務的來源。有時，標志可與合適基礎結構相關聯，例如(例如)例如街道拐角、交叉點、建筑物或類似者等一或多個關注點處所提供的城市規(guī)劃或運輸相關基礎結構。僅說明另一可能實施方案，標志還可表示合適的基礎結構(例如建筑物外部(例如，門面、側面、后面等)的特定部分)的特性。換句話說，在當前規(guī)范的上下文中，“標志”應被大體上解譯，且可包括可經由(例如)可在拒絕gnss的環(huán)境中促進位置檢測的一或多個計算機視覺或類似方法(例如)以電子方式所識別的任何視覺要素。
作為說明方式，視覺特征可包括(例如)標志、商標、商品名、建筑物(例如，門面、店面等)的商業(yè)外觀、招牌(例如，交通標志、街道名稱、監(jiān)管象形文字)、標識語或字標、符號、圖標、紋章、徽章或類似者。在一些情況下，舉例來說，可至少部分地基于標志相對于其形狀、顏色、大小、文字、文字大小、視覺要素的放置或布置或類似者的使用均勻性或一致性而識別或辨別標志。有時，標志可包括(例如)動態(tài)標志，其意味著此標志的內容或上下文可取決于特定設定、日時間、季節(jié)、位置、光照條件、商品、服務或類似者而改變。舉例來說但非限制，在一些情況下，品牌特定的視覺簽名(例如
特征提取器814利用一或多個信息源以從視覺數據檢測關注地點(poi)或其它對象。在一個實施方案中，文件可另外標記有最后知曉的移動裝置102獲取圖像的位置。舉例來說，移動裝置102可在用戶進入拒絕gnss的環(huán)境之前以使用gnss信息導出的位置標記視覺數據。最后知曉的位置可使得眾包服務器116能夠使用最后知曉的位置來基于用戶的大體位置的路線估計值而檢索購物中心的地圖。舉例來說，使用最后知曉的移動裝置102的位置，眾包服務器116可使用眾包服務器116處的購物中心的已存儲地圖來更易于匹配檢測到的特征(例如由特征提取器814確定的標志(例如，
在視覺辨別技術(例如用于購物中心中的基于視覺的定位的技術)的狀況下，特征提取器814可比較測試圖像(例如，店面圖像)與圖10中所展示的為地圖存儲以檢測poi的已知參考圖像的集合。參考圖像可以是獨立圖像，或替代地參考圖像可更一般地涉及對應于特定針對于購物中心的地圖的標識、標準店面等的已知品牌特定視覺簽名的集合，如圖10中所展示。一般使用計算機視覺技術(例如，尺度不變特征變換(sift)算法或類似者)來執(zhí)行檢測。
位姿距離檢測器812模塊可經配置以使用1)來自圖像自身的視覺特征和/或2)來自傳感器數據提取器806模塊的傳感器信息來估計移動裝置102的位姿和移動裝置102相對于視覺特征的距離。舉例來說，商店標志的形狀和大小可在圖像獲取時指示移動裝置102捕獲標志的圖像的方向和標志與移動裝置102之間的距離。來自傳感器數據提取器模塊806的傳感器信息也可有助于位姿和距離確定。舉例來說，磁力計數據可有助于在視覺數據獲取時確定移動裝置102的前進方向。氣壓計數據可有助于確定從多層樓的購物中心的哪一層拍攝了圖像。并且，運動傳感器(例如加速度計和/或陀螺儀)可有助于在圖像獲取時確定移動裝置102的定向或加強對移動裝置102的定向的確定。
位置確定器816可在在使用相機獲取視覺數據時確定移動裝置的位置102的過程中使用來自特征提取器814模塊和位姿距離檢測器812模塊的信息。特征提取器814模塊可使用購物中心的數字地圖來識別視覺特征。一旦提取并識別出視覺特征，那么可通過參考與購物中心的地圖相關聯的所存儲數據來知曉視覺特征的實際大小。舉例來說，眾包服務器116可能已知曉
位置信號關聯器818模塊接收移動裝置102從位置確定器816獲取視覺數據且從信號信息提取器810模塊獲取信號信息的位置坐標。在一個實施例中，信號信息提取器810提取與信號發(fā)射模塊相關聯的源識別信息和信號的特性，例如由文件提取器804模塊提取的來自文件(元數據)的rssi和/或rtt信息，并將信號信息提供到位置信號關聯器818。位置信號關聯器818在位置坐標與信號特性之間構建相關聯。
熱度圖填充器820模塊可取得位置坐標與來自位置信號關聯器818模塊的信號信息之間的相關聯，并更新與購物中心的地圖相關聯的熱度圖。圖2中所說明的熱度圖描繪經更新且稍后被提供到其它移動裝置用于確定其在拒絕gnss的環(huán)境中的位置的此熱度圖的一實例。
圖8中所描述的系統說明接收以無線和/或傳感器信息標記的視覺數據和更新與從一個移動裝置102獲取視覺數據的位置地圖相關聯的熱度圖的過程。類似地，眾包服務器116可從若干移動裝置接收經標記視覺數據并隨時間從若干位置收集數據。借由來自若干移動裝置的信息，存儲于眾包服務器處的熱度圖的準確性不斷地提高且隨時間被維持。
圖11是說明用于根據本發(fā)明的一或多個說明性方面執(zhí)行本發(fā)明的實施例的方法的流程圖。根據一或多個方面，本文中所描述的方法和/或方法框中的任一者和/或全部可由計算機服務器(例如圖12中更詳細地描述的眾包服務器116)實施和/或實施于計算機服務器中。在一個實施例中，由計算裝置1200的處理器(例如處理器1210或另一處理器)實施下文關于圖11描述如下的方法框中的一或多者。另外或替代地,本文中所描述的方法和/或方法框的任一者和/或全部可實施于計算機可讀指令中,例如存儲在計算機可讀媒體(例如存儲器1235、存儲裝置1225或另一計算機可讀媒體)上的計算機可讀指令。
在框1102處，移動裝置102的組件(例如收發(fā)器802)從裝置(例如移動裝置102)接收視覺數據，其中以包括與至少一個信號發(fā)射裝置相關聯的源識別信息的信息標記視覺數據。視覺數據可包含圖像數據或視頻數據。對于圖像數據，視覺數據可包含于根據可交換圖像文件格式(exif)所格式化的圖像文件中，且標記視覺數據可包括包含與至少一個信號發(fā)射裝置相關聯的信息作為圖像文件的元數據的部分。
在一個實施方案中，信號發(fā)射裝置是無線接入點且源識別信息可以是無線接入點的mac地址。信號發(fā)射裝置的位置可至少在使用相機獲取視覺數據時是未知的。
在一個實施例中，與至少一個信號發(fā)射裝置相關聯的信息可包含在裝置處所測量的來自至少一個信號發(fā)射裝置的至少一個無線信號的信號強度(即，rssi)。在另一實施例中，與至少一個信號發(fā)射裝置相關聯的信息可包含使用來自至少一個信號發(fā)射裝置的至少一個無線信號所導出的往返時間(即，rtt)。
此外，視覺數據可標記有氣壓計信息、磁力計信息和/或運動傳感器信息。運動傳感器可包含加速度計和陀螺儀。與裝置相關聯的此傳感器信息可使得能夠確定使用耦合到裝置的相機來獲取視覺數據的移動裝置102的位置。舉例來說，氣壓計信息可提供視覺數據由移動裝置102獲取的層級或高度。類似地，磁力計信息可在獲取視覺數據時提供相機的前進方向。運動傳感器可提供也可有助于在獲取到視覺數據時確定移動裝置102的位姿的額外定向信息。
在框1104處，移動裝置102的組件(例如特征提取器814)從視覺數據識別至少一個視覺特征，如參考圖8詳細論述。
在框1106處，移動裝置102的組件(例如位置確定器816)可基于從視覺數據識別至少一個視覺特征而確定獲取到視覺數據所在的地圖上的坐標。
在框1108處，移動裝置102的組件(例如位置信號關聯器818)可使地圖上的坐標與相關聯于至少一個信號發(fā)射裝置的信息相關聯。地圖可用于拒絕gnss的環(huán)境。
應了解，根據本發(fā)明的實施例，圖11中所說明的特定框提供在操作模式之間切換的特定方法?？虻钠渌蛄羞€可相應地在替代實施例中執(zhí)行。舉例來說，本發(fā)明的替代實施例可以不同順序執(zhí)行上文所概述的框。此外，額外框或框的變體可取決于特定應用而添加或移除。所屬領域的技術人員將認識并理解過程的多個變化、更改和替代方案。
圖12說明并入有在實踐本發(fā)明的實施例的過程中采用的裝置的部分的實例計算裝置。在本文中，如圖12中所說明的計算裝置可作為任何計算機化系統的部分并入。舉例來說，計算裝置1200可表示移動裝置或服務器(例如，眾包服務器)的組件中的一些。計算裝置1200的實例包含(但不限于)臺式計算機、工作站、個人計算機、超級計算機、視頻游戲控制臺、平板電腦、智能電話、筆記本電腦、上網本或其它便攜式裝置。圖12提供計算裝置1200的一個實施例的示意性說明，其可執(zhí)行由如本文中所描述的各種其它實施例提供的方法和/或可充當主要計算裝置、遠程查詢一體機/終端機、銷售點裝置、移動多功能裝置、機頂盒和/或計算裝置。圖12僅意圖提供各種組件的一般化說明，所述組件中的任一者或全部可在適當時利用。因此，圖12大體上說明可如何以相對分離或相對更集成的方式實施個別系統元件。
展示計算裝置1200，其包括可經由總線1205電耦合(或可在適當時以其它方式通信)的硬件元件。硬件元件可包含：一或多個處理器1210，包含(但不限于)一或多個通用處理器和/或一或多個專用處理器(例如數字信號處理芯片、圖形加速處理器和/或類似者)；一或多個輸入裝置1215，其可包含(但不限于)一或多個相機1255、傳感器1260、鼠標、鍵盤和/或類似者；以及一或多個輸出裝置1220，其可包含(但不限于)顯示單元、打印機和/或類似者。傳感器1260模塊可包含氣壓計、磁力計和/或運動傳感器，例如陀螺儀和加速度計。
計算裝置1200可進一步包含以下各項(和/或與以下各項通信)：一或多個非暫時性存儲裝置1225，非暫時性存儲裝置1225可包括(但不限于)本地和/或網絡可存取存儲裝置，和/或可包含(但不限于)磁盤驅動器、驅動陣列、光學存儲裝置、例如隨機存取存儲器(“ram”)和/或只讀存儲器(“rom”)等固態(tài)存儲裝置，其可以是可編程的、可快閃更新的和/或類似者。此些存儲裝置可經配置以實施任何適當數據存儲，包含(但不限于)各種文件系統、數據庫結構和/或類似者。
計算裝置1200還可包含通信子系統1230。通信子系統1230可包含用于接收并發(fā)射數據的收發(fā)器1250或有線和/或無線媒體。通信子系統1230還可包含(但不限于)調制解調器、網卡(無線或有線)、紅外線通信裝置、無線通信裝置和/或芯片組(例如，bluetoothtm裝置、802.11裝置、wifi裝置、wimax裝置、蜂窩式通信設施等)和/或類似者。通信子系統1230可準許與網絡(例如，作為一個實例，下文所描述的網絡)、其它計算裝置和/或本文中所描述的任何其它裝置交換數據。在許多實施例中，計算裝置1200將進一步包括非暫時性工作存儲器1235，工作存儲器1235可包含如上文所描述的隨機存取(ram)或只讀(rom)裝置。
計算裝置1200可包括展示為當前位于工作存儲器1235內的軟件元件，包含操作系統1240、裝置驅動器、可執(zhí)行庫和/或其它代碼(例如一或多個應用程序1245)，所述代碼可包括由各種實施例提供和/或可經設計以實施方法和/或對系統進行配置、由其它實施例提供的計算機程序，如本文中所描述。僅僅借助于實例，關于上文所論述的方法所描述的一或多個程序可實施為可由計算機(和/或計算機內的處理器)執(zhí)行的代碼和/或指令；在一方面中，此些代碼和/或指令接著可用以配置和/或調適通用計算機(或其它裝置)以根據所描述方法執(zhí)行一或多個操作。
這些指令和/或代碼的集合可存儲在計算機可讀存儲媒體(例如上文所描述的存儲裝置1225)上。在一些情況下，存儲媒體可并入于例如計算機系統1200的計算裝置內。在其它實施例中，存儲媒體可與計算裝置(例如，可裝卸式媒體，例如壓縮光盤)分開，和/或提供于安裝包中，使得存儲媒體可用以對其上存儲有指令/代碼的通用計算機進行編程、配置和/或調適。這些指令可呈可由計算裝置1200執(zhí)行的可執(zhí)行碼的形式，和/或可呈源和/或可安裝代碼的形式，在計算裝置1200上編譯和/或安裝于計算裝置1200上(例如，使用多種通?？捎镁幾g程序、安裝程序、壓縮/解壓縮公用程序等中的任一者)后，源和/或可安裝代碼即刻呈可執(zhí)行碼的形式。
可根據具體要求而作出實質性變化。舉例來說，還可能使用定制硬件，和/或可將特定元件實施于硬件、軟件(包含便攜式軟件，例如小程序等)或兩者中。此外，可采用到類似于計算裝置1200的其它計算裝置(例如網絡輸入/輸出裝置)的連接。
一些實施例可采用計算裝置(例如計算裝置1200)來執(zhí)行根據本發(fā)明的方法。舉例來說，可以由計算裝置1200響應于處理器1210執(zhí)行工作存儲器1235中所含有的一或多個指令的一或多個序列(其可以并入到操作系統1240和/或例如應用程序1245的其它代碼中)來執(zhí)行所描述方法的一些或全部程序。此些指令可以從另一計算機可讀媒體(例如存儲裝置1225中的一或多者)而被讀入到工作存儲器1235中。僅舉例來說，執(zhí)行工作存儲器1235中所含有的指令的序列可致使處理器1210執(zhí)行本文中所描述的方法的一或多個程序。
如本文中所使用，術語“非暫時性計算機可讀媒體”、“機器可讀媒體”和“計算機可讀媒體”是指參與提供致使機器以特定方式操作的數據的任何媒體。在使用計算裝置1200所實施的實施例中，在將指令/代碼提供到處理器1210以用于執(zhí)行的過程中可能涉及各種計算機可讀媒體，和/或各種計算機可讀媒體可用以存儲和/或攜載此些指令/代碼(例如，作為信號)。在許多實施方案中，計算機可讀媒體是物理和/或有形存儲媒體。此媒體可呈許多形式，包含(但不限于)非易失性媒體、易失性媒體和傳輸媒體。非易失性媒體包含(例如)光盤和/或磁盤，例如存儲裝置1225。易失性媒體包含(但不限于)動態(tài)存儲器(例如，工作存儲器1235)。傳輸媒體包含(但不限于)同軸電纜、銅線和光纖，包含包括總線1205的電線，以及通信子系統1230的各種組件(和/或通信子系統1230提供與其它裝置的通信所憑借的媒體)。因此，傳輸媒體還可呈波的形式(包含(但不限于)無線電、聲波和/或光波，例如在無線電波和紅外線數據通信期間產生的那些波)。在替代實施例中，可使用事件驅動組件和裝置(例如，相機)，其中可在模擬域中執(zhí)行處理中的一些。
常見形式的物理和/或有形計算機可讀媒體包含(例如)軟性磁盤、柔性磁盤、硬盤、磁帶或任何其它磁性媒體、cd-rom、任何其它光學媒體、打孔卡、紙帶、具有孔圖案的任何其它物理媒體、ram、prom、eprom、flash-eprom、任何其它存儲器芯片或盒帶、如下文所描述的載波，或計算機可從其讀取指令和/或代碼的任何其它媒體。
在將一或多個指令的一或多個序列攜載到處理器1210用來執(zhí)行的過程中可涉及各種形式的計算機可讀媒體。僅舉例來說，最初可將指令攜載于遠程計算機的磁盤和/或光盤上。遠程計算機可以將指令加載到其動態(tài)存儲器中并將指令作為信號經由傳輸媒體來發(fā)送以由計算裝置1200接收和/或執(zhí)行。根據本發(fā)明的各種實施例，可以呈電磁信號、聲信號、光信號和/或類似者形式的這些信號全部是可以在上面對指令進行編碼的載波的實例。
通信子系統1230(和/或其組件)通常會接收所述信號，且總線1205接著可能將信號(和/或由信號攜載的數據、指令等)攜載到工作存儲器1235，處理器1210從所述工作存儲器檢索并執(zhí)行指令。可任選地在由處理器1210執(zhí)行之前抑或之后將由工作存儲器1235接收的指令存儲在非暫時性存儲裝置1225上。
上文所論述的方法、系統和裝置是實例。各種實施例可以在適當時省略、取代或添加各種程序或組件。舉例來說，在替代性配置中，所描述的方法可以不同于所描述的順序來執(zhí)行，和/或可添加、省略和/或組合各階段。并且，可在各種其它實施例中組合關于某些實施例描述的特征?？梢灶愃品绞浇M合實施例的不同方面和元件。并且，技術演變，且因此許多元件是實例，其并不將本發(fā)明的范圍限制于那些具體實例。
在描述中給出具體細節(jié)以提供對實施例的透徹理解。然而，可以在沒有這些特定細節(jié)的情況下實施實施例。舉例來說，在沒有不必要的細節(jié)的情況下展示眾所周知的電路、過程、算法、結構和技術以免混淆所述實施例。此描述僅提供實例實施例，且并不旨在限制本發(fā)明的范圍、適用性或配置。實際上，實施例的前述描述將為所屬領域的技術人員提供用于實施本發(fā)明的實施例的啟迪性描述?？稍诓幻撾x本發(fā)明的精神和范圍的情況下對元件的功能和布置進行各種改變。
并且，將一些實施例描述為以流程圖或框圖形式描繪的過程。雖然每一流程圖或框圖可能將操作描述為依序過程，但是許多操作可并行地或同時執(zhí)行。此外，操作的順序可重新布置。過程可具有不包含在圖中的額外框。此外，可由硬件、軟件、固件、中間件、微碼、硬件描述語言或其任何組合來實施所述方法的實施例。當以軟件、固件、中間件或微碼實施時，用以執(zhí)行相關聯任務的程序代碼或代碼段可存儲在例如存儲媒體等計算機可讀媒體中。處理器可進行相關聯的任務。
已描述若干實施例，可在不脫離本發(fā)明的精神的情況下使用各種修改、替代構造和等效物。舉例來說，以上元件可僅僅是較大系統的組件，其中其它規(guī)則可以優(yōu)先于本發(fā)明的應用或以其它方式修改本發(fā)明的應用。并且，可在考慮以上要素之前、期間或之后進行許多步驟。因此，以上描述不限制本發(fā)明的范圍。
- 還沒有人留言評論。精彩留言會獲得點贊！