基于地理和可視信息增強(qiáng)可視數(shù)據(jù)流的系統(tǒng)的制作方法
【專利摘要】一種移動(dòng)計(jì)算設(shè)備包括視頻拍攝模塊、全球定位系統(tǒng)（GPS）模塊和視頻處理模塊，視頻拍攝模塊拍攝視頻流，GPS模塊生成與由視頻拍攝設(shè)備拍攝的視頻流的幀關(guān)聯(lián)的地理信息，視頻處理模塊分析視頻流的幀并提取在幀中包括的關(guān)注點(diǎn)的特征。該視頻處理被配置為使用無(wú)線通信將關(guān)注點(diǎn)的特征和地理信息傳輸至服務(wù)器并從服務(wù)器計(jì)算機(jī)接收增強(qiáng)信息。視頻處理模塊使用增強(qiáng)信息來(lái)疊加視頻流的幀，以生成增強(qiáng)的視頻流。
【專利說(shuō)明】基于地理和可視信息增強(qiáng)可視數(shù)據(jù)流的系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明的實(shí)施例大體上涉及數(shù)字圖像處理領(lǐng)域，并且在一些實(shí)施例中具體涉及將信息消息插入視頻中。
【背景技術(shù)】
[0002]當(dāng)今在市場(chǎng)上能以非常便宜的價(jià)格買到各種視頻拍攝設(shè)備。這允許眾多消費(fèi)者能夠在任何地方和在任何時(shí)間為任何場(chǎng)合拍攝視頻。典型地，所拍攝的視頻的內(nèi)容局限于視頻拍攝設(shè)備的操作者可見的內(nèi)容。例如，當(dāng)操作者正在攝錄建筑物時(shí)，由于其獨(dú)特的建筑結(jié)構(gòu)，操作者在視頻拍攝設(shè)備的取景器中或顯示器上看見的是同一建筑物的圖像，而沒有更多其它內(nèi)容。

【發(fā)明內(nèi)容】

[0003]對(duì)于一些實(shí)施例，一種移動(dòng)計(jì)算設(shè)備可以被配置為使用戶能拍攝視頻流并在所述視頻流已被實(shí)時(shí)增強(qiáng)以后觀看所述視頻流。安裝有全球定位系統(tǒng)(GPS)的所述移動(dòng)計(jì)算設(shè)備可以生成用于所述視頻流的地理信息。一種與所述移動(dòng)計(jì)算設(shè)備聯(lián)接的服務(wù)器計(jì)算機(jī)可以被配置為從所述移動(dòng)計(jì)算設(shè)備接收關(guān)于所述視頻流中的關(guān)注點(diǎn)的可視信息和所述地理信息。然后，所述服務(wù)器計(jì)算機(jī)辨認(rèn)增強(qiáng)信息并將所述增強(qiáng)信息傳輸至所述移動(dòng)計(jì)算設(shè)備。所述增強(qiáng)信息可以用于增強(qiáng)所拍攝的視頻流來(lái)創(chuàng)建增強(qiáng)的視頻流，所述增強(qiáng)的視頻流可以被所述用戶在所述移動(dòng)計(jì)算設(shè)備的顯示屏上看到。
【專利附圖】

【附圖說(shuō)明】
[0004]多個(gè)附圖涉及本發(fā)明的實(shí)施例。雖然本文描述的本發(fā)明的實(shí)施例可經(jīng)歷各種修改和可替代形式，但是本發(fā)明的特定實(shí)施例在附圖中通過(guò)示例示出并且將在本文中詳細(xì)地進(jìn)行描述。
[0005]圖1圖示根據(jù)一些實(shí)施例的可以使用的移動(dòng)計(jì)算設(shè)備的一個(gè)示例。
[0006]圖2圖示根據(jù)一些實(shí)施例的可以用于增強(qiáng)所拍攝的視頻流的網(wǎng)絡(luò)的示例。
[0007]圖3A圖示根據(jù)一些實(shí)施例的可以用于確定對(duì)所拍攝的視頻流使用的增強(qiáng)信息的服務(wù)器計(jì)算機(jī)的示例。
[0008]圖3B圖示根據(jù)一些實(shí)施例的用戶配置文件信息的示例。
[0009]圖4圖示根據(jù)一些實(shí)施例的具有可以用于過(guò)濾從移動(dòng)計(jì)算設(shè)備接收的信息的鏡像服務(wù)器的網(wǎng)絡(luò)圖示例。
[0010]圖5圖示根據(jù)一些實(shí)施例的可以在移動(dòng)計(jì)算設(shè)備上運(yùn)行來(lái)創(chuàng)建增強(qiáng)的視頻流的方法的示例流程圖。
[0011]圖6A圖示根據(jù)一些實(shí)施例的可以在服務(wù)器計(jì)算機(jī)上運(yùn)行來(lái)確定增強(qiáng)信息的方法的示例流程圖。
[0012]圖6B圖示根據(jù)一些實(shí)施例的可以在服務(wù)器計(jì)算機(jī)上運(yùn)行來(lái)基于用戶配置文件確定增強(qiáng)信息的方法的示例流程圖。
[0013]圖6C圖示根據(jù)一些實(shí)施例的可以用于基于由移動(dòng)計(jì)算設(shè)備生成的啁啾信號(hào)確定距離的方法的示例流程圖。
[0014]圖7圖示根據(jù)一些實(shí)施例的IDOL服務(wù)器的一些模塊的示例框圖。
[0015]圖8圖示根據(jù)一些實(shí)施例的可以用于實(shí)現(xiàn)增強(qiáng)的視頻流的示例計(jì)算機(jī)系統(tǒng)。
【具體實(shí)施方式】
[0016]對(duì)于一些實(shí)施例，公開一種移動(dòng)計(jì)算設(shè)備，該移動(dòng)計(jì)算設(shè)備被配置為用從與網(wǎng)絡(luò)連接的服務(wù)器計(jì)算機(jī)接收的增強(qiáng)信息增強(qiáng)視頻流。該移動(dòng)計(jì)算系統(tǒng)包括處理器、存儲(chǔ)器、為該移動(dòng)計(jì)算設(shè)備供電的內(nèi)置電池、內(nèi)置攝像頭、顯示屏以及以無(wú)線方式與服務(wù)器計(jì)算機(jī)通信的內(nèi)置W1-Fi電路。該移動(dòng)計(jì)算設(shè)備包括視頻拍攝模塊和全球定位系統(tǒng)(GPS)模，視頻拍攝模塊與處理器聯(lián)接且被配置為拍攝視頻流，GPS模塊與視頻拍攝模塊聯(lián)接且被配置為生成與由視頻拍攝模塊拍攝的視頻流的幀關(guān)聯(lián)的地理信息。該移動(dòng)計(jì)算設(shè)備還包括視頻處理模塊，該視頻處理模塊與視頻拍攝模塊聯(lián)接且被配置為分析視頻流的幀并提取在幀中包括的關(guān)注點(diǎn)的特征。視頻處理模塊還被配置為致使將關(guān)注點(diǎn)的特征和地理信息傳輸至服務(wù)器計(jì)算機(jī)，并且被配置為從服務(wù)器計(jì)算機(jī)接收增強(qiáng)信息。視頻處理模塊被配置為用增強(qiáng)信息對(duì)視頻流的巾貞中的關(guān)注點(diǎn)進(jìn)行置加、進(jìn)行聞売或者進(jìn)行置加和聞売，以生成增強(qiáng)的視頻流。然后，在該移動(dòng)計(jì)算設(shè)備的顯示屏上顯示增強(qiáng)的視頻流。
[0017]在下面的描述中，闡述諸如特定數(shù)據(jù)信號(hào)示例、組件示例、連接示例等之類的多個(gè)特定細(xì)節(jié)，以便提供本發(fā)明的透徹理解。然而，將對(duì)本領(lǐng)域技術(shù)人員顯而易見的是，本發(fā)明可以在沒有這些特定細(xì)節(jié)的情況下實(shí)施。在其它情況下，眾所周知的組件或方法未被詳細(xì)地描述，而是在框圖中進(jìn)行描述，以便避免不必要地使本發(fā)明模糊。因此，所闡述的特定細(xì)節(jié)只是示例性的。特定細(xì)節(jié)可以根據(jù)本發(fā)明的精神和范圍改變，并且仍然被認(rèn)為在本發(fā)明的精神和范圍內(nèi)。
[0018]從關(guān)于計(jì)算機(jī)存儲(chǔ)器內(nèi)的數(shù)據(jù)位的操作的算法和符號(hào)表示角度，呈現(xiàn)下面的詳細(xì)描述的一些部分。這些算法描述和表示是在數(shù)據(jù)處理領(lǐng)域的技術(shù)人員所使用的手段，以最有效地將它們工作的實(shí)質(zhì)傳達(dá)給該領(lǐng)域的其它技術(shù)人員。算法在這里通常被構(gòu)思為導(dǎo)致期望結(jié)果的自洽的一系列步驟。這些步驟是需要物理量的物理操作的那些步驟。通常但不必須，這些量采用能夠被儲(chǔ)存、被傳輸、被組合、被比較和以其它方式被操縱的電信號(hào)或磁信號(hào)的形式。已經(jīng)證明，主要出于通常使用的原因，有時(shí)將這些信號(hào)稱為比特、值、元素、符號(hào)、字符、項(xiàng)、數(shù)字等等是方便的。這些算法可以用諸如C、C++、Java或其它類似語(yǔ)言之類的多種不同軟件編程語(yǔ)言編寫。此外，算法可以用軟件中的多行代碼、軟件中配置過(guò)的邏輯門或這兩者的組合來(lái)實(shí)現(xiàn)。在實(shí)施例中，該邏輯由遵循布爾邏輯規(guī)則的電子電路、包含指令模式的軟件或這兩者的任意組合組成。
[0019]然而，應(yīng)該記住，所有這些和類似術(shù)語(yǔ)應(yīng)與合適的物理量關(guān)聯(lián)，并且僅僅是應(yīng)用于這些量的方便標(biāo)記。除非特別聲明，否則如從以下討論中顯而易見的，將理解在整個(gè)說(shuō)明書中，使用諸如“處理”或“計(jì)算”或“運(yùn)算”或“確定”或“顯示”等之類術(shù)語(yǔ)的討論涉及計(jì)算機(jī)系統(tǒng)或類似電子計(jì)算設(shè)備的動(dòng)作或過(guò)程，該計(jì)算機(jī)系統(tǒng)或類似電子計(jì)算設(shè)備將計(jì)算機(jī)系統(tǒng)的寄存器和存儲(chǔ)器內(nèi)作為物理量(電子量)表示的數(shù)據(jù)操作和轉(zhuǎn)換成計(jì)算機(jī)系統(tǒng)的存儲(chǔ)器或寄存器或其它這樣的信息存儲(chǔ)、傳輸或顯示設(shè)備中類似地作為物理量表示的其它數(shù)據(jù)。
[0020]本發(fā)明還涉及用于執(zhí)行本文中的操作的裝置。該裝置可以是為所需用途專門構(gòu)造的，或其可以包括由存儲(chǔ)在計(jì)算機(jī)中的計(jì)算機(jī)程序選擇性地激活或重配置的通用計(jì)算機(jī)。這樣的計(jì)算機(jī)程序可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，例如但不限于:包括軟盤、光盤、CD-ROM及磁光盤在內(nèi)的任何類型的盤，只讀存儲(chǔ)器(R0M)，隨機(jī)存取存儲(chǔ)器(RAM)，EPROM,EEPR0M，磁卡或光卡，或任何種類的適合存儲(chǔ)電子指令的介質(zhì)，并且每個(gè)介質(zhì)都與計(jì)算機(jī)系統(tǒng)總線聯(lián)接。本文描述的任何模塊或組件的部分可以用軟件中的多行代碼、軟件中配置過(guò)的邏輯門或這兩者的組合實(shí)現(xiàn)，并且在軟件中實(shí)現(xiàn)的部分被有形地存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上。
[0021]本文提出的算法和顯示本質(zhì)上不與任何特定的計(jì)算機(jī)或其它裝置相關(guān)。根據(jù)本文的教導(dǎo)，各種通用系統(tǒng)可以與程序一起使用，或構(gòu)造更專業(yè)的設(shè)備來(lái)執(zhí)行所需的方法框會(huì)證明是方便的。用于多種這些系統(tǒng)的所需結(jié)構(gòu)將從下面的描述中顯現(xiàn)。
[0022]在示例性實(shí)施例的下面描述中，參考附圖，附圖構(gòu)成本發(fā)明的一部分并且在附圖中通過(guò)圖解示出特定實(shí)施例，在這些特定實(shí)施例中能夠?qū)嵤┍景l(fā)明。應(yīng)當(dāng)理解，能夠使用其它實(shí)施例且能夠在不脫離本發(fā)明實(shí)施例的范圍的情況下進(jìn)行結(jié)構(gòu)變化。本文使用的術(shù)語(yǔ)“聯(lián)接”、“連接”及“附接”是可互換的，并且包括將一個(gè)部分直接地或間接地連接至另一部分的各種形式。此外，應(yīng)該理解，在一個(gè)實(shí)施例中描述的一個(gè)或多個(gè)結(jié)構(gòu)特征可以在不同實(shí)施例中實(shí)現(xiàn)，即便未特別地被提到為不同實(shí)施例的特征。
[0023]SM
[0024]本發(fā)明的實(shí)施例提供一種合并兩個(gè)或更多個(gè)數(shù)據(jù)源的可擴(kuò)展方法，該方法包括使用可視信息來(lái)觸發(fā)增強(qiáng)和使用地理位置來(lái)允許所拍攝的視頻流的高級(jí)增強(qiáng)。由視頻流提供的信息典型地局限于用戶可見的或可聽的信息，例如幾何形狀、與該形狀關(guān)聯(lián)的顏色圖案、與該視頻流中的對(duì)象關(guān)聯(lián)的符號(hào)和其它特征?？赡艽嬖谂c視頻流中的場(chǎng)景關(guān)聯(lián)的未被傳達(dá)至用戶的深入得多的信息。單獨(dú)使用與關(guān)注點(diǎn)或?qū)ο笥嘘P(guān)的可視信息或特性信息來(lái)增強(qiáng)視頻流可能是有用的，但在可視信息或特性信息的量大時(shí)可能是不足夠的或不可擴(kuò)展的。單獨(dú)使用地理信息可能不允許增強(qiáng)視頻流中的場(chǎng)景的特定對(duì)象或景物。
[0025]將可視信息和地理信息結(jié)合可以允許對(duì)已知的和預(yù)存儲(chǔ)在對(duì)象數(shù)據(jù)庫(kù)中的對(duì)象的特性的快速識(shí)別或匹配。該地理信息可以由全球定位系統(tǒng)(GPS)提供。將可視信息與地理信息結(jié)合可以減少需要由服務(wù)器計(jì)算機(jī)整理的可能關(guān)注點(diǎn)的量，以辨別和識(shí)別已知對(duì)象和/或人。來(lái)自GPS的粗略地理信息減少需要被整理為與那個(gè)區(qū)域中的已知對(duì)象的可能匹配的可能關(guān)注點(diǎn)的量。進(jìn)一步，與移動(dòng)計(jì)算設(shè)備的攝像頭在拍攝視頻流時(shí)面向何處有關(guān)的方向信息也被傳輸至服務(wù)器計(jì)算機(jī)。該方向信息連同那個(gè)幀中的關(guān)注點(diǎn)的特征可以由移動(dòng)計(jì)算設(shè)備中的內(nèi)置指南針或方向傳感器提供給服務(wù)器計(jì)算機(jī)。所有這些有助于通過(guò)將從移動(dòng)計(jì)算設(shè)備傳輸?shù)奶匦孕畔⑴c在數(shù)據(jù)庫(kù)中存儲(chǔ)的已知對(duì)象進(jìn)行比較減少數(shù)量龐大的潛在景物，這構(gòu)成可擴(kuò)展和可管理系統(tǒng)。
[0026]移動(dòng)計(jì)算設(shè)備和增強(qiáng)的視頻流的生成
[0027]圖1圖示根據(jù)一些實(shí)施例的可以使用的移動(dòng)計(jì)算設(shè)備的一個(gè)示例。移動(dòng)計(jì)算設(shè)備100可以包括顯示模塊105、通信模塊110、全球定位系統(tǒng)(GPS)模塊115、視頻拍攝模塊120、處理器125和存儲(chǔ)器130。移動(dòng)計(jì)算設(shè)備100可以是例如移動(dòng)電話、筆記本電腦、上網(wǎng)本、觸摸板或任何其它類似設(shè)備。移動(dòng)計(jì)算設(shè)備100與網(wǎng)絡(luò)200 (見圖2)協(xié)作，以基于地理和可視信息的結(jié)合將增強(qiáng)信息供應(yīng)至在移動(dòng)計(jì)算設(shè)備100中的視頻流的幀中捕獲的關(guān)注點(diǎn)。移動(dòng)計(jì)算設(shè)備100包括移動(dòng)計(jì)算設(shè)備100上的視頻處理模塊135，以幫助辨別每個(gè)視頻幀中捕獲的對(duì)象以及然后將增強(qiáng)信息插入視頻流的幀中。
[0028]通信模塊110可以用于允許移動(dòng)計(jì)算設(shè)備100與網(wǎng)絡(luò)(例如網(wǎng)絡(luò)200 (見圖2))連接。通信模塊110可以被配置為使移動(dòng)計(jì)算設(shè)備100能夠使用無(wú)線通信協(xié)議或任何其它適合的通信協(xié)議與網(wǎng)絡(luò)200連接。例如，通信模塊110可以包括無(wú)線保真(W1-Fi)模塊111、藍(lán)牙模塊112、寬帶模塊113、短消息服務(wù)(SMS)模塊114等等。如將描述的，通信模塊110可以被配置為將與視頻流關(guān)聯(lián)的可視信息從移動(dòng)計(jì)算設(shè)備100傳送至與網(wǎng)絡(luò)200連接的一個(gè)或多個(gè)服務(wù)器計(jì)算機(jī)。
[0029]GPS模塊115可以用于使用戶能夠獲得從一個(gè)位置至另一位置的方向。GPS模塊115還可以用于使能生成地理信息并將地理信息和視頻流的圖像和幀關(guān)聯(lián)。該過(guò)程典型地被稱為地理標(biāo)記(geotagging)。當(dāng)移動(dòng)計(jì)算設(shè)備100用于拍攝視頻流時(shí),地理信息可以被插入視頻流的一個(gè)或多個(gè)幀中。地理信息可以被插入并與由移動(dòng)計(jì)算設(shè)備100生成的圖像、視頻流以及文本消息一起被存儲(chǔ)。地理信息可以被存儲(chǔ)為元數(shù)據(jù)，并且可以包括緯度坐標(biāo)和經(jīng)度坐標(biāo)。例如，用于地理特定位置的標(biāo)記和增強(qiáng)的服務(wù)器系統(tǒng)能夠，通過(guò)使用與圖像關(guān)聯(lián)或與圖像一起存儲(chǔ)的緯度坐標(biāo)和經(jīng)度坐標(biāo)使用那個(gè)圖像中的建筑物的位置并且使用建筑物的其它顯著特征，以確定在視頻流中出現(xiàn)什么對(duì)象。
[0030]視頻拍攝模塊120可以被配置為拍攝圖像或視頻流。視頻拍攝模塊120可以與攝像頭121關(guān)聯(lián)并可以使用戶能拍攝圖像和/或視頻流。視頻拍攝模塊120可以與方向傳感器122關(guān)聯(lián)，以感應(yīng)攝像頭121正指向的方向。攝像頭121可以是內(nèi)置的攝像頭。
[0031]顯示模塊105可以被配置為顯示由視頻拍攝模塊120拍攝的圖像和/或視頻流。對(duì)于一些實(shí)施例，顯示模塊105可以被配置為顯示已經(jīng)用存儲(chǔ)在網(wǎng)絡(luò)中的數(shù)據(jù)庫(kù)中的增強(qiáng)信息增強(qiáng)的圖像和/或視頻流。顯示模塊105可以與顯示屏106關(guān)聯(lián)。
[0032]存儲(chǔ)器130可以包括內(nèi)部存儲(chǔ)器和擴(kuò)展存儲(chǔ)器。例如，內(nèi)部存儲(chǔ)器可以包括只讀存儲(chǔ)器(ROM)和隨機(jī)存取存儲(chǔ)器(RAM)，并且擴(kuò)展存儲(chǔ)器可以包括閃存。存儲(chǔ)器130可以用于存儲(chǔ)操作系統(tǒng)(OS)和各種其它應(yīng)用程序，各種其它應(yīng)用程序包括例如生產(chǎn)應(yīng)用程序、娛樂應(yīng)用程序、通信應(yīng)用程序、圖像和/或視頻處理應(yīng)用程序、用戶接口應(yīng)用程序等。處理器125可以被配置為運(yùn)行與OS、網(wǎng)絡(luò)瀏覽器和各種應(yīng)用程序關(guān)聯(lián)的指令。OS —些示例可以包括來(lái)自谷歌的安卓、來(lái)自蘋果的iOS、來(lái)自微軟的Windows Phone和來(lái)自Palm/HP的WebOS等等。網(wǎng)絡(luò)瀏覽器可以由移動(dòng)計(jì)算設(shè)備100用來(lái)允許用戶使用網(wǎng)絡(luò)200訪問(wèn)網(wǎng)站。
[0033]對(duì)于一些實(shí)施例，移動(dòng)計(jì)算設(shè)備100可以包括視頻處理模塊135，視頻處理模塊135被配置為處理由視頻拍攝模塊120拍攝的圖像和/或視頻流。視頻處理模塊135可以分析所拍攝的視頻流的幀并辨別所拍攝的視頻流的每個(gè)幀中的對(duì)象/關(guān)注點(diǎn)。辨別用于對(duì)象的關(guān)注點(diǎn)可以包括將該對(duì)象分解為幾何形狀和顯著特征。該操作可以適用于一組對(duì)象，該組中的每個(gè)對(duì)象被分解成不同幾何形狀和關(guān)聯(lián)的顯著特征。
[0034]對(duì)由攝像頭121拍攝的每個(gè)幀，視頻處理模塊135可以使用提取算法來(lái)辨別幀中關(guān)注點(diǎn)的特征并提取這些特征連同地理信息和其它相關(guān)信息，并且將具有與那個(gè)幀有關(guān)的信息的數(shù)據(jù)包傳輸至服務(wù)器計(jì)算機(jī)(見圖3A)。視頻處理模塊135可以生成關(guān)注點(diǎn)的幾何形狀的X-Y坐標(biāo)的圖案和與這些形狀關(guān)聯(lián)的顏色。視頻處理模塊135可以從與攝像頭121關(guān)聯(lián)的指南針或方向傳感器122中提取方向信息，以確定在拍攝視頻流中的幀時(shí)攝像頭121面對(duì)的方向。由方向傳感器122提供的方向信息可以包括北、南、東、西、上、下和任何可能相關(guān)的組合(例如西北且從水平面起向上20度等)。對(duì)于一些實(shí)施例，用于關(guān)注點(diǎn)的點(diǎn)的圖案、所使用的點(diǎn)的數(shù)量和關(guān)注點(diǎn)的數(shù)量可能取決于幀中的不同關(guān)注點(diǎn)的數(shù)量。幀中非中心的或外圍的對(duì)象、小對(duì)象和非顯著對(duì)象能夠被提取算法過(guò)濾掉，而僅關(guān)注點(diǎn)上明顯的和顯著的特征可以被提取。
[0035]視頻處理模塊135可以分析視頻流的每個(gè)拍攝的幀。視頻處理模塊135可以相關(guān)來(lái)自該系列幀的圖案，以幫助確定對(duì)象/關(guān)注點(diǎn)是什么。視頻處理模塊135可以相關(guān)來(lái)自該系列幀的圖案，以幫助使關(guān)注點(diǎn)的特征能更快傳輸。對(duì)于一些實(shí)施例，如果先前傳輸?shù)南嗤卣鞑淮嬖谧兓?，則特定幀的特征的不傳輸可能是必要的。對(duì)于一些實(shí)施例，如果當(dāng)前幀包括不同于先前幀的特征，那么僅傳輸特征變化的差異。
[0036]對(duì)于一些實(shí)施例，對(duì)象/關(guān)注點(diǎn)可以通常位于幀的中心區(qū)域。可以注意，所拍攝的視頻流的特定連續(xù)幀可以具有在中心區(qū)域的相同對(duì)象或至少包含在該系列連續(xù)幀中的相同對(duì)象。視頻處理模塊135可以分析這些幀，以辨別該對(duì)象的特性或可視信息。由于視頻拍攝模塊135繼續(xù)拍攝視頻流，所以視頻處理模塊135可以辨別很多不同對(duì)象是可能的。
[0037]視頻處理模塊135可以執(zhí)行基本場(chǎng)景分析，基本場(chǎng)景分析包括使用光學(xué)字符識(shí)別(OCR)提取所拍攝的視頻流的幀中的關(guān)注點(diǎn)的顯著特征，利用關(guān)于那個(gè)特征的關(guān)聯(lián)顯著顏色和圖案信息將它們編碼為用于幾何形狀格式的X-Y坐標(biāo)的小圖案。視頻處理模塊135可以辨別那個(gè)對(duì)象的地理信息和關(guān)于那個(gè)對(duì)象的其它已知顯著特征。對(duì)于一些實(shí)施例，由移動(dòng)計(jì)算設(shè)備100傳輸至服務(wù)器計(jì)算機(jī)的信息可能呈文本格式。
[0038]上述由視頻處理模塊135執(zhí)行的操作能夠用來(lái)最小化被傳輸至服務(wù)器的文件大小且加速關(guān)注點(diǎn)的通過(guò)服務(wù)器進(jìn)行的近實(shí)時(shí)識(shí)別和向移動(dòng)計(jì)算設(shè)備100近實(shí)時(shí)傳輸增強(qiáng)信息。不是試圖傳輸JPEG或MPEG類型文件，視頻處理模塊135辨別并提取顯著特征，顯著特征包括與視頻幀中的對(duì)象/關(guān)注點(diǎn)關(guān)聯(lián)的形狀、形狀的點(diǎn)對(duì)點(diǎn)型X-Y坐標(biāo)、圖案顏色、字母數(shù)字、符號(hào)等等，以最小化被傳輸至服務(wù)器計(jì)算機(jī)的文件大小且加速關(guān)注點(diǎn)的通過(guò)服務(wù)器計(jì)算機(jī)進(jìn)行的近實(shí)時(shí)識(shí)別和向移動(dòng)計(jì)算設(shè)備100的近實(shí)時(shí)傳輸增強(qiáng)信息。增強(qiáng)信息應(yīng)被疊加在關(guān)注點(diǎn)上或在關(guān)注點(diǎn)上被高亮，因此用戶能夠激活來(lái)查看和/或收聽對(duì)所拍攝的視頻流疊加的增強(qiáng)信息。隨著傳輸速度提高，整個(gè)圖像可以被連續(xù)地傳輸至服務(wù)器計(jì)算機(jī)?？捎脕?lái)減少移動(dòng)計(jì)算設(shè)備100和服務(wù)器計(jì)算機(jī)之間傳輸?shù)男畔⒘康钠渌夹g(shù)，可以包括以黑白灰度傳輸彩色圖像、傳輸減少的每英寸點(diǎn)數(shù)(DPI)圖像等。
[0039]對(duì)于一些實(shí)施例，幀中的關(guān)注點(diǎn)可以與人相關(guān)。視頻處理模塊135可以被配置為分析所拍攝的視頻流的幀并辨別可能位于幀的中心區(qū)域的人的面部特性或可視信息。由于視頻處理模塊135分析所拍攝的視頻流的許多幀，所以視頻處理模塊135可以辨別許多不同的人是可能的。
[0040]視頻處理模塊135可以包括壓縮解壓縮(編解碼器)模塊136。對(duì)于一些實(shí)施例，編解碼器136可以將所拍攝的視頻流壓縮成DivX格式。DivX是由加利福尼亞的圣地亞哥的DivX有限責(zé)任公司開發(fā)的視頻壓縮技術(shù)。DivX格式也許能使用戶快速播放和創(chuàng)建高品質(zhì)的視頻流。DivX編解碼器因它的質(zhì)量、速度和效率而成為流行的基于動(dòng)態(tài)圖像專家組-4(MPEG-4)的編解碼器。作為一種DivX編解碼器，編解碼器136可以使所拍攝的視頻流和/或?qū)ο?關(guān)注點(diǎn)的所辨別的特征或特性信息能夠被快速地傳輸至通信帶寬受限(例如無(wú)線通信)的服務(wù)器計(jì)算機(jī)。還可以使用能夠?qū)⑿畔囊苿?dòng)計(jì)算設(shè)備快速傳輸至服務(wù)器計(jì)算機(jī)的其它技術(shù)。例如，不是以圖像或所拍攝的視頻流的原來(lái)顏色傳輸該圖像或視頻流，而是可以執(zhí)行轉(zhuǎn)換來(lái)將該圖像或所拍攝的視頻流從彩色轉(zhuǎn)換為黑白色，以減少要傳遞的信息的大小。
[0041]啁啾信號(hào)傳輸、檢測(cè)、位置估算
[0042]與服務(wù)器計(jì)算機(jī)有潛在的一些交互的移動(dòng)計(jì)算設(shè)備100可以使用音頻和/或可視信息來(lái)檢測(cè)和確定一個(gè)或多個(gè)移動(dòng)計(jì)算設(shè)備的空間準(zhǔn)確位置。對(duì)于一些實(shí)施例，移動(dòng)計(jì)算設(shè)備100可以包括音頻處理模塊140，以處理音頻信息。音頻處理模塊140可以包括啁啾(chirp)信號(hào)生成模塊141和揚(yáng)聲器142。啁啾信號(hào)生成模塊141可以被配置為以特定頻率模式(例如高頻噪聲、低頻噪聲)傳輸啁啾信號(hào)。啁啾信號(hào)可以由移動(dòng)計(jì)算設(shè)備100傳輸和由位于附近的另一移動(dòng)計(jì)算設(shè)備接收。當(dāng)傳輸啁啾信號(hào)時(shí)和當(dāng)接收該啁啾信號(hào)時(shí)之間的時(shí)間間隔可以用來(lái)估算這兩個(gè)移動(dòng)計(jì)算設(shè)備距離彼此多遠(yuǎn)。在該示例中，第一移動(dòng)計(jì)算設(shè)備可以傳輸其自己的啁啾信號(hào)并且可以接收由第二移動(dòng)計(jì)算設(shè)備傳輸?shù)倪毙盘?hào)。高頻信號(hào)和低頻信號(hào)之間的差異可以用來(lái)確定啁啾從第一(或發(fā)送)移動(dòng)計(jì)算設(shè)備和第二 (或接收)移動(dòng)計(jì)算設(shè)備所行進(jìn)的距離。
[0043]在可替代方案中，移動(dòng)計(jì)算設(shè)備可以傳輸時(shí)間戳通知至服務(wù)器計(jì)算機(jī)300，以表示已經(jīng)傳輸啁啾信號(hào)。另一移動(dòng)計(jì)算設(shè)備可以傳輸時(shí)間戳通知至服務(wù)器計(jì)算機(jī)300，以表示已接收或檢測(cè)啁啾信號(hào)。然后，服務(wù)器計(jì)算機(jī)300基于傳輸通知和接收通知之間的時(shí)間差計(jì)算這兩個(gè)移動(dòng)計(jì)算設(shè)備之間的距離。對(duì)于一些實(shí)施例，啁啾信號(hào)的傳輸和接收可以用于將兩個(gè)移動(dòng)計(jì)算設(shè)備的兩個(gè)用戶向彼此引導(dǎo)。可以注意，基于與這兩個(gè)移動(dòng)計(jì)算設(shè)備關(guān)聯(lián)的標(biāo)識(shí)信息，服務(wù)器計(jì)算機(jī)300可能已經(jīng)知道使用這兩個(gè)移動(dòng)計(jì)算設(shè)備的用戶的標(biāo)識(shí)。
[0044]移動(dòng)計(jì)算設(shè)備100是支持音頻/視頻的設(shè)備(例如iPhone)。啁啾信號(hào)生成模塊141允許持有移動(dòng)計(jì)算設(shè)備100的用戶檢測(cè)和定位附近持有類似移動(dòng)計(jì)算設(shè)備的其它用戶?；趥鬏敽徒邮者毙盘?hào)的兩個(gè)移動(dòng)計(jì)算設(shè)備或基于使用面部識(shí)別引擎320(見圖3A)，音頻處理模塊140可以允許檢測(cè)附近的人。
[0045]對(duì)于一些實(shí)施例，一種可以使用的基于音頻信號(hào)的距離計(jì)算方法如下。這兩個(gè)移動(dòng)計(jì)算設(shè)備向彼此傳輸/傳播啁啾信號(hào)，以算出它們之間的距離。第三移動(dòng)計(jì)算設(shè)備也能夠收聽和辨別來(lái)自其它兩個(gè)移動(dòng)計(jì)算設(shè)備的兩個(gè)啁啾信號(hào)，從而使能夠計(jì)算精確位置(使用X-Y坐標(biāo))。
[0046]如所討論的，啁啾信號(hào)頻率用于檢測(cè)兩個(gè)用戶的接近度。這兩個(gè)移動(dòng)計(jì)算設(shè)備依次廣播啁啾信號(hào)。當(dāng)廣播和檢測(cè)啁啾信號(hào)時(shí)，每個(gè)具有其麥克風(fēng)和/或音頻接收器的移動(dòng)計(jì)算設(shè)備記錄/檢測(cè)時(shí)間?；谶@些時(shí)間值，計(jì)算這兩個(gè)移動(dòng)計(jì)算設(shè)備之間的距離。一個(gè)移動(dòng)計(jì)算設(shè)備的音頻處理模塊140被配置為計(jì)算至另一移動(dòng)計(jì)算設(shè)備(或持有該設(shè)備的用戶)的距離?？商娲兀?dāng)采用第三觀察移動(dòng)計(jì)算設(shè)備(被置于預(yù)定位置)時(shí)，音頻處理模塊140還允許計(jì)算另一人的準(zhǔn)確位置(準(zhǔn)確距離和方向)。音頻處理模塊140被配置為對(duì)所有三個(gè)移動(dòng)計(jì)算設(shè)備的位置進(jìn)行三角測(cè)量。然后，音頻處理模塊140通過(guò)指明方向和距離的文本生成另一移動(dòng)計(jì)算設(shè)備的近似方向。[0047]音頻處理模塊140可以向在移動(dòng)計(jì)算設(shè)備上播放的視頻流中插入箭頭。該箭頭可以表示指示移動(dòng)計(jì)算設(shè)備的用戶為到達(dá)另一人而應(yīng)當(dāng)行走的方向。該方向信息可以疊加在顯示屏上觀看的視頻流。如前所介紹的，當(dāng)面部識(shí)別操作的使用可能是不可能的時(shí)，可替代實(shí)現(xiàn)可以使用來(lái)自兩個(gè)移動(dòng)計(jì)算設(shè)備并被傳送至服務(wù)器計(jì)算機(jī)300的通知信號(hào)來(lái)確定移動(dòng)計(jì)算設(shè)備之間的距離。該通知可以由音頻處理模塊140生成，以使用戶能夠辨別和定位相同附近的其它移動(dòng)計(jì)算設(shè)備或用戶。
[0048]音頻處理模塊140可以包括編碼算法，該編碼算法使能夠在一組音頻頻率下生成啁啾模式并且檢測(cè)啁啾信號(hào)。該算法還使能夠確定從當(dāng)前移動(dòng)計(jì)算設(shè)備至傳輸或廣播所檢測(cè)的啁啾信號(hào)的移動(dòng)計(jì)算設(shè)備的距離。由于聲音回聲路徑，算法還被用于使距離計(jì)算誤差最小化。不是生成超過(guò)標(biāo)準(zhǔn)移動(dòng)計(jì)算設(shè)備的揚(yáng)聲器系統(tǒng)和麥克風(fēng)系統(tǒng)的操作的能力/范圍的高頻/低頻信號(hào)來(lái)避免背景噪聲，啁啾信號(hào)可以是在麥克風(fēng)和揚(yáng)聲器系統(tǒng)的標(biāo)準(zhǔn)范圍內(nèi)的一系列高頻率和低頻率突發(fā)脈沖，但是在那些頻率下的突發(fā)脈沖序列實(shí)際上不會(huì)自然地發(fā)生。音頻處理模塊140具有信號(hào)處理過(guò)濾器，以特別地尋找那些頻率下的那個(gè)圖案來(lái)辨別何時(shí)檢測(cè)到啁啾信號(hào)和這兩個(gè)移動(dòng)計(jì)算設(shè)備之間的距離是多少。
[0049]對(duì)于一些實(shí)施例，當(dāng)移動(dòng)計(jì)算設(shè)備100正在拍攝視頻場(chǎng)景時(shí)，視頻流被傳輸至服務(wù)器計(jì)算機(jī)300并由服務(wù)器計(jì)算機(jī)300分析來(lái)進(jìn)行面部識(shí)別?？商娲?，所期望用戶的標(biāo)識(shí)被傳輸至服務(wù)器計(jì)算機(jī)300，并且圖像和不同的視圖被傳輸至移動(dòng)計(jì)算設(shè)備。因此，服務(wù)器計(jì)算機(jī)300將用于面部識(shí)別的照片存儲(chǔ)在面部識(shí)別數(shù)據(jù)庫(kù)340中，并且向移動(dòng)計(jì)算設(shè)備100傳輸面部識(shí)別圖像/ 一組圖像，該面部識(shí)別圖像/ 一組圖像的前側(cè)、右側(cè)和左側(cè)輪廓要由視頻處理模塊135匹配，這使移動(dòng)計(jì)算設(shè)備100的視頻處理模塊135的面部識(shí)別更快速和更容易?？梢宰⒁猓塾谙衲w色這樣的特征和像眼睛這樣的面部特征的一種或多種快速面部識(shí)別軟件可以被并入視頻處理模塊135中。
[0050]這個(gè)過(guò)程在諸如酒吧、競(jìng)技場(chǎng)或主題公園、初次會(huì)見和問(wèn)候等之類的大型嘈雜公共場(chǎng)所中可能是有用的?；诼曇舻木嚯x計(jì)算和場(chǎng)景分析的集成允許創(chuàng)建動(dòng)態(tài)形成的移動(dòng)社區(qū)。該系統(tǒng)自動(dòng)地創(chuàng)建移動(dòng)社區(qū)，使用戶能夠與具有類似關(guān)注的人聯(lián)系，否則他們永遠(yuǎn)不會(huì)見面。在具有類似配置文件的某人附近的用戶將被提示和給予與另一用戶見面的方向。
[0051]盡管未示出，但是移動(dòng)計(jì)算設(shè)備100可以包括電源(例如電池)、用戶識(shí)別模塊(SM)、鍵盤(雖然可以實(shí)現(xiàn)軟鍵盤)、輸入/輸出接口(例如視頻、音頻端口)、外部電源連接器、外部存儲(chǔ)器連接器、天線、揚(yáng)聲器等。應(yīng)注意，盡管在本文的示例中使用移動(dòng)計(jì)算設(shè)備100，但是具有類似特征的非移動(dòng)設(shè)備也可以用于傳輸可視信息和接收增強(qiáng)信息。
[0052]具有移動(dòng)計(jì)算設(shè)備和服務(wù)器計(jì)算機(jī)的網(wǎng)絡(luò)環(huán)境
[0053]圖2圖示根據(jù)一些實(shí)施例的可以用于增強(qiáng)所拍攝的視頻流的網(wǎng)絡(luò)的示例。網(wǎng)絡(luò)200可以是互聯(lián)網(wǎng)。多個(gè)服務(wù)器計(jì)算機(jī)205A-205C和多個(gè)移動(dòng)計(jì)算設(shè)備210A-210D可以連接至網(wǎng)絡(luò)200。服務(wù)器計(jì)算機(jī)205A-205C中的每個(gè)服務(wù)器計(jì)算機(jī)分別可以與數(shù)據(jù)庫(kù)206A-206C關(guān)聯(lián)。移動(dòng)計(jì)算設(shè)備210A-210D可以被稱為移動(dòng)計(jì)算設(shè)備。本示例中圖示的網(wǎng)絡(luò)環(huán)境可以被稱為客戶機(jī)-服務(wù)器環(huán)境?？蛻魴C(jī)-服務(wù)器關(guān)系允許在全世界任何位置觸發(fā)移動(dòng)計(jì)算設(shè)備205A-205C的操作和用加強(qiáng)真實(shí)世界的用戶視角的有用信息增強(qiáng)任何所拍攝的視頻流。應(yīng)注意，在本示例中圖示的移動(dòng)計(jì)算設(shè)備、服務(wù)器計(jì)算機(jī)和數(shù)據(jù)庫(kù)的數(shù)量?jī)H用于說(shuō)明目的，而不意在限制。全世界可以存在許多服務(wù)器計(jì)算機(jī)和數(shù)據(jù)庫(kù)來(lái)為更多移動(dòng)計(jì)算設(shè)備提供服務(wù)，是在本發(fā)明實(shí)施例的范圍內(nèi)的。
[0054]移動(dòng)計(jì)算設(shè)備210A-210D可以包括與圖1中描述的移動(dòng)計(jì)算設(shè)備100類似的特征。服務(wù)器計(jì)算機(jī)205A-205C可以包括通信模塊和關(guān)聯(lián)的應(yīng)用程序，通信模塊和關(guān)聯(lián)的應(yīng)用程序允許服務(wù)器計(jì)算機(jī)與網(wǎng)絡(luò)200連接并與移動(dòng)計(jì)算設(shè)備210A-210D交換信息。例如，使用移動(dòng)計(jì)算設(shè)備210A的用戶可以與包含嵌入應(yīng)用的網(wǎng)頁(yè)交互，然后向由與該應(yīng)用關(guān)聯(lián)的用戶界面呈現(xiàn)的查詢/域和/或服務(wù)提供輸入。在支持超文本標(biāo)記語(yǔ)言(HTML)或無(wú)線接入?yún)f(xié)議(WAP)的移動(dòng)計(jì)算設(shè)備205A或任何其等價(jià)物上，網(wǎng)頁(yè)可以由服務(wù)器計(jì)算機(jī)205A服務(wù)。移動(dòng)計(jì)算設(shè)備205A可以包括瀏覽器軟件(例如Internet Explorer、火狐(Firefox)),以訪問(wèn)由服務(wù)器計(jì)算機(jī)205A服務(wù)的網(wǎng)頁(yè)。
[0055]服務(wù)器計(jì)算機(jī)和增強(qiáng)信息的選擇
[0056]圖3A圖示根據(jù)一些實(shí)施例的可以用于確定對(duì)所拍攝的視頻流使用的增強(qiáng)信息的服務(wù)器計(jì)算機(jī)的示例。服務(wù)器計(jì)算機(jī)300可以包括通信模塊(未示出)，以允許該服務(wù)器計(jì)算機(jī)連接至網(wǎng)絡(luò)，例如圖2中圖示的網(wǎng)絡(luò)200。服務(wù)器計(jì)算機(jī)300還可以包括服務(wù)器應(yīng)用程序，服務(wù)器應(yīng)用程序允許該服務(wù)器計(jì)算機(jī)與包括例如移動(dòng)計(jì)算設(shè)備100在內(nèi)的一個(gè)或多個(gè)移動(dòng)計(jì)算設(shè)備通信。在服務(wù)器計(jì)算機(jī)300和移動(dòng)計(jì)算設(shè)備100之間可以建立通信會(huì)話，以使能夠從移動(dòng)計(jì)算設(shè)備100接收可視信息306和向移動(dòng)計(jì)算設(shè)備100傳輸增強(qiáng)信息391。對(duì)于一些實(shí)施例，服務(wù)器計(jì)算機(jī)300可以與對(duì)象數(shù)據(jù)庫(kù)300、面部識(shí)別數(shù)據(jù)庫(kù)340和增強(qiáng)信息數(shù)據(jù)庫(kù)350聯(lián)接。
[0057]如所討論的，客戶機(jī)模塊使用提取算法來(lái)辨別那個(gè)幀中的關(guān)注點(diǎn)的特征，提取那些特征連同諸如地理信息、指南針方向及其它相關(guān)信息之類的數(shù)據(jù)，并且將具有與那個(gè)幀有關(guān)的信息的數(shù)據(jù)包傳輸至IDOL服務(wù)器。IDOL服務(wù)器具有知識(shí)庫(kù)和分布式計(jì)算能力，以辨別關(guān)注點(diǎn)。IDOL服務(wù)器能夠分析視頻流中出現(xiàn)的一系列幀，并且使用該信息來(lái)將關(guān)注點(diǎn)的所傳輸特征與數(shù)據(jù)庫(kù)中的已知對(duì)象或圖像相匹配。大約與對(duì)象識(shí)別引擎310正在層次化地過(guò)濾或減少與所傳輸?shù)奶卣髌ヅ涞目赡芤阎獔D像/對(duì)象同時(shí)，增強(qiáng)引擎325準(zhǔn)備并選擇要被傳回移動(dòng)計(jì)算設(shè)備100上的視頻處理模塊135的增強(qiáng)信息去顯示。
[0058]增強(qiáng)引擎325具有數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)具有要疊加到幀中的已知關(guān)注點(diǎn)上的準(zhǔn)備的增強(qiáng)信息(例如視頻文件、廣告、鏈接等)?；跐撛诘呐c那個(gè)用戶相關(guān)的內(nèi)容，增強(qiáng)引擎325減少要添加至視頻文件中的可能疊加。當(dāng)對(duì)象識(shí)別引擎310確定對(duì)象是什么時(shí)，增強(qiáng)引擎325能夠開始向移動(dòng)計(jì)算設(shè)備100傳輸潛在的大文件，例如視頻文件及廣告。否則，在辨別關(guān)注點(diǎn)以后，增強(qiáng)引擎325能夠開始傳輸視頻文件、廣告和圖像、文本消息、與相關(guān)網(wǎng)頁(yè)的鏈接等。然后，視頻處理模塊135將增強(qiáng)信息疊加到視頻流的幀上。增強(qiáng)信息可以是文本消息或關(guān)注點(diǎn)的高亮。用戶能夠選擇激活被高亮的關(guān)注點(diǎn)，以查看與在移動(dòng)計(jì)算設(shè)備100的顯示屏106上顯示的視頻文件的幀關(guān)聯(lián)的增強(qiáng)信息。
[0059]對(duì)象數(shù)據(jù)庫(kù)300可以被配置為存儲(chǔ)與一組已知對(duì)象相關(guān)的信息。該信息可以描述已知對(duì)象的不同特性。這可以包括地理信息、顏色信息、圖案信息等等。通常，對(duì)象的特性可以包括與該對(duì)象有關(guān)的可以用于辨別該對(duì)象且將該對(duì)象識(shí)別為已知對(duì)象的任何信息。例如，坐落在舊金山商業(yè)區(qū)的百老匯大街第四街道的角落的辦公樓，可以基于其獨(dú)特的金字塔形建筑結(jié)構(gòu)和橙色來(lái)辨別?？梢宰⒁?，對(duì)象數(shù)據(jù)庫(kù)330當(dāng)其被配置為存儲(chǔ)關(guān)于許多對(duì)象或許多組對(duì)象的信息時(shí)可以是大型數(shù)據(jù)庫(kù)。可以使用許多技術(shù)來(lái)生成關(guān)于對(duì)象的信息。例如，信息可以由人生成，或者信息可以由特殊計(jì)算機(jī)程序生成，該特殊計(jì)算機(jī)程序被編碼為掃描彩色圖像和生成包含在圖像中的一系列對(duì)象連同該系列對(duì)象的特性。
[0060]對(duì)于一些實(shí)施例，面部識(shí)別數(shù)據(jù)庫(kù)340可以存儲(chǔ)與一組已知的人有關(guān)的面部識(shí)別信息。與該組中每個(gè)人有關(guān)的面部識(shí)別信息可以事先生成并存儲(chǔ)在面部識(shí)別數(shù)據(jù)庫(kù)340中。面部識(shí)別數(shù)據(jù)庫(kù)340在其被配置為存儲(chǔ)與許多人有關(guān)的面部識(shí)別信息時(shí)可以是大型數(shù)據(jù)庫(kù)。可以使用許多技術(shù)來(lái)生成和存儲(chǔ)面部識(shí)別信息。例如，一人使用面部識(shí)別應(yīng)用程序來(lái)生成自己的面部識(shí)別信息并且請(qǐng)求將其自己的面部識(shí)別信息存儲(chǔ)在面部識(shí)別數(shù)據(jù)庫(kù)340中。
[0061]對(duì)于一些實(shí)施例，增強(qiáng)信息數(shù)據(jù)庫(kù)340可以被配置為存儲(chǔ)可以被插入所拍攝的視頻流305中的信息。該信息可以包括身份信息(例如大學(xué))、廣告信息(例如餐廳優(yōu)惠券)、鏈接信息(例如餐廳網(wǎng)站的URL鏈接)和面部信息(例如鮑勃.史密斯)等等。可以為同一對(duì)象存儲(chǔ)不同類型的增強(qiáng)信息。對(duì)于一些實(shí)施例，服務(wù)器計(jì)算機(jī)300可以包括對(duì)象識(shí)別引擎310、面部識(shí)別引擎320和增強(qiáng)引擎325。
[0062]對(duì)象識(shí)別引擎310可以被配置為從移動(dòng)計(jì)算設(shè)備100接收對(duì)象的特性。對(duì)象識(shí)別引擎310能夠被配置為利用跨越多個(gè)服務(wù)器的分布式工作負(fù)荷計(jì)算，以提高過(guò)濾與由視頻處理模塊135傳輸?shù)奶匦孕畔⑾啾容^在對(duì)象數(shù)據(jù)庫(kù)330中存儲(chǔ)的已知圖像的速度。對(duì)象識(shí)別引擎310可以使用包含在所拍攝的視頻流305的幀中的地理信息和存儲(chǔ)在對(duì)象數(shù)據(jù)庫(kù)330中的信息，以識(shí)別對(duì)象。例如，位于緯度坐標(biāo)X和經(jīng)度坐標(biāo)Y處的具有金字塔形狀的黃色建筑物可以被識(shí)別為國(guó)家金融大廈。對(duì)于一些實(shí)施例，對(duì)象識(shí)別引擎310可以使用一組過(guò)濾器并將這些過(guò)濾器應(yīng)用于從移動(dòng)計(jì)算設(shè)備100接收的特性或可視信息，以確定它是否能夠識(shí)別該對(duì)象是什么或該人是誰(shuí)。由于所拍攝的視頻流305包括時(shí)間上和近似位置上的一系列密切相關(guān)的幀，所以這些幀通常包括相同的對(duì)象和/或人并且特性/可視信息可以具有所辨別的對(duì)象(或關(guān)注點(diǎn))的主要特征的相同圖案。這可以幫助對(duì)象識(shí)別引擎310減少對(duì)象數(shù)據(jù)庫(kù)330中可利用的匹配選項(xiàng)。例如，對(duì)象識(shí)別引擎310可以將關(guān)注點(diǎn)的顯著特征識(shí)別為電影的廣告牌或海報(bào)、餐廳(例如麥當(dāng)勞)、建筑物(例如辦公室)、歷史地標(biāo)、住宅等。
[0063]面部識(shí)別引擎320可以被配置為從移動(dòng)計(jì)算設(shè)備100接收人的面部特性。面部識(shí)別引擎320可以使用包含在所拍攝的視頻流305的幀中的地理信息和存儲(chǔ)在面部識(shí)別數(shù)據(jù)庫(kù)340中的信息來(lái)辨別和識(shí)別人。對(duì)于一些實(shí)施例，面部識(shí)別引擎320還可以使用包含在幀中的地理信息來(lái)辨別所識(shí)別人的位置，以用于方向用途。
[0064]增強(qiáng)引擎325可以被配置為從對(duì)象識(shí)別引擎310和/或面部識(shí)別引擎320接收結(jié)果來(lái)確定如何選擇要傳輸至移動(dòng)計(jì)算設(shè)備110的適合的增強(qiáng)信息，以增強(qiáng)原始視頻文件中被辨別的對(duì)象，并且被配置為從增強(qiáng)信息數(shù)據(jù)庫(kù)350中選擇增強(qiáng)信息391。增強(qiáng)信息391可以與已由對(duì)象識(shí)別引擎310和/或面部識(shí)別引擎320識(shí)別的對(duì)象或人相關(guān)。通常，增強(qiáng)信息391可以包括能提供與包含在所拍攝的視頻流305的幀中的對(duì)象和/或人有關(guān)的深入信息或內(nèi)容的任何信息。例如，增強(qiáng)信息391可包括各個(gè)建筑物內(nèi)的食品機(jī)構(gòu)的列表、對(duì)特殊生意的用戶評(píng)論的鏈接、對(duì)網(wǎng)頁(yè)的鏈接等。增強(qiáng)引擎325可以選擇與用戶最相關(guān)的增強(qiáng)信息。例如，對(duì)象可以是具有許多不同商行的辦公樓，并且對(duì)象數(shù)據(jù)庫(kù)330可以包括與每個(gè)商行關(guān)聯(lián)的增強(qiáng)信息。但是，僅可以選擇與藝?yán)汝P(guān)聯(lián)的增強(qiáng)信息，因?yàn)橐苿?dòng)計(jì)算設(shè)備100的用戶或操作者的配置文件可能表示該用戶只關(guān)注現(xiàn)代藝術(shù)。[0065]然后，所選擇的增強(qiáng)信息391可以被傳輸至移動(dòng)計(jì)算設(shè)備100并且被視頻處理模塊135用來(lái)生成增強(qiáng)的視頻流390。然后，增強(qiáng)的視頻流390可以由用戶觀看或由可能存在于移動(dòng)計(jì)算設(shè)備100上的任何其它應(yīng)用程序使用。拍攝視頻流、處理所拍攝的視頻流、識(shí)別所拍攝的視頻流中的對(duì)象和/或人、增強(qiáng)所拍攝的視頻流以及向用戶或其它應(yīng)用程序呈現(xiàn)增強(qiáng)的視頻流的操作實(shí)時(shí)發(fā)生，是在本發(fā)明的實(shí)施例的范圍內(nèi)的。例如，用戶可以拍攝視頻流305并且?guī)缀跛查g看見在移動(dòng)計(jì)算設(shè)備100的顯示屏幕106上顯示的增強(qiáng)的視頻流390。
[0066]對(duì)于一些實(shí)施例，增強(qiáng)信息可以包括圖形信息和/或音頻信息。圖形增強(qiáng)信息可以疊加拍攝的視頻流305的幀。音頻增強(qiáng)信息可以通過(guò)移動(dòng)計(jì)算設(shè)備100的揚(yáng)聲器142聽見。因此，移動(dòng)計(jì)算設(shè)備100上的視頻處理模塊135辨別由攝像頭120拍攝的視頻流的每個(gè)幀中的一個(gè)或多個(gè)關(guān)注點(diǎn)的主要特征，將那些辨別出的關(guān)注點(diǎn)傳輸至服務(wù)器計(jì)算機(jī)300，并且在顯示屏106上顯示疊加原始拍攝的視頻流的增強(qiáng)信息和/或通過(guò)移動(dòng)計(jì)算設(shè)備100的揚(yáng)聲器142輸出具有原始拍攝的視頻流的增強(qiáng)信息的音頻部分。
[0067]對(duì)于一些實(shí)施例，在對(duì)象識(shí)別引擎310和/或面部識(shí)別引擎320正在辨別對(duì)象時(shí)，增強(qiáng)引擎325可以開始傳輸潛在大的增強(qiáng)信息391 (例如視頻文件、廣告、圖像等)。否則，增強(qiáng)引擎325可以在辨別出關(guān)注點(diǎn)和對(duì)象以后開始傳輸增強(qiáng)信息391。然后，視頻處理模塊135可以將增強(qiáng)信息疊加到視頻流上。對(duì)于一些實(shí)施例，用戶可以有查看所拍攝的原樣的視頻流的選擇權(quán)，或者用戶可以選擇查看相應(yīng)的增強(qiáng)的視頻流。
[0068]對(duì)于一些實(shí)施例，服務(wù)器計(jì)算機(jī)300可以被實(shí)現(xiàn)為使用加利福尼亞州舊金山的Autonomy公司的智能數(shù)據(jù)操作層(IDOL)軟件產(chǎn)品及關(guān)聯(lián)系統(tǒng)的智能數(shù)據(jù)操作層(IDOL)月艮務(wù)器。該IDOL服務(wù)器從來(lái)自各種源的連接器收集索引數(shù)據(jù)來(lái)訓(xùn)練這些引擎并將該索引數(shù)據(jù)存儲(chǔ)在其為數(shù)據(jù)的快速處理和檢索而優(yōu)化的專有結(jié)構(gòu)中。作為信息處理層，IDOL形成企業(yè)中所有內(nèi)容的概念的和上下文的理解，自動(dòng)分析來(lái)自超過(guò)數(shù)千種不同內(nèi)容格式及甚至人們興趣的任一條信息。IDOL能夠?qū)?shù)字內(nèi)容上進(jìn)行數(shù)百個(gè)操作，這些操作包括超鏈接、代理、歸納、分類生成、聚類、推斷、剖析、提示和檢索。IDOL服務(wù)器具有知識(shí)庫(kù)并與由視頻處理模塊135傳輸?shù)奶卣鲌D案相互關(guān)聯(lián)。圖7圖示在IDOL服務(wù)器中包含的模塊的示例。
[0069]IDOL服務(wù)器使組織能受益于自動(dòng)化受益而不喪失人工控制。這種互補(bǔ)方法允許自動(dòng)處理與多種可人控制的代用相結(jié)合，提供兩全其美且從來(lái)不需要“或者/或者”的選擇。IDOL服務(wù)器集成所有已知的歷史系統(tǒng)，省去組織拼湊多個(gè)系統(tǒng)來(lái)支持完全它們不同組件的需要。
[0070]IDOL服務(wù)器可以與IDOL連接器關(guān)聯(lián)，IDOL連接器能夠連接數(shù)百個(gè)內(nèi)容貯存庫(kù)和支持超過(guò)數(shù)千種文件格式。這提供將任何形式的結(jié)構(gòu)化的、半結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)聚合和索引到單一索引內(nèi)的能力，而無(wú)論該文件駐留在哪里。全面的一組連接器能夠支持對(duì)所有企業(yè)信息(包括富媒體)的單點(diǎn)搜索，為組織節(jié)約大量時(shí)間和金錢。通過(guò)幾乎訪問(wèn)每一條內(nèi)容，IDOL為組織的數(shù)據(jù)資產(chǎn)提供360度的視圖。
[0071]IDOL服務(wù)器實(shí)現(xiàn)上下文感知的概念技術(shù)并且使用深度音頻和視頻索引技術(shù)來(lái)尋找最相關(guān)的產(chǎn)品，最相關(guān)的產(chǎn)品包括音樂、游戲和視頻。IDOL服務(wù)器在沒有人工輸入的情況下自動(dòng)分類內(nèi)容來(lái)提供直觀導(dǎo)航。IDOL服務(wù)器還生成至概念上類似的內(nèi)容的鏈接，而不需要用戶搜索?？梢杂米杂晌谋久枋龊蜆悠穲D像(例如產(chǎn)品的快照)訓(xùn)練IDOL服務(wù)器。業(yè)務(wù)控制臺(tái)提供關(guān)于查詢模式的、人氣和點(diǎn)擊率的實(shí)時(shí)度量，這允許操作者響應(yīng)于改變需求配置環(huán)境、設(shè)置提升和調(diào)整相關(guān)度。
[0072]對(duì)于一些實(shí)施例，移動(dòng)計(jì)算設(shè)備100的視頻處理模塊135可以辨別對(duì)象和/或人的特性，然后致使那個(gè)信息被實(shí)時(shí)傳輸至IDOL服務(wù)器。因此，有可能在服務(wù)器計(jì)算機(jī)300的增強(qiáng)引擎325對(duì)第一組幀執(zhí)行其操作時(shí)，移動(dòng)計(jì)算設(shè)備100的視頻處理模塊135可以對(duì)第二組幀執(zhí)行其操作，并且第三組幀連同關(guān)聯(lián)的增強(qiáng)信息可以在顯示屏106上顯示。
[0073]用戶配置文件信肩、和相關(guān)增強(qiáng)信肩、的選擇
[0074]圖3B圖示根據(jù)一些實(shí)施例的可以用于確定對(duì)所拍攝的視頻流使用的增強(qiáng)信息的服務(wù)器計(jì)算機(jī)的示例。服務(wù)器計(jì)算機(jī)300中包含的組件可以是除圖3A中所示的組件以外的組件。這包括用戶配置文件引擎328和用戶配置文件數(shù)據(jù)庫(kù)360。通過(guò)保持用戶配置文件，服務(wù)器計(jì)算機(jī)300可以，利用關(guān)于視頻流的每個(gè)幀中的辨別的關(guān)注點(diǎn)的、與主管視頻處理模塊135的特定移動(dòng)計(jì)算設(shè)備的用戶更相關(guān)的增強(qiáng)信息，增強(qiáng)這些辨別的關(guān)注點(diǎn)。
[0075]對(duì)于一些實(shí)施例，本文描述的系統(tǒng)，利用關(guān)于視頻流的每個(gè)幀中的辨別的關(guān)注點(diǎn)的、與主管視頻處理應(yīng)用135的特定移動(dòng)計(jì)算設(shè)備的用戶更相關(guān)的增強(qiáng)信息(圖形信息或音頻信息)增強(qiáng)每個(gè)辨別的關(guān)注點(diǎn)。能夠供應(yīng)的增強(qiáng)信息的類型被存儲(chǔ)在增強(qiáng)信息數(shù)據(jù)庫(kù)350中。在選擇要對(duì)視頻流使用的增強(qiáng)信息的過(guò)程中，服務(wù)器計(jì)算機(jī)300使用移動(dòng)計(jì)算設(shè)備的用戶特定信息。
[0076]當(dāng)用戶使用移動(dòng)計(jì)算設(shè)備100時(shí)，視頻處理模塊135捕獲用戶的習(xí)慣。例如，當(dāng)用戶正在拍攝視頻流、瀏覽互聯(lián)網(wǎng)和撥打電話號(hào)碼等時(shí)，可以捕獲用戶習(xí)慣。信息可以包括常常呼叫的電話號(hào)碼、經(jīng)常訪問(wèn)的網(wǎng)站、購(gòu)買的產(chǎn)品種類、用戶的年齡和性別、家庭的城市和地址信息等。用戶特定信息的使用以及隨時(shí)間自動(dòng)更新和完善該信息的能力，對(duì)于增強(qiáng)信息的準(zhǔn)確提供和靶定是非常重要的并且將該技術(shù)與所有前身區(qū)分開。
[0077]視頻處理模塊135將關(guān)注點(diǎn)的特征和可視信息的組合連同用戶個(gè)人的配置文件傳輸至服務(wù)器計(jì)算機(jī)300，并且將附加的多條信息傳輸至服務(wù)器計(jì)算機(jī)300。然后，服務(wù)器計(jì)算機(jī)300對(duì)視頻流305中具有在那個(gè)位置和那時(shí)與那個(gè)用戶具有特別相關(guān)性的信息的幀確定增強(qiáng)信息。用戶特定的方面能夠自動(dòng)訓(xùn)練和更新那個(gè)用戶的用戶配置文件，這允許提供更多相關(guān)信息。由于每個(gè)用戶利用該增強(qiáng)視頻流的系統(tǒng)，所以關(guān)于他的使用的信息被用于建立代表他的關(guān)注、人口特征和/或特定使用模式的“配置文件”。隨后，用戶的移動(dòng)計(jì)算設(shè)備100能夠被部署來(lái)從攝像頭搜集信息和視頻流并且將所收集的信息傳輸至服務(wù)器計(jì)算機(jī)300。這可用于確定在那個(gè)特定時(shí)間為那個(gè)用戶向該系統(tǒng)做出的最相關(guān)的增強(qiáng)，以及增強(qiáng)具有附加可視的或視聽的對(duì)象或圖像的視頻流305。
[0078]用戶配置文件數(shù)據(jù)庫(kù)360被維持來(lái)代表每個(gè)用戶的關(guān)注、人口特征和/或特定使用模式，它們能夠在確定何種增強(qiáng)信息增強(qiáng)移動(dòng)計(jì)算設(shè)備100上所拍攝的視頻流的幀中的關(guān)注點(diǎn)時(shí)被用戶配置文件引擎328和增強(qiáng)引擎325引用。增強(qiáng)引擎325可以具有一組例如二十或更多種不同增強(qiáng)關(guān)注點(diǎn)的方式，無(wú)論是向如連鎖餐廳這樣的一類已知對(duì)象應(yīng)用的一般增強(qiáng)信息，還是只向已知對(duì)象及增強(qiáng)信息中與歷史關(guān)注點(diǎn)的通告、相關(guān)網(wǎng)頁(yè)的鏈接、街道地址的疊加、電話號(hào)碼、在建筑物中的商店列表、為加強(qiáng)那個(gè)對(duì)象創(chuàng)建的加強(qiáng)手段(例如動(dòng)畫)不同的主題應(yīng)用的特定內(nèi)容增強(qiáng)信息。
[0079]用戶配置文件引擎328幫助增強(qiáng)引擎325確定向移動(dòng)計(jì)算設(shè)備100選擇和傳輸?shù)哪膫€(gè)增強(qiáng)信息將被加入由移動(dòng)計(jì)算設(shè)備100拍攝的視頻流的幀中。在實(shí)施例中，IDOL服務(wù)器系統(tǒng)可以自動(dòng)地規(guī)劃用戶彼此交互以及與他們移動(dòng)計(jì)算設(shè)備上的信息交互的方式，建立他們關(guān)注和位置的概念性理解以提供量身定制的商業(yè)內(nèi)容。一發(fā)布新的音軌和相關(guān)產(chǎn)品，IDOL服務(wù)器就提供自動(dòng)通知，或者提供位置特定的信息(例如交通報(bào)告和最新新聞)，而不需要用戶搜索。
[0080]服務(wù)器鏡像和分布式處理
[0081]圖4圖示根據(jù)一些實(shí)施例的具有可以用于過(guò)濾從移動(dòng)計(jì)算設(shè)備接收的信息的鏡像服務(wù)器的網(wǎng)絡(luò)圖的示例。連接至網(wǎng)絡(luò)200的服務(wù)器計(jì)算機(jī)405M、405A、405B和405C可以被配置為IDOL服務(wù)器。IDOL服務(wù)器可以包括主IDOL服務(wù)器405M和多個(gè)鏡像IDOL服務(wù)器405A-405C。主IDOL服務(wù)器405M可以將其信息鏡像到鏡像IDOL服務(wù)器405A-405C上。該鏡像可以包括將主IDOL服務(wù)器數(shù)據(jù)庫(kù)406M的內(nèi)容鏡像到鏡像IDOL服務(wù)器數(shù)據(jù)庫(kù)406A-406C中。例如，對(duì)象數(shù)據(jù)庫(kù)300、面部識(shí)別數(shù)據(jù)庫(kù)340和增強(qiáng)信息數(shù)據(jù)庫(kù)350可以遍及所有鏡像IDOL服務(wù)器405A-405C鏡像。主IDOL服務(wù)器405M和鏡像IDOL服務(wù)器405A-405C可以位于或分布在多個(gè)地理位置，以服務(wù)這些地區(qū)的移動(dòng)計(jì)算設(shè)備。例如，主IDOL服務(wù)器405M可以位于巴黎，鏡像IDOL服務(wù)器405A可以位于波士頓，鏡像IDOL服務(wù)器405B可以位于費(fèi)城，并且鏡像IDOL服務(wù)器405C可以位于紐約。
[0082]圖4中示出的IDOL服務(wù)器中每個(gè)IDOL服務(wù)器可以包括其自己的對(duì)象識(shí)別引擎310、面部識(shí)別引擎320和增強(qiáng)引擎325。服務(wù)器在特定位置內(nèi)的分布有助于提高辨別和增強(qiáng)響應(yīng)時(shí)間。相同服務(wù)器站點(diǎn)位置的鏡像還幫助提高辨別和增強(qiáng)響應(yīng)時(shí)間。然而此外，通過(guò)分布工作負(fù)荷和限制物理傳輸距離和關(guān)聯(lián)時(shí)間，相同服務(wù)器站點(diǎn)位置的鏡像協(xié)助維護(hù)潛在數(shù)百萬(wàn)具有駐留的視頻應(yīng)用的移動(dòng)計(jì)算設(shè)備，該數(shù)百萬(wàn)的移動(dòng)計(jì)算設(shè)備全部遞交具有顯著關(guān)注點(diǎn)特征的數(shù)據(jù)包。用相同的內(nèi)容復(fù)制該IDOL服務(wù)器組并且穿越互聯(lián)網(wǎng)鏡像該IDOL服務(wù)器組，以將該負(fù)荷分布至多個(gè)相同的站點(diǎn)來(lái)改善響應(yīng)時(shí)間和應(yīng)對(duì)那些移動(dòng)計(jì)算設(shè)備的查詢?nèi)萘俊?br> [0083]對(duì)于一些實(shí)施例，視頻處理模塊135可以包括編碼塊，以在移動(dòng)計(jì)算設(shè)備100用于拍攝視頻流時(shí)呼叫并與主IDOL服務(wù)器的最近非過(guò)載鏡像站點(diǎn)建立永久安全通信信道。例如，移動(dòng)計(jì)算設(shè)備410A可以經(jīng)由通信信道450與IDOL服務(wù)器405A連接，因?yàn)樗鼈兌嘉挥诓ㄊ款D。然而，當(dāng)IDOL服務(wù)器405A過(guò)載時(shí)，移動(dòng)計(jì)算設(shè)備410A可能與紐約的IDOL服務(wù)器405C連接，因?yàn)镮DOL服務(wù)器405C可能未超載，即便IDOL服務(wù)器405C可能離移動(dòng)計(jì)算設(shè)備410A比IDOL服務(wù)器405A離移動(dòng)計(jì)算設(shè)備410A更遠(yuǎn)。
[0084]對(duì)于一些實(shí)施例，一組IDOL服務(wù)器可以用于過(guò)濾從移動(dòng)計(jì)算設(shè)備接收的信息。層次化的一組過(guò)濾器可以遍及該組IDOL服務(wù)器線性地散布。這些IDOL服務(wù)器可以協(xié)作地一起工作來(lái)處理所傳輸?shù)膶?duì)象和/或人可視信息，以確定或識(shí)別該對(duì)象是什么或該人是誰(shuí)。例如，當(dāng)移動(dòng)計(jì)算設(shè)備410A與IDOL服務(wù)器405A建立通信信道時(shí)，IDOL服務(wù)器405A-405C可以共同工作來(lái)處理從移動(dòng)計(jì)算設(shè)備410A接收的信息。這種協(xié)作通過(guò)IDOL服務(wù)器405A和IDOL服務(wù)器405C之間的通信信道451以及IDOL服務(wù)器405A和IDOL服務(wù)器405B之間的通信信道452說(shuō)明。類似地，當(dāng)移動(dòng)計(jì)算設(shè)備410B與IDOL服務(wù)器405C建立通信信道454時(shí)，IDOL服務(wù)器405C、405B和405A可以共同工作來(lái)處理從移動(dòng)計(jì)算設(shè)備410B接收的信息。這種協(xié)作通過(guò)IDOL服務(wù)器405C和IDOL服務(wù)器405A之間的通信信道451以及IDOL服務(wù)器405C和405B之間的通信信道453說(shuō)明。[0085]該組服務(wù)器中的每個(gè)服務(wù)器應(yīng)用過(guò)濾器來(lái)消除從移動(dòng)計(jì)算設(shè)備100接收的特征的圖案作為可能匹配，以特征化對(duì)象數(shù)據(jù)庫(kù)330中的多組已知對(duì)象。能夠同時(shí)消除可能全部種類的匹配對(duì)象，然而能夠在不同的服務(wù)器上同時(shí)解決甚至在單個(gè)種類的可能匹配對(duì)象中的子集。每個(gè)服務(wù)器可以層次化地排除每個(gè)機(jī)器上的潛在已知圖像，以減少通往與所分析的關(guān)注對(duì)象匹配或不匹配的層次化分支和葉路徑。
[0086]移動(dòng)計(jì)算設(shè)備100有內(nèi)置的W1-Fi電路，并且視頻流被傳輸至互聯(lián)網(wǎng)上的IDOL服務(wù)器。IDOL服務(wù)器組包括遍布該IDOL服務(wù)器組分布的對(duì)象識(shí)別引擎310、ID0L數(shù)據(jù)庫(kù)，還包括增強(qiáng)引擎325。遍布該IDOL服務(wù)器組分布的對(duì)象識(shí)別引擎310將層次化的一組過(guò)濾器應(yīng)用至視頻流每個(gè)幀中的所傳輸?shù)慕?jīng)辨別的關(guān)注點(diǎn)和其關(guān)聯(lián)的主體，以確定那個(gè)幀中的那一個(gè)或多個(gè)關(guān)注點(diǎn)是什么。由于這是在時(shí)間和近似位置上一系列密切相關(guān)的幀的視頻饋給，所以視頻流的每個(gè)幀中的經(jīng)辨別的關(guān)注點(diǎn)的主要特征的圖案幫助減少在對(duì)象數(shù)據(jù)庫(kù)330中存儲(chǔ)的匹配已知對(duì)象。
[0087]IDOL服務(wù)器之間的協(xié)作可以幫助加速識(shí)別過(guò)程。例如，IDOL服務(wù)器中的每個(gè)IDOL服務(wù)器可以應(yīng)用過(guò)濾器來(lái)消除特征的特定圖案作為與存儲(chǔ)在對(duì)象數(shù)據(jù)庫(kù)330中的已知對(duì)象的特征的可能匹配?？梢酝瑫r(shí)消除全部種類的對(duì)象，然而協(xié)作的IDOL服務(wù)器可以同時(shí)將甚至單個(gè)類別的對(duì)象中的子集辨別為潛在的匹配對(duì)象。每個(gè)IDOL服務(wù)器可以層次化地排除潛在的已知對(duì)象來(lái)減少層次化的分支和葉路徑，以確定是否存在匹配。
[0088]對(duì)于一些實(shí)施例，IDOL服務(wù)器中的每個(gè)IDOL服務(wù)器可以將幀中的關(guān)注點(diǎn)的可視顯著特征的圖案與對(duì)象數(shù)據(jù)庫(kù)330中的已知對(duì)象進(jìn)行匹配。關(guān)注點(diǎn)的特征的幾何形狀的X-Y坐標(biāo)的可能像點(diǎn)對(duì)點(diǎn)連接圖示那樣給人留下印象。當(dāng)點(diǎn)在紙的網(wǎng)格上的X-Y坐標(biāo)以正確順序連接時(shí)，識(shí)別與這張紙上的那些點(diǎn)關(guān)聯(lián)的圖像/對(duì)象是簡(jiǎn)單的任務(wù)。這可以包括將點(diǎn)對(duì)點(diǎn)型幾何形狀的傳輸特征連同它們的顯著顏色、識(shí)別的文本、數(shù)字和符號(hào)、地理信息、相對(duì)于相機(jī)的方向信息與存儲(chǔ)在對(duì)象數(shù)據(jù)庫(kù)330中的特征組進(jìn)行比較。點(diǎn)對(duì)點(diǎn)型幾何形狀能夠被亞設(shè)置為有特色的三角形、金字塔、矩形、立方體、圓和圓柱等，每個(gè)形狀具有其自己的關(guān)聯(lián)的有特色的顏色或圖案，以幫助辨別和識(shí)別。IDOL服務(wù)器中的每個(gè)IDOL服務(wù)器可以層次化地將與關(guān)注點(diǎn)有關(guān)的特征點(diǎn)的集合映射至存儲(chǔ)的已知對(duì)象的特征點(diǎn)的圖案，以將幀中內(nèi)容與已知對(duì)象進(jìn)行匹配。
[0089]對(duì)于一些實(shí)施例，當(dāng)那個(gè)被辨別的對(duì)象正近實(shí)時(shí)地(例如小于5秒)在顯示屏上顯示時(shí)，視頻處理模塊135可以連續(xù)地傳輸所拍攝的視頻流305的幀中的關(guān)注點(diǎn)306的所辨別的特征，同時(shí)對(duì)象識(shí)別引擎310 (分布在大量的IDOL服務(wù)器上)和增強(qiáng)引擎325傳輸回增強(qiáng)信息來(lái)增強(qiáng)在移動(dòng)計(jì)算設(shè)備100的存儲(chǔ)器中的存儲(chǔ)的視頻文件的所拍攝的幀中的所辨別的圖像/對(duì)象。
[0090]如所討論的，服務(wù)器計(jì)算機(jī)300具有一組一個(gè)或多個(gè)數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)關(guān)于位置(例如建筑物)和結(jié)構(gòu)的可視信息的可擴(kuò)展數(shù)據(jù)庫(kù)，以便執(zhí)行可視數(shù)據(jù)流的隨后匹配來(lái)確定被查看的建筑物或結(jié)構(gòu)。通過(guò)將移動(dòng)用戶同與這些可視圖像關(guān)聯(lián)的特性的數(shù)據(jù)庫(kù)進(jìn)行匹配，在任何時(shí)候，服務(wù)器-客戶機(jī)系統(tǒng)解決確定移動(dòng)用戶的確切位置的問(wèn)題，并且準(zhǔn)確地確定用戶正在看什么。不管位置如何且以最少訓(xùn)練，該系統(tǒng)提供能力來(lái)構(gòu)造對(duì)辨別位置的問(wèn)題的可擴(kuò)展方案。
[0091]具有服務(wù)器計(jì)算機(jī)300和一組一個(gè)或多個(gè)數(shù)據(jù)庫(kù)(例如對(duì)象數(shù)據(jù)庫(kù)330、面部識(shí)別數(shù)據(jù)庫(kù)340、增強(qiáng)信息數(shù)據(jù)庫(kù)350、用戶配置文件數(shù)據(jù)庫(kù)330)的系統(tǒng)在世界的一組視圖上進(jìn)行訓(xùn)練，所得到的模型被存儲(chǔ)以供今后檢索。地理信息和可視特性的組合允許更快的匹配。此后，移動(dòng)計(jì)算設(shè)備能夠被部署為從攝像頭搜集地理空間信息和視頻數(shù)據(jù)流并且將其反饋至該系統(tǒng)。這用于精準(zhǔn)定位視圖內(nèi)的對(duì)象或位置并且增強(qiáng)具有附加可視或視聽對(duì)象或圖像的視頻流。[0092]流稈圖[0093]圖5圖示根據(jù)一些實(shí)施例的可以在移動(dòng)計(jì)算設(shè)備上運(yùn)行來(lái)創(chuàng)建增強(qiáng)的視頻流的方法的示例流程圖。該方法可以與可在移動(dòng)計(jì)算設(shè)備100上執(zhí)行的操作關(guān)聯(lián)。移動(dòng)計(jì)算設(shè)備100可以拍攝視頻流的許多幀。在正拍攝這些幀時(shí)，這些幀被分析并且這些幀中的對(duì)象的特性信息被提取，如框505所示。提取可以涉及特征、幾何形狀信息、不同顏色、點(diǎn)對(duì)點(diǎn)型圖案和其它相關(guān)信息。提取可以涉及生成關(guān)注點(diǎn)的幾何形狀的X-Y坐標(biāo)的圖案和與這些形狀關(guān)聯(lián)的顏色，以及涉及來(lái)自GPS模塊的地理坐標(biāo)、來(lái)自與該移動(dòng)計(jì)算設(shè)備的攝像頭121關(guān)聯(lián)的方向傳感器22的方向信息。[0094]在框510，將特性信息和地理信息傳輸至網(wǎng)絡(luò)中的服務(wù)器計(jì)算機(jī)(例如服務(wù)器計(jì)算機(jī)300)，使得該服務(wù)器計(jì)算機(jī)能夠過(guò)濾信息并確定增強(qiáng)信息。接收特性信息的服務(wù)器計(jì)算機(jī)可以是地理上與移動(dòng)計(jì)算設(shè)備100最接近的服務(wù)器計(jì)算器。如果這個(gè)服務(wù)器計(jì)算機(jī)過(guò)載，那么作為替代可以選擇附近的未過(guò)載的服務(wù)器計(jì)算機(jī)。所選擇的服務(wù)器計(jì)算機(jī)可以與其它鏡像服務(wù)器計(jì)算機(jī)協(xié)作來(lái)確定增強(qiáng)信息。服務(wù)器計(jì)算機(jī)可以使用層次化的方法執(zhí)行比較操作和匹配操作。服務(wù)器計(jì)算機(jī)可以查找可使用的不同增強(qiáng)信息。準(zhǔn)則可以用于選擇向移動(dòng)計(jì)算設(shè)備100傳輸?shù)倪m當(dāng)?shù)脑鰪?qiáng)信息。[0095]在框515，從服務(wù)器計(jì)算機(jī)接收增強(qiáng)信息。也許可能的是，當(dāng)移動(dòng)計(jì)算設(shè)備100正接收用于一系列幀的增強(qiáng)信息時(shí)，移動(dòng)計(jì)算設(shè)備100還在準(zhǔn)備用于待傳輸至服務(wù)器計(jì)算機(jī)的另一系列幀的特性信息。通常，對(duì)于視頻流中的每個(gè)幀，從移動(dòng)計(jì)算設(shè)備100將包含關(guān)注點(diǎn)的特性信息的傳輸數(shù)據(jù)包傳輸至服務(wù)器計(jì)算機(jī)。[0096]在框520，移動(dòng)計(jì)算設(shè)備100可以使用增強(qiáng)信息來(lái)疊加視頻流的適當(dāng)?shù)膸⑶覄?chuàng)造增強(qiáng)的視頻流。在框525，增強(qiáng)的視頻流在移動(dòng)計(jì)算設(shè)備100的顯示屏106上顯示。[0097]圖6A圖示根據(jù)一些實(shí)施例的可以在服務(wù)器計(jì)算機(jī)上運(yùn)行來(lái)確定增強(qiáng)信息的方法的示例流程圖。與該方法關(guān)聯(lián)的操作可以由許多服務(wù)器執(zhí)行，這許多服務(wù)器協(xié)作地工作來(lái)幾乎實(shí)時(shí)地向移動(dòng)計(jì)算設(shè)備提供結(jié)果。該方法可以在框605處開始，這里從移動(dòng)計(jì)算設(shè)備10接收特性和地理信息。還可以從方向傳感器122接收攝像頭121的方向信息。如先前提到的，可以壓縮從移動(dòng)計(jì)算設(shè)備100傳輸?shù)男畔?。因此，服?wù)器可以包括解壓縮邏輯，以解壓縮信息。如果需要，服務(wù)器還可以包括壓縮邏輯，以壓縮增強(qiáng)信息。在框610，服務(wù)器可以執(zhí)行比較和匹配或識(shí)別操作。這可以包括過(guò)濾和消除不具有相同特性的任何已知對(duì)象。這可以包括減少至可能具有相同特性的潛在已知對(duì)象。[0098]也許可能的是，存在用于每個(gè)已知對(duì)象的一組增強(qiáng)信息，并且服務(wù)器可能需要確定選擇哪個(gè)增強(qiáng)信息，如框615所示。在框620，將增強(qiáng)信息傳輸至移動(dòng)計(jì)算設(shè)備100。也許可能的是，當(dāng)服務(wù)器在傳輸用于視頻流的一組幀的增強(qiáng)信息時(shí)，服務(wù)器還在對(duì)與同一視頻流關(guān)聯(lián)的另一組幀執(zhí)行框610中的操作。可以注意，圖5和圖6A中描述的方法還可以用于使用面部識(shí)別引擎320和面部識(shí)別數(shù)據(jù)庫(kù)340執(zhí)行面部識(shí)別。[0099]圖6B圖示根據(jù)一些實(shí)施例的可以在服務(wù)器計(jì)算機(jī)上運(yùn)行來(lái)基于用戶配置文件確定增強(qiáng)信息的方法的示例流程圖。與該方法關(guān)聯(lián)的操作可以由IDOL服務(wù)器執(zhí)行，并且可以擴(kuò)展在圖6A的框615中描述的操作上。該方法可以在框625開始，這里驗(yàn)證移動(dòng)計(jì)算設(shè)備100的標(biāo)識(shí)。移動(dòng)計(jì)算設(shè)備100的標(biāo)識(shí)信息可以在初始通信期間，例如在建立移動(dòng)設(shè)備100和服務(wù)器計(jì)算機(jī)300之間的通信信道期間，被傳輸至服務(wù)器計(jì)算機(jī)300。該標(biāo)識(shí)信息可以由用戶配置文件引擎328來(lái)確定來(lái)自用戶配置文件數(shù)據(jù)庫(kù)360的合適的用戶配置文件，如框630所示。如所討論的，隨著用戶隨時(shí)間推移使用移動(dòng)計(jì)算設(shè)備100，可能已經(jīng)收集用戶配置文件。用戶配置文件可以包括特定的用戶提供的信息。在框635，可以基于用戶配置文件中的信息選擇增強(qiáng)信息。這允許將相關(guān)增強(qiáng)信息傳輸至移動(dòng)計(jì)算設(shè)備100，以增強(qiáng)視頻流305,如框640所示。
[0100]圖6C圖示根據(jù)一些實(shí)施例的可以用于基于由移動(dòng)計(jì)算設(shè)備生成的啁啾信號(hào)確定距離的方法的示例流程圖。該方法可以在已經(jīng)執(zhí)行面部識(shí)別引擎320的面部識(shí)別操作且已經(jīng)出現(xiàn)確定的識(shí)別以后操作。該方法可以在框650開始，這里兩個(gè)移動(dòng)計(jì)算設(shè)備進(jìn)行初始的啁啾通信。在框655，第一移動(dòng)計(jì)算設(shè)備廣播啁啾信號(hào)預(yù)定多次(例如3次)并記錄廣播啁啾信號(hào)的時(shí)鐘時(shí)間。在框660，第二移動(dòng)計(jì)算設(shè)備記錄音頻信號(hào)并且檢測(cè)啁啾信號(hào)和它們的時(shí)鐘時(shí)間。在框665，在數(shù)秒(例如5秒)的暫停以后，該過(guò)程反向，此時(shí)第二移動(dòng)計(jì)算設(shè)備廣播其啁啾信號(hào)相同的預(yù)定數(shù)次。然后，第二設(shè)備記錄其廣播時(shí)間，并且向第一設(shè)備發(fā)送檢測(cè)時(shí)間和廣播時(shí)間。在框670，第一移動(dòng)計(jì)算設(shè)備檢測(cè)在其記錄的音頻信號(hào)中的第二移動(dòng)計(jì)算設(shè)備的啁啾信號(hào)。在框675，從第一移動(dòng)計(jì)算設(shè)備中，基于所測(cè)得的時(shí)鐘時(shí)間，使用第一公式來(lái)確定這兩個(gè)移動(dòng)計(jì)算設(shè)備之間的距離。
[0101]在框680，收聽由第一移動(dòng)計(jì)算設(shè)備和第二移動(dòng)計(jì)算設(shè)備廣播的這兩個(gè)啁啾信號(hào)的第三移動(dòng)計(jì)算設(shè)備也檢測(cè)其記錄的音頻信號(hào)中的啁啾信號(hào)，并且將時(shí)間報(bào)告給第一移動(dòng)計(jì)算設(shè)備。第三移動(dòng)計(jì)算設(shè)備可以被置于預(yù)定的位置。在框685，從第一移動(dòng)計(jì)算設(shè)備，使用第二公式來(lái)計(jì)算第二移動(dòng)計(jì)算設(shè)備關(guān)于它自己和第三移動(dòng)計(jì)算設(shè)備的位置U，y),并且對(duì)所有三個(gè)移動(dòng)計(jì)算設(shè)備之間的位置和距離進(jìn)行三角測(cè)量。在框690，第一移動(dòng)計(jì)算設(shè)備和第二移動(dòng)計(jì)算設(shè)備的視頻處理模塊135然后將箭頭或足跡疊加在顯示在每個(gè)各自的顯示屏上的視頻流上，以指出第一移動(dòng)計(jì)算設(shè)備和第二移動(dòng)計(jì)算設(shè)備的每個(gè)用戶應(yīng)當(dāng)向哪個(gè)方向前進(jìn)來(lái)見面。因此，場(chǎng)景分析、面部識(shí)別和后續(xù)音頻信號(hào)的組合用于檢測(cè)和確定一個(gè)或多個(gè)移動(dòng)計(jì)算設(shè)備的空間精確位置。
[0102]智能數(shù)據(jù)操作層(IDOL)服務(wù)器
[0103]圖7圖示根據(jù)一些實(shí)施例的IDOL服務(wù)器的一些模塊的示例框圖。IDOL服務(wù)器700可以包括自動(dòng)超鏈接模塊705、自動(dòng)類別模塊710、自動(dòng)查詢指引模塊715、自動(dòng)分類生成模塊720、配置文件模塊725、自動(dòng)聚類模塊730和概念檢索模塊735。自動(dòng)超鏈接模塊705被配置允許相關(guān)的多條信息之間人工的和全自動(dòng)的鏈接。超鏈接在查看文件時(shí)實(shí)時(shí)生成。自動(dòng)類別模塊710被配置為允許通過(guò)在未結(jié)構(gòu)化的文本中發(fā)現(xiàn)的概念獲取精確的類別，確保所有數(shù)據(jù)被分組在正確的上下文中。
[0104]自動(dòng)查詢指引模塊715被配置為提供查詢建議來(lái)發(fā)現(xiàn)最相關(guān)的信息。其通過(guò)將結(jié)果動(dòng)態(tài)聚類到它們最相關(guān)的分組中辨別詞的不同含義。自動(dòng)分類生成模塊720被配置為自動(dòng)生成分類并且立即將數(shù)據(jù)組織到熟悉的子/父分類結(jié)構(gòu)中。其基于對(duì)具有作為整體的數(shù)據(jù)集的概念的理解辨別名稱并創(chuàng)建每個(gè)節(jié)點(diǎn)。配置文件模塊725被配置為基于個(gè)人的瀏覽、內(nèi)容消費(fèi)和內(nèi)容貢獻(xiàn)來(lái)準(zhǔn)確理解個(gè)人的關(guān)注。它基于明確的配置文件和隱含的配置文件來(lái)生成每個(gè)用戶的多層面的概念配置文件。
[0105]自動(dòng)聚類模塊730被配置為幫助分析多組文檔和用戶配置文件并且自動(dòng)辨別內(nèi)在的主題或信息聚類。它甚至聚類在郵件、電話交談和即時(shí)消息中交換的未結(jié)構(gòu)化的內(nèi)容。概念檢索模塊735被配置為使用對(duì)概念進(jìn)行識(shí)別的可擴(kuò)展技術(shù)識(shí)別的圖案和基于可能不在文檔中的詞語(yǔ)來(lái)查找信息。應(yīng)當(dāng)注意，IDOL服務(wù)器700還可以包括能夠使其能與移動(dòng)計(jì)算設(shè)備100—起工作來(lái)生成本文描述的增強(qiáng)的視頻流的其它模塊和特征。如上文描述的，IDOL服務(wù)器700的模塊中的一個(gè)或多個(gè)模塊可以用于實(shí)現(xiàn)對(duì)象識(shí)別引擎310、面部識(shí)別引擎320、增強(qiáng)引擎325和用戶配置文件引擎328的功能。
[0106]計(jì)算機(jī)系統(tǒng)
[0107]圖8圖示根據(jù)一些實(shí)施例的可以用于實(shí)現(xiàn)增強(qiáng)的視頻流的示例計(jì)算機(jī)系統(tǒng)。計(jì)算環(huán)境802僅是適合的計(jì)算環(huán)境的一個(gè)示例，而并不旨在表示對(duì)本發(fā)明實(shí)施例的使用或功能的范圍的任何限制。計(jì)算環(huán)境802也不應(yīng)被解釋為具有與圖8所示的組件中的任一個(gè)組件或任何組合相關(guān)的任何依賴或需求。
[0108]本發(fā)明的實(shí)施例可以用通用的或?qū)Ｓ玫挠?jì)算機(jī)系統(tǒng)或配置來(lái)操作?？梢允褂玫谋娝苤挠?jì)算機(jī)系統(tǒng)的示例包括但不限于:個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、手持設(shè)備或筆記本電腦設(shè)備、平板電腦、智能電話、上網(wǎng)本、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、機(jī)頂盒、可編程消費(fèi)電子設(shè)備、網(wǎng)絡(luò)PC、微型計(jì)算機(jī)、大型計(jì)算機(jī)、包括以上系統(tǒng)或設(shè)備中任一種的分布式計(jì)算環(huán)境等等。
[0109]本發(fā)明的實(shí)施例可以在由計(jì)算機(jī)系統(tǒng)運(yùn)行的計(jì)算機(jī)可運(yùn)行指令(例如程序模塊)的通常背景下描述。通常，程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、數(shù)據(jù)庫(kù)、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)等。本領(lǐng)域技術(shù)人員能夠?qū)⒈疚闹械拿枋龊?或附圖實(shí)現(xiàn)為計(jì)算機(jī)可運(yùn)行指令，計(jì)算機(jī)可運(yùn)行指令能夠體現(xiàn)在下面介紹的任何形式的計(jì)算機(jī)可讀介質(zhì)上。
[0110]本發(fā)明的實(shí)施例還可以在分布式計(jì)算環(huán)境中實(shí)施，在分布式計(jì)算環(huán)境中由通過(guò)通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理設(shè)備執(zhí)行任務(wù)。在分布式計(jì)算環(huán)境中，程序模塊可以位于包括存儲(chǔ)器存儲(chǔ)設(shè)備的本地計(jì)算機(jī)存儲(chǔ)介質(zhì)和遠(yuǎn)程計(jì)算機(jī)存儲(chǔ)介質(zhì)中。
[0111]參考圖8，計(jì)算環(huán)境802包括通用計(jì)算機(jī)系統(tǒng)810。計(jì)算機(jī)系統(tǒng)810的組件可以包括但不限于:具有一個(gè)或多個(gè)處理核心的處理單元820、系統(tǒng)存儲(chǔ)器830和系統(tǒng)總線821，系統(tǒng)總線821將包括系統(tǒng)存儲(chǔ)器在內(nèi)的各個(gè)系統(tǒng)組件聯(lián)接至處理單元820。系統(tǒng)總線821可以是使用多種總線體系結(jié)構(gòu)中任一種的包括存儲(chǔ)器總線或存儲(chǔ)器控制器、外圍總線及本地總線在內(nèi)的數(shù)種總線結(jié)構(gòu)中的任一種總線結(jié)構(gòu)。作為示例而不作為限制，這樣的體系結(jié)構(gòu)包括:工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(ISA)總線、微通道體系結(jié)構(gòu)(MCA)總線、增強(qiáng)型ISA (EISA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(huì)(VESA)場(chǎng)所總線以及外設(shè)組件互連(PCI)總線(也被稱為夾層(Mezzanine)總線)。
[0112]計(jì)算機(jī)系統(tǒng)810典型地包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)能夠是計(jì)算機(jī)系統(tǒng)810能夠訪問(wèn)的且包括易失性介質(zhì)和非易失性介質(zhì)、可移除介質(zhì)和不可移動(dòng)介質(zhì)的任何可用介質(zhì)。作為示例而不作為限制，計(jì)算機(jī)可讀介質(zhì)的用途包括諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)之類的信息的存儲(chǔ)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于:RAM、ROM、EEPROM、閃存或其它存儲(chǔ)器技術(shù)、⑶-ROM、數(shù)字多功能盤(DVD)或其它光盤存儲(chǔ)器、磁帶盒、磁帶、磁盤存儲(chǔ)或其它磁性存儲(chǔ)設(shè)備、或者能夠用于存儲(chǔ)所需要的信息并能夠被計(jì)算機(jī)系統(tǒng)810訪問(wèn)的任何其它介質(zhì)。通信介質(zhì)典型地包含計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它傳輸機(jī)制，并且包括任何信息傳遞介質(zhì)。
[0113]系統(tǒng)存儲(chǔ)器830包括呈易失性和/或非易失性存儲(chǔ)器形式的計(jì)算機(jī)存儲(chǔ)介質(zhì)，例如只讀存儲(chǔ)器(ROM) 831和隨機(jī)存取存儲(chǔ)器(RAM) 832。在R0M831中典型地存儲(chǔ)基本輸入/輸出系統(tǒng)833 (BIOS)，基本輸入/輸出系統(tǒng)833 (BIOS)包含幫助在計(jì)算機(jī)系統(tǒng)810內(nèi)的元件之間例如在啟動(dòng)期間傳遞信息的基本例程。RAM832典型地包含可由處理單元820立即訪問(wèn)的和/或當(dāng)前由處理單元820操作的數(shù)據(jù)和/或程序模塊。作為示例而不作為限制，圖8圖示操作系統(tǒng)834、應(yīng)用程序835、其它程序模塊836以及程序數(shù)據(jù)837。
[0114]計(jì)算機(jī)系統(tǒng)810還可以包括其它可移除的/不可移除的易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)。僅作為示例，圖8圖示硬盤驅(qū)動(dòng)器841、磁盤驅(qū)動(dòng)器851和光盤驅(qū)動(dòng)器855，硬盤驅(qū)動(dòng)器841從不可移除的非易失性磁性介質(zhì)讀取或向不可移除的非易失性磁性介質(zhì)寫入，磁盤驅(qū)動(dòng)器851從可移除的非易失性磁盤852讀取或向可移除的非易失性磁盤852寫入，光盤驅(qū)動(dòng)器855從可移除的非易失性光盤856 (例如CD ROM)或其它光學(xué)介質(zhì)讀取或向可移除的非易失性光盤856或其它光學(xué)介質(zhì)寫入。能夠在示例性操作環(huán)境中使用的其它可移除/不可移除的易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于=USB驅(qū)動(dòng)器和設(shè)備、盒式磁帶、閃存卡、數(shù)字多功能盤、數(shù)字視頻磁帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅(qū)動(dòng)器841典型地通過(guò)不可移除的存儲(chǔ)器接口(例如接口 840)連接至系統(tǒng)總線821，并且磁盤驅(qū)動(dòng)器851和光盤驅(qū)動(dòng)器855典型地通過(guò)可移除的存儲(chǔ)器接口(例如接口 850)連接至系統(tǒng)總線821。
[0115]上面討論的和圖8所示的驅(qū)動(dòng)器及其關(guān)聯(lián)的計(jì)算機(jī)存儲(chǔ)介質(zhì)，為計(jì)算機(jī)系統(tǒng)810提供計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)的存儲(chǔ)。在圖8中，例如，硬盤驅(qū)動(dòng)器841被圖示為存儲(chǔ)操作系統(tǒng)844、應(yīng)用程序845、其它程序模塊846和程序數(shù)據(jù)847。注意，這些組件可以與操作系統(tǒng)834、應(yīng)用程序835、其它程序模塊836和程序數(shù)據(jù)837相同或不同。這里，操作系統(tǒng)844、應(yīng)用程序845、其它程序模塊846和程序數(shù)據(jù)847被給予不同的數(shù)字標(biāo)識(shí)，以說(shuō)明至少它們是不同的副本。
[0116]參與者可以通過(guò)諸如鍵盤862、麥克風(fēng)863和指點(diǎn)設(shè)備861 (例如鼠標(biāo)、跟蹤球或觸摸板)之類的輸入設(shè)備將命令和信息輸入計(jì)算機(jī)系統(tǒng)810。其它輸入設(shè)備(未示出)可以包括操縱桿、游戲墊、掃描儀等。這些和其它輸入設(shè)備經(jīng)常通過(guò)與系統(tǒng)總線821聯(lián)接的用戶輸入接口 860與處理單元820連接，但是可以通過(guò)諸如并行端口、游戲端口或通用串行總線(USB)之類的其它接口和總線結(jié)構(gòu)連接。監(jiān)視器891或其它類型的顯示設(shè)備也通過(guò)接口(例如視頻接口 890)連接至系統(tǒng)總線121。除監(jiān)視器以外，計(jì)算機(jī)還可以包括諸如揚(yáng)聲器897和打印機(jī)896之類的其它外圍輸出設(shè)備，其它外圍輸出設(shè)備可以通過(guò)輸出外圍接口 890連接。
[0117]計(jì)算機(jī)系統(tǒng)810可以在使用與一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)(例如遠(yuǎn)程計(jì)算機(jī)880)的邏輯連接的聯(lián)網(wǎng)環(huán)境中操作。遠(yuǎn)程計(jì)算機(jī)880可以是個(gè)人計(jì)算機(jī)、手持設(shè)備、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對(duì)等設(shè)備或其它公共網(wǎng)絡(luò)節(jié)點(diǎn)，并且典型地包括上面關(guān)于計(jì)算機(jī)系統(tǒng)810描述的元件中的許多元件或全部元件。圖8所示的邏輯連接包括局域網(wǎng)(LAN)871和廣域網(wǎng)(WAN)873，但還可以包括其它網(wǎng)絡(luò)。這樣的聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和互聯(lián)網(wǎng)中是常見的。
[0118]當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)系統(tǒng)810通過(guò)網(wǎng)絡(luò)接口或適配器870連接至LAN871。當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)系統(tǒng)810典型地包括調(diào)制解調(diào)器872或用于通過(guò)WAN873 (例如互聯(lián)網(wǎng))建立通信的其它裝置。調(diào)制解調(diào)器872可以是內(nèi)部的或外部的，其可以經(jīng)由用戶輸入接口 860或其它適當(dāng)機(jī)制連接至系統(tǒng)總線821。在聯(lián)網(wǎng)環(huán)境中，關(guān)于計(jì)算機(jī)系統(tǒng)810或其部分描述的程序模塊可以存儲(chǔ)在遠(yuǎn)程存儲(chǔ)器存儲(chǔ)設(shè)備中。作為示例而不作為限制，圖8將遠(yuǎn)程應(yīng)用程序885圖示為駐留在遠(yuǎn)程計(jì)算機(jī)880上。將理解，所示出的網(wǎng)絡(luò)連接是示例性的，可以使用在計(jì)算機(jī)之間建立通信鏈路的其它裝置。
[0119]應(yīng)當(dāng)注意，本發(fā)明的一些實(shí)施例可以在如關(guān)于圖8描述的計(jì)算機(jī)系統(tǒng)那樣的計(jì)算機(jī)系統(tǒng)上實(shí)施。然而，本發(fā)明的一些實(shí)施例可以在服務(wù)器上、在專用于消息處理的計(jì)算機(jī)上、在手持設(shè)備上或在分布式系統(tǒng)上實(shí)施，在分布式系統(tǒng)中本設(shè)計(jì)的不同部分可以在分布式系統(tǒng)的不同部分上實(shí)施。
[0120]可以與系統(tǒng)總線821聯(lián)接的另一設(shè)備是電源，例如電池或直流(DC)電源和交流(AC)適配器電路。DC電源可以是電池、燃料電池或類似的需要周期性地再充電的DC電源。通信模塊(或調(diào)制解調(diào)器)872可以采用無(wú)線應(yīng)用協(xié)議(WAP)來(lái)建立無(wú)線通信信道。通信模塊872可以實(shí)現(xiàn)無(wú)線聯(lián)網(wǎng)標(biāo)準(zhǔn)，例如電氣和電子工程師協(xié)會(huì)(IEEE)802.11標(biāo)準(zhǔn)、IEEE標(biāo)準(zhǔn)802.11-1999 (IEEE 于 1999 年公布)。
[0121]移動(dòng)計(jì)算設(shè)備的示例可以是筆記本計(jì)算機(jī)、平板電腦、上網(wǎng)本、移動(dòng)電話、個(gè)人數(shù)字助理或具有板載處理能力和無(wú)線通信能力的由直流(DC)電源(例如燃料電池或電池)供電的其它類似設(shè)備，該DC電源向移動(dòng)計(jì)算設(shè)備供應(yīng)DC電壓并且僅在移動(dòng)計(jì)算設(shè)備中并且需要周期性地再充電。
[0122]雖然參考附圖對(duì)本發(fā)明的實(shí)施例充分地進(jìn)行描述，但是要注意，各種變化和修改將對(duì)本領(lǐng)域技術(shù)人員變得明顯。這樣的變化和修改應(yīng)當(dāng)被理解為包括在由所附權(quán)利要求限定的本發(fā)明的實(shí)施例的范圍內(nèi)。例如，為形狀和材料提供特定示例，然而實(shí)施例包括那些對(duì)本領(lǐng)域技術(shù)人員顯而易見的變化，例如改變形狀或?qū)⒉牧辖M合在一起。此外，雖然已經(jīng)示出本發(fā)明的一些特定實(shí)施例，但是本發(fā)明不應(yīng)局限于這些實(shí)施例。例如，已經(jīng)示出幾個(gè)特定模塊。每個(gè)模塊執(zhí)行一些特定功能。然而，所有這些功能可以被組合至一個(gè)模塊中或者甚至可以進(jìn)一步被分解成很多模塊。由電子硬件組件執(zhí)行的大多數(shù)功能可以由軟件模擬來(lái)復(fù)制，反之亦然。本發(fā)明應(yīng)被理解為不由本文描述的特定實(shí)施例限制，而是僅由所附權(quán)利要求的范圍限制。
【權(quán)利要求】
1.一種客戶機(jī)移動(dòng)計(jì)算系統(tǒng)，包括: 處理器，存儲(chǔ)器，對(duì)移動(dòng)計(jì)算設(shè)備供電的內(nèi)置電池，用于所述移動(dòng)計(jì)算設(shè)備的內(nèi)置攝像頭及顯示屏，以及以無(wú)線方式與連接至網(wǎng)絡(luò)的服務(wù)器計(jì)算機(jī)通信的內(nèi)置W1-Fi電路； 視頻拍攝模塊，與所述處理器聯(lián)接且被配置為拍攝視頻流； 全球定位系統(tǒng)(GPS)模塊，與所述視頻拍攝模塊聯(lián)接且被配置為生成與由所述視頻拍攝模塊拍攝的視頻流的幀關(guān)聯(lián)的地理信息； 視頻處理模塊，與所述視頻拍攝模塊聯(lián)接，且被配置為分析所述視頻流的所述幀并提取在所述幀中包括的關(guān)注點(diǎn)的特征，所述視頻處理模塊進(jìn)一步被配置為致使將所述關(guān)注點(diǎn)的所述特征和所述地理信息傳輸至所述服務(wù)器計(jì)算機(jī)并且從所述服務(wù)器計(jì)算機(jī)接收增強(qiáng)信息，其中所述視頻處理模塊被配置為用所述增強(qiáng)信息對(duì)所述視頻流的所述幀中的所述關(guān)注點(diǎn)進(jìn)行置加、進(jìn)行聞売或者進(jìn)行置加和聞売，以生成增強(qiáng)的視頻流；以及 顯示模塊，與所述視頻處理模塊聯(lián)接且被配置為顯示所述增強(qiáng)的視頻流。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述關(guān)注點(diǎn)的所述特征包括與所述關(guān)注點(diǎn)關(guān)聯(lián)的幾何形狀以及與所述幾何形狀中每個(gè)幾何形狀關(guān)聯(lián)的顏色，并且其中所述幾何形狀中每個(gè)幾何形狀與X-Y坐標(biāo)的圖案關(guān)聯(lián)。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，進(jìn)一步包括方向傳感器，所述方向傳感器與所述攝像頭聯(lián)接且被配置為感應(yīng)所述攝像頭的方向信息，其中所述視頻處理模塊進(jìn)一步被配置為致使將所述攝像頭的所述方向信息傳輸至所述服務(wù)器計(jì)算機(jī)，其中所述關(guān)注點(diǎn)的所述特征作為文本傳輸。
4.根據(jù)權(quán)利要求3所述 的系統(tǒng)，其中所述視頻處理模塊進(jìn)一步被配置為:在致使將所述關(guān)注點(diǎn)的所述特征、所述地理信息以及所述攝像頭的所述方向信息傳輸至所述服務(wù)器計(jì)算機(jī)以前，執(zhí)行壓縮操作。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中所述壓縮操作使用DivX壓縮技術(shù)。
6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中所述視頻處理模塊進(jìn)一步被配置為:基于所述服務(wù)器計(jì)算機(jī)的地點(diǎn)和工作負(fù)荷，在多個(gè)服務(wù)器計(jì)算機(jī)之間選擇所述服務(wù)器計(jì)算機(jī)。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中所述增強(qiáng)信息包括音頻信息、文本信息以及視頻信息中至少之一。
8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中所述關(guān)注點(diǎn)的所述特征與在所述視頻流的所述幀中包括的人或?qū)ο箨P(guān)聯(lián)。
9.根據(jù)權(quán)利要求1所述的系統(tǒng)，進(jìn)一步包括音頻處理模塊，所述音頻處理模塊與所述視頻處理模塊聯(lián)接且被配置為生成和檢測(cè)啁啾信號(hào)，并且其中所述啁啾信號(hào)用于基于與第二用戶的移動(dòng)計(jì)算設(shè)備關(guān)聯(lián)的啁啾信號(hào)生成朝所述第二用戶的位置引導(dǎo)第一用戶的方向增強(qiáng)信息。
10.一種用于生成增強(qiáng)的視頻流的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述方法包括: 辨別正被拍攝的視頻流的幀中包括的關(guān)注點(diǎn)的特性信息； 使用無(wú)線通信將與所述幀關(guān)聯(lián)的所述特性信息和地理信息傳輸至與網(wǎng)絡(luò)連接的服務(wù)器計(jì)算機(jī)； 從所述服務(wù)器計(jì)算機(jī)接收增強(qiáng)信息，所述增強(qiáng)信息與在所述視頻流的所述幀中包括的所述關(guān)注點(diǎn)相關(guān)；將所述增強(qiáng)信息疊加在所述視頻流的所述幀上，以生成增強(qiáng)的視頻流；以及 使所述增強(qiáng)的視頻流在顯示屏上是能看見的。
11.根據(jù)權(quán)利要求10所述的方法，其中所述特性信息作為文本傳輸。
12.根據(jù)權(quán)利要求10所述的方法，進(jìn)一步包括:在將所述特性信息傳輸至所述服務(wù)器計(jì)算機(jī)以前，使用DivX壓縮技術(shù)執(zhí)行壓縮。
13.根據(jù)權(quán)利要求10所述的方法，其中所述關(guān)注點(diǎn)的所述特性信息包括幾何形狀和關(guān)聯(lián)的顏色信息，并且其中所述幾何形狀中的每個(gè)幾何形狀與X-Y坐標(biāo)的圖案關(guān)聯(lián)。
14.根據(jù)權(quán)利要求10所述的方法，其中所述服務(wù)器計(jì)算機(jī)是從所述網(wǎng)絡(luò)中的一組服務(wù)器中選擇的，并且其中服務(wù)器選擇準(zhǔn)則包括服務(wù)器鄰近度和服務(wù)器工作負(fù)荷。
15.根據(jù)權(quán)利要求10所述的方法，進(jìn)一步包括將攝像頭方向信息傳輸至所述服務(wù)器計(jì)算機(jī)，其中所述攝像頭方向信息與用于拍攝所述視頻流的攝像頭關(guān)聯(lián)，并且其中將所述增強(qiáng)信息疊加在所述視頻流的所述幀上包括將所述增強(qiáng)信息的音頻部分輸出至揚(yáng)聲器。
16.根據(jù)權(quán)利要求10所述的方法，進(jìn)一步包括: 與另一移動(dòng)計(jì)算設(shè)備交換啁啾信號(hào)，以確定從當(dāng)前移動(dòng)計(jì)算設(shè)備的位置到另一移動(dòng)計(jì)算設(shè)備的距離； 從所述服務(wù)器計(jì)算機(jī)接收方向增強(qiáng)信息；以及 在所述當(dāng)前移動(dòng)計(jì)算設(shè)備的所述顯示屏上呈現(xiàn)所述方向增強(qiáng)信息，其中所述方向增強(qiáng)信息疊加正在所述顯示屏`上播放的視頻流。
17.一種存儲(chǔ)指令的計(jì)算機(jī)可讀介質(zhì)，所述指令在由機(jī)器運(yùn)行時(shí)致使所述機(jī)器執(zhí)行操作，所述操作包括: 檢測(cè)攝像頭正在拍攝的視頻流； 辨認(rèn)所述視頻流的幀的中心區(qū)域包括的對(duì)象的特征； 生成所述對(duì)象的所述特征的幾何形狀以及與所述幾何形狀中每個(gè)幾何形狀關(guān)聯(lián)的圖案； 致使使用無(wú)線通信將所述幾何形狀的所述圖案、每個(gè)幾何形狀的顏色、與所述幀關(guān)聯(lián)的地理信息以及攝像頭的方向信息傳輸至與網(wǎng)絡(luò)連接的服務(wù)器計(jì)算機(jī)； 從所述服務(wù)器計(jì)算機(jī)接收增強(qiáng)信息，所述增強(qiáng)信息與在所述視頻流的所述幀中包括的所述對(duì)象相關(guān)；以及 將所述增強(qiáng)信息疊加在所述視頻流的所述幀上。
18.根據(jù)權(quán)利要求17所述的計(jì)算機(jī)可讀介質(zhì)，其中所述服務(wù)器計(jì)算機(jī)是基于地點(diǎn)和工作負(fù)荷選擇的，并且其中一組鏡像服務(wù)器計(jì)算機(jī)協(xié)作來(lái)確定所述增強(qiáng)信息，并且其中疊加所述增強(qiáng)信息包括將所述增強(qiáng)信息的音頻部分發(fā)送至揚(yáng)聲器。
19.根據(jù)權(quán)利要求17所述的計(jì)算機(jī)可讀介質(zhì)，其中所述對(duì)象的所述特征與人關(guān)聯(lián)，并且其中從所述服務(wù)器計(jì)算機(jī)接收的所述增強(qiáng)信息包括關(guān)于所述人的信息。
20.根據(jù)權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，進(jìn)一步包括與另一移動(dòng)計(jì)算設(shè)備交換啁啾信號(hào)，以確定從當(dāng)前移動(dòng)設(shè)備到另一移動(dòng)設(shè)備的距離，并且其中基于所述啁啾信號(hào)的所述交換，所述增強(qiáng)信息包括方向增強(qiáng)信息。
【文檔編號(hào)】G09G5/00GK103635954SQ201280008162
【公開日】2014年3月12日 申請(qǐng)日期:2012年2月7日 優(yōu)先權(quán)日:2011年2月8日
【發(fā)明者】肖恩·馬克·布蘭什弗勞爾, 邁克爾·理查德·林奇 申請(qǐng)人:隆沙有限公司