一種管理和分析多媒體信息的系統(tǒng)和方法
【專利摘要】本發(fā)明提出了一種無人機數(shù)據(jù)處理和管理系統(tǒng)，其包括編碼廣播設備和數(shù)據(jù)管理器，該系統(tǒng)向終端用戶提供單獨的接口，用于從任何設備搜索和共享任何視頻或圖像資源，而不需要客戶端軟件。資源的數(shù)據(jù)輸入可包括無人機視頻、照片、交通攝像頭、固定監(jiān)視系統(tǒng)、iOS和安卓設備圖片，以及其它數(shù)據(jù)(如文本、電子郵件)，還包括來自所有形式的社交媒體比如Twitter、Instagram、Facebook等的輸入?；谠频墓芾砥饔袇f(xié)作和共享思想的功能，但同時還具有數(shù)據(jù)保密、安全性保護、監(jiān)管鏈控制和審計記錄維護。分析工具被相應地集成為“插件”或可用的應用程序資源庫，其很容易被刪除，添加，以及基于用戶需求、系統(tǒng)要求和成本限制進行自定義。
【專利說明】
_種管理和分析多媒體信息的系統(tǒng)和方法
技術領域
[0001]本發(fā)明涉及用于連接互聯(lián)網(wǎng)和移動網(wǎng)絡的無人機集成硬件和軟件系統(tǒng)。本發(fā)明包括無人機編碼流裝置、軟件系統(tǒng)和接口，終端用戶可通過該接口搜索來自各種孤立來源的視頻和照片饋送的地理信息，從而進行直接的數(shù)據(jù)訪問并且很容易地建立對諸如規(guī)則應用、時間軸構(gòu)建、監(jiān)管鏈和其它各種參數(shù)的分析。
【背景技術】
[0002]本發(fā)明來源于涉及了對用于電影制片廠的全運動視頻(FMV)和無人機(UAV)的資產(chǎn)管理項目。關于無人機的一些問題，與指揮鏈、監(jiān)管鏈和審計數(shù)據(jù)等問題有關。
[0003]源自無人機的動態(tài)數(shù)據(jù)流通常需要進行管理。目前對于來自無人機和其它類型遠程傳感器的商業(yè)視頻和圖像，缺乏面向消費者的融合和管理系統(tǒng)。前述傳感器的范圍可從最復雜的無人機視頻流到使用蘋果或安卓手機拍攝并發(fā)布在互聯(lián)網(wǎng)上的照片。其它傳感器的例子包括艦載傳感器、閉路電視、水下航行器、儀表盤攝像頭、可穿戴相機、建筑物或者家庭安全傳感器以及Twitter、Instagram、Facebook和智能手機的傳感器數(shù)據(jù)等等。
[0004]對于集成系統(tǒng)而言更進一步的需要是，使用低成本的硬件和軟件來實現(xiàn)此類管理功能的方法。
[0005]對構(gòu)成本發(fā)明的硬件設備的設計目標是接受各種類型的視頻格式，包括HDM1、SD1、模擬、數(shù)字、分量或復合信號，以便生成可供在網(wǎng)站上觀看的標準h.264或WebM饋送的信息。此外，本發(fā)明的硬件能夠存檔具有密鑰長度值(KLV)元數(shù)據(jù)的運動圖像標準配置文件(MISP)傳輸流。
[0006]此外，還需要提供一個有內(nèi)置GPS功能的系統(tǒng)，該系統(tǒng)具有附加的GPS定位元件，以使終端用戶可以通過其視頻文檔來搜索，并且例如，不僅可以看到傳感器在看何處，還可以看到平臺傳感器在何時何地被導航通過目標位置，以及傳感器從何處過來。另外，還需要提供一個有靈活存檔功能的系統(tǒng)，該系統(tǒng)使用標準的存儲設備，比如SD存儲卡。
[0007]因此，本發(fā)明提供了一種能夠提供數(shù)小時的視頻和其它數(shù)據(jù)傳感器存儲能力的存檔。例如，在移動4G或者LTE不可用的情況下，該系統(tǒng)將提供一個通過內(nèi)置的數(shù)據(jù)管理和分析工具將被存檔的數(shù)據(jù)上傳的一鍵上傳選項。該系統(tǒng)還包括內(nèi)置WiFi和以太網(wǎng)功能，用于加快本地共享和廣域網(wǎng)絡互聯(lián)。
[0008]本發(fā)明的硬件組件也可被加固，并且可以有蓄電能力以便于在遠離電源時進行遠程操作。
[0009]此外，形成本發(fā)明一部分的軟件系統(tǒng)被設計成用于部分地解決圖1中強調(diào)的問題。
[0010]圖1是一個犯罪現(xiàn)場的航拍圖，其中原來停在一棟建筑旁邊的拖車101被偷了。而警察不知道它是何時或如何被偷的。警察沒有任何數(shù)據(jù)的原因是，他們沒有得到相關的安全攝像頭信息。這些數(shù)據(jù)并未起到作用，相反陷入了如圖2所示的各種數(shù)據(jù)孤島中。
[0011 ]特別地，在圖2中，拖車目標可視區(qū)域1I有至少十個潛在的攝像頭的饋送源401 -410，所有這些饋送源本應在警方報告進入系統(tǒng)時已經(jīng)被整合，并在警官的“手頭”上作為調(diào)查資源隨時可用于協(xié)助追捕拖車竊賊。
[0012]解鎖孤立信息資源的一種方法是給終端用戶提供一個集成接口，這與以方便的方式收集互聯(lián)網(wǎng)數(shù)據(jù)有很大的相同之處。這樣的結(jié)果是，輸入信息或者無人機視頻之類的內(nèi)容能以用戶友好的方式被查看、分析和存儲。
[0013]本發(fā)明上述的以及其它的目標、特征和優(yōu)勢，將在對后序的如附圖所示的示例性實施方式的具體描述中體現(xiàn)得更加明顯，其中相同的參考序號通常代表本發(fā)明中相同的部分或者相同的示例性實施方式。
【附圖說明】
[0014]圖1是顯示被盜車輛位置的航拍圖；
[0015]圖2是顯示被盜車輛附近孤立的攝像機位置的航拍圖；
[0016]圖3是本發(fā)明原理的流程框圖；
[0017]圖4是編碼廣播設備330的電路圖；
[0018]圖5是連同管理器350—起使用的知情決策環(huán)(informed decis1n loop)的流程圖；
[0019]圖6是在本發(fā)明中使用的使用設置功能(usesetting funct1n)的相機區(qū)域的一個示例；
[0020]圖7是包括管理器350的單元的流程框圖；
[0021]圖8顯示了如與無人機系統(tǒng)(UAS)地面站320相關地部署的本發(fā)明提供的改進；
[0022]圖9顯示了倫敦恐怖襲擊爆炸的地圖定位；
[0023]圖10是由執(zhí)行了管理器350功能的集成服務器產(chǎn)生的圖形用戶界面的互聯(lián)網(wǎng)頁面的屏幕截圖(以下簡稱“屏幕截圖”);
[0024]圖11是一個顯示來自事件墻(eventwall)的數(shù)據(jù)類型的圖形用戶界面的屏幕截圖；
[0025]圖12是圖形用戶界面提醒設置功能的屏幕截圖；
[0026]圖13是管理器350的地圖成像特征的屏幕截圖；
[0027]圖14是另一個任務的消息發(fā)布的圖形用戶界面屏幕截圖；
[0028]圖15是一個顯示搜索結(jié)果的擴展地圖的圖形用戶界面屏幕截圖；
[0029]圖16是一個通過用戶描述的、在圖15的地圖上的指定區(qū)域的圖形用戶界面屏幕截圖；
[0030]圖17是另一個街區(qū)地圖搜索的圖形用戶界面屏幕截圖；
[0031]圖18是一個目標偵查請求(TOR)任務的圖形用戶界面屏幕截圖；
[0032]圖19是更加詳細地描繪了TOR特征的圖形用戶界面屏幕截圖；
[0033]圖20是描繪管理器350的視頻播放功能的圖形用戶界面屏幕截圖；
[0034]圖21是傳感器標簽的詳細操作的圖形用戶界面屏幕截圖；
[0035]圖22是地圖標簽功能的圖形用戶界面屏幕截圖；
[0036]圖23是顯示地圖標簽功能進一步操作的圖形用戶界面屏幕截圖；
[0037]圖24是提醒/聊天標簽功能的圖形用戶界面屏幕截圖；
[0038]圖25是視頻播放器播放目錄標簽功能的圖形用戶界面屏幕截圖；
[0039]圖26是管理器時間軸功能的圖形用戶界面屏幕截圖；
[0040]圖27是所構(gòu)建的時間軸圖像的圖形用戶界面屏幕截圖；
[0041]圖28是來自位于時間順序圖上的證據(jù)鎖定區(qū)的圖形用戶界面屏幕截圖；
[0042]圖29是以一次系列爆炸為例的時間軸功能的圖形用戶界面屏幕截圖；
[0043]圖30是更詳細的時間軸功能的圖形用戶界面屏幕截圖。
【具體實施方式】
[0044]圖3是本發(fā)明的系統(tǒng)300的單元的流程框圖。如圖所示，系統(tǒng)300接收各種輸入312，其中包括來自無人機310的輸入。傳感器數(shù)據(jù)312包括標準和/或非標準格式的遙感數(shù)據(jù)以及模擬或者數(shù)字的視頻。除了無人機，輸入312還可以包括社交媒體饋送、移動設備數(shù)據(jù)、圖像或其它傳感器數(shù)據(jù)。無人機系統(tǒng)(UAS)地面站320接收無人機載荷312，并反過來把視頻和傳感器數(shù)據(jù)320輸出到具有存儲能力的視頻編碼廣播設備330。關于該編碼廣播設備330的設計和功能的更多細節(jié)如圖4所示。在工作時，編碼器/廣播設備以同步或異步的傳感器數(shù)據(jù)/遙感數(shù)據(jù)和視頻322的形式，接收來自無人機系統(tǒng)地面站320的視頻饋送322。然后單元330對模擬視頻信號進行編碼，和/或?qū)?shù)字視頻信號轉(zhuǎn)碼為與運動圖像標準配置文件(MISP)兼容的數(shù)據(jù)流。與MISP兼容的數(shù)據(jù)流還通過編碼器被嵌入KLV元數(shù)據(jù)。
[0045]編碼廣播設備330執(zhí)行三個同時的操作。首先，其把經(jīng)過編碼的直播視頻根據(jù)分析通過WiFi或以太網(wǎng)連接338傳輸?shù)奖镜財?shù)據(jù)緩存340。本地緩存340可依用戶選擇，根據(jù)關聯(lián)分析342按順序存儲經(jīng)過編碼的直播數(shù)據(jù)。
[0046]第二步，本地緩存340向瀏覽器346和/或一個或多個移動設備348提供數(shù)據(jù)訪問、分析或其它使用。編碼器/廣播設備330通過蜂窩數(shù)據(jù)鏈路332向云或其它設備350傳輸直播視頻。在優(yōu)選實施例中，蜂窩數(shù)據(jù)鏈路將被加密。
[0047]第三步，編碼器/廣播設備330通過鏈路325把更高質(zhì)量版本的視頻/數(shù)據(jù)饋送流入或?qū)懭雰?nèi)部存儲設備，目的是提高通過云存儲的上傳質(zhì)量，例如長期存儲存檔352。存檔數(shù)據(jù)也可以向本地緩存342或原始內(nèi)容傳輸網(wǎng)絡(CDN)354和/或遠程⑶N 360的內(nèi)存提供數(shù)據(jù)。
[0048]被編碼廣播的直播饋送332或存檔的編碼內(nèi)容334可供在原始⑶N354或者任何其它本地或遠程⑶N 340或者360上的任何視頻處理應用或工具使用。在優(yōu)選實施例中，視頻數(shù)據(jù)被提供給視頻和傳感器數(shù)據(jù)管理器350，其中傳感器數(shù)據(jù)管理器350在位于云355的原始⑶N 354的集成服務器上操作，其包括分析功能，以及通過一個基于網(wǎng)頁的接口的一鍵上傳的操作功能。
[0049]最后，現(xiàn)有線路傳輸或互聯(lián)網(wǎng)絡可以與基于云的管理器350交互，執(zhí)行本地操作；例如，可以通過一個遠程操作中心360實現(xiàn)操作。數(shù)據(jù)可以被存儲362，或通過瀏覽器傳遞給適當?shù)墓ぷ髡净蚍掌?64，或被傳遞給一個或多個移動單元366。
[0050]圖4是一個編碼器/廣播設備330的電路布局圖。主信號處理器DSP420連接到輸入信道，以便經(jīng)由視頻多路復用器芯片432接收HDMI數(shù)據(jù)430、432，經(jīng)由模塊480接收GPS和蜂窩數(shù)據(jù)470，以及通過WiFi模塊490接收WiFi輸入信號。SDI和HDMI音頻通過立體音頻編解碼器462和音頻多路復用器芯片460進行處理。音頻輸入流主要用于監(jiān)聽無人機發(fā)動機噪聲，但其可以用于其它應用(例如船馬達噪聲，水下航行器螺旋槳噪聲；以及來自移動設備的用戶聊天)C3DSP處理器420通過成對的總線427和429分別與DDR-RAM芯片426和428相連接。此外，DSP由現(xiàn)場可編程門陣列(FPGA)440控制，F(xiàn)PGA 440執(zhí)行動態(tài)編碼/解碼、數(shù)據(jù)存檔和信號分包和封裝等邏輯功能。
[0051 ] 視頻編碼特性包括單通道HD和SD編碼。對于HD，編碼器處理HD-SDI，HDMI和VGA格式以及HDMI直通。SD輸入包括復合模擬(NTSC/PAL)和SD-SDI。編碼器產(chǎn)生一個傳輸流(美國國家地理空間情報局(NGA)認可的MISP格式)和一個基本碼流(H.264)。直播的基本碼流，其經(jīng)由加密的蜂窩數(shù)據(jù)連接332，被接近實時地傳輸?shù)交ヂ?lián)網(wǎng)云355(圖3)。編碼器350還通過WiFi或以太網(wǎng)338(圖3)，接近實時地把直播基本碼流傳輸給本地用戶。在324(圖3)，編碼器把使用256位AES加密的高質(zhì)量(全分辨率的元數(shù)據(jù))傳輸流以NGA認可的MISP格式存檔，并且是存檔到SD卡422(與轉(zhuǎn)換器424—起)JD卡是可移動的，因此存檔內(nèi)容能夠隨后再向視頻傳感器管理器350或者向所希望的其它地方發(fā)布。
[0052]因此，編碼器/廣播設備330避免了現(xiàn)有系統(tǒng)的很多弊端。
[0053]如圖8右側(cè)所示，應急車輛810不需要停在附近，因為編碼器/廣播設備330不需要發(fā)電機820供電(圖8左側(cè)所示指明了沒有編碼器330的系統(tǒng))。同樣也不需要部署一個配備有典型無人機組件的設備車830，如配備遙控潛水器(ROV)、地面機器人、地面站、網(wǎng)絡交換機、無線接入點和高清電視(HDTV)等，所有這些都必須連接電源820。編碼器/廣播設備330解決的另一個缺陷是提供連接，因為通常沒有辦法把視頻從地面站320傳輸?shù)揭恍┬枰玫降牡胤?，例如卡?10、設備車830或者云355(不連通以虛線840代表)。
[0054]相比之下，如圖8右側(cè)所示，編碼器/廣播設備330通過互聯(lián)網(wǎng)云355為所有經(jīng)過身份驗證的用戶842、844提供直播視頻訪問，不管用戶在什么位置。這樣，遠程計算機用戶844可以通過云355訪問視頻。手機用戶842可以從云或者從WiFi 338或366直接訪問視頻，只要其距離近得足以位于WiFi熱點區(qū)域內(nèi)即可。而且，用戶可以訪問活動視頻和直播視頻。
[0055]現(xiàn)在將根據(jù)圖5詳細描述管理器350的一些操作。
[0056]管理器350向用戶，如應急響應人員，提供支持知情決策環(huán)50的協(xié)作工具、報告和工作流程。這些用戶通常在事件開始52后登錄，經(jīng)過登錄步驟54，用戶身份驗證56，并且依照系統(tǒng)級別權限和策略60獲得用戶數(shù)據(jù)訪問授權58。這些步驟能夠使用對于具有一般技能的人而言可用的操作流程和工具來完成。
[0057]然后，經(jīng)過授權的用戶被詢問關于任務類型62的問題，如果他們的回答是“否”，則他們要選擇任務64。隨后用戶進入決策環(huán)50。
[0058]應急響應是一種協(xié)作性和交互性的活動。新信息不斷進入。個人和團隊不斷地分析信息并與他人共享分析結(jié)果。接收新信息和分析結(jié)果的人對其做出響應，這些響應又可能觸發(fā)新的信息和其它的響應。在這種連續(xù)不斷的循環(huán)中的每時每刻，團隊和個人使用管理器350保持知情并且溝通新的信息。這發(fā)生在知情決策環(huán)50內(nèi)部。該決策環(huán)包括搜索內(nèi)容(asset)/發(fā)布的信息72，發(fā)布提醒或提醒內(nèi)容74，創(chuàng)建一個供他人瀏覽的信息發(fā)布76，評論別人發(fā)布的信息78，以及上傳內(nèi)容80。個人也可以瀏覽被發(fā)布的信息/內(nèi)容84，標記感興趣的項目86，瀏覽感興趣的項目88以及通過圖形用戶界面(GUI)聊天90。個人根據(jù)一些選項決定下一步行動。通過這一行動使得他們或其它人得知更多情況，并促使其做出額外的決策和額外的行動。
[0059]圖6顯示了確定攝像機視野120的方法，該方法構(gòu)成了基于位置搜索固定攝像機的基礎。
[0060]在通過管理器350控制的攝像機登記過程中，攝像機和在攝像機視野120中的一定數(shù)量的固定物體的GPS坐標將被采集。如圖6所示，多個對象121-128被登記到攝像機視野120中。采集到的坐標121-128被饋送至一算法，該算法在每個攝像機相應的視野120中創(chuàng)建了一個可計算的GPS坐標“網(wǎng)格”。系統(tǒng)將擁有所有經(jīng)過登記的攝像機所能看到的數(shù)據(jù)，而固定攝像機/閉路電視系統(tǒng)知道時間，在將兩者結(jié)合后，用戶可以根據(jù)時間和地點搜索數(shù)據(jù)，而系統(tǒng)將只搜索相關的攝像機記錄。
[0061]圖7是示出了管理器350的單元的流程框圖。每個單元可包括獨立的功能單元(如專用處理器)，或安裝在作為互聯(lián)網(wǎng)上的原始內(nèi)容傳輸網(wǎng)絡CDN—部分的集成服務器354上的軟件模塊。如圖3所示，集成服務器可以作為公共的或私有的云網(wǎng)絡355的一部分，本地和遠程用戶都可以像在傳統(tǒng)場景中所知的那樣去訪問它。下面進一步描述管理器350的其它操作。
[0062]終端用戶接入他們的遠程移動設備366，就發(fā)生在他們附近的事件710進行通信。在這個情況下，本區(qū)域內(nèi)的應急響應人員捕獲了火災710的照片，則該應急響應人員把文本、圖像或視頻通過互聯(lián)網(wǎng)或他們的手機網(wǎng)絡380提交給管理器350。提交的消息以安全的SSL加密的JSON格式，作為從應急響應人員的移動客戶端366到應用程序編程接口API 720的呼叫，被管理器350接收。然后，接收到的輸入要通過管理器的所有適用策略的驗證。在本實施例中，這些策略包括身份驗證732和授權734。身份驗證和授權可使用通用的用戶模型或用戶配置文件736。用戶模型檢索來自存儲器352的數(shù)據(jù)以便加載用戶屬性，身份驗證732和授權734策略可使用這些用戶屬性來允許或拒絕訪問和行為。這些策略可以反映一些準貝1J，例如醫(yī)院設備的健康保險流通與責任法案(HIPAA)的要求，警務安全，軍事安全和公司安全，消防部門或其它應急響應部門的準則，等等。
[0063]到達這一點的所有操作和所有后續(xù)操作，被建模為日志738的實例，并被保存到存儲器352。在通過所有策略730的驗證后，管理器360開始把接收應急響應人員所提交事件的操作交給控制器740。具體地，控制器740通過各種模式加載和保存信息。在這種情況下，應急響應人員發(fā)布消息的行為已經(jīng)自動創(chuàng)建了消息發(fā)布742、事件744、視頻746、位置750和內(nèi)容748，以及眾多的日志738實例。這些模型實例中的一些與應急響應人員的用戶736實例，以及用戶當前所在團隊752、任務754和位置756相關的實例相關聯(lián)。所有這些都作為新的文檔或文件或文件夾被保存到存儲器352，每個模型存一個文檔。每個模型實例中還保存了關聯(lián)，其中包括關聯(lián)的雙方。此外，控制器740產(chǎn)生消息381，并發(fā)送給所有訂閱了任一模型實例的客戶端。這些操作通過使用TCP/IP套接字的加密通信經(jīng)過互聯(lián)網(wǎng)380進行，或在本地338進行。
[0064]舉例來說，客戶端收到一個或多個模型變動的通知后，將更新他們的用戶經(jīng)驗設置(UX)，以顯示與變更后的模型相關的新信息。他們通過使用對報告服務的安全HTTP調(diào)用來完成這一操作，如在傳統(tǒng)技術中所知的那樣，進行客戶端設備上的用戶經(jīng)驗設置顯示。在這個示例中，操作中心的工作人員看到了從應急響應人員的移動設備366發(fā)布的消息。工作人員把這條新消息標記為高優(yōu)先級的提醒。這一舉動通過互聯(lián)網(wǎng)380或本地網(wǎng)絡338將消息383發(fā)送回管理器350。這條消息要經(jīng)過如上所述的所有必需的策略檢查730。在通過策略檢查后，控制器740開始實施提醒。提醒模型758的實例被創(chuàng)建，并與應急響應人員366創(chuàng)建的消息發(fā)布實例相關聯(lián)。這被保存到存儲器352。通知實例760也被創(chuàng)建。最后，訂閱了提醒758或者通知760的客戶端會收到通知，并相應地更新他們的用戶經(jīng)驗設置，并且該應急響應人員366也會看到關于提醒758的通知。聚合是任意組的模型實例。這些聚合可以用來匯集不同的視頻、圖片、消息提醒等用于任何用途。聚合770可被設定為可更新的，也可被設定為不可更新的。不可更新的聚合770可以接受添加新的模型實例。一旦添加，這些實例將連同所有訪問的記錄和實例所有的先前版本一起，被復制到聚合770。復制的數(shù)據(jù)是永久的，不會再發(fā)生改變。模型實例一旦被復制到聚合770，就不能被刪除。因此，不可更新的聚合可以用來保存證據(jù)的監(jiān)管鏈。
[0065]分析模型的實例表示對其它模型實例進行二次分析的結(jié)果。例如，一個面部識別分析服務可以分析與多個視頻模型實例相關的視頻數(shù)據(jù)。對于可以識別出某張臉的每個視頻模型實例，分析服務可保存涉及該視頻模型實例的相應分析模型實例。另外，其還可以保存一個分析模型實例，作為其操作和參數(shù)的記錄。鏈路模型實例被用來記錄一個網(wǎng)絡通用資源標識符(URI)的位置，例如twitter上一個消息發(fā)布的位置。
[0066]現(xiàn)在，在圖9中描述管理器系統(tǒng)350的優(yōu)勢。如前面結(jié)合圖2所述，當警察開始調(diào)查被盜的拖車時，他們在失盜地點附近發(fā)現(xiàn)了多個攝像機源401-410。然而，這些管理器源的數(shù)據(jù)的存儲方式使其非常難以被訪問和使用。
[0067]首先，大量的數(shù)據(jù)被記錄在磁帶或者駐留在每個攝像機的專用數(shù)字視頻記錄儀(DVR)的內(nèi)存中。因此，獲取此類數(shù)據(jù)本身就需要花費大量的時間去收集，因為其涉及到獲取物理存在的每個磁帶或者DVR單元。
[0068]其次，不使用耗時的模擬-數(shù)字轉(zhuǎn)換，這些數(shù)據(jù)就不能與軟件分析工具整合到一起。此外，這些存儲格式不允許地理空間搜索，因為很大一部分數(shù)據(jù)缺乏遙感信息。
[0069]圖9顯示了需要該系統(tǒng)的另一個例子，其與2005年7月7日的倫敦公共汽車爆炸案有關。即使當時YouTube已經(jīng)是可用的網(wǎng)絡資源，但是調(diào)查人員仍不能使用監(jiān)視或攝像數(shù)據(jù)進行監(jiān)控。這是因為YouTube僅限于視頻輸入，其數(shù)據(jù)不可搜索，而且其不能處理直播饋送內(nèi)容。相反，圖9重建了倫敦爆炸案，包括事件涉及的背包(如2013年波士頓馬拉松爆炸案)。然而，倫敦調(diào)查人員為了重建數(shù)據(jù)視頻記錄，不得不拿來全倫敦的硬盤。
[0070]由于倫敦爆炸案和其它像波士頓馬拉松爆炸案一樣的悲劇，不僅對如圖4所示的數(shù)據(jù)編碼器有明顯的需求，而且對可以把所有的數(shù)據(jù)源按“故事主線”的前后關系自動整合的基于軟件的管理器也有很大的需求。此外，還有對駐于互聯(lián)網(wǎng)云中的有序資源的需求，以便不同的用戶可以迅速快捷地訪問這些數(shù)據(jù)。不像當時的倫敦，現(xiàn)在所有這些基礎設施都已存在，并且可以快速訪問，這在波士頓馬拉松爆炸案中已得到證實。
[0071]此外，還需要一個單獨的接口，其用于從任何設備搜索和共享任何視頻或圖像資源，而不需要客戶端軟件。這些資源的數(shù)據(jù)輸入可以包括無人機視頻、照片、交通攝像頭、固定監(jiān)視系統(tǒng)、1S和安卓設備圖片，以及其它數(shù)據(jù)(如文本、電子郵件)，還包括來自所有形式的社交媒體比如Twitter、Instagram、Facebook等的輸入。
[0072]基于云的管理器350(圖3)有協(xié)作和共享思想的功能，但同時還具有數(shù)據(jù)保密、安全性保護、監(jiān)管鏈控制和審計記錄維護。分析工具被相應地集成為“插件”或可用的應用程序資源庫，其很容易被刪除，添加，以及基于用戶需求、系統(tǒng)要求和成本限制進行自定義。
[0073]目前基于云的管理器350允許訪問數(shù)據(jù)塊，并且包括被適當保護的私有數(shù)據(jù)。可以使用一組適當?shù)囊?guī)則對數(shù)據(jù)進行動態(tài)監(jiān)測。例如，可以把各種區(qū)域性的隱私法則應用于地理空間映射的無人機輸入流，從而使得能夠動態(tài)地改變訪問權限，比如當無人機攝像頭經(jīng)過州或國家邊界時。由于其地理映射和數(shù)據(jù)協(xié)調(diào)能力，系統(tǒng)創(chuàng)建了一個用戶友好的方式來定義各種規(guī)則和法律。
[0074]雖然該管理器是規(guī)則無關的，但其提供了應用程序編程接口，對于例如警察、國家安全機構(gòu)或有特殊保密需要的商業(yè)客戶(例如，HIPAA法案下有關病人隱私的急救系統(tǒng))這樣的用戶，可以由用戶設置保密、監(jiān)管鏈和審計規(guī)則。
[0075]例如，存在新的非軍事無人機數(shù)據(jù)的市場。最近，美國聯(lián)邦航空管理局允許無人機在美國上空飛行。無人機輸出的數(shù)據(jù)可以為本發(fā)明提供重要的資源。如前面在圖3中指出的那樣，本發(fā)明330可以處理固定監(jiān)測數(shù)據(jù)、twitter數(shù)據(jù)以及1S或安卓設備輸出的數(shù)據(jù)。但無人機數(shù)據(jù)更引人注目，因為目前還沒有用于無人機數(shù)據(jù)的商業(yè)平臺。通過創(chuàng)建無人機數(shù)據(jù)管理、監(jiān)控和分析平臺350，重要數(shù)據(jù)可以傳遞到互聯(lián)網(wǎng)云，這會大大降低人力資源管理的需求。顧名思義，本發(fā)明使用可用的技術解決了大數(shù)據(jù)問題，使得用戶可以有效地篩選大量的數(shù)據(jù)，并可以很容易地把許多可用的分析工具應用于數(shù)據(jù)。換言之，有太多的信息等同于沒有足夠的信息。目前的系統(tǒng)會被數(shù)據(jù)淹沒。實時監(jiān)測的分析變得繁瑣費時，并且阻礙了調(diào)查和行動的及時進行。
[0076]僅在美國，無人機每年產(chǎn)生的視頻數(shù)據(jù)如果連續(xù)觀看的話，需要看24年。而且，更新的無人機模型預計產(chǎn)生的信息將會是2012年的三十倍。
[0077]此外，新的無人機資源必然產(chǎn)生安全問題。數(shù)據(jù)保密、保護、監(jiān)管鏈(共享的)、靜止數(shù)據(jù)、傳輸中數(shù)據(jù)一一所有這些都有不同的審計需求和法律后果。由于大量的法律問題，一些無人機用戶只是簡單地不去記錄數(shù)據(jù)。對于這些用戶，無人機，作為一個數(shù)據(jù)來源，就成為無效的了。例如，一些用戶擔心無人機數(shù)據(jù)會成為證據(jù)，并有可能導致“毒害” 一個案件；根據(jù)信息自由法(FOIA)的要求還需要審計。目前，用戶甚至不能確定無人機是否設置為“不記錄”模式。
[0078]幫助解決這些法律挑戰(zhàn)的市場是巨大的。用戶包括應急響應人員、精細農(nóng)業(yè)、效用檢驗、房地產(chǎn)、建筑、保護區(qū)管理、交通基礎設施，以及安全和治安等等。
[0079]目前有很多此類應用程序，但其都不具有本管理器350的優(yōu)勢和特點。在Evemote、Skitch、Dropbox、Facebook、Twitter、NetfIix、Google Instant中都有此類應用程序。例如Evemote，提供了一個地理空間標記和頭腦風暴工具；Skitch提供了一個應用程序，其類似約翰.馬登(John Madden)內(nèi)容示意圖(注釋和標記工具)。
[0080]圖10是管理器350的一個圖形用戶界面1600的截圖，其為所有數(shù)據(jù)的管理、訪問、監(jiān)控和協(xié)調(diào)提供了一個事件墻1602。該GUI是作為內(nèi)容傳輸網(wǎng)絡⑶N源中的集成服務器的一個網(wǎng)頁提供的，其包括多個領域的合作，比如共享數(shù)據(jù)提醒1604的頁面部分，以及即時在線聊天1606。后面將描述該GUI的應用示例。GUI的數(shù)據(jù)處理和存儲過程如圖3中的系統(tǒng)流程框圖所示。
[0081 ]事件墻1602使一個終端用戶可以在他/她的瀏覽器(346、364)或移動設備(348、366)上顯示該用戶參加過的所有活動的“任務”和過去的“任務”(在下面將更詳細描述)。隨著新信息被記錄、檢索或者研究和共享，更新被發(fā)布在事件墻1602，通過互聯(lián)網(wǎng)380的內(nèi)容傳輸網(wǎng)絡CDN源，或者通過當?shù)氐腤iFi連接338傳遞給用戶。從本質(zhì)上講，終端用戶被賦予在事件墻上發(fā)布任何東西的能力。
[0082]圖10是一場森林火災任務的不例，其以各種視圖顯不在事件墻1608上。在GUI1604的右邊部分上關于任務的提醒被用不同顏色編碼，從而使得所有關于“加萊納(Galena)火災”的提醒很容易被發(fā)現(xiàn)。關于“管道監(jiān)測”的獨立任務也被發(fā)布在事件墻1604上，以不同的顏色標出。而關于這一獨立任務的提醒，其在事件墻1604上同樣是用不同顏色編碼的。
[0083]圖11是顯示了事件墻上的數(shù)據(jù)類型的GUI的截圖。在GUI1600的左邊顯示了能夠在GUI 1602上指定的數(shù)據(jù)類型。數(shù)據(jù)類型包括消息、“信息”、隊友、照片、視頻和事件1702。部分1704將第三方應用報告、分析數(shù)據(jù)和工具進行列表。
[0084]GUI部分1706顯示由管理器350覆蓋的任務組的列表。這些任務組被按照各個用戶訪問管理器350的安全級別提供給終端用戶。當前用戶可訪問所有任務組，其包括管道監(jiān)測、火災監(jiān)測、精細農(nóng)業(yè)、礦業(yè)、電力線檢查、火山和地震監(jiān)測、以及災害響應。
[0085]提醒1604只與被監(jiān)視的高亮顯示的任務有關。
[0086]圖12是提醒過濾GUI1800的屏幕截圖。如圖所示，提醒可與一般提醒策略相關聯(lián)，通過顏色進行區(qū)分，以便終端用戶只看到重要提醒。如圖所示，綠色提醒1802意味著任務的狀態(tài)是正常的，紅色提醒1804表明有問題需要注意并且需要采取行動;黃色提醒1806是對可能發(fā)生的問題的警告信號并且需要得到有關處理方式的建議;藍色提醒1808是發(fā)送給用戶的關于任務情況的一般消息。當然，為了有效地利用數(shù)據(jù)，系統(tǒng)管理員可以采用任何提醒策略。
[0087]圖13是管理器350的地圖成像特性的屏幕截圖。在圖13中間的圖像上還有一個時間軸(在下面進行描述)AUI 1602的左上角還提供了地圖成像1902，其是可以放大的。團隊領導者的頁面還可以顯示與他人(比如環(huán)保員工)不同的信息，而團隊領導者的頁面也會與任務指揮者的頁面有所不同。例如，任務指揮者可能會使用Wiki工具來幫助他或她建立即時報告，該即時報告為系統(tǒng)和其它用戶給出了可供追隨的重要的事件描述。
[0088]通過點擊任務組1706(圖11)，GUI 1602顯示了聚集于某一特定任務的事件墻1604，為所有的參與者顯示出發(fā)布的消息、更新和提醒。視頻饋送被直接集成到墻視圖中，而其它數(shù)據(jù)則來自例如眾包、dropbox風格的文檔共享，或來自其它標記的內(nèi)容。如前所述，能夠被發(fā)布的數(shù)據(jù)的類型可以包括圖像、視頻、標簽和提醒、文本文件、word文檔、excel電子表格和Powerpoint文稿。
[0089]圖14是加萊納消防任務的GUI1602的另一個視圖。如圖所示，提醒2002是由所有任務發(fā)布的消息，這允許操作員迅速切換到不同任務，并且監(jiān)視和管理新出現(xiàn)的問題。還可以使用dropbox工具2004，其包括視頻、文檔和外部鏈路集成。這個工具上的所有文件被索弓丨，并且根據(jù)地理位置表示在地圖1902上。GUI的左下部分2006提供了一個任務專輯，其中包括與該任務相關的所有圖像和視頻。
[0090]當從事件墻1604移到任務頁面1900時，GUI1602的右側(cè)會發(fā)生變化。尤其是右側(cè)現(xiàn)在顯示特定于該任務的提醒2008和參與者聊天2010。
[0091]圖15是顯示數(shù)據(jù)搜索功能2102的搜索結(jié)果的擴展地圖1902的圖形用戶界面屏幕截圖。具體地，地圖搜索功能依賴于用戶在屏幕上畫框。在一個實施例中，用戶用單個手指來畫框。一旦框被創(chuàng)建，其就被添加到事件墻以用于分析。
[0092]圖16是通過用戶畫框指定地圖2202中的某一區(qū)域的圖形用戶界面屏幕截圖，在本實施例中是畫在谷歌地圖上用于快速搜索。畫框的區(qū)域可以是方形，圓形或者任意形狀。用戶還可以給所畫感興趣的區(qū)域加上書簽2204，并共享書簽和/或接收基于該書簽區(qū)域上有關活動的提醒。地圖區(qū)域的搜索結(jié)果顯示在2206。結(jié)果清單包括任務名稱、視頻開始和結(jié)束的時間、所獲取的視頻的持續(xù)時間和數(shù)據(jù)源平臺。
[0093]圖17是另一個街區(qū)地圖搜索的圖形用戶界面屏幕截圖。在該圖中，地圖搜索是在包括大量固定攝像機位置的街區(qū)進行的。固定攝像機比如2320被顯示在地圖上，還包括搜索區(qū)域2302。在GUI 1602的底部，搜索結(jié)果顯示在區(qū)域2304。然而，不同于加萊納火災任務的例子，這里的映射區(qū)域包括來自許多固定監(jiān)控攝像頭的數(shù)據(jù)，其可以在搜索結(jié)果部分2304觀看到視頻的縮略圖。此外，搜索結(jié)果可以用來創(chuàng)建視頻時間軸，該時間軸與每天的時間或者在給定區(qū)域選定的時間相匹配。時間軸功能將與圖26-28結(jié)合作進一步的描述。
[0094]在圖形用戶界面1602左邊，給出了一個搜索區(qū)域2310，其中用戶可以按照開始和結(jié)束日期以及按照開始時間和結(jié)束時間進行搜索。此外，還為位于區(qū)域2302中的攝像頭提供了固定攝像頭搜索列表2312，其中每個攝像頭都可以從搜索請求中選擇/去掉。此外，分析工具可自動部署與司法和數(shù)據(jù)相關的法律規(guī)定相關的插件，以便篩選數(shù)據(jù)，并且刪除違反這些法律的數(shù)據(jù)，或者標記那些需要批準才能使用的數(shù)據(jù)資源。另外，分析工具還可以用來建立特定的法律參數(shù)或閾值，如建立可能的動機。還可以利用額外的分析搜索焦點信息，如面部識別、汽車牌照、或其它可用的產(chǎn)品或服務。
[0095]其它形式的標記工具可用于被加了書簽的區(qū)域。同時，不同的用戶可以在被加了書簽的區(qū)域(如2302)標記不同的項目。最后，加了書簽的區(qū)域是自動更新的，并且在狀態(tài)變化時或者更新信息可用時，自動生成提醒。例如，高溫提醒、水災提醒、狀態(tài)變化提醒、甚至地面壓力提醒都可以被系統(tǒng)自動提取、標記和發(fā)出提醒。
[0096]本發(fā)明的另一個方面是，其可以提供收到信息的屬性。例如，對于固定攝像機位置，現(xiàn)有的視頻源可能不會包括相關遙感數(shù)據(jù)，但為了確定攝像機的位置甚至其從流動的遙感流拍攝的內(nèi)容，這些遙感數(shù)據(jù)是必需的。因此，本發(fā)明可以看向固定點，并且給自動指向該位置的偽遙感流中插入坐標。
[0097]圖18是目標偵查請求(TOR)任務2400的圖形用戶界面屏幕截圖。TOR的價值在于，其允許序號與偵查區(qū)域相關聯(lián)。例如，在過去，在颶風艾克(Ike)期間，要給飛行員提供一百二十個坐標點的列表，以便讓每個飛行員進行監(jiān)測。但這些坐標點的順序是隨機的。其結(jié)果是，飛行員對這些固定坐標點的監(jiān)測雜亂無章。在任務結(jié)束的時候，一共只有16個固定坐標點被找到。TOR工具2400則解決了這個缺陷。
[0098]TOR工具包括軟件目標分析，其中通過點擊圖像2402，可以在該圖像上確定一個目標并為其分配優(yōu)先級2404-2410。然后為每個選定的目標創(chuàng)建坐標，并按邏輯順序排序。對每個目標2412創(chuàng)建注解，使得用戶可以根據(jù)其它目標判斷準則來判斷該目標的重要性。還創(chuàng)建目標偵查列表2420，其中列出每一個目標，及其軍事網(wǎng)格參考系統(tǒng)(MGRS)、最后一次偵查的時間、其優(yōu)先級、該目標偵察請求發(fā)起人、以及系統(tǒng)中的其它偵查請求的數(shù)據(jù)。這樣TOR功能就為飛行員生成了被優(yōu)化的飛行計劃和目標清單，該清單啟動了整個監(jiān)管鏈過程。
[0099]圖19是更詳細地描繪了TOR特征的圖形用戶界面的屏幕截圖。如上所述，每個目標使用目標點功能2510來識別。目標偵查工具2512激活了在屏幕上選定目標的目標點功能。使用標尺2514來測量與目標相關聯(lián)的地理坐標，然后提供關于該目標的信息，用作其它用途，比如無人機飛行路線所必需的坐標。目標書簽功能2516類似于地圖書簽，一旦書簽被激活，只要監(jiān)測到目標，系統(tǒng)就將生成提醒。目標請求者注解2412包括最后一次觀測到的目標圖像2520。
[0100]圖20是描繪管理器350的視頻播放功能的圖形用戶界面屏幕截圖。如圖所示，視頻播放器提供了兩個功能。第一個是其產(chǎn)生需要響應的提醒2602。系統(tǒng)監(jiān)控提醒的響應，并且可以對響應應用內(nèi)置的規(guī)則，或者也可以不用。第二個是標簽功能2602。例如，為了創(chuàng)建一個阻燃劑滴位，需要給映射的區(qū)域加上標簽。例如，被加上標簽的位置2602可能是一個正與計劃灑阻燃劑的工作人員聊天的消防觀測員。被加上標簽的位置是至關重要的，不僅因為要避免阻燃劑灑在消防隊員身上，還因為要提供地面通信和觀察。傳感器數(shù)據(jù)標簽2610為用戶提供與視頻源相關的數(shù)據(jù)，從而使得評估視頻源。
[0101]圖21是傳感器標簽具體操作(可定制)的圖形用戶界面屏幕截圖。視頻圖像顯示部分2702與無損文本覆蓋2712結(jié)合，協(xié)助操作員完成監(jiān)控目標化操作。例如，指南針2710通過相關的指南針單元(如飛行方向指示器2714和正確北方2716)放置在所需的目標區(qū)域。還可用視頻播放器工具欄2720。工具欄的功能包括具有地理空間坐標的提醒產(chǎn)生器2722，具有通/斷開關2724的文本覆蓋，和標尺功能2726，其可以用來測量兩個點之間的距離。工具2728被設計成生成地理空間標簽，并且工具2730和2732分別生成視頻剪輯或相機快照(兩者都有地理空間標簽)。
[0102]應該注意的是，管理器350給圖像數(shù)據(jù)增加了一層時間編碼，其精確到毫秒，從而使得可以將圖像數(shù)據(jù)在以后重新組裝。系統(tǒng)350被設計成在聊天中加上了時間戳遙感內(nèi)容。這樣，操作者才能夠使整個系統(tǒng)帶有時間編碼。
[0103]圖22是地圖標簽功能的圖形用戶界面屏幕截圖。地圖標簽2810顯示在視頻屏幕2702旁邊。在本實施例中，地圖標簽顯示了飛行路徑2812，灑落目標位置2815，以及傳感器的當前位置(比如目前攝像機/傳感器視野的中心點)2814。還顯示了鄰近目標位置的提醒源2602的位置。
[0104]圖23是顯示地圖標簽2810功能進一步操作的圖形用戶界面屏幕截圖。2810包括對屏幕部分2702上視頻負責的相關無人機掛載傳感器/攝像頭傾斜角度2910的信息。
[0105]圖24是視頻播放器⑶I的提醒/聊天標簽3002功能的圖形用戶界面屏幕截圖。提醒窗口 3004列出了由另一個用戶推送的預設關鍵詞喜好產(chǎn)生的所有提醒。該列表中包括在視頻圖像2702中被地理編碼的提醒點3006。聊天窗口 3008提供了一個監(jiān)管鏈記錄，因為其按照時間和位置同步到視頻，所以對于評估系統(tǒng)的人來說是完全可搜索的3010。姓名標簽3012允許用戶只查看那些由特定用戶發(fā)布的聊天，并且也可以即時查看所有評估了被標記位置數(shù)據(jù)的用戶。
[0106]圖25是視頻播放器播放目錄標簽3110功能的圖形用戶界面屏幕截圖。當攝像機移動時該標簽起作用，這樣系統(tǒng)可以推斷出坐標。標簽3110允許用戶為其它直播數(shù)據(jù)插入標尺與時間信息。直播任務欄3112列出了不在感興趣的核心點但在同一地理區(qū)域的所有直播視頻或其它圖像數(shù)據(jù)。這些數(shù)據(jù)可以包括twitter圖像、飛機視頻、新聞等等。這個區(qū)域作用的方式類似于電視直播頻道指南。
[0107]存檔任務欄3114把要存檔的數(shù)據(jù)根據(jù)與目標區(qū)域聯(lián)系緊密度來排列。已閱欄3116包括所有帶書簽的或者已閱的視頻。最后，共享的窗口區(qū)3118引入被推薦給用戶觀看的視頻。例如，可能有一個來自更遠處的固定攝像機視圖，或紅外版本的視頻甚至更原始的傳感器數(shù)據(jù)，比如感興趣區(qū)域內(nèi)的碳氫化合物蹤跡的數(shù)據(jù)。
[0108]本發(fā)明沒有展示的另一個特征是報告鍵。報告鍵可以是一個Wiki系統(tǒng)，其生成幻燈片來提供信息。用戶，如項目經(jīng)理，可以創(chuàng)建其自己的報告。單選按鈕允許用戶自定義報生口 ο
[0109]圖26是管理器時間軸功能的圖形用戶界面屏幕截圖；如圖所示，搜索功能(如圖17中例子所示)3206還可以包括時間軸功能。這個功能使得用戶可以基于選自加書簽的地圖區(qū)域的圖像/視頻來構(gòu)建時間軸。如圖所示，在選定的時間段內(nèi)的感興趣的圖像/視頻被拖進一個搜索結(jié)果列表。此外，這些圖像被存儲在證據(jù)鎖定區(qū)3202。在那里把項目復制(如果尚未復制的話)、存儲進系統(tǒng)，并標記為特殊項目，可供集成服務器/CDN 354用于分析處理。然后用分析工具3204處理證據(jù)鎖定區(qū)3202中的信息，把相關適用的法律和規(guī)定應用于選定的數(shù)據(jù)。如圖所示，列表3214顯示了拖進證據(jù)鎖定區(qū)3202所有項目。這些規(guī)則的運行有特定的目的，即成為支持重要法律要求的可用的證據(jù)，比如成為支持搜查或逮捕行動的可能原因。
[0110]圖27和圖28是地圖和所構(gòu)造的時間線圖的圖形用戶界面屏幕截圖。在使用過程中，用戶在地圖上拖動鼠標或光標，使區(qū)域3614中的3610、3612高亮顯示。將鼠標/光標拖動到標簽3610等等上，會使相應的事件3610在時間軸3620上按順序高亮顯示，反之亦然。如圖28所示，每一塊數(shù)據(jù)被繪制在時間圖上，而感興趣的事件3610位于中間。這些圖像可反映所有的數(shù)據(jù)類型，包括Twitter圖片3650。時間軸3620上的回形針圖標3660表示有分析工具處理這些數(shù)據(jù)，并把分析結(jié)果和原始視頻/圖像綁定?？v軸3680代表與這一事件的物理距離，而水平軸3620則表示在位于顯示區(qū)域中心位置的、感興趣的事件之前或之后的時間差。點擊時間軸上的標簽，會顯示分析結(jié)果和相關視頻/圖像3690。
[0111]證據(jù)鎖定區(qū)的圖像已經(jīng)通過了法律分析檢驗，以時間排序的方式置于地圖上，提供了帶有時間戳和地理地標的圖像的大致路徑，并連同有在證據(jù)鎖定區(qū)中用到的審計跟蹤信息。因此，對適用于基于事件的應用程序而言，時間軸成為了數(shù)據(jù)挖掘引擎。
[0112]總之，時間軸功能包括:拖拽圖像，定格圖像，然后將其拖入證據(jù)框，自動創(chuàng)建圖像圖標，把該圖標置于時間軸上，并與訪問該時間軸映射的其它人進行共享。然后被標記有時間軸的圖像引用被映射以確定嫌疑人的運動路徑。
[0113]圖29是以一次橄欖球場中的系列爆炸為例的時間軸功能的圖形用戶界面屏幕截圖。在⑶I 1602上，事件墻上顯示被識別的視頻和圖像。地圖3510也顯示了這個帶有虛構(gòu)的爆炸3520的時間和地點標簽的橄欖球場。如圖30所示，在地圖3510上繪有框3610，而時間和日期搜索參數(shù)被輸入搜索框3550。返回的搜索結(jié)果列表顯示在地圖3530下方。然后用戶可以閱讀結(jié)果，從中尋找感興趣的結(jié)果，并且在點擊感興趣的結(jié)果后，會彈出具體內(nèi)容，或者在結(jié)果列表右邊框中播放具體內(nèi)容(圖中沒有顯示)。具體內(nèi)容旁邊還會出現(xiàn)一個復選框，使用戶可以選定自己感興趣的內(nèi)容。單擊復選框，則該內(nèi)容(可以是照片、視頻、文檔或其它信息)被截取到時間軸3530并呈現(xiàn)在地圖上。當用戶切換到時間軸視圖模式時(沒有顯示出來)，可以查看時間軸。結(jié)果，時間軸中的元素將會呈現(xiàn)在地圖中，以便顯示事件的位置以及跨位置和時間跟蹤項目的模式。
[0114]一旦把選定項目從搜索結(jié)果中移動到時間軸3530，可能的原因已被確認，視頻/圖像或其它確認數(shù)據(jù)就成為了證據(jù)鎖定區(qū)的一部分，可用于使用各種相關的分析工具作進一步的數(shù)據(jù)挖掘和處理。數(shù)據(jù)處理的結(jié)果被加上標簽，并被標注于視頻/圖像，并用圖標3540在時間軸3530上表示出來。
[0115]圖30是來自時間順序圖3530上的證據(jù)鎖定區(qū)的圖像的圖形用戶界面屏幕截圖。時間軸上，圖像和視頻的顯示也有所不同。例如，一個或多個視頻3620顯示了在時間軸3530上持續(xù)的時間，而照片3650則表示為一個瞬間，反映這張照片的拍攝時間。視頻或圖像上還顯示有回形針或記事本圖標，表示其是手動標記的(記事本)，或是由分析工具標記的(回形針)。時間軸上顯示的項目也被畫在地圖上(見圖28)，從事件到事件從開始到結(jié)束會有一條線來表示。
[0116]盡管參照一些實施例對本發(fā)明進行了描述，但可以理解的是，本發(fā)明并不只限于這些細節(jié)所描述的內(nèi)容。前面的描述中已經(jīng)提出了各種替換和修改的方案，對本領域技術人員來說還可以進行其它修改。所有替換和修改都應落入在本發(fā)明范圍內(nèi)，如所附的權利要求書中所述。
【主權項】
1.一種無人機數(shù)據(jù)管理系統(tǒng)，包括: 無人機； 無人機系統(tǒng)地面站； 信號編碼廣播設備； 本地緩存，其用于接收來自所述編碼廣播設備的數(shù)據(jù)進行本地存儲； 數(shù)據(jù)管理器，其位于互聯(lián)網(wǎng)云上，用于接收來自所述信號編碼廣播設備的直播視頻數(shù)據(jù)和來自所述本地緩存的存檔數(shù)據(jù)；以及 遠程內(nèi)容傳送網(wǎng)絡，其用于將信號傳輸?shù)诫娔X瀏覽器和至少一個移動設備，其中來自所述無人機的動態(tài)數(shù)據(jù)流被管理，并與來自其它遠程傳感器的圖像和數(shù)據(jù)融合，以便通過所述瀏覽器傳送給終端用戶。2.如權利要求1所述的無人機數(shù)據(jù)管理系統(tǒng)，其中所述編碼廣播設備包括用來存儲直播編碼數(shù)據(jù)并附帶選擇的分析功能的本地數(shù)據(jù)緩存。3.如權利要求1所述的無人機數(shù)據(jù)管理系統(tǒng)，還包括用戶身份認證，以使所述編碼廣播設備能夠通過互聯(lián)網(wǎng)向認證用戶傳輸無人機直播視頻，以及接收來自認證用戶的通信信息。4.如權利要求1所述的無人機數(shù)據(jù)管理系統(tǒng)，其中至少一個移動設備的用戶能夠與直接來自互聯(lián)網(wǎng)或移動網(wǎng)絡連接的無人機視頻互動。5.如權利要求1所述的無人機數(shù)據(jù)管理系統(tǒng)，其中系統(tǒng)從所述信號編碼廣播設備向所述系統(tǒng)管理器提供活動或者直播視頻。6.—個數(shù)據(jù)管理系統(tǒng)，包括: 集成服務器，其位于互聯(lián)網(wǎng)云處； 存檔內(nèi)存，其連接到所述集成服務器，用于存儲與MISP兼容的傳輸流信號，并且內(nèi)嵌KLV元數(shù)據(jù)； 本地高速緩存內(nèi)存； 本地WiFi連接；以及 信號編碼廣播設備，其具有多個傳感器輸入，用于通過WiFi連接把編碼的直播視頻傳輸?shù)剿霰镜馗咚倬彺妫阎辈ヒ曨l傳輸?shù)剿黾煞掌?，以及把高質(zhì)量的上傳內(nèi)容流入所述存檔內(nèi)存。7.如權利要求6所述的數(shù)據(jù)管理系統(tǒng)，還包括在所述集成服務器和所述編碼廣播設備之間的蜂窩鏈路，用來傳輸和接收在所述服務器和所述編碼廣播設備之間的加密數(shù)據(jù)。8.如權利要求6所述的數(shù)據(jù)管理系統(tǒng)，其中所述集成服務器作為傳感器數(shù)據(jù)管理器平臺，以便通過基于網(wǎng)絡的接口，為用戶提供分析功能和一鍵上傳功能。9.如權利要求6所述的數(shù)據(jù)管理系統(tǒng)，還包括本地內(nèi)容傳輸網(wǎng)絡，其通過固定電話或互聯(lián)網(wǎng)與所述集成服務器通信。10.如權利要求9所述的數(shù)據(jù)管理系統(tǒng)，其中所述本地內(nèi)容傳輸網(wǎng)絡還包括能夠與所述集成服務器通信的工作站、服務器和移動單元。11.一個多傳感器數(shù)據(jù)管理系統(tǒng)，包括: 多個傳感器源，其連接到信號傳輸設備； 傳輸連接，其從傳輸設備到基于互聯(lián)網(wǎng)的服務器； 數(shù)據(jù)管理單元，其允許不同的用戶通過互聯(lián)網(wǎng)云訪問多個傳感器的數(shù)據(jù)；以及 接口，其為用戶提供對來自互聯(lián)網(wǎng)或移動網(wǎng)絡連接設備的多個傳感器數(shù)據(jù)進行數(shù)據(jù)搜索和共享功能。12.如權利要求11所述的多傳感器數(shù)據(jù)管理系統(tǒng)，其中所述多個傳感器源包括無人機視頻、照片、交通攝像頭，固定監(jiān)控攝像頭，1S和安卓設備照片，文本，電子郵件以及Twitter、Instagram 和 Facebook 的數(shù)據(jù)。13.如權利要求11所述的多傳感器數(shù)據(jù)管理系統(tǒng)，還包括作為插件模塊或基于存儲的應用被提供給所述管理器單元的分析工具。14.如權利要求11所述的多傳感器數(shù)據(jù)管理系統(tǒng)，其中所述管理器單元包括動態(tài)監(jiān)測工具，其用來把區(qū)域性特定的法律和規(guī)定應用于地理空間映射傳感器數(shù)據(jù)，以使某些數(shù)據(jù)在應用適用法律和規(guī)定作分析時具有合法性。15.如權利要求14所述的多傳感器數(shù)據(jù)管理系統(tǒng)，其中所述規(guī)定包括當?shù)睾蛧业木綄ψC據(jù)的要求。16.如權利要求14所述的多傳感器數(shù)據(jù)管理系統(tǒng)，其中所述規(guī)定包括隱私規(guī)定，法規(guī)包括HIPAA。17.如權利要求11所述的多傳感器數(shù)據(jù)管理系統(tǒng)，還包括事件管理器，其包括多個協(xié)作區(qū)域、提醒消息和特定于任務的索引。18.如權利要求11所述的多傳感器數(shù)據(jù)管理系統(tǒng)，還包括: 映射單元，其用于把來自所述多個傳感器源的數(shù)據(jù)用地理空間表示并加上坐標，變成實時在線地圖；以及 時間軸單元，其用于把來自映射傳感器源的數(shù)據(jù)集成到時間軸上顯示，顯示的坐標上還帶有傳感器類型，傳感器距離和傳感器數(shù)據(jù)的時間。19.如權利要求18所述的多傳感器數(shù)據(jù)管理系統(tǒng)，還包括證據(jù)鎖定單元，其用于基于用戶對數(shù)據(jù)專門規(guī)定的規(guī)則的成功應用來測試和存儲時間軸集成的數(shù)據(jù)。20.如權利要求19所述的多傳感器數(shù)據(jù)管理系統(tǒng)，還包括證據(jù)映射單元，其用于用連接所述地理空間映射數(shù)據(jù)元素的線重繪地圖，以便重建多個所述傳感器數(shù)據(jù)關聯(lián)的蹤跡，所述地理空間映射數(shù)據(jù)元素儲存在所述證據(jù)鎖定單元中。
【文檔編號】H04N7/20GK105917647SQ201480068288
【公開日】2016年8月31日
【申請日】2014年11月14日
【發(fā)明人】詹森·巴頓, 喬恩·加斯托
【申請人】Ksi數(shù)據(jù)科技公司