專利名稱：視頻指紋系統(tǒng)和方法
技術領域：
本公開總地涉及視頻，更具體而言涉及用于識別對受保護的視頻內容的非法使用 的系統(tǒng)和方法。
背景技術：
目前在因特網(wǎng)上，視頻文件每天都在被拷貝并上載到諸如^uTube、Google等等 之類的網(wǎng)站。這種視頻共享站點的數(shù)量正發(fā)生可觀的增長，從而助長了侵犯與視頻剪輯有 關的數(shù)字權利(例如著作權)的風險。諸如Motion Picture Association,Major League Basekill之類的組織或者任何擁有對視頻內容的權利的實體或個人對于保護這些權利是 感興趣的。此外，隨著對于服務提供者提供不受著作權保護的素材的限制變得更重大，尤其 是對非法分發(fā)受著作權保護的素材的懲罰變得更重，視頻共享站點也在嘗試更加合法。當今的技術包括向視頻流中注入標簽(例如水印)，該標簽提供了對視頻的來源 的指示。然而，標簽可以被清除，導致沒有標簽的視頻的更多拷貝在網(wǎng)站上激增，從而妨礙 了視頻的所有者進行跟蹤。另外，其他措施也可用于規(guī)避這種標簽，例如通過剪切掉視頻的 一些部分，另外還有其他技術。


參考以下附圖可更好地理解本公開的許多方面。附圖中的組件不一定是按比例繪 制的，重點在于清楚地圖示出本公開的原理。另外，在附圖中，相似的標號在幾幅圖中始終 標示對應的部件。圖1是示出視頻指紋(VF)系統(tǒng)和方法可在其中實現(xiàn)的示例性環(huán)境的框圖。圖2A是被配置為從視頻序列得出視頻指紋的設備的實施例的框圖。圖2B是示出用于得出視頻指紋的方法的實施例的流程圖。圖3A-3C是示出在視頻序列內表現(xiàn)出可測量的轉變的各種對象的示例的示意圖。
圖4A-4C是示出在視頻序列內表現(xiàn)出可測量的轉變的各種對象的另一示例的示 意圖。圖5A是示出被配置為生成并存儲參考視頻指紋并且評估視頻指紋是否匹配所存 儲的參考視頻指紋的設備的實施例的框圖。圖5B是示出用于評估視頻指紋是否匹配所存儲的參考視頻指紋的方法的實施例 的流程圖。圖5C是示出用于生成并存儲參考視頻指紋的方法的實施例的流程圖。圖5D是示出用于為具有相似時間跨度的視頻序列的不同版本生成視頻指紋的方 法的實施例的流程圖。圖5E是示出用于為具有不同時間跨度的視頻序列的不同版本生成視頻指紋的方 法的實施例的流程圖。圖6是示出用于生成視頻指紋的方法實施例的流程圖。圖7是示出用于生成視頻指紋的另一方法實施例的流程圖。圖8是示出用于將未知視頻內容與受保護的視頻內容相匹配的方法實施例的流 程圖。
具體實施例方式鍵在一個實施例中，一種用于為視頻流的一部分提供標識信息的方法包括接收視 頻流，其中該視頻流包括一個或多個連續(xù)視頻場景，其中該一個或多個連續(xù)視頻場景分別 對應于一組或多組視覺信息，其中該一個或多個連續(xù)視頻場景中的每一個包括多個連續(xù)圖 片，其中第一視覺對象被包括在第一視頻場景中，其中該一個或多個連續(xù)視頻場景包括該 第一視頻場景；在第一視頻場景的第一多個圖片上檢測第一視覺對象；得出與第一視覺對 象在第一視頻場景的第一多個圖片上的一個或多個測得轉變相對應的信息；以及提供與所 得出的信息相對應的標識信息。示例性實施例這里公開了視頻指紋系統(tǒng)和方法的各種實施例(這里也統(tǒng)稱為視頻指紋(VF)系 統(tǒng)和方法)。這種VF系統(tǒng)使得負責網(wǎng)絡上視頻文件的存儲和/或提供的實體能夠監(jiān)視視頻 文件的傳送并且識別對受保護內容的數(shù)字權利的侵犯或對受保護內容的其他形式的非法 使用。視頻指紋(在這里也稱為度量或簽名或標識信息)基于一個或多個對象轉變而唯 一地表征來自電影(例如廣播式、點播式，等等)或節(jié)目(例如體育節(jié)目、新聞節(jié)目、紀錄 片、連續(xù)劇等等)或其他視頻內容的視頻序列(多個圖片或幀)。在一個實施例中，視頻指 紋是以場景為單位來得出的(因此表征了每個場景的對象轉變)，但在一些實施例中也不 一定是針對電影或節(jié)目的每一個場景(視頻場景，包括多個連續(xù)圖片，包括第一和第二圖 片，其中第二圖片在顯示順序上跟隨在第一圖片之后)得出的。另外，視頻指紋可涵蓋持續(xù) 時間短于一整個場景(但仍持續(xù)了達預定的閾值，如下所述)的對象轉變。這里，跨度短 于或等于一整個場景的視頻序列也被稱為視頻片斷。單個視頻指紋可以是從視頻片斷的 與單個對象(例如視覺對象)有關的轉變得出的，或者是從視頻片斷的多個對象轉變得出的。雖然對于每個場景可以得出單個視頻指紋，但在一些實施例中，對于每個場景可得出多 個視頻指紋(例如，在針對每個對象轉變、每個場景得出視頻指紋并且得出多個視頻指紋 以例如確證或鞏固視頻指紋的確定性的場合中)。在一個實施例中，視頻指紋被體現(xiàn)為表示 一個或多個對象轉變的度量的方程。換言之，視頻指紋傳達了關于對象轉變的可量化的信 息。在一些實施例中，視頻指紋可以體現(xiàn)為其他形式，例如數(shù)據(jù)結構，數(shù)值，等等。對象轉變 是在某一時間間隔上定義的，其中該時間間隔包括絕對時間或相對時間(例如，呈現(xiàn)時間 戳(PTS)的差異、計數(shù)器值的差異，相對于場景變化的時間、相對于特定對象的轉變開始的 時間，等等)，以及由圖片或幀或場的經(jīng)過來衡量的持續(xù)時間。對象轉變包括對象特征隨著 時間的流逝而發(fā)生的可量化的變化，例如形狀、顏色、色調、大小等等的變化。對象轉變還包 括對象的移動或運動的可量化的變化，例如相對于所識別的對象和/或圖片邊界的運動。在描述了本公開中使用的一些術語之后，下面描述可受益于這里公開的VF系統(tǒng) 的示例性實現(xiàn)方式。例如，用戶可能將受著作權保護的視頻的全部或一部分上載到一因特 網(wǎng)網(wǎng)站，以便非法銷售和/或分發(fā)給其他用戶。當被視頻文件共享服務器所接收以便上載 到該網(wǎng)站上時，視頻文件共享服務器可被配置有VF系統(tǒng)邏輯，其得出或生成視頻序列的一 個或多個視頻指紋。一旦得出了，視頻指紋就可被轉發(fā)到視頻指紋倉庫系統(tǒng)，該視頻指紋倉 庫系統(tǒng)包括從已知的受保護的(例如受著作權保護的)視頻內容提取出的參考視頻指紋的 一個或多個數(shù)據(jù)結構(例如記錄數(shù)據(jù)庫)。將所轉發(fā)的視頻指紋與所存儲的參考視頻指紋 相比較，并且如果在由視頻文件共享服務器得出的(一個或多個)視頻指紋和存儲在數(shù)據(jù) 庫中的參考視頻指紋之間找到匹配，則可以向視頻文件共享服務器發(fā)回訊息，警告相關聯(lián) 的服務提供者發(fā)生了該匹配，以便能夠采取適當?shù)拇胧岳绫苊庥捎谑鼓軐@種受保 護內容進行非法分發(fā)或銷售而受到懲罰。設想了其他實現(xiàn)方式和上述實現(xiàn)方式的變體，并 且以上示例只是用于提供對VF系統(tǒng)和方法可如何有益于視頻文件共享環(huán)境的一個例示。在接下來的描述中，描述可以使用VF系統(tǒng)的示例性環(huán)境(例如圖1)以及使用VF 系統(tǒng)的一個或多個組件的設備(例如圖2A和5A)和VF系統(tǒng)的方法(例如圖2B、5B-5E、6 和7)的實施例。對可以測量的一些類型的對象轉變的例示在圖3A-4C中示出并且是結合 圖3A-3C來描述的。應當理解，雖然某些實施例是在圖1所示的示例性環(huán)境的上下文中描 述的，但是設想了其他共享、傳送、處理和/或分發(fā)視頻文件的環(huán)境也在實施例的范圍內。圖1是視頻指紋(VF)系統(tǒng)和方法可在其中實現(xiàn)的示例性環(huán)境即通信網(wǎng)絡100的 示意圖。通信網(wǎng)絡100可包括多個個體網(wǎng)絡，例如無線網(wǎng)絡和/或有線網(wǎng)絡。通信網(wǎng)絡100 包括多個客戶端設備102、104、106和116(例如有線和/或無線設備，比如蜂窩電話、個人 數(shù)字助理(PDA)、諸如膝上型電腦之類的計算機設備或系統(tǒng)、個人計算機、機頂終端、具有通 信能力的電視機、DVD/⑶記錄器等等)，這些客戶端設備與諸如客戶端服務器108或112 之類的一個或多個客戶端服務器通信?？蛻舳朔掌?08和112耦合到網(wǎng)絡，例如廣域網(wǎng) (WAN) 110，其在一個實施例中包括因特網(wǎng)。設想了其他網(wǎng)絡在本公開的范圍內，包括使用與 其他傳輸協(xié)議或標準相結合的分組的網(wǎng)絡?？蛻舳朔掌?08和112還可包括一個或多個 存儲設備或者與一個或多個存儲設備進行本地通信，例如像對客戶端服務器112和對應的 存儲設備114所示的那樣?？蛻舳朔掌?08與客戶端設備102、104、106之間的通信(以 及類似的客戶端服務器112與客戶端設備116之間的通信)可經(jīng)由無線或有線連接進行， 這些連接包括作為非限制性示例的以太網(wǎng)、令牌環(huán)、私有或專屬網(wǎng)絡，等等。在通信網(wǎng)絡100中還包括視頻文件共享系統(tǒng)(在圖1中標示為FS系統(tǒng))130和視頻指紋倉庫(VFR)系統(tǒng) 200，其中每一個耦合到網(wǎng)絡110。視頻文件共享系統(tǒng)130包括被配置為接收和存儲視頻內 容(以例如用于上載到網(wǎng)站)的一個或多個服務器118和一個或多個存儲設備120。VFR系 統(tǒng)200包括一個或多個服務器122和一個或多個存儲設備124，存儲設備IM被配置為存儲 對應于與已知的受保護視頻內容相關聯(lián)的參考視頻指紋的數(shù)據(jù)結構(例如記錄數(shù)據(jù)庫)?？蛻舳朔掌?08和112可包括在因特網(wǎng)服務提供商(ISP)設施中的服務器、私 有服務器、網(wǎng)關和/或其他用于視頻文件(以及其他內容，比如數(shù)據(jù)、音頻等等)的通信的 設備或設施。本領域的普通技術人員應當理解，在通信網(wǎng)絡100中可使用額外的客戶端服 務器和客戶端設備以及其他設備，比如路由器、網(wǎng)橋等等。客戶端設備102、104、106、116、各 客戶端服務器108和112以及系統(tǒng)服務器122和118之間的因特網(wǎng)協(xié)議(IP)分組的通信 可根據(jù)諸如用戶數(shù)據(jù)報協(xié)議(UDP)/IP、傳輸控制協(xié)議(TCP)/IP等等之類的多種不同協(xié)議 中的一種或多種來實現(xiàn)。視頻文件共享系統(tǒng)130的系統(tǒng)服務器118包括邏輯(例如一個或多個代碼模塊、 硬件或兩者的組合)，該邏輯分析從客戶端服務器108和112接收的視頻序列(例如包括 一個或多個視頻片斷)并且得出(生成)一個或多個視頻指紋(包括得出與一個或多個測 得轉變相對應的信息)以用于與存儲在VFR系統(tǒng)200中的參考視頻指紋相比較。在一些實 施例中，用于分析視頻序列和生成視頻指紋的邏輯的功能可存在于通信網(wǎng)絡100中的別處 (作為對存在于系統(tǒng)服務器118中的取代或附加)，例如存在于客戶端服務器108和112處。如上所述，VFR系統(tǒng)200包括耦合到存儲設備或倉庫124的服務器122。服務器 122包括邏輯(例如一個或多個代碼模塊、硬件或兩者的組合)，該邏輯被配置為評估從系 統(tǒng)服務器118接收的視頻指紋是否匹配存儲設備IM中存儲的參考視頻指紋(例如基于已 知的受保護內容)。此外，系統(tǒng)服務器122包括被配置為得出(生成)參考視頻指紋以便 存儲在存儲設備124中的邏輯。應當理解，與存儲設備IM相對應的存儲和數(shù)據(jù)結構可以 是外部存儲設備，或者在一些實施例中可以被物理地包含到服務器122中，或者在一些實 施例中被分布在網(wǎng)絡上(例如，在文件共享系統(tǒng)130處被鏡像)。另外，應當理解，在一些 實施例中，存在于系統(tǒng)服務器122中的功能可存在于視頻文件共享系統(tǒng)130的系統(tǒng)服務器 118中(或別處)，從而評估可例如在文件共享能力的提供者的本地實現(xiàn)。雖然是利用單個 服務器122來示出的，但是VFR系統(tǒng)200在一些實施例中也可包括一個或多個服務器設備 (例如大型機、個人計算機、網(wǎng)關等等)和/或一個或多個額外的倉庫124。圖2A是圖1所示的視頻文件共享系統(tǒng)130的實施例的框圖，其包括系統(tǒng)服務器 118和存儲設備120。一般地，就硬件體系結構而言，系統(tǒng)服務器118包括處理設備204、輸 入/輸出(I/O)設備206、網(wǎng)絡接口 208以及存儲器210，其中每一個經(jīng)由本地接口 218可通 信地耦合。網(wǎng)絡接口 208包括傳輸輸入和輸出的設備，例如但不限于調制器/解調器(用 于訪問另一設備、系統(tǒng)或網(wǎng)絡的解調解調器)、射頻(RF)收發(fā)器或其他類型的收發(fā)器、電話 接口、網(wǎng)橋、路由器，等等。I/O設備206可包括輸入設備，例如但不限于鍵盤、鼠標、掃描儀、麥克風等等。另 外，I/O設備206也可包括輸出設備，例如但不限于打印機、顯示器等等。如本領域中已知的，本地接口 218例如可以是但不限于是一個或多個總線或其他 有線或無線連接。本地接口 218可具有額外的元件(為了簡單而省略了這些元件)，例如控制器、緩沖器(緩存)、驅動器、轉發(fā)器以及接收器，以使能通信。另外，本地接口 218可包括 地址、控制和/或數(shù)據(jù)連接，以使能上述組件之間的適當通信。視頻文件共享系統(tǒng)130還被 配置有耦合到本地接口 218的存儲設備120，該存儲設備120被配置為存儲由客戶端服務器 108和112上載的視頻內容。雖然示出了一個存儲設備120，但在一些實施例中可以有多個 存儲設備。處理設備204是用于執(zhí)行軟件尤其是存儲在存儲器210中的軟件的硬件設備。處 理設備204可以是任何定制的或可購得的處理器、中央處理單元(CPU)、與系統(tǒng)服務器118 相關聯(lián)的若干處理器之中的輔助處理器、基于半導體的微處理器(采取微芯片或芯片集的 形式)、宏處理器或者概括地說任何用于執(zhí)行軟件指令的設備。存儲器210可包括易失性存儲器元件(例如隨機訪問存儲器(RAM，比如DRAM、 SRAM,SDRAM等等))和非易失性存儲器元件(例如ROM、硬盤驅動器、磁帶、CDROM等等)中 的任何一種或其組合。另外，存儲器210可包含電子的、磁的、光的和/或其他類型的存儲 介質。注意，存儲器210可具有分布式體系結構，其中各種組件的位置相互遠離，它們可被 處理設備204所訪問。存儲器210中的軟件可包括一個或多個分開的程序，其中每一個包括用于實現(xiàn)邏 輯功能的可執(zhí)行指令的有序列表。在圖2A所示的實施例中，存儲器210中的軟件包括適當 的操作系統(tǒng)(0/S) 212和分析模塊214。操作系統(tǒng)212實質上控制諸如分析模塊214之類的 其他計算機程序的執(zhí)行，并且提供調度、輸入-輸出控制、文件和數(shù)據(jù)管理、存儲器管理以 及通信控制和相關服務。分析模塊214的功能可利用單個模塊來實現(xiàn)，或者分布在多個模塊間。分析模塊 214包括以下功能接收和分析經(jīng)解壓縮的視頻序列(例如，解壓縮在一個實施例中由包含 在處理設備204中的解壓縮功能(例如MPEG、H. 264等等)執(zhí)行或者由單獨的解碼器(未 示出)執(zhí)行，或者在一些實施例中分析模塊可包含解壓縮功能)，并且從接收到的視頻序列 中的一個或多個對象轉變得出視頻指紋，以用于發(fā)送給VFR系統(tǒng)200，以便與參考視頻指紋 相比較。當分析模塊214在操作中時，處理設備204被配置為執(zhí)行存儲器210內存儲的軟 件，以向存儲器210和從存儲器210傳輸數(shù)據(jù)，以及根據(jù)該軟件總體地控制分析模塊214的 操作。分析模塊214和0/S 212整體上或部分地(但通常是部分地)被處理設備204所讀 取，可能被緩沖在處理設備204內，然后被執(zhí)行。在描述了視頻文件共享系統(tǒng)130和相關聯(lián)的組件的實施例后，轉而關注圖2B，其 是示出在一個實施例中由分析模塊214與系統(tǒng)服務器118的其他組件(例如網(wǎng)絡接口 208 和處理設備204)合作實現(xiàn)的示例性分析方法(用標號21 標示)的流程圖。分析方法 21 接收視頻序列020)。例如，用戶可能惡意地經(jīng)由客戶端設備(例如DVD記錄器)記 錄一按觀看付費的競賽，并且通過已知的機制(例如瀏覽器軟件)將該記錄上載到客戶端 服務器108，客戶端服務器108隨后將該內容上載到視頻文件共享系統(tǒng)130(或者在一些實 現(xiàn)方式中，上載可以直接從客戶端設備到文件共享系統(tǒng)130發(fā)生)。分析方法21 識別或檢測場景內的一個或多個對象(視覺對象)(222)。用于識 別對象的各種機制是公知的(例如，來自計算機視覺技術、醫(yī)學成像技術等等)，例如限定 邊界框、找出閉合邊界、找出連接的對象、分割由邊界框限定的對象、使對象相對于原點朝向主軸、相對于圖片尺寸(例如在視頻流中提供的圖片尺寸，比如MPEG-2中的圖片頭部或 AVC的序列或圖片參數(shù)集)確定對象尺寸、計算不變形狀描述符(例如傅立葉描述符)和 質心(和/或第一和第二主軸)以及質心(和/或軸)的相應交點、執(zhí)行邊緣檢測(例如 Canny邊緣檢測器以及其他公知的邊緣檢測機制)，等等。這些公知的方法中的一種或多種 可以被分析方法21 實現(xiàn)(或者在一些實施例中與其他專用邏輯結合實現(xiàn))來識別一個 或多個對象。在某一跨度的場景(或短于一個場景)上，諸如對象形狀、顏色、色調、陰影、 大小等等之類的特征可能變化，并且相應地，對應的對象在場景內是值得跟蹤的。分析方法21 還包括跟蹤場景內的一個或多個對象(224)。例如，對象可通過其 質心或不變形狀描述符而被跟蹤，但并不限于這些參數(shù)(例如，跟蹤可基于對象的這些和/ 或其他特征或參數(shù))。分析方法21 在由例如幀數(shù)目、圖片相對時間(例如APTS)限定的 時間窗口上或者按所限定的時間增量來跟蹤對象。該時間窗口可對應于整個場景或短于整 個場景。在一個實施例中，分析方法21 以場景為單位跟蹤視頻序列，其中場景中的變化 是利用公知的機制來檢測的(例如結合所有對象的消失、漸弱或滑動效果、圖片之間相關 性的缺乏，等等)。在一些實施例中，在整個跟蹤過程中可以對類對象進行評級或排名。例 如，每當一新的對象在一場景中持續(xù)了超過所限定的時間窗口(例如，3-5秒)時，該對象在 當前場景內就被升級為更高級類對象并且被與已經(jīng)識別的對象相耦合或相關聯(lián)。注意，在一些實施例中，分析方法21 可應用限制過濾器，以例如將跟蹤僅限于 運動對象相對于靜止對象，因此限制要跟蹤的對象的數(shù)目。在一些實施例中，全局運動技術 可用于將相機搖攝與對象運動分離開來。分析方法21 還包括測量對象轉變以得出視頻指紋(226)。分析方法21 還過 濾掉一些對于檢測規(guī)避技術來說不那么健壯的對象。在一個實施例中，分析方法21 根據(jù) 對象對檢測規(guī)避技術的健壯性或者基于其他標準(例如跟蹤的容易性、測量的確定性或置 信度等等)來對對象排名。例如，鑒于剪切掉邊界對象(例如為了避免對受保護內容的檢 測)的相對容易性，沿著圖片的外周或在圖片的外周附近跟蹤的對象可能具有較低的優(yōu)先 級(例如，相對于位于圖片中心或中心附近的對象而言)。因此，一些對象可能由于具有比 預定的優(yōu)先級排名或值更低的優(yōu)先級而被從對象轉變測量中排除。又例如，分析方法21 選擇與如下對象相關聯(lián)的對象轉變來用于測量這種對象的出現(xiàn)時間至少達到了所限定的 時間或者幀數(shù)目閾值(或者換句話說，將與出現(xiàn)時間短于預定的時間窗口的視覺對象相對 應的轉變從測量中排除)。在另一示例中，鑒于I圖片無論圖像如何劣化都能維持的較高保 真度和對信息的大范圍傳播，可以僅利用I圖片(例如在多個I圖片之間持續(xù)的對象)來 測量對象轉變。一般地，m個對象之中的η個(其中n<m)可被選擇來用于對相關聯(lián)的轉 變的測量，其中η個所識別的對象全都擁有大于預定的值K的置信度量。如上所述，視頻指紋可包括表示一個或多個對象轉變(或者更具體而言表示與所 測得的對象轉變相對應的信息)的方程(或者在一些實施例中是數(shù)據(jù)結構或表示方程或數(shù) 據(jù)結構的值)，該方程傳達了諸如以下信息對象是否在向上、下、左或右移動，對象的大小 是否增大或減小、轉變持續(xù)時間(例如，按絕對或相對時間、幀數(shù)目等等)。換言之，該方程 被制定為限定在所限定的時間窗口上(所測得的)對象的轉變(例如特征的轉變)。在一 些實現(xiàn)方式中，對象轉變可以不由有限方程來表示，而是可通過利用某一程度的推導來表 示模式的方程來表示。
對對象轉變的測量包括ΔΤ(時間的變化)的一階(1階)函數(shù)，因此可被認為與 視頻剪輯中的絕對位置沒有相關性(使得以下所述的匹配過程對于例如偽造幀或圖片注 入而言更健壯)。然而，注意，在一些實施例中，絕對位置也可能與視頻指紋相關。在一些 實施例中，分析方法21 可實現(xiàn)二階0階)測量(例如場景內的一個或多個對象的加速 度)。這種二階測量提供了一階測量之間的差異，從而使得VF系統(tǒng)對于黑客和其他不道德 人物而言更健壯。注意，可以基于整個場景或具有短于整個場景的持續(xù)時間(例如1-2秒)的視頻 片斷來測量用于得出視頻指紋的對象轉變。例如，可以基于以場景轉變?yōu)榛鶞驶蛘呷绻?不是在場景變化開始處則以轉變開始為基準達到或超過了所限定的時間窗口(或者按照 APTS或幀數(shù)目)和/或達到或超過了所限定的百分比的特征和/或運動轉變(變化)的 對象轉變得出視頻指紋，然后為與下一順序場景相對應的下一視頻片斷(無論是持續(xù)了整 個場景還是其一部分)創(chuàng)建新的視頻指紋。換句話說，鑒于以下事實，可以從測量中排除一 些對象轉變該對象沒有持續(xù)所限定或預定的閾值時間或幀數(shù)目(例如，該對象可能只出 現(xiàn)了片刻)。在一個實施例中，每個視頻片斷與各種參數(shù)或關鍵字相關聯(lián)，例如與電影或節(jié) 目(或其他內容實例)有關的唯一標識符、場景號碼和/或與電影或節(jié)目內的視頻片斷的 順序有關的序號。這種參數(shù)或關鍵字可被包含到視頻指紋中，或者以已知的方式與指紋相 關聯(lián)(例如，利用指針或其他類型的引用機制)。分析方法21 判定所接收的視頻序列是否還剩余有更多場景0 )；并且如果 是，則重復從022)開始的處理；否則，分析方法21 將該視頻指紋(或多個視頻指紋，如 果該過程對于多個場景重復的話)轉發(fā)到VFR系統(tǒng)200以便與存儲在其中的參考視頻指紋 相比較(230)。然后，分析方法21 接收(來自VFR系統(tǒng)200的)對于在由分析方法21 得出 的視頻指紋和存儲在VFR系統(tǒng)200處的參考視頻指紋之間是否存在匹配的指示。在一些實 施例中，沒有指示被分析方法21 理解為意味著視頻指紋不匹配(例如，沒有與發(fā)送給VFR 系統(tǒng)200的視頻指紋相對應的受保護內容)。對于存在受保護內容的指示可以經(jīng)由設置的 比特或標志或者本領域的普通技術人員公知的其他傳達信息的機制來給出。注意，在一些實施例中，參考視頻指紋可被鏡像(例如從中央存儲裝置下載拷貝) 到文件共享系統(tǒng)130的系統(tǒng)服務器118本地的存儲裝置120或存儲器，從而使得能夠在本 地評估是否存在匹配(當配備有評估邏輯時，如下所述)。在一些實施例中，在測量之前可對對象施加額外的處理。例如，所有對象都可被正 規(guī)化到所限定的圖片分辨率。轉而關注圖3A-4C，它們是概念性地示出可以被測量或進行指紋識別的對象轉變 的示意圖。圖3A示出了顯示器302 (例如計算機監(jiān)視器、TV屏幕等等)，其具有對象304 (例 如球)相對于另一對象306(例如窗框)的圖像，該窗框包括與四格玻璃308相對應的四 個象限(例如左上、右上、左下、右下)。透過與左上象限相對應的窗格玻璃看到了球304。 圖:3B示出了球304向前進，從而更靠近窗框306，這由位于窗框306的交點處的球304和 感知到的球的更大大小表示。圖3C示出了球304在右下側的象限中撞破了窗格玻璃，這由 破碎的玻璃部分310和部分310中剩余的玻璃所圍繞的球來表示。從通過圖3A-3C展示的 場景中，注意到分析方法21 可以測量各種對象轉變，例如球304在場景上平移時的運動(例如相對于圖片邊界)，以及球相對于窗框(另一對象)的運動。換言之，對從開頭到結 束(就時間或幀數(shù)目而言)、相對于圖片邊界和其他對象的空間偏移的測量在圖3A-3C所示 的這個示例中包括了一些可測量的對象轉變。注意，在場景開始(圖3A)和場景結束(圖 3C)處的測量的過程中，其間的間隔也是由方程定義的(例如，被表征為例如斜率或向量的 軌跡，或者在整個場景中的多個所限定的增量處取得的測量)，從而使得短于整個場景的視 頻片斷在以后可被匹配，而無論用于規(guī)避檢測過程的技術如何，如下所述。此外，球304的 大小“擴大”(提供了朝著窗框306的近旁前進的感覺)，因此在場景的跨度上還可以測量 球的開始和結束面積。另一個轉變與球的方向有關，這也是一個可量化的轉變。注意，圖 3A-3C的圖示只是用于理解VF系統(tǒng)的概念的一個簡化(例如，球從屏幕的一個象限平移到 另一個象限可涉及數(shù)百張圖片)。注意，對于規(guī)避這里公開的VF系統(tǒng)的受保護內容檢測機制的各種嘗試面臨著困 難的挑戰(zhàn)。例如，如果圖3A中表示的第一幀被從序列中剔除或丟棄(或者例如每隔一幀 被剔除或丟棄)，則缺失的幀將不會規(guī)避檢測，因為時間戳仍反映場景內的相對運動，就像 方程和/或在匹配過程中與在場景內的避開了剔除過程的多個時間增量期間取得的測量 進行的比較中所體現(xiàn)的斜率、向量或其他度量仍反映的那樣。換言之，在MPEG-2視頻中，例 如，盡管丟棄了圖片，但仍保留了時間戳。另外，鑒于盡管丟棄了圖片但卻仍保留了球的方 向(向量)，并且鑒于相對于圖片尺寸而言以及相對于其他對象的被棄圖片后到結尾的空 間偏移(例如空間系數(shù))相同以及球的被棄圖片后到結尾的尺寸相同，所以仍可獲得閾值 百分比的匹配。另外，鑒于對相對運動或尺度變化的測量，分析方法21 對于故意施加的 圖片尺度變化是免疫的。例如，圖片尺度變化導致對象的按比例變化，因此球304的大小的 相對變化將會隨著圖片尺度變化而按比例變化。又例如，給定相對于圖片尺寸的對象的距 離的測量，如果視頻序列原本是根據(jù)高清晰度(HD)來編制格式的，并且隨后被轉碼成標準 清晰度(SD)，則相對于變化的圖片尺寸的對象的轉變(例如，由對象的寬度、高度限定的對 象尺寸)應當是成比例的，因此這種規(guī)避VF系統(tǒng)的嘗試(轉碼)應當會失敗。還可以取得 二階測量，例如球的加速度，以增加一階測量的確定性。圖4A-4C概念性地示出了顯示器402中兩個對象之間的相對運動，即隨著幀的前 進而遠離太陽404移動的云朵406。同樣，相對于圖片尺寸和對象，測量了與場景的全部或 一部分的持續(xù)時間相對應的時間期間的空間偏移。另外，還可以取得二階測量。在描述了配備有分析模塊214的文件共享系統(tǒng)130的實施例的示例性體系結構和 功能之后，現(xiàn)在關注如圖5A所示的VFR系統(tǒng)200。VFR系統(tǒng)200包括處理設備504、存儲器 510(包括0/S 512)、1/0設備506和網(wǎng)絡接口 508，它們經(jīng)由本地接口 518相互耦合。這些 組件504、510、512、506、508和518與圖2A所示的具有標號204、210、212、216和218的相 同標簽的組件類似(因此以相同或相似的功能操作)，因此這里為了簡要省略對其的論述。 存儲器510還包括評估器模塊514和指紋識別器模塊516。此外，VFR系統(tǒng)200還包括參考視頻指紋倉庫(或存儲設備)124，其被配置為將參 考視頻指紋(例如，refvideo f. p. Urefvideo f. ρ· 2、-,refvideo f. p. N)以記錄或其 他數(shù)據(jù)結構的形式存儲在數(shù)據(jù)庫519，并且還存儲如下進一步描述的其他信息。雖然示出了 一個參考視頻指紋倉庫124，但是在一些實施例中，可實現(xiàn)多個參考視頻指紋倉庫。在一些 實施例中，用于得出參考視頻指紋的相應視頻內容(或對該視頻內容的引用)也可被存儲在數(shù)據(jù)庫519中或者存儲為單獨的數(shù)據(jù)庫或存儲設備的一部分，該單獨的數(shù)據(jù)庫或存儲設 備協(xié)助對相應的(一個或多個)參考視頻指紋的引用。如上所述，在一些實施例中，視頻文 件共享系統(tǒng)130可配備有此額外的邏輯(例如評估器模塊514、指紋識別器模塊516、參考 視頻指紋倉庫124)以使能例如本地評估和/或參考視頻指紋識別和存儲。評估器模塊514在一個實施例中被配置為實現(xiàn)一種判定在從視頻文件共享系統(tǒng) 130接收的(一個或多個)視頻指紋(例如未知內容)和存儲的(一個或多個)參考視頻 指紋(已知的受保護內容)之間是否存在匹配的方法，該方法被標示為評估器方法51 并 且在圖5B中示出。評估器方法51 可離線執(zhí)行(延時執(zhí)行，例如在上載到網(wǎng)站之前延時 執(zhí)行或在之后執(zhí)行)，在線執(zhí)行(例如實時執(zhí)行)，或者以離線和在線的組合方式執(zhí)行。如 圖5B所示，評估器方法51 接收一個或多個視頻指紋(520)。例如，評估器方法51 從文 件共享系統(tǒng)130接收視頻指紋。評估器方法51 訪問視頻指紋倉庫124的(例如參考視 頻指紋的)數(shù)據(jù)庫519(52 。雖然被描述為數(shù)據(jù)庫，但是應當理解，在一些實施例中，作為 數(shù)據(jù)庫的附加或替代，可以使用其他數(shù)據(jù)結構。另外，雖然被描述為單個數(shù)據(jù)庫，但應當理 解，在本公開的上下文中，可以使用多個數(shù)據(jù)庫。在一個實施例中，數(shù)據(jù)庫519被配置有一組關鍵字(在圖5A中未示出)，該組關 鍵字可被用作到所存儲的參考視頻指紋的索引或捷徑。這種關鍵字可以是視頻序列的參 數(shù)(例如電影標識符、場景號等等)，這些參數(shù)最初作為指紋識別過程(下文中描述)的一 部分被存儲在數(shù)據(jù)倉庫1 中并被用于協(xié)助對視頻文件共享系統(tǒng)200所接收的視頻指紋的 匹配(在評估過程期間)。例如，這種關鍵字可被評估器方法51 所接收和解析(例如在 520中)并被用于與存在于數(shù)據(jù)庫519中的相似關鍵字相比較。例如，視頻文件共享系統(tǒng) 200所接收的視頻指紋可以在該視頻指紋中體現(xiàn)一個或多個關鍵字，或者在一些實施例中， 可以與該視頻指紋相分離(例如不是方程的一部分)，但仍被引用到該視頻指紋或與該視 頻指紋相關聯(lián)。這種關鍵字可在VFR系統(tǒng)200處被解析并且被匹配到數(shù)據(jù)庫519中的關鍵 字以協(xié)助將接收到的視頻指紋與存儲在數(shù)據(jù)庫519中的參考視頻指紋相匹配。關鍵字還可 包括子類別索引，這些子類別索引包括以下各項中的一項或多項找到對象的范圍；空間系數(shù)(對象之間的尺寸(開始))；空間系數(shù)(對象之間的尺寸(結束))；總對象面積(開始)；總對象面積(結束)；片斷(視頻序列)時間長度；以及時間戳。包括在數(shù)據(jù)庫519的相同或不同數(shù)據(jù)結構(例如表)中的額外信息包括以下各項 中的一項或多項采取方程或數(shù)據(jù)結構的格式的參考視頻指紋(例如表示在一段時間中某一對象 與在場景內識別的所有其他對象的可量化關系的方程或數(shù)據(jù)結構)；對象的百分比增大(尺度)；對象的百分比減小(尺度)；關于對象是否消失的指示；以及
關于對象是否具有在所限定的時間或事件(幀數(shù)目)窗口期間的持續(xù)時間(在該 窗口期間存在)的指示。注意，這種關鍵字可被組合(或在一些實施例中被省略)，例如包括“ ％增大-開 始大小-結束大小”的關鍵字，當在數(shù)據(jù)庫519中被索引時，其返回與組合的關鍵字相對應 的匹配陣列。應當理解，設想了本領域普通技術人員公知的其他數(shù)據(jù)庫配置和搜索/匹配 機制在實施例的范圍內。評估器方法51 判定接收到的(一個或多個)視頻指紋是否包括與存儲在數(shù)據(jù) 庫519中的參考視頻指紋的匹配(524)。由于對規(guī)避這里公開的VF系統(tǒng)所采用的檢測機 制的嘗試可能更改或省略視頻序列的某些幀，所以匹配可以基于從視頻指紋之間完全匹配 (100% )到某個所限定的閾值百分比(小于100%)匹配中的任何一種匹配。例如，參考 視頻指紋和接收到的參考視頻指紋在剪切后的圖像中檢測到的對象數(shù)目方面可能不同，但 是對象之間的空間偏移仍保持相同，并且未剪切掉的對象仍保持相同并擁有相同的轉變屬 性。此外，至于對視頻進行縮放以嘗試避免檢測機制，對象可能具有較小(或較大)的大小， 但是相對距離應當保持相同。即，在一場景之中對象的個體運動應當是相同的(例如方向 性、大小的增大/減小等等)。類似地，添加無關的視頻或者刪除場景的片段應當不會干擾 匹配過程(5M)，因為為了將視頻指紋識別為受保護內容并不需要匹配場景的全部。另外， 擁有若干個場景的視頻序列在該若干個場景中經(jīng)歷此匹配過程，因此使得能夠針對整個子 集對匹配百分比排名。簡言之，這里公開的VF系統(tǒng)利用了以下事實無論對一場景的觀察或監(jiān)視是在何 時被發(fā)起的，該場景內的對象都遵循相同的轉變或路徑。通過類推，評估器方法51 執(zhí)行 的匹配過程可以被比作目的地的映射圖而不是直接匹配(但在一些實現(xiàn)方式中也可發(fā)生 直接匹配)，類似于一個人如何從佛羅里達州開車到伊利諾斯州-跟蹤是否開始于肯塔基 州并終止于亞特蘭大是沒有關系的，因為經(jīng)過了相同的行程逗留點。類似地，跟蹤開始于場 景中何處是沒有關系的，因為檢測的是一些可能的匹配。注意，評估器方法51 基于每個場景具有先后順序這一假設而解決了偽造匹配 的問題。如上所述，場景內的每個對象被結合其他對象及其相對偏移來加以跟蹤。評估器 方法51 基于以下假設而工作當在特定時間窗口內發(fā)現(xiàn)匹配時，確定性百分比在接下來 的視頻序列也表現(xiàn)出較高匹配概率時提高。這種偽造匹配考慮可在(528)處實現(xiàn)。注意，在一些實現(xiàn)方式中可模仿偽造匹配考慮。例如，考慮電影攝像機聚焦于正在 顯示電影的TV屏幕的情況，并且假設“鏡頭”填滿整個幀。該電影的一些部分應當匹配實 際電影，只不過在該“鏡頭”中應當有除了周邊TV屏幕之外的不同運動。因此，過程(524) 應當使能電影內的電影的匹配或部分匹配。響應于判定不存在匹配，評估器方法51 可選地向發(fā)送了視頻指紋的設備(例如 系統(tǒng)服務器118)提供消息，該消息指示或暗示出視頻序列不包含受保護內容(526)。例如， 該指示可以是文本消息，例如“所發(fā)送的(一個或多個)視頻指紋沒有揭示受保護內容”，或 者該消息可以是在不存在匹配時被設置到零的標志，或者沒有來自評估器方法51 的響 應對于系統(tǒng)服務器118來說可以意味或暗示著沒有找到匹配(因此該(一個或多個)視頻 指紋沒有揭示受保護內容)。設想了本領域的普通技術人員公知的其他指示機制在本公開 的范圍內。
響應于判定存在匹配，評估器方法51 可以可選地執(zhí)行第二匹配以增強或確證 該匹配的確定性(5 )。例如，在一些實施例中可以使用單獨的顏色通道來鞏固或確證匹 配，例如在Y平面、U和V平面和/或RGB平面上。在一些實施例中，語音跟蹤可用于確證匹 配。在一些實施例中，利用這些確證機制(例如顏色和/或語音)時沒有匹配這一點可用 于將內容徹底排除(從匹配過程中排除)或者作為使初始匹配的確定性因子降低的機制。 在替換實施例中，確證機制可用作匹配之前的初始剔除因子(524)。評估器方法51 向發(fā)送方設備(例如系統(tǒng)服務器118)提供消息，以向客戶端服 務器(例如分析模塊214)指示或暗示出所評估的視頻指紋對應于受保護內容(530)。例如， 該消息可以采取被設置的標志的格式，該被設置的標志向系統(tǒng)服務器118表示或傳達出已 檢測到受保護內容。在一些實施例中，該消息可以采取明確傳達出已檢測到受保護內容的 文本的格式或其他格式。在描述了 VF系統(tǒng)的實施例的分析和評估特征后，轉而關注生成參考視頻指紋以 用于存儲在參考視頻指紋倉庫1 中的參考視頻指紋識別方法。具體地，圖5C示出了參考 視頻指紋識別方法的實施例，該方法被標示為方法516a并在下文中描述。在一個實施例 中，參考視頻指紋識別方法516a由VFR系統(tǒng)200的指紋識別器模塊516實現(xiàn)，但并不限于 由指紋識別器模塊516實現(xiàn)。例如，在一些實施例中，指紋識別器模塊516的功能中的一個 或多個可以在網(wǎng)絡100中的其他位置處實現(xiàn)。在一些實施例中，指紋識別器模塊516的功 能可以在與試圖將視頻指紋上載到Vn 系統(tǒng)200的內容提供者(而不是從由內容提供者提 供的視頻內容或序列得出指紋的VFR系統(tǒng)200)相關聯(lián)的計算設備處實現(xiàn)。參考視頻指紋 識別方法516a所例示的過程類似于分析方法514a，因此對于先前已針對方法21 描述過 之處，則不再詳述該過程中的類似步驟或邏輯。如圖5C所示，視頻指紋識別方法516a例如從受保護內容的提供者接收視頻序列 (531)。視頻指紋識別方法516a識別場景內的一個或多個對象(532)，跟蹤該場景內的一個 或多個對象(534)，并且測量與所跟蹤的一個或多個對象相對應的對象轉變以針對每個場 景得出或生成一個或多個參考視頻指紋(536)。注意，用來得出視頻指紋的對象轉變可以基于整個場景或具有短于整個場景的持 續(xù)時間(例如1-2秒)的視頻片斷。例如，視頻指紋可以基于持續(xù)了所限定的時間窗口 (APTS、幀數(shù)目)和/或在特征和/或運動方面達到或超過所限定的百分比轉變(變化)的 一個或多個對象而得出，，然后針對下一視頻片斷可在數(shù)據(jù)庫519中創(chuàng)建視頻的新記錄(例 如基于對新場景的檢測)。如上所述，與受保護內容相對應的每個視頻片斷可以與各種參數(shù) 或關鍵字相關聯(lián)，例如與電影或節(jié)目(或其他內容實例)有關的唯一標識符、場景號碼和/ 或與電影或節(jié)目內的視頻片斷的順序有關的序號。這種參數(shù)可用于確定順序可持續(xù)性。如 上所述，這種關鍵字可由指紋識別器模塊516(或由別處)從接收到的參考視頻片斷中解析 出來并被用作倉庫124中到相關聯(lián)的視頻指紋的索引。如果存在額外的場景(例如在作為視頻指紋識別的對象的同一視頻的場景序列 之中)(538)，則處理返回(532)，直到不存在對象視頻的更多場景為止(538)，在此之后參 考視頻指紋被存儲(帶有或不帶有關鍵字)在存在于參考視頻指紋倉庫124中的數(shù)據(jù)庫 519 中。在一些實施例中，VFR系統(tǒng)200可將視頻序列修改成參考視頻指紋的多個集合或版本。圖5D是示出視頻指紋識別方法的這種實施例的流程圖，其被標示為視頻指紋識別方 法516b。應當理解，雖然是在VFR系統(tǒng)200的上下文中描述的，但是以下描述的技術或過程 也可在別處實現(xiàn)，例如在分析模塊214中實現(xiàn)。視頻指紋識別方法516b包括為具有有限長 度的視頻序列的第一版本生成第一度量(例如第一視頻指紋)(541)，丟棄圖片以獲得有限 長度的視頻序列的第二版本(例如，第二版本在圖片數(shù)目上與第一版本不同)(542)，為視 頻序列的第二版本生成第二度量，第二度量與第一度量具有類似的值，其中第一和第二版 本的時間跨度是基本相等的(544)。鑒于關注的是對象轉變的相對性，所以測量具有相似的 值。注意，如果評估器方法51 將第一和第二度量識別為匹配(例如百分比匹配而不是全 等匹配)，則第一和第二度量具有相似的值。另外，時間跨度基本相等的一個示例是對于觀 看者而言差別不可察覺的示例。圖5E是示出時間跨度不同的方法實施例的流程圖，該方法實施例被標示為視頻 指紋識別方法516c。相應地，視頻指紋識別方法516c包括為具有有限長度的視頻序列的第 一版本生成第一度量(550)，丟棄圖片以獲得有限長度的視頻序列的第二版本(例如，第二 版本在圖片數(shù)目上與第一版本不同)(552)，為視頻序列的第二版本生成第二度量，第二度 量與第一度量具有類似的值，其中第一和第二版本的時間跨度是不同的(554)。例如，第二版本可能開始于與第一版本不同的時間(例如開始得比第一版本晚)， 但是結束于與第一版本相同的時間?；蛘?，第二版本可具有與第一版本相同的開始但與第 一版本不同的結束(例如結束得比第一版本早)。另一示例包括時間跨度不同并且分辨率 不同的情況(例如第二版本具有較小的圖片分辨率)。例如，由于視頻數(shù)據(jù)的非線性性，場 景在視頻的降級版本中看起來可能是相同的，但是實際數(shù)值表示可能是不同的。另一示例 包括處理降級的版本的情況，例如其中第二版本是通過對產(chǎn)生第一版本的壓縮流解碼并對 經(jīng)解碼的圖片重新編碼而獲得的，然后處理第二版本以獲得與第一版本的度量相等或近似 相等的視頻指紋(例如度量)。本領域的普通技術人員應當理解，在本公開的上下文中， 可以實現(xiàn)用于提供不同版本的其他替換方案，因此這些替換方案被設想為在本公開的范圍 內。在一些實施例中，這里公開的VF系統(tǒng)可以結合諸如水印添加、加密標簽等等之類 的其他方法來實現(xiàn)，其中這種標簽或水印可被存儲在數(shù)據(jù)庫519中以用于匹配處理(例如 作為匹配過程中的主功能或步驟或作為用于確證主過程匹配的次操作)。注意，作為VF系統(tǒng)和方法的某些實施例的一部分來描述的分析、評估、指紋生成 和匹配可以在訊問或監(jiān)視的階段中實現(xiàn)。例如，到達視頻文件共享系統(tǒng)130的視頻內容之 中的所限定的百分比可被分析，并且如果發(fā)生預定數(shù)目的匹配(例如指示出對受保護內容 的非法使用)，則經(jīng)歷這些方法的視頻內容的百分比可被增大。鑒于以上公開，應當認識到標示為方法130a并在圖6中示出的一種方法實施例包 括跟蹤視頻場景中的對象(602)并且基于在所限定的時間窗口期間該對象的一個或多個 測得轉變來為該場景得出視頻指紋(604)。鑒于以上公開，應當認識到標示為方法130b并在圖7中示出的另一方法實施例 包括接收視頻流，其中該視頻流包括一個或多個連續(xù)視頻場景，其中該一個或多個連續(xù)視 頻場景分別對應于一組或多組視覺信息，其中該一個或多個連續(xù)視頻場景中的每一個包 括多個連續(xù)圖片，其中第一視覺對象被包括在第一視頻場景中，其中該一個或多個連續(xù)視頻場景包括該第一視頻場景(702)；在第一視頻場景的第一多個圖片上檢測第一視覺對象 (704)；得出與第一視覺對象在第一視頻場景的第一多個圖片上的一個或多個測得轉變相 對應的信息(706)；以及提供與所得出的信息相對應的標識信息(708)。鑒于以上公開，應當認識到標示為方法200a并在圖8中示出的另一方法實施例包 括存儲多個參考度量，每個參考度量對應于與視頻場景相對應的多個連續(xù)圖片的一個或多 個視頻對象的測得轉變(802)，接收與從遠程設備接收的第一視頻場景相對應的多個連續(xù) 圖片的第一度量和第二度量，該第一度量和第二度量對應于第一視頻場景的視頻對象的測 得轉變(804)，將第一度量和第二度量與所存儲的多個參考度量相比較(806)，以及向遠程 設備指示出在第一度量和第二度量與所存儲的多個參考圖片之一之間是否存在閾值百分 比匹配(808)。注意，在一些實施例中，比較還包括基于小于百分之百匹配的閾值百分比匹 配來確定匹配的存在。注意，在一些實施例中，這里描述的VF系統(tǒng)和方法可被擴展到對(例如來自視頻 攝像機等等的)原始視頻的處理，從而接收(壓縮的或未壓縮的)原始視頻或者被表征為 第一表示的視頻，(例如在未壓縮的或經(jīng)解壓縮的視頻上)取得測量，并且(例如向另一設 備)提供第二表示作為視頻流。例如，第二表示可以體現(xiàn)測量，或者視頻內容和測量。在一 些實施例中，第二表示可以是壓縮格式的。本公開的某些實施例的分析模塊214、評估器模塊514和指紋識別器模塊516以及 方法2Ha、514a、516a-516c、130a、130b和200a可以用硬件、軟件、固件或其組合來實現(xiàn)。在 用軟件或固件(總地來說是軟件代碼或軟件邏輯或簡稱為邏輯)實現(xiàn)分析模塊214、評估器 模塊514和指紋識別器模塊516的實施例中，這種實施例被存儲在存儲器中并被適當?shù)闹?令執(zhí)行系統(tǒng)所執(zhí)行。當用軟件來實現(xiàn)分析模塊214、評估器模塊514和指紋識別器模塊516 時，應當注意分析模塊214、評估器模塊514和指紋識別器模塊516可被存儲在任何計算機 可讀介質上，供任何計算機相關系統(tǒng)或方法使用或與之結合使用。在本文檔的上下文中，計 算機可讀介質是電子的、磁的、光的或其他物理設備或裝置，其可包含或存儲供計算機相關 系統(tǒng)或方法使用或與之結合使用的計算機程序。分析模塊214、評估器模塊514和指紋識別 器模塊516可被體現(xiàn)在任何計算機可讀介質中，供指令執(zhí)行系統(tǒng)、裝置或設備使用或與之 結合使用，所述指令執(zhí)行系統(tǒng)、裝置或設備例如是基于計算機的系統(tǒng)、包含處理器的系統(tǒng)或 者能夠從指令執(zhí)行系統(tǒng)、裝置或設備取得指令并且執(zhí)行指令的其他系統(tǒng)。在用硬件來實現(xiàn)分析模塊214、評估器模塊514和指紋識別器模塊516的實施例 中，可以利用均為本領域公知的以下技術中的任何一種或組合來實現(xiàn)分析模塊214、評估器 模塊514和指紋識別器模塊516 具有用于對數(shù)據(jù)信號實現(xiàn)邏輯功能的邏輯門的(一個或 多個)分立邏輯電路、具有適當?shù)慕M合邏輯門的專用集成電路(ASIC)、(一個或多個)可編 程門陣列(PGA)、現(xiàn)場可編程門陣列(FPGA)，等等。流程圖中的任何過程描述或塊應當被理解為表示包括用于實現(xiàn)該過程中的特定 邏輯功能或步驟的一個或多個可執(zhí)行指令的模塊、版本或代碼部分，并且在本公開的范圍 內包括替換實現(xiàn)方式，在這種替換實現(xiàn)方式中，取決于所涉及的功能，可以按不同于所示出 或論述的順序的順序來執(zhí)行功能，包括基本同時執(zhí)行或按相反順序執(zhí)行，這是本領域的技 術人員將會理解的。在一些實施例中，圖2B和5B-5E、6、7和8中利用分開的框標識的過程 步驟可以被組合。
此外，雖然各種流程圖(例如在圖2B、5B_5E、6、7和8中示出)是在圖2A和5A中 示出和描述的體系結構的上下文中示出和描述的，但是應當理解，圖2B、5B-5E、6、7和8中 描述的方法的實現(xiàn)方式不限于這些體系結構，并且擁有被配置為實現(xiàn)這種方法的不同體系 結構的相同設備或其他處理設備被設想為在本公開的范圍內。應當強調，本公開的上述實施例只是實現(xiàn)方式的可能示例，只是為了清楚理解VF 系統(tǒng)和方法的原理而闡述的。在不實質上脫離本公開的精神和原理的情況下，可以對上述 的(一個或多個)實施例做出許多變化和修改。希望所有這種修改和變化在這里都包括在 本公開的范圍內并且受權利要求的保護。
權利要求
1.一種用于為視頻流的一部分提供標識信息的方法，該方法包括接收視頻流，其中所述視頻流包括一個或多個連續(xù)視頻場景，其中所述一個或多個連 續(xù)視頻場景分別對應于一組或多組視覺信息，其中所述一個或多個連續(xù)視頻場景中的每一 個包括多個連續(xù)圖片，其中第一視覺對象被包括在第一視頻場景中，其中所述一個或多個 連續(xù)視頻場景包括所述第一視頻場景；在所述第一視頻場景的第一多個圖片上檢測所述第一視覺對象；得出與所述第一視覺對象在所述第一視頻場景的所述第一多個圖片上的一個或多個 測得轉變相對應的信息；以及提供與所得出的信息相對應的標識信息。
2.如權利要求1所述的方法，還包括將所述標識信息與所述第一視頻場景相關聯(lián)。
3.如權利要求2所述的方法，還包括將所述標識信息與所述第一視覺對象相關聯(lián)。
4.如權利要求2所述的方法，其中得出步驟包括測量從所述第一視覺對象在第一圖片 中的位置到所述第一視覺對象在第二圖片中的位置的空間轉變，其中所述第一圖片和第二 圖片被包括在所述第一視頻場景的所述第一多個圖片中，并且在所述第一視頻場景的所述 第一多個圖片的顯示順序中，所述第二圖片跟隨在所述第一圖片之后。
5.如權利要求2所述的方法，其中得出步驟包括測量從所述第一視覺對象在第一圖片 中的位置到所述第一視覺對象在第二多個圖片中的各個圖片中的位置的相應空間轉變，其 中所述第一圖片被包括在所述第一視頻場景的所述第一多個圖片中，所述第二多個圖片包 括除所述第一圖片以外的所述第一視頻場景的所述第一多個圖片，并且在所述第一視頻場 景的所述第一多個圖片的顯示順序中，所述第二多個圖片中的各個圖片在所述第一圖片之 后。
6.如權利要求5所述的方法，其中所述第一視頻場景的所述第一多個圖片包括所述第 一視頻場景的所有所述多個連續(xù)圖片。
7.如權利要求5所述的方法，其中所述第一視頻場景的所述第一多個圖片中的圖片數(shù) 目小于所述第一視頻場景的所述多個連續(xù)圖片的圖片數(shù)目。
8.如權利要求2所述的方法，其中所述第一視覺對象的每個測得轉變是根據(jù)在所述第 一視頻場景的兩個圖片中所述第一視覺對象的質心的位置的。
9.如權利要求1所述的方法，其中每個測得轉變對應于以下各項中的一項或多項的變 化所述第一視覺對象的大小、所述第一視覺對象的形狀、所述第一視覺對象的顏色、以及 所述第一視覺對象的色調。
10.如權利要求1所述的方法，還包括在所述第一視頻場景的所述第一多個圖片上檢測第二視覺對象；得出與所述第二視覺對象在所述第一視頻場景的所述第一多個圖片上的一個或多個 測得轉變相對應的第二信息；以及提供與所得出的第二信息相對應的第二標識信息。
11.如權利要求1所述的方法，還包括從轉變測量中排除所述第一視頻場景的所述第 一多個圖片的在少于預定的閾值數(shù)目的圖片中出現(xiàn)的其他視覺對象。
12.如權利要求1所述的方法，還包括從轉變測量中排除所述第一視頻場景的所述第 一多個圖片的在一時間跨度中的出現(xiàn)時間短于預定的時間窗口的其他視覺對象。
13.如權利要求1所述的方法，還包括從轉變測量中排除優(yōu)先級低于所述第一視覺對 象的其他視覺對象，該優(yōu)先級是基于所確定的針對對象檢測規(guī)避的健壯性的。
14.如權利要求1所述的方法，還包括通過以下操作來確證所得出的與所述第一視覺 對象在所述第一視頻場景的所述第一多個圖片上的一個或多個測得轉變相對應的信息計 算與所述一個或多個測得轉變相對應的二階轉變測量。
15.一種為視頻流的一部分提供標識信息的系統(tǒng)，該系統(tǒng)包括 其中存儲有邏輯的存儲器；以及被配置為執(zhí)行所述邏輯以進行以下操作的處理器接收視頻流，其中所述視頻流包括一個或多個連續(xù)視頻場景，其中所述一個或多個連 續(xù)視頻場景分別對應于一組或多組視覺信息，其中所述一個或多個連續(xù)視頻場景中的每一 個包括多個連續(xù)圖片，其中第一視覺對象被包括在第一視頻場景中，其中所述一個或多個 連續(xù)視頻場景包括所述第一視頻場景；在所述第一視頻場景的第一多個圖片上檢測所述第一視覺對象； 得出與所述第一視覺對象在所述第一視頻場景的所述第一多個圖片上的一個或多個 測得轉變相對應的信息；以及提供與所得出的信息相對應的標識信息。
16.如權利要求15所述的系統(tǒng)，其中所述處理器還被配置為執(zhí)行所述邏輯以將所述標 識信息與所述第一視頻場景相關聯(lián)。
17.如權利要求16所述的系統(tǒng)，其中所述處理器還被配置為執(zhí)行所述邏輯以將所述標 識信息與所述第一視覺對象相關聯(lián)。
18.如權利要求15所述的系統(tǒng)，其中所述處理器還被配置為執(zhí)行所述邏輯以測量從所 述第一視覺對象在第一圖片中的位置到所述第一視覺對象在第二圖片中的位置的空間轉 變，其中所述第一圖片和第二圖片被包括在所述第一視頻場景的所述第一多個圖片中，并 且在所述第一視頻場景的所述第一多個圖片的顯示順序中，所述第二圖片跟隨在所述第一 圖片之后。
19.如權利要求15所述的系統(tǒng)，其中所述處理器還被配置為執(zhí)行所述邏輯以測量從所 述第一視覺對象在第一圖片中的位置到所述第一視覺對象在第二多個圖片中的各個圖片 中的位置的相應空間轉變，其中所述第一圖片被包括在所述第一視頻場景的所述第一多個 圖片中，所述第二多個圖片包括除所述第一圖片以外的所述第一視頻場景的所述第一多個 圖片，并且所述第二多個圖片中的各個圖片在所述第一圖片之后。
20.一種系統(tǒng)，包括用于接收視頻流的裝置，其中所述視頻流包括一個或多個連續(xù)視頻場景，其中所述一 個或多個連續(xù)視頻場景中的每一個包括多個連續(xù)圖片，其中第一視覺對象被包括在第一視 頻場景中，其中所述一個或多個連續(xù)視頻場景包括所述第一視頻場景；用于在所述第一視頻場景的第一多個圖片上檢測所述第一視覺對象的裝置； 用于得出與所述第一視覺對象在所述第一視頻場景的所述第一多個圖片上的一個或 多個測得轉變相對應的信息的裝置；以及用于提供與所得出的信息相對應的標識信息的裝置。
全文摘要
一種為視頻流的一部分提供標識信息的方法包括接收視頻流，其中該視頻流包括一個或多個連續(xù)視頻場景，其中該一個或多個連續(xù)視頻場景分別對應于一組或多組視覺信息，其中該一個或多個連續(xù)視頻場景中的每一個包括多個連續(xù)圖片，其中第一視覺對象被包括在第一視頻場景中，其中該一個或多個連續(xù)視頻場景包括該第一視頻場景；在第一視頻場景的第一多個圖片上檢測第一視覺對象；得出與第一視覺對象在第一視頻場景的第一多個圖片上的一個或多個測得轉變相對應的信息；以及提供與所得出的信息相對應的標識信息。
文檔編號H04N5/913GK102077584SQ200980125129
公開日2011年5月25日 申請日期2009年6月30日 優(yōu)先權日2008年6月30日
發(fā)明者彼得·M·吉茨, 阿圖羅·A·羅德里谷茲 申請人:思科技術公司