專利名稱：便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)及方法
技術領域：
本發(fā)明涉及計算機應用技術領域，特別涉及視頻圖像處理技術領域，具體是指一種基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)及方法。
背景技術：
隨著計算機技術和互聯(lián)網(wǎng)的飛速發(fā)展，大量的視頻設備已經(jīng)能夠通過互聯(lián)網(wǎng)方便地在便攜式設備上批量傳輸數(shù)字化的視頻信息，便攜式視頻播放設備(iPad、iPod、iPhone、數(shù)碼攝像機)的發(fā)展和推廣，有利于用戶能夠方便地隨時隨地查找、分享和使用網(wǎng)絡中的各類資源，例如視頻電影、監(jiān)控視頻、視頻會議和視頻聊天等。便攜式設備對視頻的大量檢索以及共享，引出了關于如何應用便攜式設備來采集、標注視頻/圖像資源等問題的研究。現(xiàn)今很多專家提出直接利用視頻的內容信息進行機器識別、自動標注。這種機器識別和自動標注是借助于對視頻中的視頻幀/圖像信息進行從底層到高層的處理，分析和理解的過程中進行標注的內容，以便于進行后續(xù)的視頻檢索。這些底層的標注內容是指視頻的顏色、紋理、運動等特征向量。雖然這些內容可以更好的表達視頻的信息，但是這種標注方式與后續(xù)的檢索中對視頻標注的需求相差太大。例如，一般網(wǎng)絡用戶進行視頻或圖像檢索的目的是依賴于對視頻的文本信息或元數(shù)據(jù)的描述來進行檢索的，而不會去關注它的顏色、紋理、形狀以及在此基礎上形成的空間關系等方面，以圖像的底層視覺和形象特征為主，對圖像進行標注的處理方法具有計算簡單、性能穩(wěn)定的特點，但目前這些特征都有一定的局限性。經(jīng)過對現(xiàn)有技術的檢索發(fā)現(xiàn)，中國專利文獻號CN102508923，公開了一種“基于自動分類和關鍵字標注的自動視頻注釋方法”，該技術首先提取出已由人工標注視頻的全局特征和局部特征，使用全局特征對視頻的類別進行分類，再建立視頻的多維特征和標注關鍵字之間的對應關系，再在已建立的訓練集的基礎上，自動處理未經(jīng)標注的視頻。中國專利文獻號CN101650728，公開了“視頻高層特征檢索系統(tǒng)及其實現(xiàn)”，該技術提取視頻關鍵幀圖像的底層特征(顏色、形狀、紋理等)，并利用支持向量機(SupportVector Machine, SVM)對所提取的特征進行分類,進而提取相應的視頻語義。上述研究在視頻語義提取技術上提出了一些較好的方法，但是同樣存在以下缺陷1、需要大量的人工標注視頻集，才能形成一個精準、完備的樣本訓練集。2、由于人工標注的視頻內容，其主觀性太強，不同的人對相同視頻的特征、標注都不可能完全一樣，很難形成統(tǒng)一的人工標注標準。3、人工標注的視頻內容，其擴充性太差，對于一個沒有樣本訓練集中從未標注過的視頻，還需要搜索原有的庫，把與之相近特征的關鍵字提取出來，建立特征和關鍵詞之間的聯(lián)系，這才能完成對視頻的注釋
發(fā)明內容
本發(fā)明的目的是克服了上述現(xiàn)有技術中的缺點，提供一種對該視頻數(shù)據(jù)進行粗粒度的結構化描述的提取，再在粗粒度的結構化描述的基礎上，設定視頻幀的分割點和幀內分割區(qū)域塊，然后在已設定的分割點和分割塊中進行細粒度的標注，從而降低人工設備標注標準對視頻標注的主觀影響，提高視頻標注的精確度，且便于視頻標注訓練集的自動擴充，同時，應用方式簡便，實現(xiàn)成本低廉，應用范圍也較為廣泛的基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)及方法。為了實現(xiàn)上述的目的，本發(fā)明的基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)具有如下構成該系統(tǒng)包括資源輸入模塊、結構化描述模塊、標注設備模塊、雙向切割模塊和中心控制模塊。其中，資源輸入模塊連接系統(tǒng)外部設備，用以從所連接的外部設備中獲取視頻文件和視頻幀截取的圖片文件；結構化描述模塊用以提取所述的視頻文件和視頻幀截取的圖片文件的結構化描述內容，產(chǎn)生結構化描述數(shù)據(jù)；標注設備模塊為所述的便攜式設備，用以根據(jù)所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行標注；雙向切割模塊根據(jù)所述的視頻文件和視頻幀截取的圖片文件的標注設置多個不同的語義分割點或區(qū)域，將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域；中心控制模塊連接所述的資源輸入模塊、結構化描述模塊、標注設備模塊和雙向切割模塊，用以向所述各模塊發(fā)送任務指令，調度各模塊的運行。該基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)中，所述的結構化描述模塊包括順序連接的語義關系單元、時空分割單元、特征提取單元和對象識別單元，用以產(chǎn)生人和計算機系統(tǒng)可識別的關于視頻和圖像的多層次結構化描述信息。該基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)中，所述的雙向切割模塊包括分割點設置單元和切割單元，所述的分割點設置單元根據(jù)所述的標注在所述的視頻文件或視頻幀截取的圖片文件的設置多個不同的語義分割點或區(qū)域；所述的切割單元用以將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域。該基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)中，所述的標注設備模塊包括粗顆粒標注處理單元和細顆粒標注處理單元，所述的粗顆粒標注處理單元用以根據(jù)所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行粗顆粒標注；所述的細顆粒標注處理單元用以根據(jù)所述的結構化描述數(shù)據(jù)對所述的經(jīng)雙向切割模塊分割的具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注。該基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)中，所述的便攜式設備包括平板電腦、智能手機和數(shù)碼攝像機。本發(fā)明還公開了一種利用所述的系統(tǒng)實現(xiàn)便攜式設備視頻知識采集與標注處理的方法，該方法包括以下步驟(201)所述的資源輸入模塊從所連接的互聯(lián)網(wǎng)、局域網(wǎng)或視頻數(shù)據(jù)庫中獲取視頻文件和視頻幀截取的圖片文件；(202)所述的結構化描述模塊提取所述的視頻文件和視頻幀截取的圖片文件的結構化描述內容，產(chǎn)生結構化描述數(shù)據(jù)；
(203)所述的結構化描述模塊提取所述的視頻文件和視頻幀截取的圖片文件的視頻圖像特征和語義數(shù)據(jù)，并將所述的圖像特征和語義數(shù)據(jù)輸入到結構化描述數(shù)據(jù)中；(204)所述的標注設備模塊根據(jù)所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行粗粒度標注；(205)所述的雙向切割模塊根據(jù)所述的粗粒度標注，在所述的視頻文件和視頻幀截取的圖片文件中設置多個不同的語義分割點或區(qū)域；(206)所述的雙向切割模塊將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域；(207)所述的標注設備模塊對所述的具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注。該實現(xiàn)便攜式設備視頻知識采集與標注處理的方法中，所述的結構化描述模塊包括順序連接的語義關系單元、時空分割單元、特征提取單元和對象識別單元，所述的步驟
(202)具體包括以下步驟(301)所述的語義關系單元確定所述的視頻文件和視頻幀截取的圖片文件中的對象的含義；(302)所述的時空分割單元，根據(jù)所述的對象含義從所述的視頻文件和視頻幀截取的圖片文件中分離出有意義的對象，所述的有意義的對象包括語義級別的對象形狀信息和對象紋理信息；(303)所述的特征提取單元根據(jù)所述的視頻文件和視頻幀截取的圖片文件的顏色特征和空間特征提取特征內容；(304)所述的對象識別單元根據(jù)已知訓練對象集合對未知對象進行識別和分類；(305)根據(jù)上述的時空分割、特征提取和對象識別的結果，生成所述的關于視頻和圖像的多層次結構化描述數(shù)據(jù)。該實現(xiàn)便攜式設備視頻知識采集與標注處理的方法中，所述的雙向切割模塊包括分割點設置單元和切割單元，所述的雙向切割模塊根據(jù)所述的粗粒度標注在所述的視頻文件和視頻幀截取的圖片文件中設置多個不同的語義分割點或區(qū)域，具體為所述的分割點設置單元根據(jù)所述的標注在所述的視頻文件或視頻幀截取的圖片文件的設置多個不同的語義分割點或區(qū)域；所述的雙向切割模塊將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域，具體為所述的切割單元用以將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域。該實現(xiàn)便攜式設備視頻知識采集與標注處理的方法中，所述的標注設備模塊包括粗顆粒標注處理單元和細顆粒標注處理單元，所述的標注設備模塊根據(jù)所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行粗粒度標注，具體為所述的粗顆粒標注處理單元用以所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行粗顆粒標注；所述的標注設備模塊對所述的具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注，具體為
所述的細顆粒標注處理單元根據(jù)所述的結構化描述數(shù)據(jù)對所述的經(jīng)雙向切割模塊分割的具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注。該實現(xiàn)便攜式設備視頻知識采集與標注處理的方法中，所述的步驟(203)具體包括以下步驟(203-1)所述的結構化描述模塊將所述的視頻文件和視頻幀截取的圖片文件分成若干視頻圖像片段、關鍵幀和關鍵子區(qū)域；(203-2)所述的結構化描述模塊對所述的視頻圖像片段、關鍵幀和關鍵子區(qū)域進行特征提取和語義分析處理，獲得視頻圖像特征和語義數(shù)據(jù)；(203-3)所述的結構化描述模塊將所述的圖像特征和語義數(shù)據(jù)輸入到結構化描述數(shù)據(jù)中。該實現(xiàn)便攜式設備視頻知識采集與標注處理的方法中，所述的雙向切割模塊根據(jù)所述的粗粒度標注，在所述的視頻文件和視頻幀截取的圖片文件中設置多個不同的語義分割點或區(qū)域，具體為所述的雙向切割模塊根據(jù)所述的粗粒度標注在所述的關鍵幀和關鍵子區(qū)域中設置多個不同的語義分割點或區(qū)域；所述的雙向切割模塊將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域，具體為所述的雙向切割模塊將所述的關鍵幀和關鍵子區(qū)域根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域。采用了該發(fā)明的基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)及方法，其系統(tǒng)包括資源輸入模塊、結構化描述模塊、標注設備模塊、雙向切割模塊和中心控制模塊。該方法中，結構化描述模塊提取視頻文件和視頻幀截取的圖片文件的結構化描述內容，產(chǎn)生結構化描述數(shù)據(jù)；標注設備模塊先根據(jù)結構化描述數(shù)據(jù)對視頻文件和視頻幀截取的圖片文件進行粗粒度標注；再根據(jù)粗粒度標注將視頻文件和視頻幀截取的圖片文件根據(jù)語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域；然后對具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注。從而能夠利用本發(fā)明的系統(tǒng)和方法，有效降低了人工設備標注標準對視頻標注的主觀影響，大幅提聞了視頻標注的精確度，也便于視頻標注訓練集的自動擴充，且的基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)及方法，其應用方式簡便，實現(xiàn)成本低廉，應用范圍也較為廣泛。


圖1為本發(fā)明的基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)的結構示意圖。圖2為本發(fā)明的實現(xiàn)便攜式設備視頻知識采集與標注處理的方法的步驟流程圖。圖3為本發(fā)明的實現(xiàn)便攜式設備視頻知識采集與標注處理的方法中視頻結構化描述的流程示意4為采用本發(fā)明的方法對視頻A和圖像B進行知識采集與標注的實例的時序圖。
具體實施方式
為了能夠更清楚地理解本發(fā)明的技術內容，特舉以下實施例詳細說明。請參閱圖1所示，為本發(fā)明的基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)的結構示意圖。在一種實施方式中，該基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)包括資源輸入模塊、結構化描述模塊、標注設備模塊、雙向切割模塊和中心控制模塊。其中，資源輸入模塊連接系統(tǒng)外部設備，用以從所連接的外部設備中獲取視頻文件和視頻幀截取的圖片文件。結構化描述模塊用以提取所述的視頻文件和視頻幀截取的圖片文件的結構化描述內容，產(chǎn)生結構化描述數(shù)據(jù)。標注設備模塊為平板電腦、智能手機和數(shù)碼攝像機等便攜式設備，用以根據(jù)所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行標注。雙向切割模塊根據(jù)所述的視頻文件和視頻幀截取的圖片文件的標注設置多個不同的語義分割點或區(qū)域，將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域。中心控制模塊連接所述的資源輸入模塊、結構化描述模塊、標注設備模塊和雙向切割模塊，用以向所述各模塊發(fā)送任務指令，調度各模塊的運行。利用該實施方式所述的系統(tǒng)實現(xiàn)便攜式設備視頻知識采集與標注處理的方法，如圖2所示，包括以下步驟(201)所述的資源輸入模塊從所連接的互聯(lián)網(wǎng)、局域網(wǎng)或視頻數(shù)據(jù)庫中獲取視頻文件和視頻幀截取的圖片文件；(202)所述的結構化描述模塊提取所述的視頻文件和視頻幀截取的圖片文件的結構化描述內容，產(chǎn)生結構化描述數(shù)據(jù)；(203)所述的結構化描述模塊提取所述的視頻文件和視頻幀截取的圖片文件的視頻圖像特征和語義數(shù)據(jù)，并將所述的圖像特征和語義數(shù)據(jù)輸入到結構化描述數(shù)據(jù)中；(204)所述的標注設備模塊根據(jù)所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行粗粒度標注；(205)所述的雙向切割模塊根據(jù)所述的粗粒度標注，在所述的視頻文件和視頻幀截取的圖片文件中設置多個不同的語義分割點或區(qū)域；(206)所述的雙向切割模塊將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域；(207)所述的標注設備模塊對所述的具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注。在一種較優(yōu)選的實施方式中，所述的結構化描述模塊包括順序連接的語義關系單元、時空分割單元、特征提取單元和對象識別單元，用以產(chǎn)生人和計算機系統(tǒng)可識別的關于視頻和圖像的多層次結構化描述信息。在利用該較優(yōu)選的實施方式所述的系統(tǒng)實現(xiàn)便攜式設備視頻知識采集與標注處理的方法中，所述的步驟(202)具體包括以下步驟(301)所述的語義關系單元確定所述的視頻文件和視頻幀截取的圖片文件中的對象的含義；(302)所述的時空分割單元，根據(jù)所述的對象含義從所述的視頻文件和視頻幀截取的圖片文件中分離出有意義的對象，所述的有意義的對象包括語義級別的對象形狀信息和對象紋理信息；(303)所述的特征提取單元根據(jù)所述的視頻文件和視頻幀截取的圖片文件的顏色特征和空間特征提取特征內容；(304)所述的對象識別單元根據(jù)已知訓練對象集合對未知對象進行識別和分類；(305)根據(jù)上述的時空分割、特征提取和對象識別的結果，生成所述的關于視頻和圖像的多層次結構化描述數(shù)據(jù)。在另一種較優(yōu)選的實施方式中，所述的雙向切割模塊包括分割點設置單元和切割單元，所述的分割點設置單元根據(jù)所述的標注在所述的視頻文件或視頻幀截取的圖片文件的設置多個不同的語義分割點或區(qū)域；所述的切割單元用以將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域。在利用該較優(yōu)選的實施方式所述的系統(tǒng)實現(xiàn)便攜式設備視頻知識采集與標注處理的方法中，所述的步驟(205)雙向切割模塊根據(jù)所述的粗粒度標注在所述的視頻文件和視頻幀截取的圖片文件中設置多個不同的語義分割點或區(qū)域，具體為所述的分割點設置單元根據(jù)所述的標注在所述的視頻文件或視頻幀截取的圖片文件的設置多個不同的語義分割點或區(qū)域。所述的步驟(206)雙向切割模塊將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域，具體為所述的切割單元用以將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域。在進一步優(yōu)選的實施方式中，所述的標注設備模塊包括粗顆粒標注處理單元和細顆粒標注處理單元，所述的粗顆粒標注處理單元用以根據(jù)所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行粗顆粒標注；所述的細顆粒標注處理單元用以根據(jù)所述的結構化描述數(shù)據(jù)對所述的經(jīng)雙向切割模塊分割的具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注。在利用進一步優(yōu)選的實施方式所述的系統(tǒng)實現(xiàn)便攜式設備視頻知識采集與標注處理的方法中，所述的步驟(204)標注設備模塊根據(jù)所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行粗粒度標注，具體為所述的粗顆粒標注處理單元用以所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行粗顆粒標注。所述的步驟(207)標注設備模塊對所述的具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注，具體為所述的細顆粒標注處理單元根據(jù)所述的結構化描述數(shù)據(jù)對所述的經(jīng)雙向切割模塊分割的具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注。在更進一步優(yōu)選的實施方式中，所述的步驟(203)具體包括以下步驟(203-1)所述的結構化描述模塊將所述的視頻文件和視頻幀截取的圖片文件分成若干視頻圖像片段、關鍵幀和關鍵子區(qū)域；(203-2)所述的結構化描述模塊對所述的視頻圖像片段、關鍵幀和關鍵子區(qū)域進行特征提取和語義分析處理，獲得視頻圖像特征和語義數(shù)據(jù)；(203-3)所述的結構化描述模塊將所述的圖像特征和語義數(shù)據(jù)輸入到結構化描述數(shù)據(jù)中。在更優(yōu)選的實施方式中，所述的步驟(205)雙向切割模塊根據(jù)所述的粗粒度標注，在所述的視頻文件和視頻幀截取的圖片文件中設置多個不同的語義分割點或區(qū)域，具體為所述的雙向切割模塊根據(jù)所述的粗粒度標注在所述的關鍵幀和關鍵子區(qū)域中設置多個不同的語義分割點或區(qū)域。所述的步驟(206)雙向切割模塊將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域，具體為所述的雙向切割模塊將所述的關鍵幀和關鍵子區(qū)域根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域。 在實際應用中，本發(fā)明的基于便攜式設備實現(xiàn)視頻知識采集標注的系統(tǒng)包括標注資源輸入模塊、視頻結構化描述模塊、視頻雙向切割模塊、標注信息管理中心模塊和標注設備模塊等五個模塊。所述的標注資源輸入模塊是指為標注系統(tǒng)提供的各種標注信息。從標注內容角度來說，標注資源主要包括視頻文件和以視頻幀截取出來的圖片。視頻文件來自于視頻監(jiān)控、攝像設備保存的內容，視頻中的圖片由視頻文件中截取獲得，該截取過程可以人工完成，也有可以是設備自動截取視頻中的關鍵幀，然后進行轉存的圖片。從標注資源來源的角度來說，標注資源分為交通標注資源和社會標注資源。交通標注資源來源于公安部門部署的各類視頻監(jiān)控網(wǎng)絡、設備所采集的視頻、圖像資源，社會標注資源來源于各類社會單元或者個人部署的各類視頻監(jiān)控網(wǎng)絡、設備所采集的視頻、圖像資源。所述的視頻結構化描述模塊是指用來提取視頻的結構化描述內容，這是一種以機器自動化為主的視頻信息處理和分析方法，采用語義關系、時空分割、特征提取、對象識別等處理手段，組織成可供計算機和人理解的文本信息的技術。它依賴于圖像處理技術、模式識別技術、語義理解技術等對視頻數(shù)據(jù)進行多層次、多維度的特征提取。視頻首先傳送到描述設備，類似人的大腦，對內容進行分析理解，并產(chǎn)生多層次的結構化輸出；接著對描述數(shù)據(jù)進行傳輸和存儲，同時描述設備也輸出一個原始視頻供系統(tǒng)存儲。從數(shù)據(jù)處理的流程看，視頻結構化描述技術能夠將監(jiān)控視頻轉化為人和機器可理解的信息，并實現(xiàn)視頻數(shù)據(jù)向關鍵信息的轉化。所述的視頻雙向切割模塊，是將從互聯(lián)網(wǎng)或局域網(wǎng)中下載或接受得到待處理視頻，根據(jù)視頻的標注設置不同的語義分割點或區(qū)域，將視頻劃分為很多具有不同語義的視頻片段或同一視頻圖像中的不同區(qū)域。所述的標注信息管理中心模塊，是用來查詢所述的視頻的結構化描述結果，查詢視頻的結構化標注結果，調整支持訓練集的參數(shù)設置。所述的標注設備模塊，即便攜式設備，例如平板電腦、智能手機、數(shù)碼攝像機，用戶通過標注設備實現(xiàn)對標注資源的標注，標注設備的行為受到標注信息管理中心的管理和授權。本發(fā)明以便攜式支持采集標注技術、非關系型數(shù)據(jù)庫為基礎，構建了一種便攜式的視頻/圖像采集、標注、上傳、查詢系統(tǒng)，可以做到視頻圖像資料到標注知識的即時轉化處理。采用上述系統(tǒng)的方法包括以下步驟
從因特網(wǎng)/局域網(wǎng)中采集待標注的視頻文件和視頻中的圖片文件；從視頻的本源——結構化描述的結果為出發(fā)點，對視頻文件和圖片文件進行結構化描述的特征提??；根據(jù)視頻文件和圖片文件的結構化描述結果，形成對應的視頻語義粗粒度標注；再根據(jù)視頻粗粒度標注設置不同的語義分割點，將視頻劃分為很多具有不同語義層次的視頻片段或視頻幀中的幾何區(qū)域；最后再將各粗粒度視頻片段作為標注單元，對視頻內容進行細粒度的語義標注。具體而言，本發(fā)明實施例的流程圖，主要包括如下步驟步驟201，視頻過濾系統(tǒng)接受來自互聯(lián)網(wǎng)、局域網(wǎng)或視頻數(shù)據(jù)庫傳來的視頻數(shù)據(jù)發(fā)送請求；步驟202，采集待標注的視頻及圖像樣本，并將數(shù)字視頻信號輸入到視頻結構化描述模塊，如果輸入的為模擬信號，則進行模數(shù)轉換；步驟203，提取出視頻的結構化描述結果，對視頻輸入模塊傳入的視頻圖像信號進行智能分析處理，把視頻圖像信號分成若干各視頻圖像片段、關鍵幀和子區(qū)域；對視頻圖像片段、關鍵幀和子區(qū)域進行特征提取和高級語義分析處理，獲得視頻圖像的特征和高級語義數(shù)據(jù)，并將數(shù)據(jù)輸入到視頻結構化描述數(shù)據(jù)庫中；步驟204，根據(jù)視頻的結構化描述結果對視頻進行粗粒度的視頻標注；步驟205，設置視頻的語義分割點，該步驟根據(jù)上述的粗粒度標注結果，將視頻的關鍵幀和關鍵子區(qū)域進行分割、標注；步驟206，根據(jù)視頻的語義分割片和分割點，再進行視頻的細粒度標注。圖3為本發(fā)明中視頻結構化描述的實施例的流程圖，主要包括如下步驟步驟301，系統(tǒng)接受來自互聯(lián)網(wǎng)、局域網(wǎng)或視頻數(shù)據(jù)庫傳來的視頻數(shù)據(jù)發(fā)送的請求。步驟302，時空分割是指系統(tǒng)從視頻序列中分離有意義的對象，每個視頻對象平面包含語義級別視頻對象的形狀和紋理信息。根據(jù)分割方法的不同，分割算法可以分為空域分割算法和時域分割算法兩種?？沼蚍指钍沁\用分水嶺算法得到不同區(qū)域的邊界；時域分割是利用時域變化檢測來分隔視頻對象，運動對象的位置和形狀通過幀差法和減背景法得到。步驟303，特征提取是指根據(jù)顏色特征和空間特征，提取表示視頻幀的特征內容。步驟304，對象識別是指依據(jù)統(tǒng)計模式識別的方法，即在已知訓練對象集合的基礎上設計識別和分類算法，從而對未知對象進行識別分類。步驟305，根據(jù)上述的時空分割、特征提取和對象識別，得出視頻的多層次結構化描述結果。圖4為本發(fā)明實施例中視頻A、圖像B通過知識采集標注系統(tǒng)進行標注的時序圖步驟401，基于便攜式設備的知識采集標注系統(tǒng)在接收到視頻A和圖像B的傳輸請求之后，與網(wǎng)絡傳輸機制建立傳輸連接，接收視頻A和圖像B的數(shù)據(jù)。步驟402，將接收到的視頻/圖像數(shù)據(jù)進行數(shù)據(jù)預處理，如果輸入的是模擬信號，則進行模數(shù)轉換；步驟403，對視頻輸入模塊傳入的視頻/圖像信號進行智能分析處理，把視頻/圖像信號分成若干個視頻圖像片段，關鍵幀和子區(qū)域；對視頻圖像片段、關鍵幀和子區(qū)域進行特征提取和高級語義分析處理，獲得視頻/圖像的特征和高級語義數(shù)據(jù)，并將數(shù)據(jù)輸入到視頻結構化描述數(shù)據(jù)庫中；步驟404，將上述生成的圖像B的粗粒度描述結果返回。步驟405，根據(jù)視頻時間幀或者同視頻幀內不同區(qū)域的語義描述，可將視頻進行雙向的切割。步驟406，根據(jù)上述的雙向切割點，再次提取出細粒度的視頻特征描述。步驟407，將上述生成的視頻A細粒度描述結果返回。采用了該發(fā)明的基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)及方法，其系統(tǒng)包括資源輸入模塊、結構化描述模塊、標注設備模塊、雙向切割模塊和中心控制模塊。該方法中，結構化描述模塊提取視頻文件和視頻幀截取的圖片文件的結構化描述內容，產(chǎn)生結構化描述數(shù)據(jù)；標注設備模塊先根據(jù)結構化描述數(shù)據(jù)對視頻文件和視頻幀截取的圖片文件進行粗粒度標注；再根據(jù)粗粒度標注將視頻文件和視頻幀截取的圖片文件根據(jù)語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域；然后對具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注。從而能夠利用本發(fā)明的系統(tǒng)和方法，有效降低了人工設備標注標準對視頻標注的主觀影響，大幅提聞了視頻標注的精確度，也便于視頻標注訓練集的自動擴充，且的基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)及方法，其應用方式簡便，實現(xiàn)成本低廉，應用范圍也較為廣泛。在此說明書中，本發(fā)明已參照其特定的實施例作了描述。但是，很顯然仍可以作出各種修改和變換而不背離本發(fā)明的精神和范圍。因此，說明書和附圖應被認為是說明性的而非限制性的。
權利要求
1.一種基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)，其特征在于，所述的系統(tǒng)包括: 資源輸入模塊，連接系統(tǒng)外部設備，用以從所連接的外部設備中獲取視頻文件和視頻幀截取的圖片文件； 結構化描述模塊，用以提取所述的視頻文件和視頻幀截取的圖片文件的結構化描述內容，產(chǎn)生結構化描述數(shù)據(jù)； 標注設備模塊，為所述的便攜式設備，用以根據(jù)所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行標注； 雙向切割模塊，根據(jù)所述的視頻文件和視頻幀截取的圖片文件的標注設置多個不同的語義分割點或區(qū)域，將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域； 中心控制模塊，連接所述的資源輸入模塊、結構化描述模塊、標注設備模塊和雙向切割模塊，用以向所述各模塊發(fā)送任務指令，調度各模塊的運行。
2.根據(jù)權利要求1所述的基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)，其特征在于，所述的結構化描述模塊包括順序連接的語義關系單元、時空分割單元、特征提取單元和對象識別單元，用以產(chǎn)生人和計算機系統(tǒng)可識別的關于視頻和圖像的多層次結構化描述信息。
3.根據(jù)權利要求1所述的基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)，其特征在于，所述的雙向切割模塊包括分割點設置單元和切割單元，所述的分割點設置單元根據(jù)所述的標注在所述的視頻文件或視頻幀截取的圖片文件的設置多個不同的語義分割點或區(qū)域；所述的切割單元用以將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域。
4.根據(jù)權利要求3所述的基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)，其特征在于，所述的標注設備模塊包括粗顆粒標注處理單元和細顆粒標注處理單元，所述的粗顆粒標注處理單元用以根據(jù)所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行粗顆粒標注；所述的細顆粒標注處理單元用以根據(jù)所述的結構化描述數(shù)據(jù)對所述的經(jīng)雙向切割模塊分割的具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注。
5.根據(jù)權利要求1至4中任一項所述的基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)，其特征在于，所述的便攜式設備包括平板電腦、智能手機和數(shù)碼攝像機。
6.一種利用權利要求1所述的系統(tǒng)實現(xiàn)便攜式設備視頻知識采集與標注處理的方法，其特征在于，所述的方法包括以下步驟: (201)所述的資源輸入模塊從所連接的互聯(lián)網(wǎng)、局域網(wǎng)或視頻數(shù)據(jù)庫中獲取視頻文件和視頻幀截取的圖片文件； (202)所述的結構化描述模塊提取所述的視頻文件和視頻幀截取的圖片文件的結構化描述內容，產(chǎn)生結構化描述數(shù)據(jù)； (203)所述的結構化描述模塊提取所述的視頻文件和視頻幀截取的圖片文件的視頻圖像特征和語義數(shù)據(jù)，并將所述的圖像特征和語義數(shù)據(jù)輸入到結構化描述數(shù)據(jù)中； (204)所述的標注設備模塊根據(jù)所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行粗粒度標注； (205)所述的雙向切割模塊根據(jù)所述的粗粒度標注，在所述的視頻文件和視頻幀截取的圖片文件中設置多個不同的語義分割點或區(qū)域； (206)所述的雙向切割模塊將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域； (207)所述的標注設備模塊對所述的具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注。
7.根據(jù)權利要求6所述的實現(xiàn)便攜式設備視頻知識采集與標注處理的方法，其特征在于，所述的結構化描述模塊包括順序連接的語義關系單元、時空分割單元、特征提取單元和對象識別單元，所述的步驟(202)具體包括以下步驟: (301)所述的語義關系單元確定所述的視頻文件和視頻幀截取的圖片文件中的對象的含義； (302)所述的時空分割單元，根據(jù)所述的對象含義從所述的視頻文件和視頻幀截取的圖片文件中分離出有意義的對象，所述的有意義的對象包括語義級別的對象形狀信息和對象紋理信息； (303)所述的特征提取單元根據(jù)所述的視頻文件和視頻幀截取的圖片文件的顏色特征和空間特征提取特征內容； (304)所述的對象識別單元根據(jù)已知訓練對象集合對未知對象進行識別和分類； (305)根據(jù)上述的時空分割、特征提取和對象識別的結果，生成所述的關于視頻和圖像的多層次結構化描述數(shù)據(jù)。
8.根據(jù)權利要求6所述的實現(xiàn)便攜式設備視頻知識采集與標注處理的方法，其特征在于，所述的雙向切割模塊包括分割點設置單元和切割單元，所述的雙向切割模塊根據(jù)所述的粗粒度標注在所述的視頻文件和視頻幀截取的圖片文件中設置多個不同的語義分割點或區(qū)域，具體為: 所述的分割點設置單元根據(jù)所述的標注在所述的視頻文件或視頻幀截取的圖片文件的設置多個不同的語義分割點或區(qū)域； 所述的雙向切割模塊將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域，具體為: 所述的切割單元用以將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域。
9.根據(jù)權利要求6所述的實現(xiàn)便攜式設備視頻知識采集與標注處理的方法，其特征在于，所述的標注設備模塊包括粗顆粒標注處理單元和細顆粒標注處理單元，所述的標注設備模塊根據(jù)所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行粗粒度標注，具體為: 所述的粗顆粒標注處理單元用以所述的結構化描述數(shù)據(jù)對所述的視頻文件和視頻幀截取的圖片文件進行粗顆粒標注； 所述的標注設備模塊對所述的具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注，具體為: 所述的細顆粒標注處理單元根據(jù)所述的結構化描述數(shù)據(jù)對所述的經(jīng)雙向切割模塊分割的具有不同語義的視頻片段或圖片中的不同區(qū)域進行細顆粒標注。
10.根據(jù)權利要求6至9中任一項所述的實現(xiàn)便攜式設備視頻知識采集與標注處理的方法，其特征在于，所述的步驟(203)具體包括以下步驟: (203-1)所述的結構化描述模塊將所述的視頻文件和視頻幀截取的圖片文件分成若干視頻圖像片段、關鍵幀和關鍵子區(qū)域； (203-2)所述的結構化描述模塊對所述的視頻圖像片段、關鍵幀和關鍵子區(qū)域進行特征提取和語義分析處理，獲得視頻圖像特征和語義數(shù)據(jù)； (203-3)所述的結構化描述模塊將所述的圖像特征和語義數(shù)據(jù)輸入到結構化描述數(shù)據(jù)中。
11.根據(jù)權利要求10所述的實現(xiàn)便攜式設備視頻知識采集與標注處理的方法，其特征在于，所述的雙向切割模塊根據(jù)所述的粗粒度標注，在所述的視頻文件和視頻幀截取的圖片文件中設置多個不同的語義分割點或區(qū)域，具體為: 所述的雙向切割模塊根據(jù)所述的粗粒度標注在所述的關鍵幀和關鍵子區(qū)域中設置多個不同的語義分割點或區(qū)域； 所述的雙向切割模塊將所述的視頻文件和視頻幀截取的圖片文件根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域，具體為: 所述的雙向切割模塊將所述的關鍵幀和關鍵子區(qū)域根據(jù)所述的語義分割點或區(qū)域劃分為多個具有不同語 義的視頻片段或圖片中的不同區(qū)域。
全文摘要
本發(fā)明涉及一種基于便攜式設備實現(xiàn)視頻知識采集與標注功能的系統(tǒng)及方法，屬于計算機應用技術領域。該系統(tǒng)包括資源輸入模塊、結構化描述模塊、標注設備模塊、雙向切割模塊和中心控制模塊。該方法中，結構化描述模塊產(chǎn)生結構化描述數(shù)據(jù)；標注設備模塊先根據(jù)結構化描述數(shù)據(jù)對視頻和圖片文件進行粗粒度標注；再根據(jù)粗粒度標注將視頻和圖片文件劃分為多個具有不同語義的視頻片段或圖片中的不同區(qū)域；然后再進行細顆粒標注。從而能夠有效降低人工設備標注標準對視頻標注的主觀影響，大幅提高視頻標注的精確度，也便于視頻標注訓練集的自動擴充，且本發(fā)明的系統(tǒng)及方法的應用方式簡便，實現(xiàn)成本低廉，應用范圍也較為廣泛。
文檔編號G06F17/30GK103077236SQ20131000729
公開日2013年5月1日 申請日期2013年1月9日 優(yōu)先權日2013年1月9日
發(fā)明者李逸, 胡傳平, 梅林 申請人:公安部第三研究所