專利名稱：嵌入式設備中查詢教學視頻內容的系統(tǒng)及其方法
技術領域：
本發(fā)明涉及視頻查詢領域，尤其涉及在嵌入式設備中查詢教學視頻內容的系統(tǒng)及 其方法。
背景技術：
內容的視頻查詢(Content-Based Video Retrieval, CBVR)目前主要是運用一些 算法進行大量運算，從而進行視頻特征提取(如幀的主色調、鏡頭的主色調、目標顏色或形 狀、紋理等特征，也包括用戶說明的攝像機運動或視頻中目標的運動情況等)進而再根據(jù) 不同的算法獲取一定精度(閥值容忍條件下)的自動鏡頭場景等，從而建立索引等。從而 方便用戶就一些場景特征或色彩基調等進行查詢。如用戶可提出"查找從左到右運動的汽 車的鏡頭〃或〃查找攝像機推近的鏡頭〃等。然后在教學類視頻中，有些座教式的視頻內容很長，而且鏡頭切換也基本很少，色 調可能也比較單調。對于學習內的視頻，我們查詢并不關注什么場景，色調，推進或拉伸等 鏡頭特征，而更注重學習內容的查詢。并且鑒于嵌入式裝置CPU運算能力一般有限，目前的 運算速度均無法支撐動態(tài)的實時的基于視頻內容的特征提取和對比。而隨著數(shù)字時代的來臨，現(xiàn)在人們使用越來越多在嵌入式的隨身攜帶的電子產品 上使用的教學視頻。并且大量的教學視頻被被用作為學習教材。視頻檔格式也基本都是主 流的視頻媒體流的文件格式，諸如rmvb，avi，flS等各類格式。而這類視頻有些還可以支持 字幕。但對于教學視頻而言，都沒有辦法對于視頻內部的內容做方便的查詢。一些視頻的 發(fā)行者可能基于目錄查詢的考慮，或許會將長的視頻按章節(jié)分割成多個短的視頻。但對于 單個視頻而言，其中間的內容仍然是不能進行內容查詢。(這里描述的內容查詢，不是簡單 的快進，快退，進度滑塊滑動進行的seek查詢)，而是指根據(jù)用戶輸入或者指定的關鍵詞， 在視頻中根據(jù)描述的內容。并可以根據(jù)視頻輔助的大綱內容獲取到查詢的結果，然后自動 列舉出來相關的視頻片段，從而可以供查閱者直接觀看或參考相關的視頻。從而讓教學視 頻的全文內容(不只是標題，主題)可以進行查詢。

發(fā)明內容
為了解決背景技術中所存在的技術問題，本發(fā)明提出了一種嵌入式設備中查詢教 學視頻內容的系統(tǒng)及其方法，建立一種對應視頻查詢內容的大綱檔，根據(jù)視頻內容，將一些 文本數(shù)據(jù)重新識別成文本，實現(xiàn)了一種允許用戶進行教學視頻內容相關大綱的內容的查 詢。本發(fā)明的技術解決方案是本發(fā)明為一種嵌入式設備中查詢教學視頻內容的系 統(tǒng)，其特殊之處在于所述系統(tǒng)包括用于選取視頻大綱的選取模塊、用于儲存視頻大綱數(shù)據(jù) 的存儲模塊、用于自存儲模塊抽取視頻大綱以及創(chuàng)建視頻大綱的處理模塊；用于顯示視頻 相關文件的顯示模塊；所述選取模塊和顯示模塊連接；所述處理模塊與顯示模塊連接；所 述存儲模塊與選取模塊連接。
本發(fā)明還提供一種基于嵌入式設備中查詢教學視頻內容的系統(tǒng)的方法，其特殊之 處在于所述方法包括以下步驟1)查看教學視頻，根據(jù)教學視頻的內容和教學用途，決定是否可以程序自動抽取 視頻大綱；若是，則程序自動抽取，若否，則人工添加視頻大綱；2)根據(jù)視頻大綱建立大綱關鍵詞以及該大綱關鍵詞與原視頻的時間片對照表；3)根據(jù)建立的大綱關鍵詞建立大綱關鍵詞查詢表；4)播放的過程中，接受用戶輸入查詢的關鍵詞，并到大綱關鍵詞查詢表中進行查 詢，若該關鍵詞在大綱關鍵詞查詢表中，則進行步驟5)；5)根據(jù)大綱關鍵詞與時間片對照表進行教學視頻的位置自動定位，實現(xiàn)教學視頻 的內容查詢。上述步驟1)中程序自動抽取大綱的具體步驟是1. 1)程序掃描并抽取出來適當?shù)拇缶V；1. 2)獲得大綱相應的幀信息；1. 3)根據(jù)幀信息進行識別和翻譯成文本；識別和翻譯的同時進行審查，提取出來 大綱中的大綱關鍵詞。上述步驟1)中人工抽取大綱的具體方法是根據(jù)教學目的，根據(jù)視頻中不同的內 容，輸入大綱內容，并確定大綱關鍵詞。上述步驟5)中查詢的具體步驟是系統(tǒng)根據(jù)輸入的關鍵字匹配引擎進行大綱內 容查詢，若匹配到了大綱的視頻片段則顯示查找結果并根據(jù)查詢文件記錄的時間片信息直 接定位到教學視頻相關時間位置；若沒有找到匹配的視頻片段，則用戶選擇是否修改關鍵 字并繼續(xù)查詢。上述方法在步驟5)之后還包括有步驟6)使用者自己添加大綱關鍵詞的步驟，具 體步驟如下允許用戶自己進行補充，在播放器上放置時間片的選擇，彈出一個允許輸入文 本大綱的編輯框，進行新建或者補充該時間片對應的大綱關鍵詞。上述步驟2)關鍵詞與原視頻的時間片對照表中，不同的大綱關鍵詞對應的時間 片的對應關系有重疊、包含以及多對一。上述步驟1. 2)中獲得幀信息的方法是應用OCR技術；上述視頻大綱包括編程教程中的代碼片段，數(shù)學教程中的數(shù)學公式、英文教學中 的例句抽取。本發(fā)明的優(yōu)點是1)建立一種對應視頻查詢內容的大綱檔，大綱檔可以采用人工輸入方式，根據(jù)視 頻內容，進行事件片相關內容進行大綱內容進行標記。對于一些使用程序可以透過視頻抓 取到的內容(如OCR識別技術，或許可以從視頻幀中，將一些文本數(shù)據(jù)重新識別成文本并再 交由人工進行校驗確認)可以程序自動抓取然后人工驗證和再選取的方式。2)建立一種大綱和時間片段的查詢表建立對照查詢表，并將所有的大綱內容采 用全文查詢的索引的方式進行組織和存儲，從而得到一份與該視頻對應的一份“教學視頻 (大綱)查詢表(大綱關鍵詞-視頻時間片范圍)”，播放器允許用戶輸入要查詢的關鍵詞， 然后查詢程序可以查詢“教學視頻(大綱)查詢表”進行視頻內容的查詢和定位，從而讓教 學視頻可以進行內容的精確查詢。
3)有些大綱可以由程序輔助抽取得到，人工進行審核和選取關鍵詞，從而可能只 需要更少的人工投入，教學視頻還可以由由教學視頻的發(fā)行發(fā)來抽取，因為他們更加熟悉 其視頻內容，從而能更加嫻熟和準確的獲取到大綱；通過建立大綱輔組查詢表，從而再嵌入 式設備上實現(xiàn)精確和方便的視頻內容查詢和定位，進而讓教學視頻的使用者能夠方便的進 行內容查詢。


圖1是本發(fā)明的系統(tǒng)的結構框圖；圖2是本發(fā)明的方法流程圖；圖3是本發(fā)明方法中視頻查詢的方法流程圖；圖4是本發(fā)明方法中用戶自定義擴充大綱的方法流程圖；圖5. 1是本發(fā)明視頻查詢的大綱內容具體實施例示意圖；圖5. 2是圖5. 1中視頻查詢大綱內容的關鍵詞與時間片對照的示意圖；圖5. 3是本發(fā)明視頻查詢的大綱內容另一具體實施例示意圖；圖5. 4是圖5. 3中視頻查詢大綱內容的關鍵詞與時間片對照的示意具體實施例方式參見圖1，本發(fā)明的嵌入式設備中查詢教學視頻內容的系統(tǒng)，包括選取模塊1，用 于根據(jù)內容和教學用途來選取視頻大綱；存儲模塊2，用于儲存視頻大綱數(shù)據(jù)；處理模塊3， 用于自存儲模塊2中抽取視頻大綱；顯示模塊4，用于將選取的視頻大綱以及教學視頻大綱 與視頻時間片對照表和教學視頻查詢文件進行顯示。處理模塊3除了抽取視屏大綱外，還 進行創(chuàng)建視頻大綱、按照建立的大綱，建立大綱關鍵詞與原視頻的時間片對照表以及建立 大綱全文或關鍵詞查詢表；參見圖2、圖3，本發(fā)明基于嵌入式設備中查詢教學視頻內容的系統(tǒng)的方法，包括 以下步驟1)查看教學視頻，根據(jù)其內容和教學用途，決定是否程序或者手工創(chuàng)建視頻大綱。 如果教學內容適合程序自動抽取，程序自動創(chuàng)建的具體步驟是1. 1)程序掃描并抽取出來適當?shù)拇缶V；一般諸如編程教程中的代碼片段，數(shù)學教 程中的數(shù)學公式等，英文教學中的例句抽取等；1. 2)獲得相應的幀信息；1. 3)使用OCR技術根據(jù)幀信息進行識別和翻譯成文本；識別和翻譯的同時進行審 查，提取出來大綱中的關鍵詞，參見圖5. 1和圖5. 3 ；圖5. 1所示的是MFC(VC6.0)中關于 socket套接字編程教學視頻Lessonl4. rmvb時長02 06 03 (視頻時長2小時零6分鐘零3 秒)，圖5. 1的時間片01 33 24是一段socket套接字UDP報文發(fā)送資料的vc++代碼示例。 上述視頻中的代碼片段則也可以作為一種的大綱內容進行收錄，并抽取這些函數(shù)名作為大 綱的查詢內容。如圖5. 1中斜體標記的關鍵詞均可以作為視頻內容查詢的關鍵詞。圖5. 3所示的是MFC(VC6. 0)中關于socket套接字編程教學視頻Lessonl6. rmvb 時長01:59:10 (視頻時長1小時零59分鐘零10秒)，圖二的時間片01 41 17是一段socket 套接字UDP (用戶數(shù)據(jù)報文協(xié)議)發(fā)送數(shù)據(jù)的vc++代碼示例。圖5.3中的斜體字部分關鍵詞均可以作為視頻內容查詢的關鍵詞。圖5. 2和圖5. 4分別是上述圖5. 1和圖5. 3中的教學視頻中，大綱關鍵詞和時間 片的相對應的時間片對照表。如果程序不方便抓取到準確的大綱內容，則手工方式進行大綱的輸入和時間對 照，具體步驟是這個部分對于教學視頻，可以根據(jù)的教學目的為依據(jù)，從而根據(jù)視頻中不 同的時間片的內容，輸入相關的大綱內容，也可以由教學視頻的發(fā)行方或者制作方輔助抽 取出教學視頻相關的大綱；當然，考慮到程序抽取的內容的精準性，可以由人工進行審查一邊，并提取出來大 綱中的關鍵詞，否則查詢內容可能過多而過于混雜，不方便使用。2)按照上述程序自動創(chuàng)建或者手工建立的大綱，建立大綱關鍵詞以及關鍵詞與原 視頻的時間片對照表；3)根據(jù)建立的大綱關鍵詞建立大綱關鍵詞查詢表；4)播放的過程中，接受用戶輸入查詢的關鍵詞，并到大綱關鍵詞查詢表中進行查 詢，若該關鍵詞在大綱關鍵詞查詢表中，則進行步驟5)；5)根據(jù)大綱關鍵詞與時間片對照表進行教學視頻的位置自動定位，實現(xiàn)教學視頻 的內容查詢。在查詢視頻大綱的時候，用戶可以根據(jù)需要查詢的內容輸入或者選擇需要查詢的 關鍵字，系統(tǒng)匹配引擎進行大綱內容查詢，系統(tǒng)匹配到了大綱的視頻片段則顯示查找結果 并根據(jù)查詢文件記錄的時間片信息直接定位到教學視頻相關時間位置；如果沒有找到匹配 的視頻片段，則用戶可以選擇是否修改關鍵字并繼續(xù)查詢，參見圖3。6)使用者可以自己添加大綱，具體步驟如下允許用戶自己進行補充，在播放器 上放置時間片的選擇，彈出一個允許輸入文本大綱的編輯框，進行新建或者補充該時間片 對應的大綱關鍵詞，從而實現(xiàn)大綱內允許用戶自定義進行編輯和擴充，本步驟具體實施例 參見圖4 ；在沒有合適的大綱時間片的情況下，用戶可根據(jù)提示，選擇系統(tǒng)提供的兩種選 擇新增大綱內容或者編輯大綱內容，之后系統(tǒng)會根據(jù)用戶的輸入對視頻查詢文件進行更 新。步驟2)中不同的大綱關鍵詞對應的時間的時間片允許有重疊、包含、多對一等關系。本發(fā)明的方法中關于大綱的查詢，則有使用文本查詢技術建立索引表可以有多種 實現(xiàn)成熟的實現(xiàn)方式，如關鍵詞排序后二分查找，hash對照表等諸多手法都可以實現(xiàn)。通過本發(fā)明的方法，我們實現(xiàn)了對于教學視頻的一種精確查找的內容查詢，并且 因為教學視頻基本都有教學的授課主線，所以人工抓取出來大綱也并不困難。并且有些大 綱可以由程序輔助抽取得到，人工進進是進行審核和選取關鍵詞，從而可能只需要更少的 人工投入。如果教學視頻如果由教學視頻的發(fā)行發(fā)來抽取，因為他們更加熟悉其視頻內容， 從而能更加嫻熟和準確的獲取到大綱。通過建立大綱輔組查詢表，從而在嵌入式設備上實 現(xiàn)精確和方便的視頻內容查詢和定位，進而讓教學視頻的使用者能夠方便的進行內容查 詢。
權利要求
嵌入式設備中查詢教學視頻內容的系統(tǒng)，其特征在于所述系統(tǒng)包括用于選取視頻大綱的選取模塊、用于儲存視頻大綱數(shù)據(jù)的存儲模塊、用于自存儲模塊抽取視頻大綱以及創(chuàng)建視頻大綱的處理模塊；用于顯示視頻相關文件的顯示模塊；所述選取模塊和顯示模塊連接；所述處理模塊與顯示模塊連接；所述存儲模塊與選取模塊連接。
2.基于嵌入式設備中查詢教學視頻內容的系統(tǒng)的方法，其特征在于所述方法包括以 下步驟1)查看教學視頻，根據(jù)教學視頻的內容和教學用途，決定是否可以程序自動抽取視頻 大綱；若是，則程序自動抽取，若否，則人工添加視頻大綱；2)根據(jù)視頻大綱建立大綱關鍵詞以及該大綱關鍵詞與原視頻的時間片對照表；3)根據(jù)建立的大綱關鍵詞建立大綱關鍵詞查詢表；4)播放的過程中，接受用戶輸入查詢的關鍵詞，并到大綱關鍵詞查詢表中進行查詢，若 該關鍵詞在大綱關鍵詞查詢表中，則進行步驟5)；5)根據(jù)大綱關鍵詞與時間片對照表進行教學視頻的位置自動定位，實現(xiàn)教學視頻的內 容查詢。
3.根據(jù)權利要求2所述的基于嵌入式設備中查詢教學視頻內容的系統(tǒng)的方法，其特征 在于所述步驟1)中程序自動抽取大綱的具體步驟是1. 1)程序掃描并抽取出來適當?shù)拇缶V；1. 2)獲得大綱相應的幀信息；1. 3)根據(jù)幀信息進行識別和翻譯成文本；識別和翻譯的同時進行審查，提取出來大綱 中的大綱關鍵詞。
4.根據(jù)權利要求2所述的基于嵌入式設備中查詢教學視頻內容的系統(tǒng)的方法，其特征 在于所述步驟1)中人工抽取大綱的具體方法是根據(jù)教學目的，根據(jù)視頻中不同的內容， 輸入大綱內容，并確定大綱關鍵詞。
5.根據(jù)權利要求4所述的基于嵌入式設備中查詢教學視頻內容的系統(tǒng)的方法，其特征 在于所述步驟5)中查詢的具體步驟是系統(tǒng)根據(jù)輸入的關鍵字匹配引擎進行大綱內容查 詢，若匹配到了大綱的視頻片段則顯示查找結果并根據(jù)查詢文件記錄的時間片信息直接定 位到教學視頻相關時間位置；若沒有找到匹配的視頻片段，則用戶選擇是否修改關鍵字并 繼續(xù)查詢。
6.根據(jù)權利要求2或3或4或5所述的基于嵌入式設備中查詢教學視頻內容的系統(tǒng)的 方法，其特征在于所述方法在步驟5)之后還包括有步驟6)使用者自己添加大綱關鍵詞的 步驟，具體步驟如下允許用戶自己進行補充，在播放器上放置時間片的選擇，彈出一個允 許輸入文本大綱的編輯框，進行新建或者補充該時間片對應的大綱關鍵詞。
7.根據(jù)權利要求3所述的基于嵌入式設備中查詢教學視頻內容的系統(tǒng)的方法，其特征 在于所述步驟2)關鍵詞與原視頻的時間片對照表中，不同的大綱關鍵詞對應的時間片的 對應關系有重疊、包含以及多對一。
8.根據(jù)權利要求3所述的基于嵌入式設備中查詢教學視頻內容的系統(tǒng)的方法，其特征 在于所述步驟1. 2)中獲得幀信息的方法是應用OCR技術；
9.根據(jù)權利要求6所述的基于嵌入式設備中查詢教學視頻內容的系統(tǒng)的方法，其特征 在于所述視頻大綱包括編程教程中的代碼片段，數(shù)學教程中的數(shù)學公式、英文教學中的例句抽取。
全文摘要
本發(fā)明提出的嵌入式設備中查詢教學視頻內容的系統(tǒng)及其方法，該系統(tǒng)包括用于選取視頻大綱的選取模塊、用于儲存視頻大綱數(shù)據(jù)的存儲模塊、用于自存儲模塊抽取視頻大綱以及創(chuàng)建視頻大綱的處理模塊；用于顯示視頻相關文件的顯示模塊；選取模塊和顯示模塊連接；處理模塊與顯示模塊連接；存儲模塊與選取模塊連接。本發(fā)明提出了一種嵌入式設備中查詢教學視頻內容的系統(tǒng)及其方法，建立一種對應視頻查詢內容的大綱檔，根據(jù)視頻內容，將一些文本數(shù)據(jù)重新識別成文本，實現(xiàn)了一種允許用戶進行教學視頻內容相關大綱的內容的查詢。
文檔編號G06F17/30GK101833584SQ20101017878
公開日2010年9月15日 申請日期2010年5月20日 優(yōu)先權日2010年5月20日
發(fā)明者鐘輝, 陳淮琰 申請人:無敵科技(西安)有限公司