稱作為關(guān)鍵詞和聲紋特 征矢量用于搜索；
[0032] 顏色檢測(cè)識(shí)別引擎，判斷圖片中目標(biāo)的主體顏色，顏色值作為關(guān)鍵詞用于搜索；
[0033] 形狀檢測(cè)識(shí)別引擎，判斷圖片中目標(biāo)的形狀，形狀作為關(guān)鍵詞和形態(tài)特征矢量用 于搜索；
[0034] 群體事件（聚集狀態(tài)）檢測(cè)識(shí)別引擎，判斷圖片中物體目標(biāo)的聚集狀態(tài)，聚集狀態(tài) 識(shí)別結(jié)果作為關(guān)鍵詞和聚集狀態(tài)特征矢量用于搜索。
[0035]S4 :相關(guān)的每個(gè)搜索引擎從輸入的目標(biāo)檢索數(shù)據(jù)中檢索符合條件的數(shù)據(jù)，并記錄 數(shù)據(jù)片段和出現(xiàn)位置；檢索目標(biāo)數(shù)據(jù)是文本、語(yǔ)音、圖片、視頻等元數(shù)據(jù)集，可以來(lái)自數(shù)據(jù) 庫(kù)、數(shù)據(jù)文件、數(shù)據(jù)流，本發(fā)明就是從這些數(shù)據(jù)中按照檢索條件樣本進(jìn)行檢索。
[0036] 視頻及流媒體支持AVI、MPEG-1/2/4,H. 263/264/265,M-JPEG、MP4;
[0037] 語(yǔ)音數(shù)據(jù)支持：WAV、MP3、PCM;
[0038] 圖片支持：BMP、JPG/JPEG、Gif、Tiff、PNG、PIC。
[0039]S5:每個(gè)搜索引擎檢索不同的數(shù)據(jù)，得到不同的檢索結(jié)果，將這些檢索結(jié)果再進(jìn)行 匯總、分類輸出。本發(fā)明針對(duì)全媒體信息的檢測(cè)結(jié)果，輸出內(nèi)容如下：
[0040] 文本數(shù)據(jù)：文本片段；
[0041] 音、視頻數(shù)據(jù)：目標(biāo)出現(xiàn)的入點(diǎn)時(shí)間、時(shí)長(zhǎng)；
[0042] 圖片文件：目標(biāo)出現(xiàn)的文件名列表、存儲(chǔ)路徑。
[0043] 再步驟S2中，如有多個(gè)不同數(shù)據(jù)類型檢索條件，則選擇多個(gè)檢測(cè)識(shí)別引擎，再步 驟S3中，檢索條件復(fù)雜，則進(jìn)一步分解成關(guān)鍵詞組，再步驟S3中，檢索條件中的相關(guān)條件 不能為空值（此處這么描述是否準(zhǔn)確），如某項(xiàng)數(shù)據(jù)無(wú)需啟用與之對(duì)應(yīng)的識(shí)別引擎處理數(shù) 據(jù)，將條件值設(shè)置成空值，步驟S4中的目標(biāo)檢索數(shù)據(jù)來(lái)自數(shù)據(jù)庫(kù)、數(shù)據(jù)文件、網(wǎng)絡(luò)流媒體， 包括：文本、語(yǔ)音、圖片、視頻數(shù)據(jù)，步驟S5中檢索結(jié)果是文本、語(yǔ)音、圖片、視頻中的一種或 幾種，對(duì)于語(yǔ)音、視頻的檢索結(jié)果，再提取關(guān)聯(lián)內(nèi)容片段或記錄入點(diǎn)和時(shí)長(zhǎng)，在步驟S5中， 檢索結(jié)果是依據(jù)下面公式實(shí)現(xiàn)的：
[0044]
[0045] 式中變量及符號(hào)說(shuō)明：SR，檢索結(jié)果；SEi，搜索引擎，不同搜索引擎從檢測(cè)與識(shí)別 引擎中獲取結(jié)果，在媒體數(shù)據(jù)中檢索特定目標(biāo)數(shù)據(jù)；i，引擎編號(hào)，如，SEjf表聲紋搜索引 擎，SE2代表語(yǔ)音搜索引擎；N，表示全媒體中的數(shù)據(jù)類型數(shù)；RE,，檢測(cè)識(shí)別引擎，檢測(cè)識(shí)別引 擎具有目標(biāo)檢測(cè)和目標(biāo)識(shí)別的功能，針對(duì)不同數(shù)據(jù)，可以同時(shí)具有檢測(cè)和識(shí)別兩項(xiàng)功能，也 可以只具有單一功能，不同檢測(cè)識(shí)別引擎處理不同數(shù)據(jù)內(nèi)容；j，檢測(cè)識(shí)別引擎編號(hào)，例如， RE:代表聲紋識(shí)別引擎，識(shí)別說(shuō)話的人是誰(shuí)；RE2代表語(yǔ)音識(shí)別引擎，識(shí)別語(yǔ)音中的內(nèi)容及關(guān) 鍵詞；k，表示樣本庫(kù)中的樣本號(hào)，也表示樣本識(shí)別循環(huán)次數(shù)；M，表示樣本庫(kù)中的樣本數(shù)，有 多少樣本可以識(shí)別認(rèn)證；p]，搜索引擎和檢測(cè)識(shí)別引擎要檢索和識(shí)別的目標(biāo)參考樣本數(shù)據(jù)； I，搜索引擎檢索對(duì)象，即搜索引擎從哪些數(shù)據(jù)中檢索目標(biāo)信息。
[0046] 所述的檢測(cè)識(shí)別引擎具有檢測(cè)識(shí)別和檢索兩層功能，不同數(shù)據(jù)類型對(duì)象進(jìn)行處理 的引擎作為不同處理維度。
[0047] 由于全媒體信息如文字、語(yǔ)音、圖片、視頻數(shù)據(jù)結(jié)構(gòu)復(fù)雜、信息量大、形式多樣化， 單一的數(shù)據(jù)檢索方法不能得到滿意的效果，數(shù)據(jù)的查全率和查準(zhǔn)率相對(duì)較低。尤其是語(yǔ)音、 圖像內(nèi)在特征類型復(fù)雜，對(duì)不同類型的特征檢索，得到的不同的結(jié)果，例如，對(duì)語(yǔ)音數(shù)據(jù)聲 紋特征的檢索，能判斷出說(shuō)話人是誰(shuí)，對(duì)語(yǔ)音語(yǔ)義內(nèi)容識(shí)別，可以得到說(shuō)話的內(nèi)容文本等。 本發(fā)明提供一種動(dòng)態(tài)、多維度的檢測(cè)全媒體數(shù)據(jù)信息的方法，通過(guò)判斷全媒體信息的數(shù)據(jù) 類型，動(dòng)態(tài)加載與數(shù)據(jù)類型匹配的各種檢索與識(shí)別引擎，從不同方向?qū)θ襟w數(shù)據(jù)進(jìn)行檢 測(cè)，獲取與查詢目標(biāo)相關(guān)聯(lián)的元數(shù)據(jù)片段和數(shù)據(jù)存儲(chǔ)位置。全媒體數(shù)據(jù)文本、語(yǔ)音、圖片、圖 像包含了文本關(guān)鍵詞、聲紋、語(yǔ)音內(nèi)容、語(yǔ)種、圖像語(yǔ)義、圖像顏色、目標(biāo)形狀、目標(biāo)行為、目 標(biāo)聚集狀態(tài)等信息，不同數(shù)據(jù)處理需要特定的引擎。多維檢測(cè)就是將文本關(guān)鍵詞檢索、聲紋 識(shí)別、語(yǔ)音內(nèi)容識(shí)別、語(yǔ)種識(shí)別、圖像語(yǔ)義分析、圖像顏色辨識(shí)、圖像目標(biāo)檢測(cè)、目標(biāo)形狀辨 識(shí)、目標(biāo)行為識(shí)別、目標(biāo)聚集狀態(tài)識(shí)別等引擎按照檢測(cè)識(shí)別、檢索兩層，不同的數(shù)據(jù)對(duì)象進(jìn) 行處理的引擎作為不同處理維度，根據(jù)檢測(cè)對(duì)象數(shù)據(jù)類型不同，從不同維度檢測(cè)、識(shí)別、檢 索特定目標(biāo)。
[0048] 以上所述，僅為本發(fā)明較佳的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此， 任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明披露的技術(shù)范圍內(nèi)，根據(jù)本發(fā)明的技術(shù)方案及其 發(fā)明構(gòu)思加以等同替換或改變，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 全媒體中多維檢測(cè)特定目標(biāo)的方法，其特征在于，具體步驟如下： 51 :根據(jù)檢索條件樣本，確定捜索引擎和檢測(cè)識(shí)別引擎要檢索和識(shí)別的目標(biāo)參考樣本 數(shù)據(jù)的數(shù)據(jù)類型； 52 :根據(jù)的捜索引擎和檢測(cè)識(shí)別引擎要檢索和識(shí)別的目標(biāo)參考樣本數(shù)據(jù)的數(shù)據(jù)類型， 選擇匹配的檢測(cè)識(shí)別引擎； 53 :分析每個(gè)檢測(cè)識(shí)別引擎的結(jié)果，得到檢索關(guān)鍵詞、目標(biāo)特征量數(shù)據(jù)，作為檢索條件 發(fā)送給捜索引擎進(jìn)行檢索； S4:相關(guān)的每個(gè)捜索引擎從輸入的目標(biāo)檢索數(shù)據(jù)中檢索符合條件的數(shù)據(jù)，并記錄數(shù)據(jù) 片段和出現(xiàn)位置； S5 :每個(gè)捜索引擎檢索不同的數(shù)據(jù)，得到不同的檢索結(jié)果，將運(yùn)些檢索結(jié)果再進(jìn)行匯 總、分類輸出。2. 根據(jù)權(quán)利要求1所述的全媒體中多維檢測(cè)特定目標(biāo)的方法，其特征在于，再步驟S2 中，如有多個(gè)不同數(shù)據(jù)類型檢索條件，則選擇多個(gè)檢測(cè)識(shí)別引擎。3. 根據(jù)權(quán)利要求1所述的全媒體中多維檢測(cè)特定目標(biāo)的方法，其特征在于，再步驟S3 中，如檢索條件中含有3個(gè)W上的關(guān)鍵詞，則進(jìn)一步分解成關(guān)鍵詞組。4. 根據(jù)權(quán)利要求3所述的全媒體中多維檢測(cè)特定目標(biāo)的方法，其特征在于，再步驟S3 中，如某項(xiàng)數(shù)據(jù)無(wú)需啟用與之對(duì)應(yīng)的識(shí)別引擎處理數(shù)據(jù)，將條件值設(shè)置成空值。5. 根據(jù)權(quán)利要求1-4任一項(xiàng)所述的全媒體中多維檢測(cè)特定目標(biāo)的方法，其特征在于， 步驟S4中的目標(biāo)檢索數(shù)據(jù)來(lái)自數(shù)據(jù)庫(kù)、數(shù)據(jù)文件、網(wǎng)絡(luò)流媒體，包括：文本、語(yǔ)音、圖片、視 頻數(shù)據(jù)。6. 根據(jù)權(quán)利要求5所述的全媒體中多維檢測(cè)特定目標(biāo)的方法，其特征在于，步驟S5中 檢索結(jié)果是文本、語(yǔ)音、圖片、視頻中的一種或幾種，對(duì)于語(yǔ)音、視頻的檢索結(jié)果，再提取關(guān) 聯(lián)內(nèi)容片段或記錄入點(diǎn)和時(shí)長(zhǎng)。7. 根據(jù)權(quán)利要求6所述的全媒體中多維檢測(cè)特定目標(biāo)的方法，其特征在于，在步驟S5 中，檢索結(jié)果是依據(jù)下面公式實(shí)現(xiàn)的：式中變量及符號(hào)說(shuō)明：SR，檢索結(jié)果；SEi，捜索引擎；i，引擎編號(hào)；N，表示全媒體中的 數(shù)據(jù)類型數(shù)；RE,，檢測(cè)識(shí)別引擎；j，檢測(cè)識(shí)別引擎編號(hào)；k，表示樣本庫(kù)中的樣本號(hào)，也表示 樣本識(shí)別循環(huán)次數(shù);M，表示樣本庫(kù)中的樣本數(shù)；P,，捜索引擎和檢測(cè)識(shí)別引擎要檢索和識(shí)別 的目標(biāo)參考樣本數(shù)據(jù)；Qi，捜索引擎檢索對(duì)象。8. 根據(jù)權(quán)利要求2或4所述的全媒體中多維檢測(cè)特定目標(biāo)的方法，其特征在于，所述的 檢測(cè)識(shí)別引擎具有檢測(cè)識(shí)別和檢索兩層功能，不同數(shù)據(jù)類型對(duì)象進(jìn)行處理的引擎作為不同 處理維度。
【專利摘要】全媒體中多維檢測(cè)特定目標(biāo)的方法,具體步驟是：根據(jù)檢索條件樣本,確定搜索引擎和檢測(cè)識(shí)別引擎要檢索和識(shí)別的目標(biāo)參考樣本數(shù)據(jù)的數(shù)據(jù)類型；根據(jù)的搜索引擎和檢測(cè)識(shí)別引擎要檢索和識(shí)別的目標(biāo)參考樣本數(shù)據(jù)的數(shù)據(jù)類型，選擇匹配的檢測(cè)識(shí)別引擎；分析每個(gè)檢測(cè)識(shí)別引擎的結(jié)果，得到檢索關(guān)鍵詞、目標(biāo)特征量數(shù)據(jù)，作為檢索條件發(fā)送給搜索引擎進(jìn)行檢索；相關(guān)的每個(gè)搜索引擎從輸入的目標(biāo)檢索數(shù)據(jù)中檢索符合條件的數(shù)據(jù)，并記錄數(shù)據(jù)片段和出現(xiàn)位置；每個(gè)搜索引擎檢索不同的數(shù)據(jù)，得到不同的檢索結(jié)果，將這些檢索結(jié)果再進(jìn)行匯總、分類輸出；多種方式不同維度的檢索，提高了數(shù)據(jù)的查全率和查準(zhǔn)率。
【IPC分類】G06F17/30
【公開(kāi)號(hào)】CN105005630
【申請(qǐng)?zhí)枴緾N201510515893
【發(fā)明人】薛丹, 陳淑珊, 張松濤, 遲立明
【申請(qǐng)人】瑞達(dá)昇科技(大連)有限公司
【公開(kāi)日】2015年10月28日
【申請(qǐng)日】2015年8月18日