專利名稱：用于分割、分類視頻對(duì)象并拍賣交互式視頻對(duì)象的權(quán)利的自動(dòng)過程的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于將視頻中的視頻內(nèi)容對(duì)象進(jìn)行自動(dòng)分割及分類、拍賣將廣告內(nèi)容與所述視頻對(duì)象相關(guān)聯(lián)的權(quán)利、以及創(chuàng)建將廣告與選擇的視頻對(duì)象相關(guān)聯(lián)并且使視頻觀看者能夠與視頻中的視頻對(duì)象進(jìn)行交互的覆蓋圖(overlay)的系統(tǒng)。
背景技術(shù)：
視頻是對(duì)表示運(yùn)動(dòng)場(chǎng)景的一系列靜止圖像進(jìn)行電子捕捉、記錄、處理、存儲(chǔ)、傳送和重建的技術(shù)。視頻技術(shù)最早是為電視系統(tǒng)而開發(fā)的，但到已經(jīng)逐漸開發(fā)出了許多格式以允許觀看者視頻記錄。電影中的動(dòng)態(tài)圖片可轉(zhuǎn)換為視頻格式。視頻也可以通過互聯(lián)網(wǎng)在電腦顯示器上作為視頻片段或流媒體片段被觀看。動(dòng)畫是快速顯示一系列藝術(shù)作品圖像或模型位置以創(chuàng)建運(yùn)動(dòng)的錯(cuò)覺。它是一種由視覺暫留現(xiàn)象引起的視錯(cuò)覺，且可以通過多種方式被創(chuàng)建和演示。盡管還存在其它的若干種呈現(xiàn)動(dòng)畫的形式，但呈現(xiàn)動(dòng)畫最普通的方法是作為動(dòng)態(tài)圖片或視頻。視頻內(nèi)容分割是指將動(dòng)態(tài)圖片幀系統(tǒng)地分解成它的對(duì)象(元素)，如人、襯衫、樹、 葉子等。如果不進(jìn)行分類的話，分割視頻內(nèi)容將導(dǎo)致生成大量沒什么價(jià)值的對(duì)象。分類是將一個(gè)幀的對(duì)象分配到另一幀的同一對(duì)象的同一類的過程。它使一個(gè)幀中的特定的紅色襯衫與另一幀中的紅色襯衫是相同的自動(dòng)辨識(shí)成為可能。還有若干種方式可將視頻對(duì)象分配至它們所屬的類別，比如通過它在連續(xù)視頻幀中的外形輪廓。例如，這可通過將視頻對(duì)象輪廓的曲率特征與包含有原型對(duì)象的預(yù)處理視圖的數(shù)據(jù)庫(kù)進(jìn)行匹配來(lái)完成。 見名為MOCA工程對(duì)象辨識(shí)的附件1。對(duì)于在視頻幀中的對(duì)象的每個(gè)二維外形，計(jì)算其輪廓的曲率特征。這些特征與存儲(chǔ)在數(shù)據(jù)庫(kù)中的原型視頻對(duì)象的視圖的那些特征匹配。通過使用情境法則(context rule) 如“房子在幀中可能有車，或在幀中可能有樹，但在幀中沒有電視”，可增加準(zhǔn)確度。通過整合連續(xù)幀的匹配結(jié)果，可達(dá)到最終的對(duì)象分類。具有若干種用于視頻分割和分類的范型和算法。大多數(shù)是基于將視頻分割成若干層，如靜態(tài)背景層和動(dòng)態(tài)前景層，以及使用多種線索，如空間位置、顏色、動(dòng)作、輪廓和深度不連續(xù)性等。轉(zhuǎn)描機(jī)(rotoscoping)是這樣的動(dòng)畫技術(shù)在其中動(dòng)畫片繪制者逐幀描出直接從大自然或以真人表演攝制的影片的運(yùn)動(dòng)，以供用于動(dòng)畫影片。通過利用同步的攝像機(jī)從若干個(gè)透視(perspective)拍攝視頻，視頻分割算法可用來(lái)自動(dòng)重建運(yùn)動(dòng)物體的3D線框。在本發(fā)明的一個(gè)實(shí)施方式中，將轉(zhuǎn)描機(jī)技術(shù)應(yīng)用于由多個(gè)攝像機(jī)角度拍攝的視頻以重建3D對(duì)象、以及把它們的線框存進(jìn)視頻對(duì)象數(shù)據(jù)庫(kù)。當(dāng)觀看者選擇可得到3D信息的對(duì)象時(shí)，觀看者就被提供了控制3D對(duì)象物體的動(dòng)畫的方式，如旋轉(zhuǎn)、運(yùn)動(dòng)、縮放等。本發(fā)明的一個(gè)目的是為提供自動(dòng)化的系統(tǒng)，用于分割原始視頻以創(chuàng)建可以被用于使視頻交互的視頻對(duì)象的目錄，以及將這些視頻對(duì)象拍賣給廣告商，本發(fā)明不限于分割或分類視頻內(nèi)容對(duì)象的任何特定方法。在本發(fā)明的一個(gè)實(shí)施方式中，包含關(guān)于可能出現(xiàn)在視頻中的對(duì)象的描述信息和/ 或元數(shù)據(jù)的對(duì)象信息庫(kù)被用來(lái)將元數(shù)據(jù)，如產(chǎn)品信息、特有的產(chǎn)品識(shí)別信息或庫(kù)存單位，與分割視頻對(duì)象關(guān)聯(lián)。本發(fā)明另一個(gè)目標(biāo)是創(chuàng)建可借以把對(duì)視頻對(duì)象的的目錄的權(quán)利自動(dòng)拍賣給第三方(如廣告商)的廣告市場(chǎng)交易平臺(tái)。

發(fā)明內(nèi)容
公開了一種用于將視頻內(nèi)容自動(dòng)地分割及分類成對(duì)象并拍賣該些對(duì)象的系統(tǒng)，包括視頻分割及分類服務(wù)器，其包括可連接到分布式網(wǎng)絡(luò)且具有處理器、隨機(jī)存取存儲(chǔ)器、 只讀存儲(chǔ)器、及大容量存儲(chǔ)器的計(jì)算機(jī)；所述視頻分割及分類服務(wù)器包括存儲(chǔ)在視頻數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)視頻文件；存儲(chǔ)在所述隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、及大容量存儲(chǔ)器其中之一的對(duì)象信息庫(kù)，所述對(duì)象信息庫(kù)包含用于識(shí)別視頻文件內(nèi)的對(duì)象的對(duì)象信息和用于描述所述對(duì)象的描述信息和語(yǔ)義信息中的至少一個(gè)；對(duì)象目錄數(shù)據(jù)庫(kù)，其包含描述至少一個(gè)視頻對(duì)象在視頻文件其中之一中的位置信息；以及在所述處理器上執(zhí)行的視頻內(nèi)容分析應(yīng)用，所述視頻內(nèi)容分析應(yīng)用對(duì)視頻文件進(jìn)行分割以識(shí)別視頻對(duì)象的位置、將視頻對(duì)象進(jìn)行分類以匹配給定視頻對(duì)象的出現(xiàn)、通過將分類的視頻對(duì)象的出現(xiàn)與在所述對(duì)象信息庫(kù)中的視頻對(duì)象進(jìn)行匹配來(lái)重新獲取描述所述視頻對(duì)象的信息、和將描述在所述視頻中的所述視頻對(duì)象的動(dòng)態(tài)位置的信息以及描述所述視頻對(duì)象的信息儲(chǔ)存到所述對(duì)象目錄數(shù)據(jù)庫(kù)中。根據(jù)本發(fā)明的一種實(shí)施方式，該系統(tǒng)進(jìn)一步包括至少一個(gè)廣告服務(wù)器，其包括可連接到分布式網(wǎng)絡(luò)且具有處理器、隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、及大容量存儲(chǔ)器的計(jì)算機(jī)；在所述廣告服務(wù)器上執(zhí)行的自動(dòng)競(jìng)標(biāo)應(yīng)用；以及在所述視頻分割及分類服務(wù)器上執(zhí)行的自動(dòng)拍賣應(yīng)用，所述拍賣應(yīng)用傳輸拍賣信息至所述的至少一個(gè)廣告服務(wù)器，所述拍賣信息包括描述選定的視頻對(duì)象的信息，所述自動(dòng)拍賣應(yīng)用從所述至少一個(gè)廣告服務(wù)器接收來(lái)自于所述自動(dòng)競(jìng)標(biāo)應(yīng)用的競(jìng)標(biāo)信息，并授予關(guān)聯(lián)廣告內(nèi)容的權(quán)利給所述至少一個(gè)廣告服務(wù)器中選定的一個(gè)。在上述系統(tǒng)中，所述自動(dòng)拍賣應(yīng)用可以將與所述給定視頻對(duì)象相關(guān)聯(lián)的用戶行為信息和市場(chǎng)細(xì)分信息中的至少一個(gè)傳送至所述廣告商競(jìng)標(biāo)應(yīng)用。系統(tǒng)的上述任意實(shí)施方式，可以進(jìn)一步包括在數(shù)據(jù)庫(kù)中的廣告內(nèi)容；以及覆蓋圖生成應(yīng)用，其用于創(chuàng)建將所述廣告內(nèi)容與給定的所述視頻對(duì)象鏈接的視頻覆蓋圖，并創(chuàng)建可選擇的超鏈接，該超鏈接的位置跟蹤在視頻中的所述視頻對(duì)象的動(dòng)態(tài)位置。上述系統(tǒng)的實(shí)施方式可以進(jìn)一步包括視頻廣播服務(wù)器，其包括可連接到分布式網(wǎng)絡(luò)且具有處理器、隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、及大容量存儲(chǔ)器的計(jì)算機(jī)；視頻用戶服務(wù)器，其包括可連接到分布式網(wǎng)絡(luò)且具有處理器、隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、及大容量存儲(chǔ)器的計(jì)算機(jī)；所述視頻廣播服務(wù)器從所述視頻分割及分類服務(wù)器接收所述視頻覆蓋圖，并將該視頻覆蓋圖傳送給所述視頻用戶服務(wù)器，其中所述視頻覆蓋圖響應(yīng)于與所述給定的視頻對(duì)象的交互而選擇性地引起與給定的所述視頻對(duì)象鏈接的內(nèi)容信息的顯示。在上述系統(tǒng)的任意實(shí)施方式中，所述視頻分割及分類服務(wù)器保存已被拍賣的對(duì)象的數(shù)據(jù)庫(kù)。在上述系統(tǒng)的任意實(shí)施方式中，每個(gè)所述數(shù)據(jù)庫(kù)條目包括指示已被拍賣的對(duì)象的權(quán)利何時(shí)期滿的信息。在上述系統(tǒng)的任意實(shí)施方式中，所述至少一個(gè)廣告服務(wù)器將指定所期望的人口統(tǒng)計(jì)受眾的信息傳送給所述視頻分割及分類服務(wù)器，并且所述拍賣服務(wù)器傳送被限制于所述所期望的人口統(tǒng)計(jì)受眾的對(duì)象拍賣信息。在上述系統(tǒng)的任意實(shí)施方式中，所述拍賣信息包括指定人口統(tǒng)計(jì)信息和用戶行為歷史信息中的至少一個(gè)的信息。在上述系統(tǒng)的任意實(shí)施方式中，所述視頻用戶服務(wù)器進(jìn)一步包括內(nèi)容顯示應(yīng)用， 用于顯示視頻并且當(dāng)給定的視頻對(duì)象是利用指示設(shè)備所選擇和滾動(dòng)的之一時(shí)，與所述視頻覆蓋圖交互并顯示廣告內(nèi)容。在上述系統(tǒng)的任意實(shí)施方式中，視頻對(duì)象的選擇使得內(nèi)容顯示應(yīng)用暫?；蛘叻怕曨l的顯示。在上述系統(tǒng)的任意實(shí)施方式中，所述視頻用戶服務(wù)器包括指示設(shè)備；所述內(nèi)容顯示應(yīng)用顯示與出現(xiàn)在視頻中的對(duì)象相關(guān)聯(lián)的第一內(nèi)容，并且當(dāng)流視頻中所選擇的所述視頻對(duì)象是利用所述指示設(shè)備所選擇和滾動(dòng)的之一時(shí)顯示第二內(nèi)容。在上述系統(tǒng)的任意實(shí)施方式中，所述廣告內(nèi)容包括可選擇的鏈接，其中該鏈接的選擇提供電子商務(wù)選項(xiàng)。還揭露了一種在視頻中自動(dòng)創(chuàng)建可選擇的超鏈接的系統(tǒng)，包括將視頻文件分割成視頻對(duì)象，多個(gè)視頻對(duì)象，將所述的多個(gè)視頻對(duì)象進(jìn)行分類以識(shí)別給定的所述視頻對(duì)象的重復(fù)出現(xiàn)；將每個(gè)視頻對(duì)象的幀和子幀信息存儲(chǔ)到數(shù)據(jù)庫(kù)中；以及利用將所述數(shù)據(jù)庫(kù)中的至少一個(gè)視頻對(duì)象與所述視頻文件鏈接的視頻覆蓋圖在視頻文件中創(chuàng)建可選擇的超鏈接。在上述系統(tǒng)的任意實(shí)施方式中，所述可選擇的超鏈接與廣告相鏈接，當(dāng)用戶利用指示設(shè)備滾動(dòng)或者選擇所述超鏈接時(shí)廣告被顯示。還揭露了一種視頻對(duì)象的市場(chǎng)交易平臺(tái)，包括視頻分割及分類應(yīng)用，其用于自動(dòng)地將視頻分割成多個(gè)對(duì)象，將所述對(duì)象分類成類似對(duì)象的群，利用描述信息對(duì)所述對(duì)象進(jìn)行標(biāo)記，將識(shí)別在所述視頻內(nèi)的所述視頻對(duì)象的動(dòng)態(tài)位置的信息存儲(chǔ)在數(shù)據(jù)庫(kù)中；以及覆蓋圖生成器，其用于自動(dòng)地創(chuàng)建將至少一個(gè)視頻對(duì)象群與所述視頻進(jìn)行鏈接的視頻覆蓋圖。在上述視頻對(duì)象市場(chǎng)交易平臺(tái)的任意實(shí)施方式中，每個(gè)被鏈接的視頻對(duì)象是可選擇的超鏈接，所述超鏈接的位置跟蹤在所述視頻中的視頻對(duì)象的動(dòng)態(tài)位置。揭露了一種為視頻觀看者應(yīng)用提供交互層活動(dòng)區(qū)域的方法，包括訪問定義示出了多個(gè)視頻對(duì)象的多個(gè)幀的視頻數(shù)據(jù)，每個(gè)視頻對(duì)象在一系列視頻幀中被示出；以及生成定義多個(gè)區(qū)域的區(qū)域定義數(shù)據(jù)，每個(gè)區(qū)域?qū)?yīng)所述多個(gè)視頻對(duì)象中的一個(gè)，其中由所述區(qū)域定義數(shù)據(jù)定義的每個(gè)區(qū)域的輪廓匹配由在所述一系列幀中示出的對(duì)應(yīng)視頻對(duì)象的輪廓。 在上述用于提供活動(dòng)區(qū)域的方法的實(shí)施方式中，所述每個(gè)區(qū)域的輪廓在所述一系列幀中動(dòng)態(tài)地變化以匹配在透視和大小及視角中的至少一個(gè)的變化，其中以該透視和大小及視角在所述一系列幀中示出的對(duì)應(yīng)視頻對(duì)象。在上述用于提供活動(dòng)區(qū)域的方法的任意實(shí)施方式中，使用所述區(qū)域定義數(shù)據(jù)定義多個(gè)活動(dòng)區(qū)域用于交互式視頻觀看。在上述用于提供活動(dòng)區(qū)域的方法的任意實(shí)施方式中，其中所述幀作為視頻在顯示器上向用戶示出，并且其中所述區(qū)域定義數(shù)據(jù)被用于判定被引向這些幀中的至少一個(gè)幀的位置的用戶動(dòng)作是否定址所述活動(dòng)區(qū)域中的一個(gè)。在上述用于提供活動(dòng)區(qū)域的方法的任意實(shí)施方式中，響應(yīng)于用戶動(dòng)作定址特定活動(dòng)區(qū)域的判定，向用戶呈現(xiàn)廣告，所述廣告與對(duì)應(yīng)所述特定活動(dòng)區(qū)域的視頻對(duì)象相關(guān)。在上述用于提供活動(dòng)區(qū)域的方法的任意實(shí)施方式中，用于至少一個(gè)區(qū)域的所述區(qū)域定義數(shù)據(jù)包括對(duì)應(yīng)所述區(qū)域的所述視頻對(duì)象的三維線框表示。在上述用于提供活動(dòng)區(qū)域的方法的任意實(shí)施方式中，用于所述區(qū)域的區(qū)域定義數(shù)據(jù)還包括對(duì)于在其中示出所述對(duì)應(yīng)的視頻對(duì)象的所述一系列幀中的至少一個(gè)幀，定義所述三維線框表示的透視圖的數(shù)據(jù)，其中所述三維線框表示的透視圖的輪廓定義所述幀的區(qū)域的輪廓。在上述用于提供活動(dòng)區(qū)域的方法的任意實(shí)施方式中，所述區(qū)域的區(qū)域定義數(shù)據(jù)還包括對(duì)于在其中示出所述對(duì)應(yīng)視頻對(duì)象的所述一系列幀中的至少一對(duì)幀，定義所述一對(duì)幀的幀之間的所述三維線框表示的變化的數(shù)據(jù)。在上述用于提供活動(dòng)區(qū)域的方法的任意實(shí)施方式中，所述三維線框表示包括多個(gè)節(jié)點(diǎn)，其中定義所述變化的數(shù)據(jù)包括定義至少一個(gè)節(jié)點(diǎn)相對(duì)于至少另一節(jié)點(diǎn)的位置的位移的數(shù)據(jù)。在上述用于提供活動(dòng)區(qū)域的方法的任意實(shí)施方式，所述定義所述變化的數(shù)據(jù)包括定義所述三維線框表示的大小與空間定向中的至少一個(gè)的變化的數(shù)據(jù)。


圖1是根據(jù)本發(fā)明的視頻對(duì)象市場(chǎng)交易過程的流程圖；圖2是根據(jù)本發(fā)明的視頻對(duì)象市場(chǎng)交易系統(tǒng)的框圖；圖3是在其上執(zhí)行視頻內(nèi)容分析應(yīng)用的計(jì)算機(jī)的方框圖；圖4是根據(jù)本發(fā)明關(guān)于廣告商怎樣與視頻對(duì)象市場(chǎng)交易系統(tǒng)進(jìn)行交互的流程圖；圖5和圖6是示出根據(jù)本發(fā)明觀看者與視頻對(duì)象市場(chǎng)交易平臺(tái)進(jìn)行交互的流程圖；圖7是對(duì)象目錄數(shù)據(jù)庫(kù)的示范圖；以及圖8A-8E是視頻對(duì)象的透視圖以及從中創(chuàng)建的線框模型。
具體實(shí)施例方式本發(fā)明是系統(tǒng)100，用于將視頻自動(dòng)分割成視頻對(duì)象、分類視頻對(duì)象、組建分類的視頻對(duì)象的數(shù)據(jù)庫(kù)、定義表示每個(gè)視頻對(duì)象在互動(dòng)層上的區(qū)域定義數(shù)據(jù)、拍賣將廣告與表示市場(chǎng)交易平臺(tái)(下文稱“V0ME”) 300上的視頻對(duì)象的區(qū)域相關(guān)聯(lián)的權(quán)利、以及創(chuàng)建帶有把廣告內(nèi)容鏈接到視頻內(nèi)容對(duì)象從而創(chuàng)建交互式視頻的區(qū)域定義數(shù)據(jù)的視頻覆蓋圖。該區(qū)域是視頻幀的與底層(underlying)視頻對(duì)象相一致的部分。區(qū)域定義數(shù)據(jù)定義了視頻幀的這樣的部分。本發(fā)明的系統(tǒng)100由若干個(gè)不同然而相聯(lián)系的元素構(gòu)成。本發(fā)明一個(gè)方面涉及視頻對(duì)象目錄與對(duì)應(yīng)的區(qū)域定義數(shù)據(jù)的創(chuàng)建。視頻對(duì)象目錄 114是包含以指向視頻或者動(dòng)畫文件中的對(duì)象的指針或參考的形式的區(qū)域定義數(shù)據(jù)的數(shù)據(jù)庫(kù)。重要的是，通過提供把附加信息與視頻中的特定視頻對(duì)象連接的能力，區(qū)域定義數(shù)據(jù)用來(lái)使視頻為交互的。例如，視頻觀看者可選擇在視頻中顯示的車，并且學(xué)習(xí)車的制作和建模和其它附加信息。本發(fā)明將附加信息關(guān)聯(lián)至視頻對(duì)象，從而使對(duì)象成為可選擇的超鏈接。在本發(fā)明的一個(gè)實(shí)施方式中，被辨識(shí)的視頻對(duì)象由3D矢量圖形數(shù)據(jù)表示，如圖8D 中的線框模型。該表示法是這樣創(chuàng)建的通過計(jì)算對(duì)象上的透視圖8A-8C之間的差別然后指定物理對(duì)象上兩個(gè)數(shù)學(xué)上連續(xù)平滑面相交的每個(gè)邊緣、或者通過用直線或曲線連接對(duì)象的構(gòu)成頂點(diǎn)。如果不能得到所有視圖，那么只能創(chuàng)建部分的3D模型，但一旦缺失的視圖在另外的視頻中是可得到的，則完成該3D模型。這些3D線框模型可用來(lái)改善視頻對(duì)象的辨識(shí)，也可用于把視頻對(duì)象表示為三維線框透視圖(圖8E)的輪廓。這種實(shí)施方式可能具有計(jì)算上的好處。根據(jù)一種實(shí)施方式，視頻對(duì)象與元數(shù)據(jù)和/或?qū)ο竺枋鱿嚓P(guān)聯(lián)，對(duì)象描述使得使用者(如廣告商)可搜索所有“汽車”的實(shí)例，搜索結(jié)果將也包含“轎車”。對(duì)象描述可以是語(yǔ)義網(wǎng)絡(luò)的一部分，其使得拍賣競(jìng)標(biāo)者能夠指定他們想競(jìng)標(biāo)的對(duì)象和視頻情境。這對(duì)于在不適合廣告商品牌的情境下防止品牌的暴露來(lái)說可能是有用的。用在這個(gè)說明書中的術(shù)語(yǔ) “視頻對(duì)象”指的是視頻幀元素，如出現(xiàn)在視頻或動(dòng)畫中的轎車、跑步者或狗。在本發(fā)明的一個(gè)實(shí)施方式中，數(shù)據(jù)庫(kù)中的視頻對(duì)象的運(yùn)動(dòng)屬性，比如快、慢、上、下等，將被編入索引，這使得拍賣競(jìng)標(biāo)者能夠用運(yùn)動(dòng)屬性指定他們的競(jìng)標(biāo)物。在另外的實(shí)施方式中，對(duì)象的狀態(tài)將被編入索引，如通過本技術(shù)領(lǐng)域中已知的面部表情算法，該算法可以提取視頻中的人的狀態(tài)，比如高興或悲傷。下文中提及的視頻應(yīng)理解為包括2D視頻、3D視頻和動(dòng)畫片，除非做出明確區(qū)別。 視頻對(duì)象數(shù)據(jù)庫(kù)包含識(shí)別視頻文件中的視頻對(duì)象的位置、形狀和運(yùn)動(dòng)的詳細(xì)信息。視頻對(duì)象目錄可能包含在視頻內(nèi)容中的特定對(duì)象的詳細(xì)描述，如制作者、制作和模型。正如下面將要進(jìn)一步詳細(xì)解釋到的，此詳細(xì)信息可用來(lái)鏈接例如廣告內(nèi)容之類的信息至視頻對(duì)象。正如將在下文解釋到的，根據(jù)本發(fā)明的各種實(shí)施方式，視頻對(duì)象可手動(dòng)地、半自動(dòng)地或自動(dòng)地被識(shí)別，且與相應(yīng)信息關(guān)聯(lián)。本發(fā)明的進(jìn)一步的方面涉及視頻對(duì)象市場(chǎng)交易平臺(tái)(VOME)的創(chuàng)建，其中競(jìng)標(biāo)者 (廣告商)為將他們的廣告內(nèi)容關(guān)聯(lián)到給定視頻對(duì)象的權(quán)利而進(jìn)行競(jìng)標(biāo)。應(yīng)當(dāng)注意，本發(fā)明也能夠使視頻內(nèi)容的擁有者只拍賣視頻對(duì)象目錄中的某一部分，并且可以不通過公開競(jìng)標(biāo)過程而將剩余部分直接銷售給目錄買家。視頻內(nèi)容的激活本發(fā)明的進(jìn)一步的方面涉及視頻覆蓋圖的創(chuàng)建，該覆蓋圖把“被動(dòng)”視頻轉(zhuǎn)化為交互視頻，其中該“被動(dòng)”視頻例如為你“被動(dòng)地”觀看而不能與之交互的視頻，而在交互視頻中，觀看者可與視頻的區(qū)域交互，通過選擇或者滾動(dòng)視頻中的區(qū)域因此觸發(fā)與該對(duì)象相關(guān)聯(lián)的廣告內(nèi)容的顯示。在靜態(tài)媒體(比如網(wǎng)站)中使用超鏈接是眾所周知的。在視頻游戲和動(dòng)畫中，點(diǎn)擊對(duì)象是很普遍的。那就是使得它為互動(dòng)的。豐富的(rich)媒體或者交互媒體指的是促進(jìn)受眾的主動(dòng)參與即交互性的通信媒體。傳統(tǒng)的信息理論將交互媒體描述成構(gòu)建雙向通信的媒體。視頻內(nèi)容的標(biāo)識(shí)與編輯本發(fā)明將視頻和動(dòng)畫內(nèi)容分割成它的對(duì)象并且存儲(chǔ)諸如為形狀、χ、y和時(shí)間坐標(biāo)的區(qū)域定義數(shù)據(jù)，或者，在涉及測(cè)定體積的(volumetric)視頻或測(cè)定體積的動(dòng)畫情況下， 本發(fā)明存儲(chǔ)形狀、x、y、z以及時(shí)間坐標(biāo)。術(shù)語(yǔ)“時(shí)間坐標(biāo)”指的是時(shí)間、視頻幀或者類似物。 另外，“視頻幀”旨在于傳送視頻或動(dòng)畫在特定時(shí)間(視頻流中的位置)的一個(gè)瞬間(靜止) 圖像幀。所有這些坐標(biāo)對(duì)于指定在時(shí)間上的給定時(shí)刻的幀內(nèi)的視頻對(duì)象是必不可少的。本發(fā)明的一個(gè)目的是利用常規(guī)的視頻內(nèi)容分析技術(shù)，比如目前用于識(shí)別人群中的某個(gè)人，或者識(shí)別/檢查傳送帶上的小器件，并將該技術(shù)應(yīng)用到營(yíng)銷通信、廣告和商務(wù)交易領(lǐng)域。更具體地而言，本發(fā)明的一個(gè)目的是識(shí)別在視頻和動(dòng)畫中的感興趣的視頻對(duì)象。被識(shí)別的視頻對(duì)象或內(nèi)容對(duì)象可以被用來(lái)添加(populate)可用在廣告市場(chǎng)交易平臺(tái)中的視頻內(nèi)容目錄114。此外，利用把視頻對(duì)象與廣告內(nèi)容相鏈接的區(qū)域定義數(shù)據(jù)可激活視頻或者使視頻具有交互性。應(yīng)當(dāng)理解到，本發(fā)明的方法包含電影和基于對(duì)象的動(dòng)畫兩者。以下提到的視頻應(yīng)當(dāng)被理解為包括電影和基于對(duì)象的動(dòng)畫兩者。圖1是本發(fā)明第一實(shí)施方式的方法的高級(jí)流程圖。在步驟700和710中，利用自動(dòng)分割及分類應(yīng)用分割及分類視頻，以產(chǎn)生對(duì)象列表或表格。分割過程700產(chǎn)生貫穿視頻的視頻對(duì)象的列表(包括每個(gè)對(duì)象的區(qū)域定義數(shù)據(jù)和時(shí)間坐標(biāo))，并且分類過程710將同一對(duì)象在視頻的不同幀中的出現(xiàn)匹配出來(lái)因此減少重復(fù)/冗余，應(yīng)當(dāng)注意到視頻對(duì)象的位置、大小和形狀在整個(gè)視頻中可能且通常是改變的。對(duì)象的大小根據(jù)隨著它在整個(gè)視頻的移動(dòng)而變化的它的接近性(proximity)進(jìn)行變化。類似地，對(duì)象的形狀可根據(jù)觀看它的透視或有利點(diǎn)變化，例如，前視圖VS側(cè)視圖。此外，本發(fā)明的系統(tǒng)能夠?qū)σ苿?dòng)的對(duì)象進(jìn)行分割和分類。因此，視頻對(duì)象的位置隨著底層對(duì)象移動(dòng)而動(dòng)態(tài)地改變，這在區(qū)域定義數(shù)據(jù)中予以表示。在步驟720中，所述視頻對(duì)象與對(duì)象庫(kù)中的對(duì)象進(jìn)行比較，對(duì)象庫(kù)里可以是表示視頻中的對(duì)象的3D線框數(shù)據(jù)。根據(jù)3D線框模型生成的透視圖對(duì)于自動(dòng)對(duì)象識(shí)別過程有禾U。這個(gè)步驟是可選的。當(dāng)檢測(cè)到匹配時(shí)，則該對(duì)象與對(duì)象庫(kù)中的產(chǎn)品描述和/或元數(shù)據(jù)相關(guān)聯(lián)。不匹配的視頻對(duì)象會(huì)被拋棄，或者受到第二處理應(yīng)用的處理和/或分析師手動(dòng)識(shí)別/成形該對(duì)象的邊界(步驟730)，然后該對(duì)象會(huì)受到另一分類步驟(710)和/或與對(duì)象庫(kù)中的對(duì)象的另一比較(720)。在步驟740中，視頻對(duì)象向市場(chǎng)交易平臺(tái)公開并由 自動(dòng)拍賣過程進(jìn)行處理。在步驟745，創(chuàng)建鏈接視頻對(duì)象與廣告商提供的內(nèi)容的視頻覆蓋圖。在步驟750， 帶有區(qū)域定義數(shù)據(jù)的視頻覆蓋圖被傳送到視頻播送設(shè)備120。在步驟760，視頻觀看者通過滾動(dòng)或選擇視頻區(qū)域與視頻覆蓋圖交互因而觸發(fā)顯示與視頻對(duì)象關(guān)聯(lián)的廣告內(nèi)容。應(yīng)該理解，相較于選擇對(duì)象時(shí)所顯示的廣告內(nèi)容，滾動(dòng)可能不允許顯示不同的廣告內(nèi)容。例如，相較于使用指示設(shè)備簡(jiǎn)單地滾動(dòng)對(duì)象而顯示的信息，選擇對(duì)象可觸發(fā)更多細(xì)節(jié)信息。在步驟770 (可選的)，VOME 300記錄觀看者與視頻對(duì)象的交互，并更新觀看者的行為概況(profile)。應(yīng)當(dāng)注意，視頻觀看者與視頻覆蓋圖(和視頻對(duì)象)的交互通常會(huì)觸發(fā)來(lái)自于VOME 300的廣告內(nèi)容的顯示。這使得與視頻對(duì)象相關(guān)聯(lián)的內(nèi)容能夠即時(shí)更新而無(wú)需改變視頻覆蓋圖。視頻覆蓋圖通過使視頻區(qū)域成為可選擇的超鏈接來(lái)而使視頻具有交互性，但是實(shí)際內(nèi)容直接來(lái)源于VOME 300。在步驟780中(可選)，VOME 100完成了由觀看者與表示視頻對(duì)象的視頻區(qū)域的交互發(fā)起的銷售交易。正如以下將要更詳細(xì)地予以解釋的，VOME 300可以使得觀看者完成銷售交易。以下將更加詳細(xì)地描述這些步驟中的每一步驟。應(yīng)當(dāng)了解，步驟的相對(duì)順序能夠頻繁的變化而不影響本系統(tǒng)，例如步驟770和780 可以調(diào)換而不影響結(jié)果。以特定順序羅列步驟不應(yīng)理解為具體順序的限制，除非從上下文中可以清楚地看出需要特定順序。到目前，已經(jīng)通過參考視頻對(duì)象來(lái)描述本發(fā)明的方法，然而，本發(fā)明也涉及視頻內(nèi)的事件的識(shí)別，其中，事件被定義為對(duì)象正在在空間上移動(dòng)。例如，人正在走路或者車正在行駛。即使沒有定義該對(duì)象，事件仍然具有例如高速這樣的特征，這對(duì)于廣告商來(lái)說可能是有價(jià)值的。在基于對(duì)象的動(dòng)畫中，每個(gè)對(duì)象通過其矢量圖類來(lái)確定。因此，分析師不教導(dǎo)本系統(tǒng)辨識(shí)對(duì)象，而是描述感興趣的對(duì)象。對(duì)于每個(gè)被描述的對(duì)象，系統(tǒng)存儲(chǔ)用于識(shí)別動(dòng)畫數(shù)據(jù)中該對(duì)象的每一出現(xiàn)有用的對(duì)象信息?；趯?duì)象的動(dòng)畫例如Adobe Flash或者Java保存有對(duì)象和事件信息。其它動(dòng)畫技術(shù)在渲染期間丟失對(duì)象和事件的參考。一旦參考丟失，我們不得不像在基于像素的普通視頻中一樣應(yīng)用對(duì)象和事件辨識(shí)技術(shù)。在動(dòng)態(tài)圖片媒體中，視頻內(nèi)容分析技術(shù)被用于基于大小、形狀、顏色、色彩密度等來(lái)識(shí)別對(duì)象。本發(fā)明不局限于任何用于識(shí)別視頻中的內(nèi)容對(duì)象的特定方法，以下將詳細(xì)討論的若干不同方法。分析師可以手動(dòng)訓(xùn)練分割應(yīng)用106以辨識(shí)對(duì)象例如通過追蹤對(duì)象的輪廓，或者本系統(tǒng)可以呈現(xiàn)它通過統(tǒng)計(jì)模式辨識(shí)找到的內(nèi)容對(duì)象的模式。下文中將予以詳細(xì)解釋的視頻內(nèi)容分析或者視頻分析應(yīng)用106自動(dòng)檢測(cè)視頻中的識(shí)別出的對(duì)象的另外出現(xiàn)。視頻內(nèi)容分析應(yīng)用106可提供有包含3D框線模型或用于識(shí)別來(lái)自一個(gè)或多個(gè)不同透視的一個(gè)或多個(gè)預(yù)定義對(duì)象的特征的對(duì)象信息庫(kù)112，或者，視頻內(nèi)容分析應(yīng)用106可提供有用于識(shí)別對(duì)象的啟發(fā)法(heuristic)。對(duì)于對(duì)象的每個(gè)識(shí)別出的出現(xiàn)來(lái)說，VOME 300存儲(chǔ)用于識(shí)別在其中出現(xiàn)對(duì)象的幀(時(shí)間坐標(biāo))和區(qū)域定義數(shù)據(jù)(幀中的位置，例如X、Y和Z坐標(biāo))的信息。使用區(qū)域定義數(shù)據(jù)，VOME 300能夠動(dòng)態(tài)跟蹤對(duì)象。 應(yīng)當(dāng)注意到，可選擇的區(qū)域(超鏈接)的大小、形狀和位置與底層對(duì)象的大小、形狀和位置相對(duì)應(yīng)。根據(jù)本發(fā)明的一個(gè)改進(jìn)，當(dāng)觀看者訪問或請(qǐng)求訪問視頻內(nèi)容時(shí)將自動(dòng)觸發(fā)拍賣。根據(jù)本發(fā)明的另一改進(jìn)，當(dāng)廣告商將廣告鏈接到給定視頻對(duì)象的權(quán)利到期時(shí)，可觸發(fā)拍賣。每次視頻對(duì)象被添加到視頻對(duì)象目錄中或以一定周期(例如每小時(shí)、每天或每周)可進(jìn)一步觸發(fā)拍賣。根據(jù)本發(fā)明的另一實(shí)施方式，廣告商可以搜索視頻對(duì)象的數(shù)據(jù)庫(kù)114(對(duì)象目錄數(shù)據(jù)庫(kù))并購(gòu)買將內(nèi)容鏈接到對(duì)象的權(quán)利從而越過拍賣過程，或者通過提交公開競(jìng)標(biāo)發(fā)送對(duì)參與拍賣感興趣的信號(hào)。此外，廣告商可以對(duì)VOME 300建議針對(duì)特定的市場(chǎng)細(xì)分、人口屬性、用戶行為概況或者其它的它有興趣競(jìng)標(biāo)的類似因素。就如名稱為 “Method and system for providing targetedadvertisements，，的第6718551號(hào)美國(guó)專利所教導(dǎo)的(在此通過引用方式將該專利并入本文)，廣告商122可提供有關(guān)于觸發(fā)拍賣的視頻觀看者124的觀看者概況信息。應(yīng)當(dāng)注意的是，因?yàn)橐曨l觀看者 124通過請(qǐng)求訪問視頻來(lái)觸發(fā)拍賣，因此觀看者概況信息是可得到的。 所述觀看者概況可以是識(shí)別觀看者的點(diǎn)擊歷史、購(gòu)買習(xí)慣、社交網(wǎng)絡(luò)、地理位置歷史、瀏覽和搜索習(xí)慣、以及/或者附加的人口屬性，其中包括多元化(multifaceted)觀看者概況?？梢愿鶕?jù)存儲(chǔ)在觀看者電腦中的cookies，或者根據(jù)觀看者的第三方信息，還有其它方法，編譯所述多元化觀看者概況。所述多元化觀看者概況可用于判定特定觀看者對(duì)于特定競(jìng)標(biāo)者(廣告商)的相對(duì)價(jià)值。除了提供給競(jìng)標(biāo)者上述的觀看者概況信息之外，VOME 300還提供在視頻或視頻組中所包含的對(duì)象的列表。根據(jù)本發(fā)明的一個(gè)實(shí)施方式，VOME 300以單個(gè)的基礎(chǔ)投標(biāo)將廣告內(nèi)容鏈接到包含在觀看者訪問的視頻中的視頻對(duì)象中的一個(gè)或多個(gè)視頻對(duì)象的權(quán)利。因此，不同的廣告商可擁有在特定視頻中的不同視頻對(duì)象的臨時(shí)權(quán)利。應(yīng)當(dāng)注意到，正在被拍賣的廣告權(quán)利是不同于傳統(tǒng)的“被推”給視頻觀看者的橫幅廣告。推式廣告是顯示在觀看者顯示屏的頂部(橫幅)或者側(cè)邊上的廣告。推式廣告是被推送給觀看者的，即是說，觀看者沒有明確地請(qǐng)求這些廣告。如接下來(lái)將要詳細(xì)解釋的，根據(jù)一種實(shí)施方式，觀看者通過與表示視頻內(nèi)的視頻對(duì)象的特定區(qū)域進(jìn)行交互來(lái)拉出廣告內(nèi)容。例如，觀看者可以指向視頻幀，這將使得視頻變慢，選擇或滾動(dòng)視頻中的視頻對(duì)象從而觸發(fā)VOME 300將與該對(duì)象鏈接或關(guān)聯(lián)的情境信息作為彈出窗口、覆蓋圖或在緊接視頻播放器的區(qū)域中被顯示。然而，VOME 300可以結(jié)合傳統(tǒng)的推式廣告與拉式廣告。例如，當(dāng)對(duì)象在視頻中出現(xiàn)時(shí)，VOME 300可推出與該些對(duì)象相關(guān)的廣告內(nèi)容，或者VOME 300可以推出與觀看者已經(jīng)與之交互的對(duì)象類型(比如觀看者已經(jīng)滾動(dòng)或選擇的對(duì)象)相關(guān)的廣告。正如上面提到的，VOME 300可以在競(jìng)標(biāo)之前實(shí)時(shí)提供實(shí)際視頻觀看者的概況給第三方(比如廣告商122)。可替換地，VOME 100可以為多個(gè)市場(chǎng)細(xì)分中的每一個(gè)簡(jiǎn)單地拍賣視頻內(nèi)容對(duì)象的權(quán)利。例如，VOME 100可以通過年齡、性別、收入、區(qū)域或者消費(fèi)習(xí)慣等的組合來(lái)細(xì)分市場(chǎng)。如果拍賣發(fā)生在視頻觀看者124訪問之前，將不可能提供實(shí)際視頻觀看者的概況信息給廣告商(競(jìng)標(biāo)者)，VOME 100將根據(jù)市場(chǎng)細(xì)分來(lái)拍賣這些權(quán)利。應(yīng)當(dāng)理解的是，文中所用術(shù)語(yǔ)“自動(dòng)”指的是不受人為干預(yù)而發(fā)生的行為。換句話說，簡(jiǎn)單地通過將只是通過將新內(nèi)容添加到目錄114或者之前拍賣的權(quán)利已到期等由VOME 300發(fā)起拍賣。VOME 300將視頻文件自動(dòng)分割并對(duì)視頻對(duì)象自動(dòng)分類。廣告商服務(wù)器可包括自動(dòng)將競(jìng)標(biāo)提交給VOME 300的自動(dòng)競(jìng)標(biāo)應(yīng)用。下面還將解釋到，處理視頻以創(chuàng)建激活的視頻對(duì)象以及將這些視頻對(duì)象添加到目錄可以由自身來(lái)發(fā)出無(wú)需人為干涉。因此，根據(jù)一些實(shí)施方式，VOME 300可以是完全自動(dòng)的系統(tǒng)。該系統(tǒng)完全自動(dòng)運(yùn)行的唯一要求就是具有不同視角或帶有對(duì)象描述的對(duì)象的3D線框模型的的對(duì)象圖像預(yù)先處理的數(shù)據(jù)庫(kù)112。圖2是本發(fā)明的系統(tǒng)100的第一種實(shí)施方式的框圖。系統(tǒng)100包括該數(shù)據(jù)庫(kù)的權(quán)利由播送設(shè)備120或類似物所擁有的視頻內(nèi)容的數(shù)據(jù)庫(kù)102?！安ニ驮O(shè)備”簡(jiǎn)單地是指擁有視頻內(nèi)容的權(quán)利并通過交互電視或流網(wǎng)站的使這種權(quán)利對(duì)于觀看者1 變得可用的方。數(shù)據(jù)庫(kù)102位于播送設(shè)備服務(wù)器200上(圖幻，該服務(wù)器可以通過比如為英特網(wǎng)的分布式網(wǎng)絡(luò)104來(lái)進(jìn)行訪問。服務(wù)器200包括處理器202，該處理器經(jīng)總線204連接至大容量存儲(chǔ)設(shè)備206、只讀存儲(chǔ)器(ROM) 208、隨機(jī)存取存儲(chǔ)器(RAM) 210 (其可以是易失的或非易失的)。數(shù)據(jù)庫(kù)102可以被存儲(chǔ)在RAM210、R0M208、或者大容量存儲(chǔ)設(shè)備206中。附屬設(shè)備比如鍵盤212、可用作鍵盤和顯示屏二者的觸摸屏214、顯示設(shè)備216和指示設(shè)備(鼠標(biāo))218可以可選地連接至所述服務(wù)器200。數(shù)據(jù)庫(kù)102包含未經(jīng)處理的或者原始的視頻內(nèi)容，這些視頻內(nèi)容可以由視頻內(nèi)容分割和分類引擎106(在此之后稱為內(nèi)容分析應(yīng)用)來(lái)訪問?！霸嫉囊曨l內(nèi)容”指的是沒有被處理以識(shí)別對(duì)象的視頻。在圖2中，顯示了數(shù)據(jù)庫(kù)102被復(fù)制到數(shù)據(jù)庫(kù)108 ；然而，數(shù)據(jù)庫(kù)102的復(fù)制是可選的。數(shù)據(jù)庫(kù)108存在于視頻分割及分類服務(wù)器300中(圖幻，該服務(wù)器可以通過分布式網(wǎng)絡(luò)104例如因特網(wǎng)來(lái)訪問。此后提到訪問數(shù)據(jù)庫(kù)102時(shí)應(yīng)被理解為等同于訪問數(shù)據(jù)庫(kù) 108，反之亦然。服務(wù)器300包括處理器202，該處理器202通過總線204連接至大容量存儲(chǔ)設(shè)備 206、只讀存儲(chǔ)器(ROM) 208、隨機(jī)存取存儲(chǔ)器(RAM) 210 (其可以其可以是易失的或非易失的)。視頻文件數(shù)據(jù)庫(kù)108可以存儲(chǔ)在RAM210、R0M208或者大容量存儲(chǔ)設(shè)備206中。附屬設(shè)備比如鍵盤212、可用作鍵盤和顯示屏二者的觸摸屏214、顯示設(shè)備216和指示設(shè)備(鼠標(biāo))218可以可選地連接至所述服務(wù)器300。通過對(duì)來(lái)自數(shù)據(jù)庫(kù)108 (或10 的原始視頻內(nèi)容進(jìn)行分割及分類而匯集視頻對(duì)象的目錄104以識(shí)別其中的視頻對(duì)象。更確切地說，視頻內(nèi)容分析應(yīng)用106對(duì)原始視頻內(nèi)容進(jìn)行分割以產(chǎn)生特定視頻中所有視頻對(duì)象的列表。然后，視頻內(nèi)容分析應(yīng)用106將該視頻對(duì)象列表進(jìn)行分類以解析整個(gè)視頻中相同視頻對(duì)象的出現(xiàn)。VOME 300可被提供有分別執(zhí)行分割和分類的獨(dú)立軟件應(yīng)用，或者具有既可執(zhí)行分割又可執(zhí)行分類的單個(gè)軟件應(yīng)用。本文揭露了為視頻應(yīng)用提供交互層的活動(dòng)區(qū)域的方法，該方法包括訪問定義示出了多個(gè)視頻對(duì)象的多個(gè)幀的視頻數(shù)據(jù)，每個(gè)視頻對(duì)象在一系列視頻幀中示出；通過使用包括視頻對(duì)象分割和分類的視頻對(duì)象辨識(shí)算法生成區(qū)域定義數(shù)據(jù)。這些區(qū)域定義數(shù)據(jù)定義了多個(gè)區(qū)域，每個(gè)區(qū)域?qū)?yīng)多個(gè)視頻對(duì)象中的一個(gè)，其中由區(qū)域定義數(shù)據(jù)定義的每個(gè)區(qū)域的輪廓與在一系列視頻幀所示出的對(duì)應(yīng)的視頻對(duì)象的輪廓相匹配。根據(jù)本發(fā)明的一個(gè)改良方案，每個(gè)區(qū)域的輪廓在該一系列幀中動(dòng)態(tài)地變化，以匹配在透視和大小以及視角方面中至少一個(gè)上的變化，其中以透視和大小以及視角方面在該一系列幀中示出對(duì)應(yīng)的視頻對(duì)象。根據(jù)本發(fā)明的一個(gè)改良方案，使用區(qū)域定義數(shù)據(jù)定義多個(gè)活動(dòng)區(qū)域用于交互式視頻觀看。
根據(jù)本發(fā)明的一個(gè)改良方案，幀作為視頻在顯示器上向用戶顯示，區(qū)域定義數(shù)據(jù)被用于判定指向這些幀中至少一個(gè)幀的位置的用戶行為是否定址于所述活動(dòng)區(qū)域中的一個(gè)。
根據(jù)本發(fā)明的一個(gè)改良方案，響應(yīng)于用戶行為定址于某一活動(dòng)區(qū)域的判定，向用戶呈現(xiàn)附加信息，該附加信息與對(duì)應(yīng)于該某一活動(dòng)區(qū)域的視頻對(duì)象相關(guān)。根據(jù)本發(fā)明的一個(gè)改良方案，至少一個(gè)區(qū)域的區(qū)域定義數(shù)據(jù)包括對(duì)應(yīng)所述區(qū)域的視頻對(duì)象的三維線框表示。根據(jù)本發(fā)明的一個(gè)改良方案，對(duì)于在其中示出所述對(duì)應(yīng)視頻對(duì)象的所述一系列幀中的至少一幀，所述區(qū)域的區(qū)域定義數(shù)據(jù)還包括定義三維線框表示的透視圖的數(shù)據(jù)，所述三維線框表示的透視圖的輪廓定義該幀的區(qū)域的輪廓。根據(jù)本發(fā)明的一個(gè)改良方案，對(duì)于在其中示出所述對(duì)應(yīng)視頻對(duì)象的所述一系列幀中的至少一對(duì)幀，所述區(qū)域的區(qū)域定義數(shù)據(jù)還包括定義了在幀對(duì)的幀之間的三維線框表示的變化的數(shù)據(jù)。根據(jù)本發(fā)明的一個(gè)改良方案，所述三維線框表示包括多個(gè)節(jié)點(diǎn)，和定義變化的數(shù)據(jù)，該數(shù)據(jù)包括定義至少一個(gè)節(jié)點(diǎn)相對(duì)至少另一個(gè)節(jié)點(diǎn)的位置的位移的數(shù)據(jù)。根據(jù)本發(fā)明的一個(gè)改良方案，定義變化的數(shù)據(jù)包括定義所述三維線框表示的大小與空間定向中的至少一個(gè)的變化的數(shù)據(jù)。視頻內(nèi)容分析應(yīng)用106可以訪問對(duì)象信息庫(kù)112，該對(duì)象信息庫(kù)112存儲(chǔ)在服務(wù)器300中或者可以通過服務(wù)器300來(lái)訪問。例如，對(duì)象信息庫(kù)112可以存儲(chǔ)在用于存儲(chǔ)視頻內(nèi)容分析應(yīng)用106的程序指令的存儲(chǔ)設(shè)備中，例如存儲(chǔ)設(shè)備206和/或RAM 210中。該庫(kù)112存儲(chǔ)了來(lái)自不同的視角或者對(duì)象的3D模型的對(duì)象的圖像。這些圖像信息可以用作為將描述信息鏈接至視頻對(duì)象的索引或者關(guān)鍵要素。該庫(kù)112還包括可用于向潛在競(jìng)標(biāo)者描述視頻內(nèi)容對(duì)象的對(duì)象識(shí)別符、標(biāo)簽、和/或視頻對(duì)象的元數(shù)據(jù)描述中的一個(gè)或多個(gè)?？商鎿Q地，內(nèi)容分析應(yīng)用106可以利用邏輯運(yùn)算來(lái)識(shí)別視頻內(nèi)容對(duì)象而不需要借助于對(duì)象信息庫(kù)112.申請(qǐng)人:在此通過引用方式將名稱為“Video segmentation usingstatistical pixel modeling"的第6625310號(hào)美國(guó)專利并入本文，該專利公開了利用像素的統(tǒng)計(jì)建模將視頻數(shù)據(jù)分割成前景和背景部分的許多種方法中的一種。為每個(gè)像素構(gòu)建背景的統(tǒng)計(jì)模型，并且將到來(lái)的視頻幀中的每個(gè)像素與用于那個(gè)像素的背景統(tǒng)計(jì)模型做比較?；诒容^將像素確定為前景或者背景。申請(qǐng)人:在此通過引用方式將名稱為"Method and apparatus forauthoring and linking video documents”的第6462754號(hào)美國(guó)專利并入本文，該專利公開了一種視頻文檔的創(chuàng)建方法，該方法涉及基于所關(guān)注對(duì)象邊界創(chuàng)建可錨定信息單元文件，這樣所關(guān)注對(duì)象可以用來(lái)識(shí)別視頻數(shù)據(jù)的部分。申請(qǐng)人:在此通過引用方式將名稱為“Linking to videoinformation”的第 7325245號(hào)美國(guó)專利并入本文，該專利公開了一種系統(tǒng)，可使能包括電視廣播、網(wǎng)頁(yè)以及存儲(chǔ)在磁或光媒體上的視頻顯示的各種視頻格式之間的動(dòng)態(tài)鏈接。視頻信息的每一幀與該幀內(nèi)的多個(gè)位置一起被識(shí)別。然后用戶所選擇的位置，例如使用指示設(shè)備，被用來(lái)訪問或者在系統(tǒng)本身內(nèi)或者在外部系統(tǒng)上的相關(guān)信息。。
申請(qǐng)人在此通過弓I用方式將名稱為“Method，apparatus, system, medium, and signals for producing interactive video content”的第20080294694號(hào)美國(guó)公開專利申請(qǐng)并入本文，該專利申請(qǐng)公開了一種用于在內(nèi)容發(fā)布計(jì)算機(jī)上產(chǎn)生交互式視頻內(nèi)容的方法。該方法涉及將標(biāo)記與視頻內(nèi)容中的至少一個(gè)圖像部分進(jìn)行關(guān)聯(lián)，該標(biāo)記可操作地被配置為當(dāng)在視頻內(nèi)容中圖像部分的顯示位置發(fā)生變化時(shí)，跟隨所述至少一個(gè)圖像部分。此方法也涉及到將圖像部分識(shí)別符與標(biāo)記相關(guān)聯(lián)，以及將鏈接屬性與標(biāo)記相關(guān)聯(lián)，該鏈接屬性可操作地響應(yīng)于交互式視頻內(nèi)容的觀看者的標(biāo)記的選擇引起內(nèi)容位置請(qǐng)求到注冊(cè)服務(wù)器的傳輸。該內(nèi)容位置請(qǐng)求包括圖像部分標(biāo)識(shí)符。如果是手動(dòng)或半自動(dòng)的過程，可以在人類分析師110的協(xié)助和/或?qū)忛喯掠蓛?nèi)容分析應(yīng)用應(yīng)用106創(chuàng)建目錄114。該分析師110可以手動(dòng)識(shí)別視頻對(duì)象的給定實(shí)例，例如， 通過觀看視頻的靜止圖像和追蹤視頻對(duì)象(手動(dòng)過程)，然后利用內(nèi)容分析應(yīng)用106(半自動(dòng)過程)以識(shí)別視頻對(duì)象在視頻中的其它出現(xiàn)。附加地或者可替換地，分析師110可以對(duì)不匹配的視頻對(duì)象的邊界進(jìn)行審閱和改善，然后使該對(duì)象受到第二輪的分類和/或第二輪的將對(duì)象與對(duì)象庫(kù)中的對(duì)象匹配。可替換地，分析師110可以審閱和編輯由內(nèi)容分析應(yīng)用106自動(dòng)識(shí)別的對(duì)象。至此，我們已經(jīng)描述了從原始視頻中創(chuàng)建視頻對(duì)象目錄114的過程。視頻對(duì)象目錄114被存儲(chǔ)在存儲(chǔ)設(shè)備之內(nèi)，該存儲(chǔ)設(shè)備可以通過分布式網(wǎng)絡(luò)104(因特網(wǎng))訪問，或者數(shù)據(jù)庫(kù)114的拷貝可通過網(wǎng)絡(luò)訪問。重要地，注意視頻對(duì)象被用于創(chuàng)建可選擇的區(qū)域(超鏈接)，其可以動(dòng)態(tài)跟蹤對(duì)象在整個(gè)視頻中的移動(dòng)、大小和位置。根據(jù)本發(fā)明的一種實(shí)施方式，VOME 300將存儲(chǔ)在目錄數(shù)據(jù)庫(kù)114的視頻內(nèi)容對(duì)象的廣告權(quán)拍賣給廣告商122。該拍賣由VOME服務(wù)器300中的自動(dòng)拍賣應(yīng)用1 執(zhí)行，該自動(dòng)拍賣應(yīng)用126與廣告商服務(wù)器500中的自動(dòng)競(jìng)標(biāo)應(yīng)用通信。更確切的說，拍賣應(yīng)用1 是在處理器202上執(zhí)行的并且存儲(chǔ)在大容量存儲(chǔ)設(shè)備206、R0M 208和RAM 210中的其中一個(gè)中的軟件應(yīng)用。拍賣應(yīng)用126拍賣將內(nèi)容關(guān)聯(lián)到視頻對(duì)象的權(quán)利。被拍賣的權(quán)利可以是有時(shí)間限制的，即，在預(yù)定時(shí)間期滿之后期滿的權(quán)利。拍賣應(yīng)用126可以包括用于自動(dòng)計(jì)費(fèi)和/或競(jìng)標(biāo)轉(zhuǎn)讓的邏輯。拍賣應(yīng)用1 存儲(chǔ)有拍賣信息，此拍賣信息可用于識(shí)別將內(nèi)容與拍賣相關(guān)聯(lián)的權(quán)利的擁有者、該權(quán)利的持續(xù)時(shí)間、與對(duì)象相關(guān)聯(lián)的內(nèi)容、以及計(jì)費(fèi)信息。參見圖7，這些拍賣信息被存儲(chǔ)在服務(wù)器300上的拍賣信息數(shù)據(jù)庫(kù)中。更確切地說，拍賣信息數(shù)據(jù)庫(kù)被存儲(chǔ)在大容量存儲(chǔ)設(shè)備206、ROM 208和RAM 210中的一個(gè)之內(nèi)。VOME服務(wù)器300包括對(duì)象關(guān)聯(lián)應(yīng)用，其創(chuàng)建視頻覆蓋圖用于將接收自廣告商400 的廣告內(nèi)容與視頻對(duì)象關(guān)聯(lián)。此覆蓋圖由VOME服務(wù)器300提供給播送設(shè)備120，并且依次與底層視頻一起從播送設(shè)備120到達(dá)觀看者124。廣告商122使用計(jì)算機(jī)或者服務(wù)器500(圖2，；3)競(jìng)標(biāo)將內(nèi)容與視頻對(duì)象關(guān)聯(lián)的權(quán)利。計(jì)算機(jī)500包括處理器202，該處理器202通過總線204連接至大容量存儲(chǔ)設(shè)備206、 ROM 208,RAM 210 (其可以其可以是易失的或非易失的)。自動(dòng)競(jìng)標(biāo)應(yīng)用在處理器202上執(zhí)行，并且可以存儲(chǔ)在ROM 208, RAM 210和大容量存儲(chǔ)設(shè)備206中的一個(gè)或者多個(gè)之上。自動(dòng)競(jìng)標(biāo)應(yīng)用傳送拍賣競(jìng)標(biāo)至VOME 300上的自動(dòng)拍賣應(yīng)用。自動(dòng)競(jìng)標(biāo)應(yīng)用對(duì)來(lái)自于VOME 300的描述正在被拍賣的一個(gè)或多個(gè)視頻對(duì)象的信息進(jìn)行響應(yīng)。視頻內(nèi)容對(duì)象的使用將原始視頻轉(zhuǎn)換成交互式視頻內(nèi)容。觀看者124使用計(jì)算機(jī)400 (圖3)訪問通過播送設(shè)備120在網(wǎng)站上可得到的視頻內(nèi)容，或者通過分布式網(wǎng)絡(luò)例如因特網(wǎng)可進(jìn)行訪問的類似物。計(jì)算機(jī)400包括處理器202， 該處理器202通過總線204連接至大容量存儲(chǔ)設(shè)備206、只讀存儲(chǔ)器(ROM) 208、隨機(jī)存取存儲(chǔ)器(RAM)210(其可以其可以是易失的或非易失的)。web瀏覽器在處理器 上運(yùn)行可用于訪問因特網(wǎng)上的網(wǎng)站。觀看者24通過使用傳統(tǒng)指示設(shè)備218、和/或比如本領(lǐng)域熟知的觸摸感應(yīng)屏幕214來(lái)選擇或滾動(dòng)表示視頻對(duì)象的區(qū)域，從而與視頻覆蓋圖進(jìn)行交互。視頻觀看者124所進(jìn)行的交互觸發(fā)附加內(nèi)容(比如廣告)的顯示。廣告商122正在競(jìng)標(biāo)提供廣告內(nèi)容的權(quán)利。廣告權(quán)的拍賣可以是自動(dòng)的。例如，VOME 300可以請(qǐng)求最小的初始競(jìng)標(biāo)并指定競(jìng)標(biāo)增值，并且每個(gè)廣告商122可以為匹配指定標(biāo)準(zhǔn)的觀看者提供自動(dòng)投標(biāo)直至預(yù)定的最大競(jìng)標(biāo)值。根據(jù)之前實(shí)施方式的變形，當(dāng)視頻觀看者124訪問播放設(shè)備的網(wǎng)站和/或請(qǐng)求訪問視頻內(nèi)容(可通過所述網(wǎng)站進(jìn)行訪問)時(shí)，視頻(包括其中的所有視頻對(duì)象)的廣告權(quán)的拍賣或者各自的視頻內(nèi)容對(duì)象的廣告權(quán)的拍賣將被觸發(fā)。根據(jù)這個(gè)實(shí)施方式，播放設(shè)備 120能夠向廣告商122提供視頻觀看者124的觀看者概況信息。觀看者概況信息可以包括， 例如，關(guān)于觀看者124之前訪問的網(wǎng)站的信息和/或關(guān)于觀看者124購(gòu)買習(xí)慣的信息。不管初始點(diǎn)(對(duì)象的手動(dòng)或自動(dòng)識(shí)別)是什么，最終產(chǎn)品都是列有給定媒介呈現(xiàn)中(影片剪輯)的每個(gè)識(shí)別對(duì)象的坐標(biāo)(幀和子幀)和語(yǔ)義模型的數(shù)據(jù)庫(kù)(視頻內(nèi)容目錄)114。該目錄114可以在廣告市場(chǎng)交易平臺(tái)(VOME)上提供以供廣告商競(jìng)標(biāo)。廣告商將基于情景信息和正在觀看視頻內(nèi)容的觀看者的多元化觀看者概況競(jìng)標(biāo)目錄和視頻的目錄描述。當(dāng)具有某一多元化用戶概況的用戶觀看視頻對(duì)象時(shí)，廣告商可決定在該視頻對(duì)象上推送覆蓋圖消息內(nèi)容。觀看者與視頻對(duì)象的交互可以被用來(lái)改良被推送給觀看者的消息，如同搜索某些東西時(shí)，檢索詞當(dāng)時(shí)可被用來(lái)完善給用戶的信息所用的方法一樣。圖4是廣告商怎樣與VOME 300進(jìn)行交互的流程圖。在步驟800，廣告商基于目錄描述符部署對(duì)視頻內(nèi)容目錄114的檢索，或者可以提交這些產(chǎn)品的圖片這些產(chǎn)品為他想要購(gòu)買到其的目錄權(quán)利的產(chǎn)品。相對(duì)于更加初步的關(guān)鍵詞檢索，語(yǔ)義檢索的使用是優(yōu)選的， 因?yàn)檎Z(yǔ)義檢索能夠應(yīng)付描述符信息內(nèi)的變形。在步驟802，VOME 300返回匹配廣告商的搜索的對(duì)象列表和對(duì)象分類，廣告商將檢索結(jié)果與廣告商的媒體策略和預(yù)算調(diào)整。在步驟804A，廣告商簡(jiǎn)單地選擇購(gòu)買步驟802 中識(shí)別的目錄?？商鎿Q地，在步驟804B中，廣告商向VOME 100指定廣告商在實(shí)時(shí)拍賣期間感興趣競(jìng)標(biāo)的項(xiàng)。而且，廣告商可以指定初始競(jìng)標(biāo)值和/或最大的競(jìng)標(biāo)值?？商孢x地，VOME 100可以指定初始競(jìng)標(biāo)值和競(jìng)標(biāo)過程中的增額，而廣告商只指定最大競(jìng)標(biāo)值。圖5和圖6是示出觀看者與VOME 300進(jìn)行交互的流程圖。在步驟600中，觀看者搜索或?yàn)g覽視頻內(nèi)容，在步驟602中，關(guān)于在步驟600中使用的關(guān)鍵詞的廣告內(nèi)容(情境廣告)和視頻內(nèi)容搜索結(jié)果的列表一起被顯示。在步驟604，觀看者選擇視頻進(jìn)行觀看，在步驟606，相對(duì)于被選擇的視頻情境廣告被完善。
在步驟608A和608B，觀看者正在觀看選擇的內(nèi)容(圖6中的1700)并遇到感興趣的視頻對(duì)象。根據(jù)一種實(shí)施方式，指向該幀，例如通過將指示設(shè)備218的指針1701帶到視頻幀1703上，將使得視頻變慢，這允許觀看者選擇對(duì)象。在交互電視或者三維(3D)視頻的情況下，觀看者能夠使用各種指示裝置，包括但不限于由任天堂的Wii 推廣使用的虛擬指針類型，其利用手套或者別的帶有能夠確定X、Y和Z坐標(biāo)的感應(yīng)器的類似物。在步驟608Α 中，觀看者只對(duì)感興趣的對(duì)象進(jìn)行標(biāo)記以供稍后重新觀看(圖6中的1702和1704)，因此在步驟610中，情境廣告又一次被完善(這次與感興趣的對(duì)象相關(guān))，并且觀看者的行為概況被更新。在視頻觀看期間可以重復(fù)步驟608Α和610任意次數(shù)。在步驟612中，觀看者從步驟608Α重新觀看被標(biāo)記的項(xiàng)的列表，然后或跳回至該項(xiàng)出現(xiàn)的場(chǎng)景(圖6中步驟614Α和 1704)或了解被選擇的項(xiàng)的更多信息，例如價(jià)格、特征等(步驟614Β)。在步驟616中，觀看者選擇購(gòu)買一個(gè)或多個(gè)對(duì)象(產(chǎn)品)(根據(jù)被標(biāo)記的或識(shí)別的對(duì)象中)，在步驟618中，觀看者完成所述交易(圖6中的1708).步驟608Β是步驟608Α的替換，其向觀看者呈現(xiàn)選擇直接跳至614并且了解關(guān)于對(duì)象的更多信息的選項(xiàng)。與視頻對(duì)象關(guān)聯(lián)的信息可以作為覆蓋圖彈出窗口或者在視頻播放器附近的區(qū)域被顯示。每次觀看者與視頻對(duì)象進(jìn)行交互，他/她的概況信息會(huì)在數(shù)據(jù)庫(kù)中得到更新。雖然本發(fā)明已經(jīng)參考其具體實(shí)施方式
予以詳細(xì)地描述，應(yīng)該理解到本領(lǐng)域技術(shù)人員基于對(duì)前文的理解，能夠輕易構(gòu)思出這些實(shí)施方式的修改，變形和等同。因此，本發(fā)明的保護(hù)范圍應(yīng)當(dāng)由本文的權(quán)利要求書和其任何等同來(lái)確定。
權(quán)利要求
1.一種用于將視頻內(nèi)容自動(dòng)地分割及分類成對(duì)象并拍賣該些對(duì)象的系統(tǒng)，包括 視頻分割及分類服務(wù)器，其包括可連接到分布式網(wǎng)絡(luò)且具有處理器、隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、及大容量存儲(chǔ)器的計(jì)算機(jī)；所述視頻分割及分類服務(wù)器包括存儲(chǔ)在視頻數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)視頻文件； 存儲(chǔ)在所述隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、及大容量存儲(chǔ)器其中之一的對(duì)象信息庫(kù)，所述對(duì)象信息庫(kù)包含用于識(shí)別視頻文件內(nèi)的對(duì)象的對(duì)象信息和用于描述所述對(duì)象的描述信息和語(yǔ)義信息中的至少一個(gè)；對(duì)象目錄數(shù)據(jù)庫(kù)，其包含描述至少一個(gè)視頻對(duì)象在視頻文件其中之一中的位置信息；以及在所述處理器上執(zhí)行的視頻內(nèi)容分析應(yīng)用，所述視頻內(nèi)容分析應(yīng)用對(duì)視頻文件進(jìn)行分割以識(shí)別視頻對(duì)象的位置、將視頻對(duì)象進(jìn)行分類以匹配給定視頻對(duì)象的出現(xiàn)、通過將分類的視頻對(duì)象的出現(xiàn)與在所述對(duì)象信息庫(kù)中的視頻對(duì)象進(jìn)行匹配來(lái)重新獲取描述所述視頻對(duì)象的信息、和將描述在所述視頻中的所述視頻對(duì)象的動(dòng)態(tài)位置的信息以及描述所述視頻對(duì)象的信息儲(chǔ)存到所述對(duì)象目錄數(shù)據(jù)庫(kù)中。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，進(jìn)一步包括至少一個(gè)廣告服務(wù)器，其包括可連接到分布式網(wǎng)絡(luò)且具有處理器、隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、及大容量存儲(chǔ)器的計(jì)算機(jī)；在所述廣告服務(wù)器上執(zhí)行的自動(dòng)競(jìng)標(biāo)應(yīng)用；以及在所述視頻分割及分類服務(wù)器上執(zhí)行的自動(dòng)拍賣應(yīng)用，所述拍賣應(yīng)用傳輸拍賣信息至所述的至少一個(gè)廣告服務(wù)器，所述拍賣信息包括描述選定的視頻對(duì)象的信息，所述自動(dòng)拍賣應(yīng)用從所述至少一個(gè)廣告服務(wù)器接收來(lái)自于所述自動(dòng)競(jìng)標(biāo)應(yīng)用的競(jìng)標(biāo)信息，并授予關(guān)聯(lián)廣告內(nèi)容的權(quán)利給所述至少一個(gè)廣告服務(wù)器中選定的一個(gè)。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述自動(dòng)拍賣應(yīng)用將與所述給定視頻對(duì)象相關(guān)聯(lián)的用戶行為信息和市場(chǎng)細(xì)分信息中的至少一個(gè)傳送至所述廣告商競(jìng)標(biāo)應(yīng)用。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，進(jìn)一步包括 在數(shù)據(jù)庫(kù)中的廣告內(nèi)容；覆蓋圖生成應(yīng)用，其用于創(chuàng)建將所述廣告內(nèi)容與給定的所述視頻對(duì)象鏈接的視頻覆蓋圖，并創(chuàng)建可選擇的超鏈接，該超鏈接的位置跟蹤在視頻中的所述視頻對(duì)象的動(dòng)態(tài)位置。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，進(jìn)一步包括視頻廣播服務(wù)器，其包括可連接到分布式網(wǎng)絡(luò)且具有處理器、隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、及大容量存儲(chǔ)器的計(jì)算機(jī)；視頻用戶服務(wù)器，其包括可連接到分布式網(wǎng)絡(luò)且具有處理器、隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、及大容量存儲(chǔ)器的計(jì)算機(jī)；所述視頻廣播服務(wù)器從所述視頻分割及分類服務(wù)器接收所述視頻覆蓋圖，并將該視頻覆蓋圖傳送給所述視頻用戶服務(wù)器，其中所述視頻覆蓋圖響應(yīng)于與所述給定的視頻對(duì)象的交互而選擇性地引起與給定的所述視頻對(duì)象鏈接的內(nèi)容信息的顯示。
6.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述視頻分割及分類服務(wù)器保存已被拍賣的對(duì)象的數(shù)據(jù)庫(kù)。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中每個(gè)所述數(shù)據(jù)庫(kù)條目包括指示已被拍賣的對(duì)象的權(quán)利何時(shí)期滿的信息。
8.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述至少一個(gè)廣告服務(wù)器將指定所期望的人口統(tǒng)計(jì)受眾的信息傳送給所述視頻分割及分類服務(wù)器，并且所述拍賣服務(wù)器傳送被限制于所述所期望的人口統(tǒng)計(jì)受眾的對(duì)象拍賣信息。
9.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述拍賣信息包括指定人口統(tǒng)計(jì)信息和用戶行為歷史信息中的至少一個(gè)的信息。
10.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中所述視頻用戶服務(wù)器進(jìn)一步包括內(nèi)容顯示應(yīng)用， 用于顯示視頻并且當(dāng)給定的視頻對(duì)象是利用指示設(shè)備所選擇和滾動(dòng)的之一時(shí)，與所述視頻覆蓋圖交互并顯示廣告內(nèi)容。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中視頻對(duì)象的選擇使得內(nèi)容顯示應(yīng)用暫?；蛘叻怕曨l的顯示。
12.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述視頻用戶服務(wù)器包括指示設(shè)備；所述內(nèi)容顯示應(yīng)用顯示與出現(xiàn)在視頻中的對(duì)象相關(guān)聯(lián)的第一內(nèi)容，并且當(dāng)流視頻中所選擇的所述視頻對(duì)象是利用所述指示設(shè)備所選擇和滾動(dòng)的之一時(shí)顯示第二內(nèi)容。
13.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述廣告內(nèi)容包括可選擇的鏈接，其中該鏈接的選擇提供電子商務(wù)選項(xiàng)。
14.一種在視頻中自動(dòng)創(chuàng)建可選擇的超鏈接的系統(tǒng)，包括將視頻文件分割成視頻對(duì)象，多個(gè)視頻對(duì)象，將所述的多個(gè)視頻對(duì)象進(jìn)行分類以識(shí)別給定的所述視頻對(duì)象的重復(fù)出現(xiàn)；將每個(gè)視頻對(duì)象的幀和子幀信息存儲(chǔ)到數(shù)據(jù)庫(kù)中；以及利用將所述數(shù)據(jù)庫(kù)中的至少一個(gè)視頻對(duì)象與所述視頻文件鏈接的視頻覆蓋圖在視頻文件中創(chuàng)建可選擇的超鏈接。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中所述可選擇的超鏈接與廣告相鏈接，當(dāng)用戶利用指示設(shè)備滾動(dòng)或者選擇所述超鏈接時(shí)廣告被顯示。
16.一種視頻對(duì)象的市場(chǎng)交易平臺(tái)，包括視頻分割及分類應(yīng)用，其用于自動(dòng)地將視頻分割成多個(gè)對(duì)象，將所述對(duì)象分類成類似對(duì)象的群，利用描述信息對(duì)所述對(duì)象進(jìn)行標(biāo)記，將識(shí)別在所述視頻內(nèi)的所述視頻對(duì)象的動(dòng)態(tài)位置的信息存儲(chǔ)在數(shù)據(jù)庫(kù)中；以及覆蓋圖生成器，其用于自動(dòng)地創(chuàng)建將至少一個(gè)視頻對(duì)象群與所述視頻進(jìn)行鏈接的視頻覆蓋圖。
17.根據(jù)權(quán)利要求16所述的視頻市場(chǎng)交易平臺(tái)，其中，每個(gè)被鏈接的視頻對(duì)象是可選擇的超鏈接，所述超鏈接的位置跟蹤在所述視頻中的視頻對(duì)象的動(dòng)態(tài)位置。
18.一種為視頻觀看者應(yīng)用提供交互層活動(dòng)區(qū)域的方法，包括訪問定義示出了多個(gè)視頻對(duì)象的多個(gè)幀的視頻數(shù)據(jù)，每個(gè)視頻對(duì)象在一系列視頻幀中被示出；以及生成定義多個(gè)區(qū)域的區(qū)域定義數(shù)據(jù)，每個(gè)區(qū)域?qū)?yīng)所述多個(gè)視頻對(duì)象中的一個(gè)，其中由所述區(qū)域定義數(shù)據(jù)定義的每個(gè)區(qū)域的輪廓匹配由在所述一系列幀中示出的對(duì)應(yīng)視頻對(duì)象的輪廓。
19.根據(jù)權(quán)利要求18所述的方法，其中所述每個(gè)區(qū)域的輪廓在所述一系列幀中動(dòng)態(tài)地變化以匹配在透視和大小及視角中的至少一個(gè)的變化，其中以該透視和大小及視角在所述一系列幀中示出的對(duì)應(yīng)視頻對(duì)象。
20.根據(jù)權(quán)利要求18所述的方法，進(jìn)一步包括使用所述區(qū)域定義數(shù)據(jù)定義多個(gè)活動(dòng)區(qū)域用于交互式視頻觀看。
21.根據(jù)權(quán)利要求20所述的方法，其中所述幀作為視頻在顯示器上向用戶示出，并且其中所述區(qū)域定義數(shù)據(jù)被用于判定被引向這些幀中的至少一個(gè)幀的位置的用戶動(dòng)作是否定址所述活動(dòng)區(qū)域中的一個(gè)。
22.根據(jù)權(quán)利要求21所述的方法，其中，響應(yīng)于用戶動(dòng)作定址特定活動(dòng)區(qū)域的判定，向用戶呈現(xiàn)廣告，所述廣告與對(duì)應(yīng)所述特定活動(dòng)區(qū)域的視頻對(duì)象相關(guān)。
23.根據(jù)權(quán)利要求18所述的方法，其中用于至少一個(gè)區(qū)域的所述區(qū)域定義數(shù)據(jù)包括對(duì)應(yīng)所述區(qū)域的所述視頻對(duì)象的三維線框表示。
24.根據(jù)權(quán)利要求23所述的方法，其中用于所述區(qū)域的區(qū)域定義數(shù)據(jù)還包括對(duì)于在其中示出所述對(duì)應(yīng)的視頻對(duì)象的所述一系列幀中的至少一個(gè)幀，定義所述三維線框表示的透視圖的數(shù)據(jù)，其中所述三維線框表示的透視圖的輪廓定義所述幀的區(qū)域的輪廓。
25.根據(jù)權(quán)利要求M所述的方法，其中所述區(qū)域的區(qū)域定義數(shù)據(jù)還包括對(duì)于在其中示出所述對(duì)應(yīng)視頻對(duì)象的所述一系列幀中的至少一對(duì)幀，定義所述一對(duì)幀的幀之間的所述三維線框表示的變化的數(shù)據(jù)。
26.根據(jù)權(quán)利要求25所述的方法，其中所述三維線框表示包括多個(gè)節(jié)點(diǎn)，其中定義所述變化的數(shù)據(jù)包括定義至少一個(gè)節(jié)點(diǎn)相對(duì)于至少另一節(jié)點(diǎn)的位置的位移的數(shù)據(jù)。
27.根據(jù)權(quán)利要求25所述的方法，其中所述定義所述變化的數(shù)據(jù)包括定義所述三維線框表示的大小與空間定向中的至少一個(gè)的變化的數(shù)據(jù)。
全文摘要
本文公開了一種用于將視頻內(nèi)容自動(dòng)分割和分類成對(duì)象的方法及系統(tǒng)。所述對(duì)象可用于在視頻中創(chuàng)建可選擇的超鏈接，所述超鏈接可以動(dòng)態(tài)跟蹤視頻中的對(duì)象的位置。本文還公開了一種方法和系統(tǒng)，用于將視頻中的視頻內(nèi)容對(duì)象、動(dòng)畫和可視數(shù)據(jù)流與情境相關(guān)信息進(jìn)行關(guān)聯(lián)，以及用于將這些視頻內(nèi)容對(duì)象連接至廣告市場(chǎng)交易平臺(tái)和多元化觀看者概況中去并使這些對(duì)象具有交互性以進(jìn)行推式和拉式觀看者交互。
文檔編號(hào)G06T7/20GK102160084SQ200980117626
公開日2011年8月17日 申請(qǐng)日期2009年3月6日 優(yōu)先權(quán)日2008年3月6日
發(fā)明者阿明·梅爾勒 申請(qǐng)人:阿明·梅爾勒