專利名稱：圖像系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像系統(tǒng)以及圖像識別系統(tǒng)。
背景技術(shù)：
以往，圖像序列描述系統(tǒng)，以描述用于檢索相似的圖像序列(圖像所包括的幀的集合)的特征量為目的而采用。采用圖像序列描述系統(tǒng)的第1現(xiàn)有例的圖像序列檢索系統(tǒng)，由A.Mufit Ferman et al.在“GROUP-OF-FRAME/PICTURE COLOR HISTOGRAM DESCRIPTORS FORMULTIMEDIT APPLICATION”(ICIP2000)中記載。圖1表示該第1現(xiàn)有例中所述的圖像序列檢索系統(tǒng)。
參照圖1，圖像序列檢索系統(tǒng)備有直方圖生成部11、代表直方圖生成部12、描述文件生成部13、代表直方圖存儲部14、直方圖生成部15、代表直方圖生成部16、相似性計算部17、相似性分類部18和相似圖像顯示部19。
直方圖生成部11從登記在數(shù)據(jù)庫中的對象圖像序列的各幀提取彩色直方圖。代表直方圖生成部12，計算由直方圖生成部11提取的所有幀相關(guān)的彩色直方圖的各分量的平均值。描述文件生成部13根據(jù)規(guī)定的格式描述計算出的平均值，并存儲到代表直方圖存儲部14中。
直方圖生成部15從作為查詢圖像供給的圖像序列的各幀中提取彩色直方圖。代表直方圖生成部16計算由直方圖生成部15提取的所有幀的彩色直方圖的各分量的平均值，以作為代表直方圖。相似性計算部17分別計算由代表直方圖生成部16生成的代表直方圖與存儲在代表直方圖存儲部14中的各代表直方圖的相似性。相似性分類部18按照相似性的高順序重新排列所登記的圖像。相似圖像顯示部19按照相似性高的順序顯示圖像。
另一典型的圖像識別系統(tǒng)(第2現(xiàn)有例)在特開2000-259832號公報中被公開。圖2表示該第2現(xiàn)有例的圖像序列檢索系統(tǒng)。參照圖2，圖像序列識別系統(tǒng)備有特征量提取幀選擇部21、顏色布局組生成部22、描述文件生成部23、顏色布局組存儲部24、特征量提取幀選擇部25、顏色布局組生成部26和圖像識別部27。
特征量提取幀選擇部21，從登記在數(shù)據(jù)庫中的對象圖像序列選擇提取特征量的對象幀組。顏色布局組生成部22，分別從所選擇的各幀提取表示圖像的顏色布局特征的特征量。描述文件生成部23，根據(jù)規(guī)定的格式描述計算出的特征量，并存儲在顏色布局組存儲部24中。
特征量提取幀選擇部25，從作為查詢圖像提供的圖像序列中選擇提取特征量的對象幀組。顏色布局組生成部26，分別從所選擇的幀提取表示圖像的顏色布局特征的特征量。圖像識別部27，通過在每一幀將由顏色布局組生成部26生成的顏色布局組和存儲在代表顏色布局組24中的顏色布局組順次進行比較，判斷查詢圖像序列與存儲在顏色布局組存儲部中的圖像序列的哪一個相同，或者任何一個都不相同，并作為識別結(jié)果輸出。
然而，在上述的現(xiàn)有系統(tǒng)中，存在如下的問題。
在第1現(xiàn)有例的系統(tǒng)中，由于只比較了一個代表圖像序列的彩色直方圖，故通過減少比較次數(shù)，從而可以實現(xiàn)高速檢索處理。但是，在識別圖像序列時得不到充分的效果。另外，由于彩色直方圖沒有考慮布局結(jié)構(gòu)，所以也會誤檢索出具有相同顏色但圖形不同的圖像。
另外，在第2現(xiàn)有例中，由于以幀為單位來比較特征量，故可得到良好的識別效果。但是，由于以幀為單位來比較特征量，故對照次數(shù)增多，處理成本增大。
與上述說明相關(guān)，在特開平7-79206號公報中，公開了CM自動識別系統(tǒng)。該現(xiàn)有例的CM自動識別裝置備有每個TV廣播區(qū)域所具備的CM提取裝置和介由通信路徑與多個CM提取裝置能通信地連接的CM識別裝置。CM提取裝置備有多個CM掃描儀和CM提取控制裝置。將多個CM掃描儀中的每一個備于每個規(guī)定的TV廣播區(qū)域內(nèi)的CM識別對象電臺中，接收對應(yīng)電臺的廣播后檢測CM聲音數(shù)據(jù)。CM提取控制裝置將包含由多個CM掃描儀檢測到的CM聲音數(shù)據(jù)、廣播CM的電臺名、廣播CM的時刻以及CM的廣播秒數(shù)的CM數(shù)據(jù)，介由通信路徑發(fā)送到CM裝置中。CM識別裝置備有CM基準數(shù)據(jù)存儲部、CM描述文件和比較部。CM基準數(shù)據(jù)存儲部與各TV廣播區(qū)域相對應(yīng)地設(shè)置。在CM基準數(shù)據(jù)存儲部中，按照每個CM識別對象電臺登記有具有包含廣播預(yù)定的CM的比較用聲音數(shù)據(jù)以及廣播預(yù)定CM的識別代碼的附加數(shù)據(jù)的CM基準數(shù)據(jù)。將CM描述文件設(shè)置在各TV廣播區(qū)域的每個CM識別對象電臺中。比較部將從各YV廣播區(qū)域的CM提取裝置接收的CM數(shù)據(jù)中的CM聲音數(shù)據(jù)，與存儲在對應(yīng)的TV廣播區(qū)域用的CM基準數(shù)據(jù)存儲部中的對應(yīng)電臺的CM基準數(shù)據(jù)中的比較用聲音數(shù)據(jù)進行比較，通過使其一致，從而將該CM基準數(shù)據(jù)中的附加數(shù)據(jù)以及該CM數(shù)據(jù)中的CM廣播時刻數(shù)據(jù)存儲在對應(yīng)的CM描述文件中。
另外，高速信號探索裝置在特開2001-92486中被公開。在該現(xiàn)有例中，從輸入信號檢索與預(yù)先登記的參照信號相似的部分。從參照信號導(dǎo)入?yún)⒄仗卣髁肯盗小妮斎胄盘枌?dǎo)入輸入特征量系列，相對該輸入特征量系列設(shè)置觀測窗。計算參照特征量系列和觀測窗內(nèi)的輸入特征量系列的相似性，根據(jù)計算出的相似性，計算觀測窗的步幅，使觀測窗只移動該步幅。在已移動的觀測窗位置，根據(jù)已得到的相似性，判斷是否需要將上述的已移動的觀測窗向時間的反方向返回。反復(fù)進行相似性計算過程、步幅計算過程以及退回必要性判斷過程，對輸入信號的多個位置計算與參照信號的相似性，將該相似性與預(yù)先設(shè)定的目標相似性進行比較，決定參照信號是否存在于輸入信號的該位置中。
此外，圖像結(jié)構(gòu)化裝置在特開2001-101205中被公開。該現(xiàn)有例的圖像結(jié)構(gòu)化裝置包括圖像記錄裝置、抽取圖像的特征量的圖像特征量抽取裝置和將已抽取的特征量和數(shù)字圖像一起存儲的結(jié)構(gòu)記錄介質(zhì)。已記錄的圖像，由插入鏡頭(cut shot)變化點描述裝置分割為段，由代表幀抽取裝置、照相機信息存儲裝置、環(huán)境信息存儲裝置取得的信息通過信息附加裝置附加并管理。
另外，CM調(diào)查裝置在特開2001-359125中被公開。該現(xiàn)有例的CM調(diào)查裝置設(shè)置在家庭中，并將該家庭所視聽的廣告相關(guān)數(shù)據(jù)作為CM調(diào)查用數(shù)據(jù)向CM調(diào)查中心發(fā)送。CM調(diào)查裝置備有接收部，其接收采用特定算法將各廣播電臺的廣播輸出數(shù)據(jù)中的調(diào)查對象廣告圖像部分的數(shù)據(jù)量縮小的CM縮小數(shù)據(jù)；和存儲該已接收的CM縮小數(shù)據(jù)的接收數(shù)據(jù)存儲部。輸出數(shù)據(jù)存儲是記錄采用特定算法將在廣播接收機中實際視聽的廣播輸出數(shù)據(jù)的數(shù)據(jù)量縮小的輸出縮小數(shù)據(jù)，將輸出縮小數(shù)據(jù)和CM縮小數(shù)據(jù)進行比較，以決定視聽廣告。將該決定向CM調(diào)查中心發(fā)送。
此外，圖像檢索裝置在特開2002-117037中被公開。該現(xiàn)有例的圖像檢索裝置，從檢索對象動態(tài)圖像中檢索與規(guī)定的查詢圖像相似的圖像。在該圖像檢索裝置中，幀特征量提取部將包含在檢索對象動態(tài)圖像中的至少一部分幀的特征量提取，以作為幀特征量輸出。幀特征量存儲部，存儲從幀特征量提取部輸出的幀特征量。圖像特征量提取部，提取查詢圖像的特征量，并作為圖像特征量輸出。相似性計算部，將存儲在幀特征量存儲部中的幀特征量和從圖像特征量提取部輸出的圖像特征量進行比較，計算兩者的相似性。幀特征量綜合部，將存儲在幀特征量存儲部中的幀特征量中、相似性滿足預(yù)先給定條件的幀特征量綜合到至少一個組中。相似圖像選擇部，在幀特征量綜合部中綜合完的組內(nèi)選擇至少一個相似性最高的幀特征量。這樣，將具有由相似圖像選擇部選擇的幀特征量的圖像作為檢索結(jié)果公布。
另外，動態(tài)圖像內(nèi)容的檢索信息提取系統(tǒng)在特開2002-335473中被公開。在該現(xiàn)有例中，將動態(tài)圖像內(nèi)容分割為動態(tài)圖像內(nèi)容的各場景。圖像縮略圖部選擇每一場景的代表靜止圖像畫。這樣，將每個場景的代表靜止圖像按照動態(tài)圖像內(nèi)容的情節(jié)展開順序保存到動態(tài)圖像檢索信息數(shù)據(jù)庫中。
此外，多媒體存檔(archive)的描述方案在特表2002-537591中被公開。在該現(xiàn)有例中，數(shù)字存儲子系統(tǒng)根據(jù)多媒體描述方案存儲多媒體記錄以及該記錄的描述。計算機處理裝置訪問記錄的描述，具有根據(jù)記錄的描述屬性，將數(shù)字存儲子系統(tǒng)內(nèi)的至少兩個記錄相關(guān)聯(lián)的至少一個簇(cluster)，在至少一個簇中生成具有供給索引的集合體結(jié)構(gòu)描述方案的存檔描述。由此，在可操作狀態(tài)下將計算機處理裝置連接在數(shù)字存儲子系統(tǒng)上。在可操作狀態(tài)下將存檔描述存儲裝置連接在計算機處理裝置上，以便存儲存檔描述記錄。
再有，高速信號檢索方法在日本專利第3065314號中被公開。在該現(xiàn)有例中，針對作為預(yù)先登記的音響信號的參照信號，生成特征量系列。相對作為被輸入的音響信號的輸入信號，設(shè)定一定時間長度的輸入信號觀測窗。針對輸入信號觀測窗內(nèi)的輸入信號生成特征量系列。計算表示生成的特征量系列和生成的特征量系列的相似性的輸入信號相似值，根據(jù)計算出的輸入信號相似值，計算表示可以移動輸入信號觀測窗量的移動可能量。根據(jù)計算出的移動可能量，決定輸入信號觀測窗的位置，并將該輸入信號觀測窗設(shè)置在該位置上。由此，重復(fù)上述動作，針對輸入信號觀測窗的各位置計算輸入信號相似值，根據(jù)輸入信號相似值與預(yù)先設(shè)定的閾值的比較結(jié)果，判斷在輸入信號上，輸入信號觀測窗在目前所示的位置上是否存在參照信號。

發(fā)明內(nèi)容
因此，本發(fā)明的目的是提供一種通過以可以選擇幀單位的對照所需的圖像序列的方式進行圖像序列描述，從而不會降低圖像序列的識別精度而可以實現(xiàn)識別處理的高速化圖像系統(tǒng)和圖像描述系統(tǒng)。
在本發(fā)明的方案中，一種圖像描述系統(tǒng)，其中包括特征量提取部，其從圖像序列的各幀提取布局特征量；和代表特征量計算部，其從由所述特征量提取部提取的布局特征量組，計算代表圖像序列的布局特征量。
另外，在本發(fā)明的另一方案中，一種圖像描述系統(tǒng)，其中包括特征量提取部，其從圖像序列的各幀提取布局特征量；代表特征量計算部，其從由所述特征量提取部提取的布局特征量組，計算代表圖像序列的布局特征量；和代表布局特征量存儲部，其存儲由所述代表特征量計算部計算出的代表布局特征量。
此外，在本發(fā)明的另一方案中，一種圖像描述系統(tǒng)，其中包括特征量提取部，其從圖像序列的各幀提取布局特征量；代表特征量計算部，其從由所述特征量提取部提取的布局特征量組，計算代表圖像序列的布局特征量；代表布局特征量存儲部，其存儲由所述代表特征量計算部計算出的代表布局特征量；和布局特征量組存儲部，其存儲由所述特征量提取部計算出的布局特征量組。
根據(jù)上述，優(yōu)選所述代表特征量計算部，求出由所述特征量提取部提取的布局特征量的各要素的平均值，以作為代表特征量。
另外，優(yōu)選所述代表特征量計算部，對由所述特征量提取部提取的布局特征量的各要素，將其值按照升序或者降序重新排列，計算中值，以作為代表特征量。
所述布局特征量可以為顏色布局信息，也可以為邊緣直方圖信息。
再有，優(yōu)選所述代表特征量根據(jù)描述方案進行描述，所述描述方案為作為代表特征量，能從至少包括顏色布局以及邊緣直方圖的多個特征量中選擇一個；作為代表特征量計算方法，能由至少包括平均值、中值、邏輯乘(intersection)的多種方法中選擇一種。
還有，在本發(fā)明的另一方案中，一種能由計算機執(zhí)行的圖像識別軟件產(chǎn)品，其中實現(xiàn)由圖像序列的各幀提取布局特征量的特征量提取功能；和從由所述特征量提取功能提取的布局特征量組，計算代表圖像序列的布局特征量的代表特征量計算功能。
另外，在本發(fā)明的另一方案中，一種圖像描述方法，其中包括特征量提取步驟，其從圖像序列的各幀提取布局特征量；和代表特征量計算步驟，其從由所述特征量步驟提取的布局特征量組，計算代表圖像序列的布局特征量。
此外，在本發(fā)明的另一方案中，一種圖像識別系統(tǒng)，其中包括代表布局特征量存儲部，其將代表圖像序列的布局特征量作為代表布局特征量進行存儲；和圖像序列選擇部，其將存儲在代表布局特征量存儲部中的查詢圖像序列的代表布局特征量和所登記著的圖像序列的代表布局特征量進行比較，選擇與查詢圖像序列相似的圖像序列。
進而，在本發(fā)明的另一方案中，一種圖像識別系統(tǒng)，其中包括代表布局特征量存儲部，其將代表圖像序列的布局特征量作為代表布局特征量進行存儲；特征量提取部，其從查詢圖像序列的各幀提取布局特征量；代表特征量計算部，其從由所述特征量提取部提取的布局特征量組，計算代表查詢圖像序列的布局特征量；和圖像序列選擇部，其將存儲在代表布局特征量存儲部中的查詢圖像序列的代表布局特征量和所登記著的圖像序列的代表布局特征量進行比較，選擇與查詢圖像序列相似的圖像序列。
再有，在本發(fā)明的另一方案中，一種圖像識別系統(tǒng)，其中包括代表布局特征量存儲部，其將代表圖像序列的布局特征量作為代表布局特征量進行存儲；布局特征量組存儲部，其存儲與圖像序列的各幀相對應(yīng)的布局特征量；特征量提取部，其從查詢圖像序列的各幀提取布局特征量；代表特征量計算部，其從由所述特征量提取部提取的布局特征量組，計算代表查詢圖像序列的布局特征量；圖像序列選擇部，其將存儲在代表布局特征量存儲部中的查詢圖像序列的代表布局特征量和所登記著的圖像序列的代表布局特征量進行比較，選擇與查詢圖像序列相似的圖像序列；和對照部，其針對由所述圖像序列選擇部選擇的圖像序列，將由所述布局特征量提取部提取的布局特征量組和存儲在所述布局特征量組中的布局特征量進行對照。
在上述中，優(yōu)選所述代表特征量計算部，求出由所述特征量提取部提取的布局特征量的各要素的平均值，以作為代表特征量。
另外，優(yōu)選所述代表特征量計算部，對由所述特征量提取部提取的布局特征量的各要素按照升序或者降序重新排列，計算中值，以作為代表特征量。
此外，所述布局特征量可以是顏色布局信息，也可以是邊緣直方圖信息。
還有，優(yōu)選所述代表特征量根據(jù)描述方案進行描述，該方案為作為代表特征量，能從至少包括顏色布局以及邊緣直方圖的多個特征量中選擇一個；作為代表特征量計算方法，能從至少包括的平均值、中值、邏輯乘的多種方法中選擇一種。
再有，在本發(fā)明的另一方案中，一種能夠由計算機執(zhí)行的圖像識別軟件產(chǎn)品，其中實現(xiàn)存儲功能，其將代表圖像序列的布局特征量作為代表布局特征量存儲在所述計算機的存儲功能中；和選擇功能，其將由所述存儲功能存儲的查詢圖像序列的代表布局特征量與所登記著的圖像序列的代表布局特征量進行比較，選擇與查詢圖像序列相似的圖像序列。
另外，在本發(fā)明的另一方案中，一種圖像識別方法，其中包括存儲步驟，其將代表圖像序列的布局特征量作為代表布局特征量進行存儲；和選擇步驟，其將由所述存儲步驟存儲的查詢圖像序列的代表布局特征量與所登記著的圖像序列的代表布局特征量進行比較，選擇與查詢圖像序列相似的圖像序列。
進而，在本發(fā)明的另一方案中，一種描述方案，其描述圖像序列的特征量，其中作為代表特征量，能從至少包括顏色布局以及邊緣直方圖的多個特征量中選擇一個；作為代表特征量計算方法，能從至少包括平均值、中值、邏輯乘的多種方法中選擇一種。
如上所述，根據(jù)本發(fā)明，對于在與代表布局特征量進行比較的時刻判斷為沒有是相同內(nèi)容的可能性的登記圖像序列，可以跳過所有需要處理成本的布局特征量組的以幀為單位的比較處理。由此，不會降低識別精度，可以大幅度減少對照處理成本。
另外，預(yù)先生成并存儲圖像序列的代表布局特征量，從而可以以少的成本提供用于選擇具有相同內(nèi)容可能性的登記圖像序列的信息。
進一步，以相同的描述方案為基礎(chǔ)描述代表布局特征量，可以在多個系統(tǒng)中交換布局特征量，由多個存儲裝置調(diào)出代表布局特征量。


圖1是表示第1現(xiàn)有例的系統(tǒng)的圖。
圖2是表示第2現(xiàn)有例的系統(tǒng)的圖。
圖3是表示本發(fā)明的第1實施例的構(gòu)成的框圖。
圖4是表示第1實施例中平均的代表布局特征量的生成順序的流程圖。
圖5是表示第1實施例中取得中值的代表布局特征量的生成順序的流程圖。
圖6是表示第1實施例中的平均化的顏色布局值的一例的圖。
圖7是表示第1實施例中的取得中值的顏色布局值的一例的圖。
圖8是表示第1實施例中的描述方案的示意圖。
圖9是表示第1實施例的圖像識別順序的流程圖。
圖10是表示本發(fā)明的第2實施例的構(gòu)成的框圖。
圖11是表示本發(fā)明的第3實施例的構(gòu)成的框圖。
圖12是表示本發(fā)明的第4實施例的構(gòu)成的框圖。
圖13是表示本發(fā)明的第5實施例的構(gòu)成的框圖。
圖14是表示相對第1實施例中的各特征量而可以使用的歸并(aggregation)方法的圖。
圖15是表示第1實施例中的二進制描述句法的圖。
圖16是表示第1實施例中的合并方法的二進制表現(xiàn)描述的一例的圖。
圖17是表示第1實施例中的其它的描述方案的圖。
具體實施例方式
下面，參照附圖對本發(fā)明的圖像識別系統(tǒng)進行詳細說明。
(第1實施例)圖3是表示本發(fā)明的第1實施例的圖像識別系統(tǒng)的構(gòu)成例的框圖。
如圖3所示，本實施例的圖像識別系統(tǒng)包括描述部31、存儲部32和識別部33。描述部31通過從圖像序列提取并生成特征量，來描述圖像的信號特征。特征量存儲部32存儲應(yīng)登記的圖像的特征量。識別部33識別查詢圖像序列。
描述部31備有布局特征量提取部101和代表布局特征量計算部102。
布局特征量提取部101，從應(yīng)登記的圖像序列的各幀提取布局特征量。在彩色直方圖中，難以識別與查詢圖像相比顏色不同但內(nèi)容相同的圖像。在內(nèi)容相同的圖像彼此之間，即使顏色不同，圖像的構(gòu)圖也幾乎沒有改變。因此，為了識別圖像，認為采用表現(xiàn)圖像的大致構(gòu)圖的布局特征量是有效的。因此，利用布局特征量。作為布局特征量可考慮各種各樣的值，采用由國際標準規(guī)格ISO/IEC 15838-3 MPEG-7 VISUAL規(guī)定、表示顏色的布局結(jié)構(gòu)的顏色布局描述符，或者表示邊緣的布局結(jié)構(gòu)的邊緣直方圖描述符。
代表布局特征量計算部102從由布局特征量提取部101提取的布局特征量組，計算出代表應(yīng)登記的圖像序列的代表布局特征量。作為計算代表布局特征量的方法可以考慮各種各樣的方法，在此采用布局特征量組的平均化方法、應(yīng)用中值的方法。圖4、圖5表示這些方法中的流程圖。
圖4是表示平均化的代表布局特征量的生成順序的流程圖。作為布局特征量，以亮度的6個系數(shù)、色差的每3個系數(shù)作為特征量而具有的顏色布局為例，來表示順序。圖6表示各幀的顏色布局的各要素的值。YDC表示亮度直流成分，CbDC、CrDC表示色差直流成分，YAC[n]表示第n個亮度交流成分，CbAC[n]、CrAC[n]表示第n個色差交流成分。
首先，將布局特征量的各要素的總和復(fù)位為0(步驟A1)。接著，將由布局特征量提取部101提取的幀的布局特征量按每一幀讀入。對所有的幀將已讀取的幀特征量的各要素的值進行加法運算(步驟A2～A4)。例如，如果注意圖6的表的要素YDC(亮度直流成分)，則總和為31+11+15+21+32＝110。將所有幀的布局的特征量每一個要素的總和用幀數(shù)歸一化，計算平均值(步驟A5)。如果注意圖6的表的要素YDC(亮度直流成分)，則平均值為110÷5＝22。將計算出的平均值的集合作為代表布局特征量(步驟A6)。在圖6的表的例子中，將在平均值記錄中所示的值作為代表布局特征量。
圖5是表示中值的代表布局特征量的生成順序的流程圖。作為布局特征量，以亮度的6個系數(shù)、色差的每3個系數(shù)作為特征量而具有的顏色布局為例，來表示順序。圖5表示各幀的顏色布局的各要素的值。YDC表示亮度直流成分，CbDC、CrDC表示色差直流成分，YAC[n]表示第n個亮度交流成分，CbAC[n]、CrAC[n]表示第n個色差交流成分。
首先，將布局特征量的各要素的總和復(fù)位為0(步驟B1)。接著，讀取由布局特征量提取部提取的所有幀的布局特征量。將讀取到的所有幀的特征量的要素的值在每個要素中按照升序重新排列(步驟B2～B3)。例如，如果注意圖7的表的要素YDC(亮度直流成分)，則排列的結(jié)果是32、31、21、15、11。從在所有幀的布局特征量的每個要素中按照升序重新排列的數(shù)字列取得中間值，求得中值(步驟B4)。如果注意圖7的表的要素YDC(亮度直流成分)，則中值為21。將計算出的中值的集合作為代表布局特征量(步驟B5)。在圖7的表的例中，將在中值記錄中所示的值作為代表布局特征量。
除此之外，在將各要素按升序重新排列時，也考慮用只選擇各要素的最小值來代替求中值的方法。
提取出的代表特征量，根據(jù)規(guī)定的描述方案進行描述。通過預(yù)先定義描述方案并在終端間共有，從而可以與其它的終端交換已描述的數(shù)據(jù)，并能在多個終端間協(xié)同利用。
作為描述方案，可以采用各種各樣的方式。圖8表示描述方案的一例。定義為作為代表布局特征量，能選擇顏色布局和邊緣直方圖的任意一方，作為生成代表布局特征量的方法(aggregation)，能選擇平均化(Average)、中值(Median)、最小值(Intersection)中的任意一個。
另外，也可以用二進制表現(xiàn)來進行特征量描述，以代替將描述方案描述在數(shù)據(jù)庫中。圖15表示二進制表現(xiàn)的特征量描述的句法的一例。在由二進制表現(xiàn)進行描述特征量時，首先描述生成代表布局特征量的方法(aggregation)是否被規(guī)定。在描述歸并時分配1，反之分配0。接著，在描述歸并的情況下，描述代表布局特征量的生成方法。在平均值(Average)的情況下分配001，在中值(Median)的情況下分配010，在最小值(Intersection)的情況下分配011。然后，分配表示作為代表布局特征量而被選擇的特征量的標識符。在顏色布局的情況下分配4，在邊緣直方圖的情況下分配8。進一步，繼續(xù)二進制表現(xiàn)已選擇的特征量的內(nèi)容。作為二進制表現(xiàn)方法，選擇由ISO/IEC15938-3定義的二進制表現(xiàn)方法。
圖8中的描述方案以及圖15中所示的二進制句法(binary syntax)中的語義(semantics)如下。
·描述符ID該字段是用于特定代表特征量的種類的標識符。在顏色布局時分配4，在邊緣直方圖時分配8。其它的值被禁止。
·描述符該字段表示采用由國際標準規(guī)格ISO/IEC15838-3規(guī)定的描述方法而生成的特征量。能應(yīng)用的方法為顏色布局以及邊緣直方圖。
·歸并標志在該字段中表示。在分配“1”時，歸并的屬性如下。
·歸并在該任選字段中，從幀/圖像的組指定用于生成代表特征量的歸并方法。歸并，對包含在幀或圖像的組中的所有要素進行?？梢赃m用以下三種中的任意一個。
·平均值所謂平均的歸并意味著將各幀/圖像的特征量各要素逐一進行相加運算，通過在幀/圖像數(shù)中進行歸一化，而計算構(gòu)成特征量的各要素。
·中值所謂中值的歸并意味著生成將各幀/圖像的特征量的各要素的值按升序重新排列的序列，根據(jù)該序列取得中值，以作為代表值。
·最小值(intersection)最小值的歸并意味著通過從所有幀/圖像中所包括的特征量計算各要素相關(guān)的最低值，從而取得構(gòu)成代表特征量的各要素。
還有，禁止一部分的歸并方法的應(yīng)用?？梢詫Ω魈卣髁繎?yīng)用的規(guī)定方法在圖14中由“Y”符號指定。
圖中表示作為歸并方法，對顏色布局、邊緣直方圖雙方可以應(yīng)用平均值和中值。
在歸并方法(Aggregation Type)的二進制表現(xiàn)描述時，應(yīng)用圖16的圖表。具體地說，平均(平均值)時分配001，中值(Median)時分配010，最小值(Intersection)時分配011。
圖17表示其它的描述方案例。作為代表特征量，不只是顏色布局或者邊緣直方圖，可以將由MPEG-7規(guī)定的所有圖像特征量中的一個或者多個實例化。另外，所謂圖片類型(Picture Type)是將靜止圖像特征量歸攏在一起的描述方案。
此外，歸并方法不一定是已規(guī)定的方法，也可以選擇未定義(unspecified)的方法。通過作為未定義而設(shè)置，從而可以規(guī)定并應(yīng)用系統(tǒng)固有的歸并方法。
這樣，通過以相同的描述方案為基礎(chǔ)來描述代表布局特征量，從而可以在多個系統(tǒng)中交換代表布局特征量，或由多個存儲裝置調(diào)出代表布局特征量。
另外，通過規(guī)定二進制表現(xiàn)句法，并以該句法為基礎(chǔ)來二進制描述代表布局特征量，從而與以描述方案為基礎(chǔ)進行描述的情況相比，可以用大幅度減少的信息量來描述特征量。
存儲部32備有代表布局特征量存儲部103和布局特征量組存儲部104。
代表布局特征量存儲部103存儲由代表布局特征量計算部102計算出的代表布局特征量。另外，布局特征量組存儲部存儲由布局特征量提取部101提取的各幀的布局特征量。
識別部33備有布局特征量提取部105、代表布局特征量計算部106、圖像序列選擇部107和圖像序列識別部108。
布局特征量提取部105，從輸入的查詢圖像序列的各幀提取布局特征量。提取方法與布局特征量計算部101相同。
代表布局特征量計算部106，從由布局特征量提取部105提取的布局特征量組計算代表查詢圖像序列的代表布局特征量。計算方法與代表布局特征量計算部102相同。
圖像序列選擇部107，將由代表布局特征量計算部106生成的查詢圖像序列的代表布局特征量與存儲在代表布局特征量存儲部103中的登記圖像序列的代表布局特征量進行比較，判斷相似性，只選擇判斷為有與查詢序列為相同內(nèi)容的可能性的登記圖像序列。
圖像序列識別部108，針對由圖像序列選擇部107選擇的登記圖像序列，對由布局特征量計算部105生成的查詢圖像序列的布局特征量組與存儲在布局特征量組存儲部104中的登記圖像序列的布局特征量組進行比較。通過比較來評價相似性，判斷是否為與查詢圖像序列相同的內(nèi)容，在存在相同內(nèi)容的登記圖像時，輸出相同內(nèi)容的登記圖像序列的標識符。
參照圖3以及圖9，對圖像序列識別順序進行說明。圖9是表示本實施例中的圖像序列識別順序的流程圖。首先，在代表布局特征量存儲部103中，預(yù)先將所有登記圖像序列相關(guān)的代表布局特征量和表示圖像的標識符一起存儲。另外，在布局特征量存儲部104中，預(yù)先將所有登記圖像序列相關(guān)的布局特征量組和表示圖像的標識符一起存儲(步驟C1)。
由提取布局特征量提取部105以及代表布局特征量計算部106從供給的查詢圖像序列中，提取布局特征量以及代表布局特征量(步驟C2～C3)。
接著，圖像序列選擇部107，讀取一個登記圖像序列的代表布局特征量，將讀取的代表布局特征量與查詢圖像序列的代表布局特征量以幀為單位進行比較(步驟C4～C5)。計算查詢圖像序列的代表布局特征量與讀取的登記圖像序列的代表布局特征量的距離，判斷計算出的差值是否在規(guī)定的閾值以下(步驟C6)。在計算出的差值在規(guī)定的閾值之下時，判斷為存在查詢圖像序列與登記圖像序列為相同內(nèi)容的可能性，輸出相應(yīng)的登記圖像序列的標識符(步驟C6的是)。
圖像序列識別部108讀取布局特征量組(步驟C7)，該特征量組與判斷為存在相同內(nèi)容的可能性的圖像序列的標識符相對應(yīng)。將讀取的布局特征量組與查詢特征量組的布局特征量組進行比較(步驟C8)。作為布局特征量的時間序列數(shù)據(jù)的比較方法，例如可以采用特開2000-259832號公報(第2現(xiàn)有例)所述的方法，由此可以高速地進行比較。比較的結(jié)果，在判斷為查詢圖像序列與登記圖像序列是相同內(nèi)容時，輸出登記圖像序列的標識符(步驟C9～C10)。
如上所述，在第1實施例中，設(shè)置圖像序列選擇部107以及圖像序列識別部108，在比較完代表布局特征量的時刻，針對判斷為沒有相同內(nèi)容的可能性的登記圖像序列，可以跳過需要處理成本的布局特征量組的以幀為單位的比較處理。因此，不會降低識別精度，而可以大幅度降低對照處理成本。
另外，由代表布局特征量計算部102生成圖像序列的代表布局特征量，并存儲在代表布局特征量存儲部104中。由此，可以用少的成本選擇存在相同內(nèi)容的可能性的登記圖像序列。
(第2實施例)本發(fā)明的第2實施例的圖像識別系統(tǒng)，如圖10所示，代替布局特征量提取部105以及代表布局特征量計算部106，預(yù)先提取查詢圖像序列的代表布局特征量以及布局特征量組，并存儲在代表布局特征量存儲部103以及布局特征量組存儲部104中。
圖像序列選擇部107，將存儲在代表布局特征量存儲部103中的查詢圖像序列的代表布局特征量與登記圖像序列的代表布局特征量進行比較，評判相似性，選擇有與查詢圖像序列是相同內(nèi)容的可能性的登記圖像序列。
圖像序列識別部108，針對由圖像序列選擇部107選擇的登記圖像序列，將存儲在布局特征量組存儲部104中的查詢圖像序列的布局特征組與登記圖像序列的布局特征量組進行比較，評判相似性，判斷與查詢圖像序列是否為相同內(nèi)容，在存在相同內(nèi)容的登記圖像時輸出登記圖像序列的標識符。通過不進行特征量計算運算，從而能進行高速處理。
在第2實施例中，設(shè)置圖像序列選擇部107以及圖像序列識別部108，在比較完代表布局特征量的時刻，對判斷為沒有內(nèi)容相同的可能性的登記圖像序列，可以跳過所有的需要處理成本的布局特征量組的比較。因此，不會降低識別精度，可以大幅度減少對照處理成本。
(第3實施例)圖11表示根據(jù)本發(fā)明的第3實施例的圖像識別系統(tǒng)。如圖11所示，第3實施例的圖像識別系統(tǒng)備有從圖像序列提取特征量并描述圖像的信號特征的描述部31；存儲應(yīng)登記的圖像的特征量的存儲部35；和用于查詢圖像序列的選擇部36。
描述部31與第1實施例相同。
存儲部35備有代表布局特征量存儲部103。代表布局特征量存儲部103存儲由描述部31生成的代表布局特征量。
選擇部36備有布局特征量提取部105、代表布局特征量計算部106和圖像序列選擇部107。布局特征量提取部105、代表布局特征量計算部106以及圖像序列選擇部107的功能與第1實施例相同。
在第3實施例中，設(shè)置圖像序列選擇部107，可以選擇沒有為相同內(nèi)容的可能性的登記圖像序列。另外，由代表布局特征量計算部102生成圖像序列的代表布局特征量，并存儲在代表布局特征量存儲部104中。由此，可以以少的成本選擇有相同內(nèi)容的可能性的登記圖像序列。
(第4實施例)圖12表示本發(fā)明的第4實施例的圖像識別系統(tǒng)。如圖12所示，代替在第3實施例中設(shè)置的布局特征量提取部105以及代表布局特征量計算部106，預(yù)先計算查詢圖像序列的代表布局特征量并存儲在代表布局特征量存儲部103中。
在第4實施例中，設(shè)置圖像序列選擇部107，可以選擇沒有為相同內(nèi)容的可能性的登記圖像序列。另外，由代表布局特征量計算部102生成圖像序列的代表布局特征量，并存儲在代表布局特征量存儲部104中，可以用少的成本選擇有相同內(nèi)容的可能性的登記圖像序列。
(第5實施例)圖13表示本發(fā)明的第5實施例的圖像識別系統(tǒng)。如圖13所示，本實施例的圖像描述系統(tǒng)備有通過由圖像序列提取并生成特征量而描述圖像的信號特征的描述部31；和存儲應(yīng)登記的圖像的特征量的存儲部35。描述部31與存儲部35的作用與第3實施例相同。
在第5實施例中，由代表布局特征量計算部102生成圖像序列的代表布局特征量，并存儲在代表布局特征量存儲部104中，可以用少的成本提供用于選擇有相同內(nèi)容的可能性的登記圖像序列的信息。
接著對具體例進行說明。
該具體例表示采用廣告(CM)的廣告識別系統(tǒng)。在本系統(tǒng)中，從所接收的廣播圖像生成顏色布局描述符，與登記在數(shù)據(jù)庫中的各CM逐一進行對照，識別廣播中的CM是什么內(nèi)容。將識別結(jié)果作為廣播調(diào)查報告通知給用戶。
首先，登記15秒的CM圖像。從CM圖像的各幀提取顏色布局，從提取的顏色布局組計算代表各CM圖像的顏色布局。將計算出的代表顏色布局和提取出的顏色布局組預(yù)先存儲在CM數(shù)據(jù)庫中。
接著，進行從廣播波取得的圖像的顏色布局陣列與預(yù)先登記的各CM的顏色布局陣列的對照。從廣播圖像將包含在15秒內(nèi)的幀作為查詢圖像序列逐一輸入。從查詢圖像序列提取顏色布局，從提取出的顏色布局組生成代表顏色布局。
通過代表顏色布局的比較，選擇有與作為查詢圖像序列的目前正廣播的圖像為相同內(nèi)容的可能性的CM。
然后，將已選擇的CM與包含在查詢圖像序列內(nèi)的所有幀的顏色布局進行比較。根據(jù)與所有的已選擇的CM的距離計算的檢索結(jié)果，在與判斷為最相似的CM的特征量距離在預(yù)定的閾值以下時，判斷廣播中的圖像場景為該CM。為了實時檢測，要求在輸入圖像的采樣間隔以內(nèi)結(jié)束檢索處理。識別結(jié)果作為廣播調(diào)查報告通知給用戶。
還有，在本實施例中，進行包括代表顏色布局的比較工序的情況，以及不包括代表顏色布局的比較工序的所有CM，對照了查詢圖像序列內(nèi)所包括的所有幀的顏色布局的情況下的對照次數(shù)的比較。不會降低識別精度，且能夠?qū)φ沾螖?shù)削減到10％左右。
另外，上述的實施例是本發(fā)明優(yōu)選的一實施例。本發(fā)明并不限于此，在不脫離本發(fā)明的主要內(nèi)容的范圍內(nèi)能夠進行各種各樣的變形。
如以上所詳細說明的，根據(jù)本發(fā)明，針對在比較了代表布局特征量的時刻判斷為不存在是相同內(nèi)容的可能性的登記圖像序列，可以跳過所有需要處理成本的布局特征量組的以幀為單位的比較處理。因此，不會降低識別精度，且可以大幅度地減少對照處理成本。
另外，生成圖像序列的代表布局特征量，并將其預(yù)先存儲。由此，可以以少的成本提供用于選擇有相同內(nèi)容的可能性的登記圖像序列的信息。
進一步，以共同的描述方案為基礎(chǔ)來描述代表布局特征量，可以在多個系統(tǒng)中交換代表布局特征量，可以由多個存儲裝置調(diào)出代表布局特征量。
還有，上述實施例中實現(xiàn)各種動作的部分，可以作為硬件來實現(xiàn)，也可以作為軟件來實現(xiàn)。這種情況下，通過執(zhí)行存儲在存儲器(圖中未示出)中的軟件，從而公知的計算機系統(tǒng)內(nèi)的CPU(圖中未示出)實現(xiàn)各部分的功能。
權(quán)利要求
1.一種圖像描述系統(tǒng)，其特征在于，包括特征量提取部，其從圖像序列的各幀提取布局特征量；和代表特征量計算部，其從由所述特征量提取部提取的布局特征量組，計算代表圖像序列的布局特征量。
2.一種圖像描述系統(tǒng)，其特征在于，包括特征量提取部，其從圖像序列的各幀提取布局特征量；代表特征量計算部，其從由所述特征量提取部提取的布局特征量組，計算代表圖像序列的布局特征量；和代表布局特征量存儲部，其存儲由所述代表特征量計算部計算出的代表布局特征量。
3.一種圖像描述系統(tǒng)，其特征在于，包括特征量提取部，其從圖像序列的各幀提取布局特征量；代表特征量計算部，其從由所述特征量提取部提取的布局特征量組，計算代表圖像序列的布局特征量；代表布局特征量存儲部，其存儲由所述代表特征量計算部計算出的代表布局特征量；和布局特征量組存儲部，其存儲由所述特征量提取部計算出的布局特征量組。
4.根據(jù)權(quán)利要求1～3中任一項所述的圖像描述系統(tǒng)，其特征在于，所述代表特征量計算部，求出由所述特征量提取部提取的布局特征量的各要素的平均值，以作為代表特征量。
5.根據(jù)權(quán)利要求1～3中任一項所述的圖像描述系統(tǒng)，其特征在于，所述代表特征量計算部，對由所述特征量提取部提取的布局特征量的各要素，將其值按照升序或者降序重新排列，計算中值，以作為代表特征量。
6.根據(jù)權(quán)利要求1～5中任一項所述的圖像描述系統(tǒng)，其特征在于，所述布局特征量是顏色布局信息。
7.根據(jù)權(quán)利要求1～5中任一項所述的圖像描述系統(tǒng)，其特征在于，所述布局特征量是邊緣直方圖信息。
8.根據(jù)權(quán)利要求1～7中任一項所述的圖像描述系統(tǒng)，其特征在于，所述代表特征量根據(jù)描述方案進行描述，該描述方案為作為代表特征量，能從至少包括顏色布局以及邊緣直方圖的多個特征量中選擇一個；作為代表特征量計算方法，能從至少包括平均值和中值的多種方法中選擇一種。
9.一種圖像描述軟件產(chǎn)品，其中能由計算機執(zhí)行，其特征在于，用于實現(xiàn)由圖像序列的各幀提取布局特征量的特征量提取功能；和根據(jù)由所述特征量提取功能提取的布局特征量組，計算代表圖像序列的布局特征量的代表特征量計算功能。
10.一種圖像描述方法，其特征在于，包括特征量提取步驟，其從圖像序列的各幀提取布局特征量；和代表特征量計算步驟，其根據(jù)由所述特征量步驟提取的布局特征量組，計算代表圖像序列的布局特征量。
11.一種圖像識別系統(tǒng)，其特征在于，包括代表布局特征量存儲部，其將代表圖像序列的布局特征量作為代表布局特征量存儲；和圖像序列選擇部，其將存儲在代表布局特征量存儲部中的查詢圖像序列的代表布局特征量和所登記著的圖像序列的代表布局特征量進行比較，選擇與查詢圖像序列相似的圖像序列。
12.一種圖像識別系統(tǒng)，其特征在于，包括代表布局特征量存儲部，其將代表圖像序列的布局特征量作為代表布局特征量存儲；特征量提取部，其由查詢圖像序列的各幀提取布局特征量；代表特征量計算部，其根據(jù)由所述特征量提取部提取的布局特征量組，計算代表查詢圖像序列的布局特征量；和圖像序列選擇部，其將存儲在代表布局特征量存儲部中的查詢圖像序列的代表布局特征量和所登記著的圖像序列的代表布局特征量進行比較，選擇與查詢圖像序列相似的圖像序列。
13.一種圖像識別系統(tǒng)，其特征在于，包括代表布局特征量存儲部，其將代表圖像序列的布局特征量作為代表布局特征量存儲；布局特征量組存儲部，其存儲與圖像序列的各幀相對應(yīng)的布局特征量；特征量提取部，其從查詢圖像序列的各幀提取布局特征量；代表特征量計算部，其從由所述特征量提取部提取的布局特征量組，計算代表查詢圖像序列的布局特征量；圖像序列選擇部，其將存儲在代表布局特征量存儲部中的查詢圖像序列的代表布局特征量和所登記著的圖像序列的代表布局特征量進行比較，選擇與查詢圖像序列相似的圖像序列；和對照部，其針對由所述圖像序列選擇部選擇出的圖像序列，將由所述布局特征量提取部提取的布局特征量組與存儲在所述布局特征量組中的布局特征量進行對照。
14.根據(jù)權(quán)利要求12或13所述的圖像識別系統(tǒng)，其特征在于，所述代表特征量計算部求出由所述特征量提取部提取的布局特征量的各要素的平均值，以作為代表特征量。
15.根據(jù)權(quán)利要求12或13所述的圖像識別系統(tǒng)，其特征在于，所述代表特征量計算部，按照升序或者降序?qū)τ伤鎏卣髁刻崛〔刻崛〉牟季痔卣髁康母饕刂匦屡帕?，計算中值，以作為代表特征量?br> 16.根據(jù)權(quán)利要求11～15中任一項所述的圖像識別系統(tǒng)，其特征在于，所述布局特征量是顏色布局信息。
17.根據(jù)權(quán)利要求11～16中任一項所述的圖像識別系統(tǒng)，其特征在于，所述布局特征量是邊緣直方圖信息。
18.一種圖像識別系統(tǒng)，其特征在于，所述代表特征量根據(jù)描述方案進行描述，該描述方案為作為代表特征量，能從至少包括顏色布局以及邊緣直方圖的多個特征量中選擇一個；作為代表特征量計算方法，能從至少包括平均值和中值的多種方法中選擇一種。
19.一種圖像識別軟件產(chǎn)品，其中能由計算機執(zhí)行，其特征在于，用于實現(xiàn)存儲功能，其將代表圖像序列的布局特征量作為代表布局特征量存儲在所述計算機的存儲功能中；和選擇功能，其將由所述存儲功能存儲的查詢圖像序列的代表布局特征量與所登記著的圖像序列的代表布局特征量進行比較，選擇與查詢圖像序列相似的圖像序列。
20.一種圖像識別方法，其特征在于，包括存儲步驟，其將代表圖像序列的布局特征量作為代表布局特征量進行存儲；和選擇步驟，其將由所述存儲功能存儲的查詢圖像序列的代表布局特征量與所登記著的圖像序列的代表布局特征量進行比較，選擇與查詢圖像序列相似的圖像序列。
21.一種描述方案，其中描述圖像序列的特征量，其特征在于，作為代表特征量，能從至少包括顏色布局以及邊緣直方圖的多個特征量中選擇一個；作為代表特征量計算方法，能從至少包括平均值和中值的多種方法中選擇一種。
全文摘要
在圖像描述系統(tǒng)中，特征量提取部從圖像序列的各幀提取布局特征量。代表特征量計算部，從由特征量提取部提取的布局特征量組，計算出代表圖像序列的布局特征量。
文檔編號G06T7/00GK1692373SQ20038010050
公開日2005年11月2日 申請日期2003年12月2日 優(yōu)先權(quán)日2002年12月2日
發(fā)明者粕谷英司, 山田昭雄 申請人:日本電氣株式會社